Una Inteligencia Artificial se vuelve

racista y machista al aprender a leer

La mquina asociaba con mayor probabilidad los nombres femeninos a palabras
relacionadas con tareas domsticas o cuestiones familiares
Los resultados de este estudio muestran cmo el lenguaje est ntimamente
entrelazado con los sesgos histricos y los estereotipos culturales
Las investigadoras han demostrado que este tipo de sesgos se pueden ver en varias
mquinas que utilizan aprendizaje automtico, como el traductor de Google
Teguayco Pinto
87 comentarios
13/04/2017 - 19:00h
Compartir en Facebook
Compartir en Twitter

El aprendizaje automtico provoca que las IA tengan prejuicios raciales y sexistas EFE

MS INFO
Mquinas que aprenden a pensar
 ETIQUETAS: Inteligencia Artificial,sexismo, racismo

INTELIGENCIA ARTIFICIAL

Qu prejuicios tienen los robots sin prejuicios?

Un estudio publicado este jueves en la revista Science muestra que cuando una inteligencia
artificial (IA) aprende un idioma, sta termina por asumir los sesgos humanos que estn
incluidos implcitamente en el lenguaje. En otras palabras, las mquinas basadas en
aprendizaje automtico se vuelven racistas y machistas al aprender un lenguaje, porque el
lenguaje ya contiene ese tipo de sesgos.

Una mquina puede asumir sesgos de forma directa, a travs de los propios programadores,
pero tambin puede hacerlo a travs de los datos que utiliza para su aprendizaje.

"Los modelos de aprendizaje automtico que estn entrenados partir de datos humanos a
gran escala pueden desarrollar estereotipos, ya que a partir de esos datos las mquinas son
capaces de representar con precisin hechos sobre el mundo y la cultura humana, lo que
inevitablemente incluye sesgos", explica a eldiario.es la principal autora del estudio, la
investigadora de la Universidad de Princeton, Aylin Caliskan.

La idea bsica del trabajo de Caliskan es que algunos aspectos del significado de las
palabras pueden ser inducidos a partir de la forma en la que las ordenamos, algo que ha sido
tratado en mltiples ocasiones a lo largo de las ltimas dcadas. Desde mediados de los 90
varios estudios han apuntado a esta posibilidad e incluso algunos de ellos sealan que los
nios acaban asumiendo los significados de una palabra gracias al contexto en el que
dicha palabra se repite en los distintos discursos que se van encontrando a lo largo de su
aprendizaje.

Las mquinas aprenden a leer utilizando estadstica

Esta hiptesis es en la que se basan muchos de los mtodos de aprendizaje ms
comnmente utilizados para ensear a leer a una mquina. El hecho de que las palabras con
significados similares tiendan a repetirse en contextos similares hace que, mediante un
anlisis estadstico de las palabras, una maquina pueda obtener informacin para entender
su significado.

"Lo que hacemos es buscar la probabilidad que tiene cada palabra de estar rodeado por
otras, de esta forma, la IA puede determinar que un perro es ms similar a un gato que a
una nevera, porque solemos decir voy a casa a darle de comer a mi perro/gato, pero nunca
decimos voy a casa darle de comer a mi nevera", explica Joanna Bryson, investigadora
principal del proyecto.
A partir de este mtodo de aprendizaje automtico, los investigadores desarrollaron una IA
que utiliz ms de 2 millones de palabras durante su aprendizaje y analizaron la forma en la
que sta asociaba distintas palabras, de forma muy similar a los tests que se realizan con
humanos para descubrir sus sesgos inconscientes.

Una IA sexista y con prejuicios raciales

Al hacerlo, Caliskan y Bryson descubrieron que la IA efectivamente reproduca sesgos
habituales en los seres humanos. Por ejemplo, la mquina asociaba con mayor probabilidad
los nombres femeninos a palabras relacionadas con tareas domsticas o cuestiones
familiares, mientras que los nombres masculinos se asociaban a conceptos relacionados con
la carrera profesional. Anlogamente, la IA tambin asociaba con mayor probabilidad
palabras como "mujer" y "nia" a conceptos relacionados con las artes y menos con las
matemticas.

Por ltimo, las investigadoras tambin comprobaron como IA tambin asuma sesgos
raciales, dado que asociaba los nombres americanos de origen europeo con estmulos
positivos con ms probabilidad que los nombres afroamericanos.

"Esencialmente", explica Caliskan, "esto refleja el hecho de que las asociaciones sesgadas
tienen lugar de forma frecuente en los textos a los que ha tenido acceso la maquina, hasta el
punto de que han terminado dando lugar a estereotipos estadsticamente significativos que
han sido reconocidos y aprendidos por la IA". "Si furamos capaces de cambiar esta
coincidencia de palabras", concluye esta investigadora, "las asociaciones sesgadas que
parten del idioma se reduciran".

Las investigadoras aseguran que sus hallazgos no solo son importantes desde el punto de
vista de anlisis del lenguaje, sino que tienen especial importancia a la hora de desarrollar
IAs de aprendizaje automtico, dado que estas tecnologas "pueden perpetuar estereotipos
culturales". Segn Caliskan y Bryson, "si construimos un sistema inteligente que aprenda lo
suficiente sobre las propiedades del lenguaje como para poder comprenderlo y producirlo,
tambin adquirir asociaciones culturales histricas, algunas de las cuales pueden ser
censurables".

Traductores sexistas
Uno de los casos analizados por las autoras del estudio, y en el que ya se pueden ver este
tipo de sesgos y estereotipos culturales, es el de la traduccin automtica. Caliskan, de
origen turco, pone como ejemplo, el popular traductor de Google, que al traducir frases
turcas con pronombres neutros, termina introduciendo pronombres estereotipados por
gnero. Por ejemplo, las frases "O bir doktor. O bir hemsire, las traduce como " l es
doctor. Ella es enfermera".

Para evitar este tipo de problemas, las investigadoras proponen tratar de abordar una
definicin explcita de comportamiento aceptable, pero, sobre todo, llaman a la precaucin
a la hora de utilizar sistemas basados en aprendizaje automtico no supervisado en procesos
de toma de decisiones. Adems, Caliskan aclara que "si tratamos de eliminar los sesgos de
IA, podramos terminar perdiendo algunos datos estadsticos sobre el mundo que pueden
ser realmente necesarios para que la mquina funcione de forma precisa".

Con todo, a la hora de reducir los sesgos que pueden aprender las mquinas, Caliskan
termina mirando haca los humanos. "Sabemos que el lenguaje refleja nuestros prejuicios y,
aunque no est claro si los seres humanos aprendemos estereotipos a travs del lenguaje o
si son stos los que pasan a formar parte de un lenguaje a travs del tiempo, lo que s
sabemos es que si el lenguaje es ms inclusivo, las asociaciones estereotpicas
disminuirn". Al final, concluye esta investigadora, "las IA que desarrollemos no podrn
ser del todo imparciales, hasta que lo seamos los seres humanos".