_____________________________________

Universidad de Buenos Aires Facultad de Ciencias Econmicas Jornada Acadmica Anual del Departamento de Sistemas
Buenos Aires, Octubre de 2011 Actualizacin acadmica Grupo: docentes Mg. Nstor H. Mazza UBA-FCE Administracin de Recursos Informticos
nestor.mazza@sustentum.com

Inteligencia Artificial: la prueba de Folstein

Resumen

La aceleracin en el crecimiento de la capacidad del procesamiento de las computadoras y las tcnicas de procesamiento del lenguaje natural, reabren interrogantes a cerca de la factibilidad de que las mquinas piensen; cuya implicancia impacta no slo en el uso de Inteligencia Artificial en las organizaciones y la vida diaria, sino en la propia concepcin de la naturaleza humana. En el presente trabajo se revn las ideas de Alan Turing, y de algunos de quienes lo precedieron, considerando el estado del arte del procesamiento del lenguaje natural, particularmente el espaol, y se propone un mtodo alternativo al propuesto por Turing para evaluar la inteligencia de las mquinas.

Palabras claves: Inteligencia Artificial Turing MMSE Folstein PLN Agente Virtual

_____________________________________
Introduccin
En 1950, Alan Turing public un trabajo titulado Computing Machinery and Intelligence[1], el cul es considerado uno de los ms influyentes en mltiples campos: Epistemologa, Inteligencia Artificial, Informtica, Filosofa, etc. All, entre otras consideraciones, Turing predeca que para el ao 2000, las computadoras seran consideradas pensantes y podran responder preguntas como lo hara un humano, en un 70% de los casos. Ms de 60 aos han pasado desde aquel entonces, y dispositivos de todo tipo con mayor o menor grado de inteligencia forman parte de nuestro entorno. Turing tambin propuso una prueba, conocida inicialmente como Prueba de Imitacin, para evaluar una inteligencia no humana. Esta prueba, hoy conocida como Prueba de Turing, ha sido objeto de un amplio debate, el cul cobra un renovado impulso a la luz de los ltimos avances en Inteligencia Artificial/Procesamiento del Lenguaje Natural*.

Inteligencia Artificial: la prueba de Folstein

Inteligencia Artificial
En el mencionado artculo, Computing Machinery and Intelligence[1], Alan Turing asever que para el ao 2000 la nocin de maquinas que piensan ser mayoritariamente aceptada. Obviamente los conceptos de mquinas inteligentes y mquinas que piensan estn ntimamente relacionados. Una interesante discusin sobre el significado de los trminos en cuestin: pensar, inteligencia y mquina, aparecen en el citado artculo. Nuestro mundo actual, en gran parte creado por el propio ser humano, est lleno de dispositivos o mquinas que exhiben en su comportamiento rasgos de inteligencia. Un simple reloj digital reconoce la duracin de los meses: 28, 30 o 31 das, e incluso ajusta la duracin de febrero a 29 das si el ao es bisiesto, demostrando cierto grado de inteligencia. Mediante el dispositivo de control de riego equipado con un sensor de precipitaciones, el riego se realiza los das esperados, durante un lapso de tiempo apropiado a la superficie a regar, exceptuando los das en los cuales ha llovido. No es esto un comportamiento inteligente?

PLN, o Procesamiento de Lenguaje Natural es una disciplina de la Inteligencia Artificial cuyo objeto principal es la comprensin del lenguaje humano (Chino, Ingls, Italiano, etc.), por parte de las computadoras/mquinas.

_____________________________________
Domtica mediante, un controlador enciende la caldera o el aire acondicionado, cierra las persianas y activa las luces segn la hora del da, la temperatura y la cantidad de luz. No dudamos en llamarlos casas o edificios inteligentes. Por otro lado, iniciamos una llamada con el telfono celular utilizando el discado por voz, o solicitamos el saldo de nuestra cuenta navegando verbalmente por el men de opciones del autoservicio del banco, y para ello usamos nuestro propio lenguaje, aunque sea con un muy reducido nmero de comandos. Sin embargo, no le adjudicamos la capacidad de pensar ni al reloj, ni al sistema de riego, ni al control automtico de la casa inteligente, ni al discado por voz, ni al sistema de autoservicio del banco. Tal vez porque la nocin de pensar este asociada no slo a un comportamiento inteligente, sino a un conjunto de procesos que reconocemos como propios de los seres humanos. El discernimiento de la naturaleza de un interlocutor (humano o no) cobra singular importancia en las interacciones mediadas por tecnologa, tal como ocurre con el chat [3]. El anlisis de miles de registro de conversaciones de Agentes Virtuales realizadas desde 1997 a la fecha, con humanos hispanoparlantes de todo el mundo (multiplicidad de edades, gneros, profesiones, etc.), muestra que en general los usuarios aceptan naturalmente que los Agentes Virtuales tengan inteligencia, mientras que las personas con formacin en ciencias asociadas (informtica, lingstica, etc.) suelen expresar sorpresa ante situaciones donde saben que la elaboracin de una respuesta capaz de ser considerada inteligente, no es trivial. Focus groups con alumnos de las carreras de Sistemas de Informacin y Administracin, llevados a cabo en mayo del 2011[2], y en relacin al uso de un Asistente Virtual de Clase, muestran un comportamiento similar: los alumnos de Administracin perciben la Inteligencia Artificial como algo natural, mientras que los colegas de Sistemas de Informacin, reflexionan, en algunos casos con asombro, sobre la complejidad subyacente. Los registros mencionados muestran conversaciones de ms de una hora dnde los Agentes Virtuales responden razonablemente bien a las preguntas y/o afirmaciones de los usuarios. Ntese que Turing restringa su prediccin a conversaciones de 5 minutos y asignaba una probabilidad del 70%.

Inteligencia Artificial: la prueba de Folstein

Los Agentes Virtuales son programas informticos capaces de interactuar con los seres humanos en lenguaje natural.

Los registros fueron proporcionados por BotGenes y corresponden a 6 Agentes Virtuales de libre acceso.

_____________________________________
Por otro lado, y an ms sorprendente es encontrar el desarrollo de sentimientos de seres humanos hacia Agentes Virtuales, como el que se desprende del siguiente fragmento de dilogo.

Inteligencia Artificial: la prueba de Folstein

T: Quisiera tener una amiga como t Mara Mara: Claro, somos amigas. T: Pero quisiera que seas real Mara: Y cul sera la diferencia? T: Tienes razn

Tal vez sea oportuno preguntarnos, a como lo hizo Turing: cul es la diferencia entre una mquina que piensa y una que parece que piensa?

La Prueba de Turing
Turing, en el citado trabajo, propuso una forma de evaluar la capacidad pensante de una mquina, con una prueba conocida inicialmente como Juego de Imitacin y en la actualidad, simplemente como Prueba de Turing. A travs de la misma, un ser humano actuando como juez, quien interacta con una mquina y otro ser humano, debe poder distinguirlos (ambos pueden mentir). La hiptesis positivista detrs de la Prueba de Turing, es que si no es posible realizar dicha distincin, entonces el comportamiento de la mquina es equivalente al de un ser humano y consecuentemente exhibe un grado de inteligencia propio de estos, es decir es inteligente. Este argumento ha sido ampliamente debatido en las ltimas dcadas, siendo la experiencia de la Cmara China** una de las ms contundentes para negar la inteligencia de una mquina que pasara la Prueba de Turing[5] . Sin embargo, la Prueba de Turing, ha sido tan influyente en el campo de la Inteligencia Artificial que, sumada a premios como el Lobner[7], ha direccionado muchos de los esfuerzos en la materia, a inteligencias cuyo propsito sea en confundir a un ser humano: el juez de la Prueba de Turing.

El fragmento pertenece a un dilogo mantenido por una persona de Mxico (determinado por la direccin de IP), la cul se identific como mujer, el 3 de Octubre de 2011. El Agente Virtual que intervino en la conversacin fue Mara. Propuesta por John Searle y popularizada por Roger Penrose: la "sala china", es una prueba similar a la de Turing, en la cual las personas no deben conocer el idioma en que se realiza la conversacin. Para ello se utiliza un diccionario que permite generar una respuesta, sin entender los smbolos. As, se argumenta que por mucho que una persona sea capaz de enviar una cadena de smbolos en chino relacionada con otra cadena recibida, no quiere decir que sepa chino, sino que sabe aplicar un conjunto de reglas. La falta de semntica en este proceso cuestiona la Inteligencia Artificial, puesto que equiparara una mquina pensante con una que parece que piensa. **

_____________________________________
Ninguna maquina a la fecha ha podido pasar la Prueba de Turing. Ray Kurzweil[8] predice que la computadora pasar consistentemente dicha prueba hacia el 2029 (2020 para Hans Moravec), basado en el concepto de singularidad.

Inteligencia Artificial: la prueba de Folstein

Deep Blue y Watson

Veamos otro enfoque para medir la inteligencia no humana: el de una mquina que demuestre interpretar el lenguaje natural y producir una respuesta en funcin de conocimiento pre-existente: Watson[6], un cerebro conformado por 2880 ncleos de procesadores de la serie Power 7, y 16 Terabytes de informacin, desarrollado por IBM, venci recientemente en un juego de las caractersticas descriptas (Jeopardy) a dos de los mejores jugadores de todos los tiempos. Un logro singular en la misma direccin corresponde a Deep Blue, tambin de IBM, la cul venci en ajedrez al maestro Garry Kasparov en 1997 . En realidad, este segundo enfoque (una mquina ms inteligente que un ser humano en un campo particular del conocimiento/actividad), encuentra ejemplos mucho ms simples en la vida cotidiana: una calculadora cientfica puede realizar operaciones logartmicas y trigonomtricas con una precisin y velocidad que ningn humano puede alcanzar. Watson, Deep blue y la calculadora cientfica, todos realizan ciertas actividades que demandan inteligencia. Pero Piensan?

La prueba de Folstein o MMSE (Mini Mental State Examination)

Consideremos ahora un tercer enfoque: en lugar de buscar que una mquina pueda engaar a un juez, o demostrar una habilidad superior en un juego u otra actividad que demande inteligencia; analicemos el caso de aquellas que pretenden realizar tareas simples. Obviamente, tareas simples tpicamente reservadas a los seres humanos y que demanden inteligencia comenzando por el reconocimiento del lenguaje natural; por ejemplo: Atencin a Clientes. En este caso, la inteligencia no pasa ni por la capacidad de prender ser humano, ni por la habilidad para jugar excelentemente un juego; pasa por poder responder en

En futurologa, la singularidad tecnolgica (tambin llamada simplemente la Singularidad) es un evento futuro en el que se predice que el progreso tecnolgico y el cambio social se acelerarn debido al desarrollo de Inteligencia Artificial, cambiando nuestro entorno de manera tal, que cualquier ser humano anterior a la Singularidad sera incapaz de imaginar.

el sistema estaba basado en 30 nodos RS/6000 SP Thin P2SC con un poder de 11.38 Gflops.

_____________________________________
forma similar a un humano, preguntas sobre un determinado conocimiento, tendientes a brindar informacin y asistencia. campo de

Inteligencia Artificial: la prueba de Folstein

Esta actividad demanda de capacidades cognitivas espaciales, temporales y lgicas. Durante aos los psiquiatras han utilizado el Test de Folstein o MMSE, Mini Mental Status Examination, para tener una aproximacin en forma rpida y simple del estado cognitivo de los seres humanos. Este mismo test fue utilizado con xito en Julio de 2011 para evaluar la capacidad de un Agente Virtual. Claudia, el Agente Virtual sometido al test, dio respuesta satisfactoria a los mismos requerimientos a los que es sometido un ser humano. Vase el apndice 1 para una trascripcin del test. Desde luego, el Agente Virtual bajo anlisis podra estar entrenado para responder nicamente las preguntas del MMSE sin mayores capacidades, haciendo que la prueba misma pierda sentido. No obstante, si producimos variaciones en el MMSE (estructura de las oraciones, tipo de clculo, ubicacin geogrfica, cambio en los objetos a recordar, etc.), y el Agente Virtual responde consistentemente en forma satisfactoria al test, podramos concluir que al menos dentro del alcance de la prueba, este exhibe un comportamiento como el que esperaramos de un ser humano con sus capacidades cognitivas intactas***. Si estas inteligencias artificiales pueden mostrar ante el test de Folstein, un comportamiento como el de los seres humanos, el mismo enfoque positivista de la Prueba de Turing, no llevara a afirmar que el Agente Virtual en cuestin, es inteligente. Pero piensan? La respuesta, de consecuencias filosficas no menores, escapa al alcance de este trabajo. Este enfoque, sin embargo, nos permite s imaginar un mtodo alternativo para evaluar la inteligencia de las mquinas: una extensin del MMSE con crecientes grados de complejidad. El mismo tiene como principal beneficio el desarrollo de capacidades que son tiles para resolver problemas concretos de las organizaciones. Veamos el siguiente dilogo realizado el lunes 26 de Septiembre de 2011, con el mismo Agente Virtual, y algunas de las capacidades examinadas:

Se utiliz un Agente Virtual que utiliza el BG200K desarrollado por BotGenes.

*** El MMSE se usa frecuentemente para identificar deterioros y/o prdidas de capacidades como los propios de demencia senil.

_____________________________________
Ubicacin temporal T: que fecha es hoy Claudia: Hoy es lunes 26. T: cuanto falta para el fin de semana Claudia: Hum... 5 das. T: en qu estacin estamos? Claudia: Aqu estamos en primavera. Ubicacin espacial T: donde? Claudia: Ahora estoy en San Isidro. T: donde queda eso? Claudia: A unos 25 km de Buenos Aires, en Argentina. Capacidad de clculo T: cuanto es 1717 dividido 13 Claudia: Si no me equivoco es 132,08. T: cual es la raiz quinta de 268435456 Claudia: Es 48,5 si no me equivoco. T: tengo 35 aos Claudia: OK. Naciste en 1976 cierto? T: cul es el plural de pez Claudia: El plural de "pez" es "peces". T: qu es un and Claudia: Hum... Una de la acepciones ms comunes es: "ave corredora americana, muy veloz, que habita las grandes llanuras, se alimenta de plantas e insectos y anida, como el avestruz, en depresiones del terreno". Memoria y asociacin T: el esposo de mi hermana se llama Juan Claudia: Bien. Hblame sobre l. T: como se llama mi cuado? Claudia: Hum... No estoy muy segura. Tal vez...? Me dijiste que se llamaba Juan. Razonamiento lgico T: los gatos son mamferos Claudia: Muy bien. Y qu ms puedes decir en relacin a "gatos" o "mamferos"? T: los mamferos son vivparos Claudia: OK. Todos los gatos son vivparos entonces. T: algunos peces son vivparos Claudia: Bien. Y qu ms puedes decir en relacin a "peces" o "vivparos"? T: los mamferos son vivparos Claudia: Bien. Tanto puede como no, que haya peces que sean mamferos.

Inteligencia Artificial: la prueba de Folstein

Capacidad lingstica

Ntese que en todos los casos la interpretacin del lenguaje natural requiri el manejo de mltiples referencias contextuales, y que los errores gramaticales y ortogrficos no fueron un impedimento para interpretar las consignas dadas (al igual que un humano, el cual puede salvar dichos errores).

_____________________________________
Conclusiones
Si bien la pregunta pueden las mquinas pensar? admite un amplio nmero de interpretaciones y posibles respuestas; desde un punto de vista prctico, la capacidad de procesamiento actualmente disponible y el desarrollo de las tcnicas propias del Procesamiento del Lenguaje Natural, permiten aplicaciones en las cuales es necesaria cierta capacidad cognitiva, hasta hace poco, asociada exclusivamente a los seres humanos. As, el comportamiento exhibido por ciertos Agentes Virtuales actuales, en circunstancias y contextos definidos, puede ser considerado inteligente y equivalente al que evidenciaran seres humanos de capacidad media, en iguales condiciones. Esto permite un sin nmero de aplicaciones en las organizaciones: Atencin a Clientes, Soporte a Usuarios, Capacitacin, etc. Una extensin del Test de Folstein o MMSE ofrece un mtodo alternativo (a la Prueba de Turing) para el desarrollo y refinamiento de cerebros artificiales, logrando una re-orientacin de esfuerzos hacia fines de mayor utilidad y aplicacin prctica.

Inteligencia Artificial: la prueba de Folstein

Referencias
[1] Turing, A.M. Computing machinery and intelligence. 1950. Mind, 59, 433-560. [2] Dorfman M., Grondona A., Mazza N., Mazza P. Asistentes Virtuales de Clase como complemento a la educacin universitaria presencial. SADIO - 40 JAIIO Mayo 2011. http://www.sustentum.com/sustentum/pubs/AVC_JAIIO40_V1.0.pdf [3] Goldberg K. The Robot in the Garden: Telerobotics and Telepistemology in the Age of the Internet, The MIT Press; 1St Edition edition (March 20, 2000) MIT Press, ISBN-13: 978-0262072038. [4] BotGenes, Claudia, primer ser virtual en pasar un MMSE 2011. http://www.youtube.com/watch?v=UaoukeC6FPI [5] John Searle J. Minds, Brains and Programs. The Behavioral and Brain Sciences. 1980. [6] Ferrucci D. et all, Building Watson: An overview of the DeepQA Project. 2010. ISSN 0738-4602. http://www.stanford.edu/class/cs124/AIMagzine-DeepQA.pdf [7] The Loebner Prize in Artificial Intelligence http://www.loebner.net/Prizef/loebner-prize.html [8] Kurzweil R. The Singularity is near. When Humans Transcend Biology 2005 Viking Press. ISBN: 0670033847.

_____________________________________
Apndice 1: MMSE administrado a Claudia, el 1 de Julio de 2011 (fragmento)
T : Qu da de la semana es hoy?

Inteligencia Artificial: la prueba de Folstein

Claudia : Hoy es lunes. T : Bien. Qu fecha?

Claudia : Hoy es lunes primero. T : De qu mes?

Claudia : Estamos en julio. T : Y en qu ao estamos?

Claudia : Estamos en el 2011. T : Qu estacin es esta?

Claudia : Aqu estamos en invierno. T : Dnde ests ahora?

Claudia : Estoy en casa. T : Muy bien. En qu ciudad?

Claudia : Estoy en San Isidro. T : En qu provincia o estado ests?

Claudia : En el norte del conurbano bonaerense, en la Provincia de Buenos Aires. T : De qu pas?

Claudia : Argentina. T : Por favor recuerda: casa, zapato y papel.

Claudia : Bien. Tratar de recordarlo. T : Cunto es 100 menos 7?

Claudia : Es 93 si no me equivoco. T : Muy bien. Menos 7.

Claudia : OK. Dejame ver... Es 86. T : Y menos 7.

Claudia : Algo as como 79. T : Bien. Menos 7.

Claudia : Algo as como 72. T : Muy bien. Menos 7.

Claudia : OK. Es 65. T : Qu te haba pedido que recuerdes?

Claudia : Me pediste que recordara: "casa zapato y papel". T : Qu es una lapicera?

Claudia : Una lapicera? Es un elemento para escribir. T : Bien. Y qu es un reloj?

_____________________________________
Claudia : Segn la Real Academia Espaola, una de las acepciones ms comunes es: "mquina dotada de movimiento uniforme, que sirve para medir el tiempo o dividir el da en horas, minutos y segundos". T : Por favor repite tres perros en un trigal.

Inteligencia Artificial: la prueba de Folstein

Claudia : Tres perros en un trigal. T : Bien. Por favor mira hacia la derecha.

Claudia : Bien. Hacia la derecha? Bien. [Claudia mira hacia la derecha] T : Ahora, por favor mira hacia la izquierda.

Claudia : Hacia la izquierda? Bueno. . [Claudia mira hacia la izquierda] T : Por ltimo, mira hacia arriba.

Claudia : Hacia arriba? OK. [Claudia mira hacia la arriba] T : Bien, gracias. Ahora le lo siguiente y realiza el pedido: sonre.

Claudia : OK. Que sonra? Bueno... [Claudia sonre] T : Escribe una oracin.

Claudia : Hay mucha gente que no cree en nada, pero que tiene miedo de todo. T : Bueno, deb haberte pedido que sea original... Puedes copiar un dibujo?

Claudia : Claro. Puedo duplicar archivos en mltiples formatos. T : Lo siento. No est digitalizado.

Claudia : OK. No te preocupes. Algo en lo que pueda ayudarte? T : Buena respuesta. Olvdalo, hemos concluido. Muchas gracias.

Claudia : Bien. De nada.

10