TEMA 3

REPRESENTACIÓN
parte 2
¿Cómo procesa el cerebro?
 La investigación reciente en redes neuronales, biológicas y
artificiales, ha permitido comenzar a entender cómo funciona el
cerebro biológico

 El estudio de los patrones de activación y de interconexión

neuronal nos permite entender cómo se producen las
experiencias sensoriales y las respuestas motoras, cómo se
representan los conceptos, cómo se guardan en la memoria
nuestros recuerdos o cómo se producen las reacciones
emocionales
 ¿Cómo procesa el cerebro?
Una pregunta central en neurociencia es cómo el cerebro usa la
información que hay en las neuronas para crear percepciones
(representaciones) y guiar la conducta.
¿Cómo procesa el cerebro?
 ¿Cómo procesa el cerebro?
En neurociencia cognitiva, existe un acuerdo generalizado en el
hecho de que para dar cuenta de la conducta se requieren
explicaciones en términos de representaciones y computaciones
de estas representaciones
Patrones de activación como
representaciones
¿Cómo representa el cerebro el
mundo?
 Dos tipos de representaciones:

Representaciones “actuales” en MT = patrones de

activación neuronal sostenida
 La experiencia que tenemos en un momento dado, nuestro “aquí y ahora” (vg.,
lo que sentimos, lo que pensamos, lo que vemos, lo que movemos…)

Representaciones “almacenadas” en MLP = patrones de

configuraciones sinápticas
 That configuration of carefully tuned connections dictates how the brain will react to the
world (vg., cómo reconocer una cara, esquivar un autobús en medio de la carretera o a
un depredador en la jungla, cómo contestar al teléfono móvil o atrapar un objeto, etc.)
 Representaciones “actuales”
What about the specific and fleeting features of the brain's
immediate sensory environment? What about its ongoing
experience? What about the ebb and flow of the here and now?
These more fleeting facts get represented by a fleeting
configuration of activation levels in the brain's many neurons,
such as those in the retina and visual cortex. Neurons do not
change their mutual synaptic connections very quickly: like the
wiring inside a TV set, the connections between neurons are
relatively stable. But neurons can change their internal activation
levels in a twinkling, and they do.
Representaciones “actuales”
Neurofisiología de la MT
single cell recording in delayed-response task
 Representaciones “almacenadas”
To acquire those capacities for recognition and response is to learn
about the general causal structure of the world, or, at least, of that
small part of it that is relevant to one's own practical concerns.
That knowledge is embodied in the peculiar configuration of one's 1014
individual synaptic connections. During learning and development in
childhood, those connection strengths, or "weights" as they are
often called, are set to progressively more useful values.

El aprendizaje consiste en el ajuste gradual de las

configuraciones sinápticas (pesos) entre neuronas
 Tipos de representaciones
 Representaciones localistas
 Representaciones distribuidas
 Representaciones localistas

neuronas “concepto” o “Jennifer Anniston neuronas individuales que responden a

neuron” un determinado tipo de orientación
Representaciones “distribuidas”
La potencia de la codificación vectorial

¿Por qué somos mucho mejores

discriminando sensaciones
(colores, gustos, olores…) o
caras, qué describiéndolas
verbalmente?
Representaciones “distribuidas”
Representación sensorial

Gusto
Receptor A = dulce
Receptor B = agrio
Receptor C = salado
Receptor D = amargo
Representaciones “distribuidas”
“Espacio de estados” para el gusto
El patrón de activación que representa a un
melocotón es más similar al de una fresa que al
de un ajo, por tanto estarán más cerca en el
espacio de estados

A B C D
receptores
Representaciones “distribuidas”
“Espacio de estados” para el gusto
Ejercicio
Si se pueden discriminar, por ejemplo, 10 niveles
distintos de activación a lo largo de cada una de
las 4 dimensiones para cada receptor ¿Cuántos
patrones de 4 elementos, o sabores, podríamos
representar o discriminar?
Vector o patrón de activación

 Un vector es sencillamente una conjunto

ordenado de valores numéricos (una lista de
números). Por ejemplo: [1.2, 4.5, 9, 3]

 Mediante un vector podremos representar las

activaciones de un determinado conjunto de
neuronas formando lo que se denomina
patrón de activación.
Representaciones “distribuidas”
Representación de caras

A B C
Rasgos, dimensiones, de la cara

Simplificando la forma de
representarlas, vamos a suponer
B
que podemos representar las caras
A
mediante tres características: la
separación de los ojos (A), la
amplitud de la nariz (B), y el grosor
C
de los labios (c)
Representaciones “distribuidas”
Representación de caras

A B C
Rasgos, dimensiones, de la cara

B
A

C
Representaciones “distribuidas”
“Espacio de estados de caras”

A B C

Para simplificar consideraremos el nivel de activación de

cada neurona acotado entre 0 y 1 (hemos hecho un
reescalado). Supondremos que el nivel de activación 1 se
corresponde con el máximo valor de cada variable que
describe una cara.
Máximo grosor labio ---> 1 0 0.5 1
Mínimo grosor labio ---> 0
Grosor labio intermedio ---> 0.5
 Representaciones “distribuidas”
Representación de caras
 Ejercicio
¿Cuál es el patrón de activación
que emerge en esta capa de
neuronas (vector) ?
Solución
Sería una cara con:
 ojos muy separados (1)
 nariz muy estrecha (0)
 labios medianamente gruesos (0.5)
Vector = [1, 0, 0.5]
 Representaciones “distribuidas”
Representación de caras
 Ejercicio
¿Cuál es el patrón de activación
que emerge en esta capa de
neuronas (vector) ?
Solución
Sería una cara con:
 ojos medianamente separados (0.5)
 nariz muy ancha (1)
 labios poco gruesos (0.3)
Vector = [0.5, 1, 0.3]
Computación cerebral:
Transformación de patrones
Computación cerebral:
Transformación de patrones
Las células de la retina (matriz de píxels
netinputi = ∑ aj wij
3x3) son “ciegas” a lo que están
ai = f (netinputi)
representando, pero a medida que
propagan su activación a través de
sucesivas capas de neuronas, se forman
conexiones (circuitos) especializadas
para detectar determinados patrones de
activación (en este caso letras, como la
“T” o la “U”).

La neurona post-sináptica es una “T

detectora”, y alcanzará su máximo nivel
de activación con el patrón visual que se
muestra: células o píxeles A1, A2, A3, B2
y C2 activados (on), y píxeles B1, B3, C1
y C3 desactivados (off) .
La letra “T” es su “estímulo preferido”.
Computación cerebral:
Transformación de patrones
Computación cerebral:
Transformación de patrones
Células detectoras de rasgos faciales
Computación cerebral: Agnosia facial
Transformación de patrones  Daño en región específica del lóbulo
temporal (zona “visual”)
 Pérdida de la capacidad específica de
reconocimiento facial (caras conocidas), y
del aprendizaje de caras nuevas
 No dificultad en el reconocimiento visual de
otros objetos (info de la retina intacta)
Computación cerebral:
Transformación de patrones
NetTalk transforma patrones visuales en fonológicos
Tarea de lectura

fonemas

letras
Computación cerebral:
Transformación de patrones
NetTalk transforma patrones visuales en fonológicos
Tarea de lectura

fonemas

letras
Almacenamiento de representaciones
MLP

 ¿Cómo almacenan las sinapsis las representaciones, los

diferentes patrones de activación?
 El sentido común nos podría llevar a creer que las sinapsis son como una
especie de ficheros o documentos que contienen en forma “escrita” la lista de
las cosas que sabemos. Pero las sinapsis no contienen la lista de las
cosas que sabemos como si fueran ficheros de ordenador. La forma con
la que las sinapsis almacenan cosas es un poco más complicada de
entender…
¿Cómo almacenan las sinapsis las representaciones,
los diferentes patrones de activación?

patrón de entrada = (0.47, 0.65)

¿Qué patrón de salida tendremos si
ahora el patrón de entrada es (1, 1) ?

netinputi = ∑ aj wij
ai = netinputi
 ¿Cómo almacenan las sinapsis las representaciones,
los diferentes patrones de activación?

Podemos suponer que esta red asocia

Patrones de entrada y activación de la neurona de
imágenes de caras (patrón de entrada)
salida del circuito con los pesos dados
con los nombres correspondientes
(neurona de salida) Entrada Salida

Patrón Neurona 1 Neurona 2 Neurona 3

Patrón 1 1 1 0,8
J. Anniston

Patrón 2 0.5 1 0.45

B.Clinton

Patrón 3 0.25 0.25 0.2

Lady Gaga

Patrón 4 0.47 0.65 0.39

Donald Trump
¿Cómo almacenan las sinapsis las representaciones,
los diferentes patrones de activación?

Al colocar el patrón de entrada (patrón que emerge al contemplar la

imagen de alguien) las sinapsis consiguen que en la salida aparezca el
nombre de este alguien. Es el resultado de computar el netinput y
luego aplicar la función de activación, lo que hace que emerja un
determinado patrón en el output. Es un patrón que estaba almacenado
(o dormido) y ahora está activo gracias a que el patrón de entrada lo
hemos operado matemáticamente con los valores de la sinapsis.
Multiplicamos el vector de entrada por la matriz de pesos de las
conexiones (la eficacia de las sinapsis). De esta forma, aunque un poco
más complicada, es como el cerebro activa representaciones
almacenadas y desactiva estas representaciones (al presentar un nuevo
patrón en la entrada).
Transformación de patrones de activación
De la forma anterior es como pueden convertirse las
representaciones “almacenadas” en representaciones “actuales”

Modelo de MT de Cowan.
La información que está en “foco de
atención”, en la MT, es la parte
máximamente activada de la
información que tenemos en MLP en
un momento dado.
No se “copia” la información de la MLP
para llevarla a la MT (como hacen los
ordenadores o proponen los modelos
de “múltiples componentes”)
Aprendizaje
Ajuste de las conexiones sinápticas (pesos)
 ¿Cómo se ajustan los pesos de las conexiones? ¿Cómo
“saben” las neuronas cuál es el valor adecuado de los pesos?
Podemos suponer que la neurona 3 es una neurona de las de salida de
NetTalk. Podemos suponer que el circuito en un momento preciso del
proceso de aprendizaje pronuncia mal la “th” del inglés en palabras como
“the” o “thousands”. El sonido se parece más al sonido de la “z” en
“zapato” que al sonido de la “th” propia del inglés estándar. Para conseguir
Neurona 3 la pronunciación correcta, en lugar de tener como activación 0.39 la
neurona 3 de la figura 1 habría de tener una activación de 0.44. Con un
0.44 tendríamos la pronunciación perfecta de la consonante “th”.
¿Qué tendríamos que hacer para conseguir este 0.44?
La respuesta es modificar las sinapsis. Si la primera sinapsis en lugar de
valer 0.7 vale 0.8 tendríamos un output de 0.44. La pronunciación perfecta.

0.47*(0.8) + 0.65*(0.1) = 0.44

Aprendizaje
Ajuste de las conexiones sinápticas (pesos)

Hemos simplificado un poco ya que en una red

compleja, como NetTalk, es la modificación de
bastantes más sinapsis y no sólo con una con lo que
fonemas lograríamos este 0.44. La red neuronal NetTalk tenía
unas 400 neuronas y unas 20000 conexiones o sinapsis.
Aprender consiste en modificar sinapsis intentando
con ello que el output del circuito se ajuste lo más
posible al output idealmente correcto. NetTalk pues
tenía que ajustar estas 20000 sinapsis y lo hacía con
1000 ejemplos de entrenamiento. Sin ejemplos de
entrenamiento y el tiempo suficiente para procesarlos
no es posible ajustar nada.
letras El proceso por el cual las sinapsis se modifican se puede
modelizar matemáticamente y estas matemáticas, dado
un conjunto de ejemplos suficiente, garantizan que la
red de neuronas aprenderá la tarea correctamente.
Aprendizaje
Ajuste de las conexiones sinápticas (pesos)

Se aprende a asociar patrones

mediante un proceso de ajuste
de las eficacias de las sinapsis
(pesos de las conexiones) que Patrón B
/Donald Trump/
se lleva a cabo en los circuitos
neuronales.

Para que el proceso de

aprendizaje tenga lugar los
patrones se han de ‘presentar’
más o menos simultáneamente. Patrón A
Aprendizaje
Ajuste de las conexiones sinápticas (pesos)

Regla de Hebb
“When an axon of cell A is near enough to excite a cell B, and
repeteadly takes part in firing it, some growth process or
metabolic change takes place in both cells such that A's
efficiency as one of the cells firing B is increased”
∆wij = β·ai·aj
Aprendizaje
Ajuste de las conexiones sinápticas (pesos)
 Pero un mismo conjunto de
neuronas (unidades) es el que
representa todos los posibles
casos o patrones del tipo A
(caras) y del tipo B (nombres) Patrones B

Caso 1 Donald Trump

Caso 2 Lady Gaga

.
.
. Patrones A
.
Caso n Albert Einstein
 Regla de Hebb
Ajuste de las conexiones sinápticas (pesos)
caso 1 caso 2
∆wij = β·ai·aj

 Cuando una neurona del patrón A y otra del

patrón B están activadas al mismo tiempo,
aumentará la eficacia de la sinapsis (peso)
entre las dos. El incremento de la eficacia de
la sinapsis (peso) o de la fuerza de la
conexión entre las dos neuronas (∆wij), será
proporcional al producto de sus activaciones mismos pesos para
simultáneas (β·ai·aj). los dos casos

 Aunque el cerebro “real” utiliza algoritmos de

aprendizaje más sofisticados que la regla de
Hebb para ajustar los pesos, podemos ver
cómo con un mismo conjunto de pesos y de
neuronas se pueden asociar correctamente
diferentes casos o ejemplos.
Ejercicio : ¿Cuanto han de valer los pesos
para que se puedan asociar estos patrones?

Input output
P1 1 0 1 1
P2 0 1 1 0

ai= 2 net i
Solución P1 10 11
a3= 2 net 3= 2(a1 w31 + a2 w32)

1 = 2(1 . W31 + 0. W32) = 2 w31

W31= 0.5
Solución P1 10 11
a4= 2 net 4= 2(a1 w41 + a2 w42)

1= 2(1 . W41 + 0 . W42) = 2 w41

W41= 0.5
Solución P2 01 10
a3= 2 net 3= 2(a1 w31 + a2 w32)

1= 2(0 . W31 + 1 . W32) = 2 w32

W32= 0.5
Solución P2 01 10
a4= 2 net 4= 2(a1 w41 + a2 w42)

0 = 2(0 . W41 + 1 . W42) = 2 w42

W42= 0
Valores de los pesos

Input output
P1 1 0 1 1 W32 W41
P2 0 1 1 0 W31 W42

W31=0.5
W32= 0.5
W41=0.5
W42=0
Valores de los pesos

Input output
P1 1 0 1 1 0.5 0.5
P2 0 1 1 0 0.5 0

W31=0.5
W32= 0.5
W41=0.5
W42=0
Patrón P1 1 0 1 1

Input output
P1 1 0 1 1 0.5 0.5
P2 0 1 1 0 0.5 0

W31=0.5
W32= 0.5
1 0
W41=0.5
W42=0
Patrón P1 1 0 1 1

1 1
Input output
P1 1 0 1 1 0.5 0.5
P2 0 1 1 0 0.5 0

W31=0.5
W32= 0.5
1 0
W41=0.5
W42=0
Patrón P2 0 1 1 0

1 0
Input output
P1 1 0 1 1 0.5 0.5
P2 0 1 1 0 0.5 0

W31=0.5
W32= 0.5
0 1
W41=0.5
W42=0