Ficha Multimodalidad 2017 PDF

Universidad de Buenos Aires - Facultad de Filosofa y Letras
Anlisis de los lenguajes de los medios masivos de comunicacin (Pardo)
Semitica social y multimodalidad

Herramientas para el anlisis de textos
Preparacin y adaptacin de los textos:

Roco Flax y Diego Forte
1. Introduccin: la Semitica Social

El concepto de Semitica Social fue introducido por M.A.K. Halliday en su libro
Language as Social Semiotic (1978). Los hablantes, cada vez que utilizan el lenguaje,
seleccionan determinadas opciones de aquellas disponibles para formar textos.
Lingstica Sistmico-Funcional se centr, en un principio, en el estudio del lenguaje
verbal.
Robert Hodge y Gunther Kress (1988) retoman el concepto de Semiotica Social,
pero desde una perspectiva crtica, concentrndose en la relacin entre los diversos
sistemas semiticos y las prcticas sociales. De acuerdo con estos autores (1988: vii), el
significado reside en diferentes sistemas, por lo que el anlisis de la dimensin verbal
no es suficiente. Una teora acerca del lenguaje verbal debe ser ubicada en el contexto
de todos los sistemas de significacin socialmente constituidos. En estos trminos, la
comunicacin debe ser vista como un proceso antes que como un cmulo de
significados. Los significados son producidos y reproducidos en el contexto de
condiciones sociales especficas a travs de diferentes medios y por diferentes agentes.
Existen en relacin a sujetos y objetos concretos y solo pueden ser explicados en
trminos de las relaciones que stos contraen entre s:
Society is typically constituted by structures and relations of power, exercised or

resisted; it is characterized by conflict as well as cohesion, so that the structures of meaning
at all levels, from dominant ideological forms to local acts of meaning will show traces of
contradiction, ambiguity, polysemy in various proportions, by various means. So for us,
texts and contexts, agents and objects of meaning, social structures and forces and their
complex interrelationships together constitute the minimal and irreductible object of object
of semiotic analysis. (Hodge & Kress, 1988: viii). 1
1 La sociedad est generalmente constituida por estructuras y relaciones de poder, ejercido o resistido; y est
caracterizada por el conflicto, as como tambin por la cohesin, de manera que las estructuras de significado en
todos los niveles, desde las formas ideolgicas dominantes a los actos locales de significado mostrarn trazas de
1
2. El concepto de multimodalidad: extendiendo la experiencia del cambio

Kress y van Leeuwen (1996: 6) inscriben su trabajo dentro del marco de la
Semitica Social, estableciendo que su modelo de anlisis de imgenes como una rama
dentro de la teora madre.
En sentido estricto entendemos por multimodalidad la combinacin de diferentes
modos semiticos en un mismo evento comunicativo (van Leeuwen, 2005: 28). Esta
definicin implica la inclusin de diferentes recursos semiticos codificados y
contextualizados que contribuyen a la creacin de un significado unificado. Estos
diferentes recursos pueden ser visuales, auditivos o lingsticos, y establecen relaciones
entre ellos para configurar lo que denominamos discurso multimodal.
Kress y van Leeuwen (1996) adoptan varios postulados de la lingstica sistmico-
funcional de M.A.K. Halliday, entre ellas, la multifuncionalidad de lenguaje. De este
modo, se mantienen las tres funciones bsicas definidas por este autor: ideacional,
interpersonal y textual.
2.1. Funcin ideacional

As como la clusula en Halliday (2004), cada recurso semitico debe ser capaz
de representar aspectos de la experiencia humana, es decir, debe poder representar
objetos, eventos y sus relaciones con el mundo (quantum).
Al analizar imgenes, Kress y van Leeuwen distinguen participantes, procesos y
circunstancias. Los participantes involucrados son los siguientes:
- participantes interactivos: participantes involucrados en el evento

comunicativo. El emisor o constructor del texto y el receptor o destinatario.
- participantes representados: seres o cosas a las cuales se refiere el texto
multimodal.
Los participantes representados se diferencian a partir de sus volmenes y

masas. Los participantes que se denominan volmenes se distinguirn por sus
diferentes tamaos, formas, colores, etc., mientras que las masas sern figuras ms
simples, solo distinguibles por su tamao.
contradiccin, ambigedad y polisemia en diversas proporciones, por diversos medios. Por ello, para nosotros, los
textos y contextos, agentes y objetos de significado, las estructuras sociales y las fuerzas y sus interrelaciones
complejas en conjunto constituyen el objeto irreductible y mnimo del anlisis semitico. (1988: viii). La traduccin
es nuestra.
2
Tambin consideran las siguientes circunstancias:

- Circunstancia de lugar: refiere a la escena que enmarca a los participantes. Esto
supone un contraste entre primer plano y fondo: 1) Los participantes pueden estar en
primer plano tapando parte de la escena. 2) La escena esta dibujada con menos detalle
(o en una foto, con un foco ms suave). 3) la escena est menos saturada en color,
tendiendo todo al mismo tono 4) La escena es ms oscura o ms clara (sobreexpuesta:
aire etreo) que el primer plano.
- Circunstancia de instrumento: no suele haber un vector claro entre la herramienta y su
usuario. Algunas veces la herramienta misma es el vector que realiza el proceso.
- Circunstancia de compaa: se refiere a lo que acompaa al protagonista de la imagen
o participante principal: esta es la foto de Mengano con su bebe.
En cuanto a los procesos podemos decir que son caracterizados en trminos de

tensiones, vectores o fuerzas dinmicas. Esto implica una descripcin un poco ms
amplia que la realizada por Halliday (2004), pero solo a efectos de poder cubrir los
cambios que implican las imgenes.
El anlisis propuesto por estos autores diferencia entre un modelo accional2 y un

modelo relacional. Es importante destacar que los participantes pueden estar actuando o
no. En el segundo caso se lo toma como un proceso relacional, donde solamente se
describen sus caractersticas: ropa, pelo, herramientas, etc. Cuando se trata de imgenes
naturalsticas, dentro de los procesos accionales se pueden enmarcar procesos
relacionales (siempre representan los atributos y las cosas que poseen los retratados
estn o no haciendo algo).
2.1.1. Procesos
Los procesos se caracterizan a partir de un modelo accional. Siempre que
representan acciones tienen una direccionalidad. Si hubiera algn vector que une
2. El modelo accional de la Lingstica Crtica (Hodge y Kress, 1979) se basa en el anlisis de

transitividad, es decir participantes y procesos, propuesto por Halliday (2004) pero un poco ms
simplificado: solo diferencia entre procesos que involucran a un participante (llamados no transactivos) o
a procesos que sean iniciados por un participante y tengan algn tipo de efecto sobre un segundo
participante (llamados transactivos).
3
participantes, pero no tienen direccin se convierten en una estructura analtica

(relacional) del tipo de estn conectados o estn relacionados.
1. El actor es el participante del cual sale el vector y con el cual puede estar
fusionado en diferentes grados. El mismo actor puede ser el vector. Por lo
general, es el participante ms saliente debido al color, tamao, contraste, etc. y
segn los parmetros de la prominencia psicolgica (por ejemplo, la figura
humana y, sobre todo, el rostro tienen para los humanos una mayor prominencia
que otras figuras).
2. Puede aparecer solamente la meta: consideramos a esos procesos eventos,
algo le sucede a alguien pero no podemos ver quin o qu lo hacen suceder. El
actor puede estar borrado o puede aparecer solo en una parte muy pequea (por
ej. una mano golpeando a una persona) y volverse annimo.
3. Hay que tener en cuenta si se trata de estructuras transaccionales
unidireccionales o bidireccionales (en ese caso, se considera a los participantes
interactuantes).
4. Dentro de los procesos (tanto transactivos como no transactivos) podemos
encontrar procesos materiales, de reaccin (percepcin: visuales, auditivos,
etc.), verbales y mentales.
5. Un fenmeno que puede darse en las imgenes es la conversin: cuando hay una
cadena de participantes. Donde 1 es actor del proceso 1, 2 es meta del proceso 1
y actor del proceso 2, y 3 es meta del proceso 2.
2.1.1.2. Procesos relacionales

Procesos de clasificacin
Los participantes pueden ser representados en trminos de sus caractersticas
ms o menos estables, su estructura o su significado. Los procesos de clasificacin
(kind of) relacionan a los participantes entre ellos a travs de taxonomas. Por
ejemplo, una relacin entre hipnimos e hipernimos (este ltimo puede o no estar
presente: taxonoma encubierta).
Una caracterstica crucial de las taxonomas encubiertas es la equivalencia entre
los hipnimos: esto se puede producir a travs de la composicin simtrica, la distancia
similar entre cada uno, el mismo tamao y la orientacin con respecto a los ejes
horizontales y verticales. Si lo que se quiere mostrar es lo estable y permanente de la
4
clasificacin, los participantes se muestran de forma descontextualizada: el fondo plano

y neutral; la profundidad, reducida o ausente; y el ngulo, frontal y objetivo.
Procesos analticos (part of)

Relacionan a los participantes en trminos de una estructura de parte/todo. Un
participante representa el todo y las partes estn constituidas por atributos posesivos.
Ejemplo: un dibujo que muestre el uniforme y adminculos de un bombero.
Las lneas del tiempo se encuentran a mitad de camino entre procesos analticos y
narrativos. Tienen el elemento temporal y esto sugiere narracin, pero las lneas no son
vectoriales: no representan la historia como eventos que se van desarrollando, sino
como estadios sucesivos con caractersticas fijas y estables, estadios que pueden ser
tratados como objetos.
Procesos analticos exhaustivos e inclusivos: un proceso es exhaustivo cuando
representa exhaustivamente todos los atributos posesivos del participante. No hay
espacios vacos, todo est ensamblado. Un proceso inclusivo es cuando solo muestra
alguno de los atributos posesivos, dejando mucho del participante sin decir. El punto no
es que, en efecto, el anlisis sea exhaustivo o no, sino que, en el anlisis, el participante
es tratado como si fuera exhaustivamente representado, como si tuviera solo esos
componentes y ningn otro.
Procesos topogrficos y topolgicos: cuando la estructura analtica es topogrfica, los
elementos son ledos como representando con precisin las relaciones fsico-espaciales
y las locaciones relativas de los atributos. Cuando las estructuras analticas son
topolgicas, son ledas como representando acertadamente las relaciones lgicas entre
los participantes (si tienen lmites comunes, si estn parcial o completamente incluidos
uno en otro, segn la secuencia en la que estn conectado, etc.), pero no la distancia real
o el tamao.
Procesos simblicos
Los procesos simblicos (comparables, a veces, a los identificativos en el
lenguaje verbal) son aquellos que muestran lo que un participante es o significa. Los
procesos simblicos atributivos constan de dos participantes: 1) la entidad relacionante
y 2) el participante que representa el significado de la identidad misma (el atributo
simblico). Estos son objetos que tienen una o ms de las siguientes caractersticas:
5
1) Sobresalen en la representacin de alguna manera (puede ser porque estn en

primer plano, o por el tamao, la luz, el detalle, el foco, el color o el tono).
2) Son sealados por medio de un gesto que no puede ser interpretado como una
accin sino solo como la accin de sealar al espectador el atributo simblico.
3) En el conjunto parecen, de alguna forma, estar fuera de lugar.
4) Estn convencionalmente asociados con valores simblicos.
Los participantes humanos en procesos simblicos atributivos posan para el espectador.
Esto no quiere decir que sean retratados de frente, a la altura de los ojos o mirando al
espectador (aunque a veces sea as), sino que toman una postura que no puede ser
interpretada como narrativa. Se encuentran ah por la sola razn de ser mostrados al
pblico.
Los procesos simblicos sugestivos tienen solo un participante (comparables, a
veces, a los existenciales en el lenguaje verbal). No pueden ser interpretados como
analticos porque no suelen enfatizarse los detalles, sino algo que podemos llamar
humor o atmsfera. Esto es lo que le otorga a las pinturas sugestivas su generalidad,
su cualidad de mostrar no un momento especfico sino una esencia generalizada.
Los procesos simblicos sugestivos representan el significado y la identidad
proviniendo de adentro, derivando de las cualidades propias de la entidad, mientras que
los procesos simblicos atributivos representan el significado y la identidad siendo
conferidos a la entidad.
Por ltimo, cabe destacar que las imgenes pueden representar varios procesos
simultneamente: cul de las estructuras es mayor y cul es menor (encuadramiento) se
determina por el tamao relativo y la concupiscencia de los elementos.
2.2. Funcin interpersonal

La imgenes tambin trasmiten significado interpersonal, es decir, vinculado con
los roles sociales que el productor se atribuye a s mismo, a los observadores y a los
participantes representados as como tambin las relaciones sociales entre ellos.
Significados interaccionales: la articulacin y comprensin de significados en las

imgenes deriva de la articulacin de significado social en las interacciones cara a cara.
Es decir, la dimensin interactiva de las imgenes es la escritura de lo que se conoce
como comunicacin no verbal.
6
2.2.1. Acto de imagen y mirada

Existe una diferencia fundamental entre las imgenes que representan
participantes que miran directamente a los ojos del espectador y las imgenes que no lo
hacen. Cuando los participantes representados miran al espectador, se establece entre
ambos un proceso verbal de percepcin visual. Esta configuracin visual tiene dos
funciones relacionadas: 1) crea una forma visual de destinacin directa, se dirige
explcitamente al observador; 2) Constituye una imagen-acto, el productor utiliza la
imagen para hacerle algo al observador. Constituyen una demanda (funcin apelativa
del lenguaje): la mirada y los gestos del participante demandan algo del observador: que
entre en algn tipo de relacin imaginaria. Qu tipo de relacin va a depender de otros
elementos, por ejemplo, la expresin facial de los participantes representados. Pueden
sonrer, en cuyo caso se insta al observador a entrar en una relacin de afinidad social.
Puede mirar al observador con desdn, en cuyo caso se pide que el observador se
relacione como un subordinado. O puede mirar con seduccin. Lo mismo aplica para los
gestos.
En todos los casos, la imagen quiere algo del observador. Ya sea que haga algo
(acercarse, mantener la distancia, etc.) o que forme un lazo pseudo-social de un tipo
particular. Y al hacerlo, la imagen define en cierta medida quin puede constituirse
como el observador y excluir a otros.
Otras imgenes se dirigen a nosotros indirectamente. Aqu el observador no es el
objeto, sino el sujeto de la mirada y los participantes representados son el objeto de
escrutinio desapasionado por parte del observador. No se realiza ningn contacto visual
directo. Se las denomina oferta, en tanto el emisor le ofrece los participantes
representados al observador como elementos de informacin, objetos de contemplacin,
como si fueran especmenes en una vitrina.
Cada vez que se retrata personas, es necesario realizar la opcin entre oferta y
demanda, para hacer que los observadores se relacionen con algunos y se mantengan
separados de otros. No cualquiera puede dirigirse al observador directamente. Algunos
son lo pueden ser observados y otros son los dueos de la mirada. Hay una cuestin de
poder comunicativo.
El valor de las imgenes de demanda depende del nivel educativo asumido del
observador. Cuando, por ejemplo, los medios masivos utilizan imgenes de demanda,
las personas educadas en los gneros lingsticos y visuales objetivos y de destinacin
impersonal, pueden sentirse patrocinados, interpelados por debajo de su clase.
7
Aquellos no tan educados (o que impugnan el valor de esa educacin) pueden

considerar que la comunicacin se volvi ms efectiva que cuando la comunicacin
pblica era ms formal e impersonal.
En todos los casos (ofertas o demandas), se trata de actos de imagen (como los
actos de habla pero visuales). Para Halliday hay cuatro tipos bsicos: 1) ofrecer
informacin 2) ofrecer bienes y servicios 3) demandar informacin 4) demandar bienes
y servicios. En las imgenes predomina el ofrecimiento de informacin y la demanda de
bienes y servicios.
2.2.2. Tamao de la toma y distancia social

La eleccin de la distancia en la toma puede sugerir diferentes relaciones entre
los participantes representados y los observadores. El primer plano muestra la cabeza y
los hombros del sujeto. El primersimo primer plano cualquier cosa menor que esto. El
plano medio corto muestra aproximadamente al sujeto desde la cintura y el plano medio
aproximadamente por las rodillas. El plano medio largo (plano entero) muestra la figura
completa. El plano general muestra la figura humana ocupando la mitad del tamao del
cuadro y el plano muy general cualquier cosa ms amplia que eso.
Estos planos muestran equivalencias con lo que podemos observar en una
interaccin cara a cara segn la distancia social que mantengamos. Esta se determina
segn las potencialidades sensoriales (si cierta distancia nos permite tocar, oler o ver a
la otra persona o no). La distancia personal cercana (aquella en la que se puede tocar a
la otra persona) es la distancia entre personas que tienen una relacin ntima. La
distancia personal lejana (aquella que se extiende por fuera de la posibilidad de fcil
contacto hasta aquella donde si ambas personas extendieran sus brazos, sus dedos se
tocaran) es la distancia en la cual se tratan los temas de inters personal. La distancia
social cercana (comienza justo donde termina la anterior) es donde ocurren
transacciones impersonales. La distancia social lejana (aquella en la que uno puede
decir quedate ah que quiero verte) suponen transacciones ms formales e
impersonales. La distancia pblica (cualquier cosa ms lejana que lo anterior) es la
distancia entre personas que permanecen como desconocidos. A estas distancias
corresponden distintos campos de visin.
Con la distancia ntima, vemos solo la cabeza o la cara (corresponde al
primersimo primer plano). Con la distancia personal cercana, observamos la cabeza y
los hombros (corresponde al primer plano). Con la distancia personal lejana, vemos a la
8
persona de la cintura para arriba (corresponde al plano medio corto). Con la distancia
social cercana, percibimos todo el cuerpo de la persona (corresponde al plano medio
largo o plano entero). Con el plano social, captamos a toda la persona y parte de lo que
hay alrededor (corresponde al plano general). Con la distancia pblica, podemos ver a
muchas personas (corresponde al plano general largo). Estas distancias dependen de
relaciones sociales ms o menos permanentes (ntimos, amigos, conocidos, extraos) o
del tipo de relacin social que se establece segn los fines de la interaccin y el
contexto. Las imgenes representan relaciones imaginarias con los observadores (como
si fueran ntimos, amigos, extraos, etc.).
La distancia puede ser utilizada para significar respeto por las autoridades.
El sistema de distancia social puede ser tambin aplicado a la representacin de
objetos. Podemos distinguir al menos tres tipos de distancias significativas entre
personas y objetos, edificios y espacios. En la distancia cercana, vemos al objeto como
si lo estuviramos usando: salvo que sea muy pequeo (como en el caso de un libro)
solo veremos una parte. En la distancia media, percibimos el objeto completo pero sin
espacio (casi) alrededor. Est al alcance del observador, pero no lo est usando. En la
distancia larga, existe una barrera invisible entre el objeto y el observador. El objeto est
all para nuestra contemplacin pero fuera de nuestro alcance.
2.2.3. Perspectiva e imagen subjetiva

Refiere a la seleccin de un ngulo o punto de vista. Esto implica la posibilidad
de expresar actitudes subjetivas hacia los participantes representados. Estas actitudes
suelen ser sociales pero siempre estn codificadas como si fueran subjetivas,
individuales y nicas.
Las imgenes con perspectiva central se presentan como objetivas. Mientras que
las imgenes sin perspectiva central son construidas de forma tal que el observador
pueda ver lo que hay para ver solo desde un punto de vista. El punto de vista de las
imgenes subjetivas con perspectiva fue seleccionado para el observador. Es impuesto
no solo sobre los participantes representados, sino tambin sobre el observador cuya
subjetividad es subjetivada en el sentido original de la palabra: est sujetada a alguien o
algo.
9
Tipos de plano3
Tipo de plano Denominacin y breve explicacin

GPG (Gran Plano General)
Presenta un escenario muy amplio en el que
puede haber mltiples personajes u objetos. Hay
mucha distancia entre la cmara y el objeto que
se registra. Tiene sobre todo un valor descriptivo.
Lo ms importante es que se vea bien el espacio, el
ambiente, el paisaje en el que las personas estn
inmersas. El gran plano general tambin puede
adquirir un valor expresivo cuando se quiere
destacar la soledad o pequeez de las personas
dentro del entorno que les rodea. Debido a las
reducidas dimensiones de la pantalla de televisin
muchos de sus detalles no se pueden apreciar.
PG (Plano General)
Presenta un escenario amplio en el cual se
pueden distinguir bastante bien los personajes.
Tiene sobre todo un valor descriptivo, porque
sita a los personajes en el entorno donde se
desenvuelve la accin. Indica cul es la persona
que realiza la accin y dnde est situada (acta
como el sujeto de una frase); no obstante tambin
puede mostrar varias personas sin que ninguna de
ellas destaque ms que las otras. El plano general
permite apreciar bastante bien la accin que
desenvuelven los personajes, de manera que
tambin aporta un cierto valor narrativo.
Cuando se utilizan planos generales hay que dar
tiempo al espectador para que pueda ver todos los
elementos que aparecen, de manera que el ritmo del
material audiovisual quedar ralentizado.
3. En Marqus Graells (1995)
10
PE (Plano Entero)
Es ya un plano ms prximo que puede tener como
lmites de la pantalla la cabeza y los pies del
personaje, que por lo tanto se ve entero. Aporta
sobretodo un valor narrativo, ya que muestra
perfectamente la accin que desarrollan los
personajes. El plano entero tambin puede tener
cierto valor descriptivo dado que permite
apreciar las caractersticas fsicas generales del
personaje.
PA (Plano Americano)
Es un plano medio ampliado que muestra los
personajes desde la cabeza hasta las rodillas.
En este plano lo que interesa sobretodo es mostrar
la cara y las manos de los personajes; por lo
tanto tiene un valor narrativo y tambin un valor
expresivo. El plano americano se utiliza mucho en
las escenas donde salen personajes hablando y en
las pelculas "westerns" (ya que permite mostrar a
la vez el arma y la cara de los personajes).
PM (Plano Medio)
Presenta al personaje de cintura para arriba. La
cmara est bastante cerca de l. Aporta sobretodo
un valor narrativo, ya que presenta la accin que
desenvuelve el personaje (representa el verbo de la
frase). En cambio, el ambiente que le rodea ya no
queda reflejado. El plano medio tambin tiene un
valor expresivo, ya que la proximidad de la
cmara permite apreciar las emociones del
personaje. Es el tipo de plano ms utilizado. Como
los planos medios no requieren un tiempo
demasiado largo para que el espectador pueda
captar sus elementos, tienen una corta duracin y
por lo tanto proporcionan un ritmo dinmico. No
obstante, hay que tener presente que el uso excesivo
de planos prximos producen una excesiva
fragmentacin de la realidad y obliga al
espectador a reconstruirla, muchas veces de
manera subjetiva.
11
PP (Primer Plano)
Presenta la cara del personaje y su hombro. La
cmara est muy cerca de los elementos que
registra.
Aporta esencialmente un valor expresivo al
audiovisual. Sirve para destacar las emociones y
los sentimientos de los personajes. Aade calor y
detalle a la trama (representa el adjetivo de la frase).
El primer plano suele tener una corta duracin y se
suele intercalar con otros planos, ya que aporta poca
informacin sobre lo que hace el personaje y sobre
el entorno que le rodea.
PPP (Primersimo Primer Plano). Tambin
llamado Plano Detalle
Muestra un objeto o una parte del objeto o
personaje. La cmara est situada prcticamente
sobre los elementos que registra. Su valor
depende del contexto. Puede aportar un valor
descriptivo, un valor narrativo o un valor expresivo.
Los planos de detalle suelen tener tambin una corta
duracin y se intercalan con otros planos que
aportan ms informacin sobre lo que hace el
personaje y sobre el entorno que le rodea. Al igual
que en los otros tipos de plano, hay que evitar cortar
a las personas por sus uniones naturales.
12
2.2.3.1. Involucramiento y ngulo horizontal

El ngulo horizontal es una funcin de la relacin entre el plano frontal del
productor de la imagen (o del observador) y el plano frontal de los participantes
representados. Los dos pueden ser paralelos o pueden formar un ngulo.
El plano oblicuo supone desapego. El plano frontal supone participacin
(involucramiento). El ngulo horizontal codifica si el observador est involucrado con
los participantes representados o no. El ngulo frontal dice lo que ves es parte de
nuestro mundo, algo en lo que estamos involucrados. El ngulo oblicuo dice lo que
ves no es parte de nuestro mundo, es su mundo y no nos involucra. Por supuesto, la
cuestin del ngulo es gradual.
La interaccin entre el ngulo horizontal y las demandas y ofertas puede ser
compleja. El cuerpo de un participante puede estar oblicuo al observador, pero la cabeza
girada mirndolo a los ojos o viceversa. Estos supone un doble mensaje: aunque no soy
parte de tu mundo, igual hago contacto con vos, desde mi mundo o aunque est
persona es parte de nuestro mundo, te la ofrecemos para que la mires como a un objeto
de reflexin desapasionada.
Otro caso problemtico: espaldas. Supone lejana, pero tambin vulnerabilidad,
entre otras cosas.
2.2.3.2. Poder y ngulo vertical

Un ngulo alto hace ver al participante como pequeo e insignificante (+ poder
del observador sobre lo representado), mientras que un ngulo bajo lo hace lucir
imponente y magnifico (- poder del observador sobre lo representado). Los ngulos
bajos dan la impresin de superioridad, triunfo, exaltacin. Los ngulos altos
disminuyen al individuo representados, lo aplanan moralmente reducindolo al nivel del
piso, lo atrapan en el determinismo. Si la representacin est al nivel de la vista,
entonces hay un punto de vista de igualdad, es decir no hay diferencia de poder entre el
observador y los participantes representados.
En las imgenes, el poder del productor de la imagen puede ser trasladado a uno
o ms de los participantes representados.
2.2.3.3. Narrativizacin de la imagen subjetiva

En algunos casos, un observador (imaginario) se entromete en la imagen en
diferentes grados (pueden aparecer las manos, todo el cuerpo, etc.). En esos casos, el
13
texto narrativiza el punto de vista e impone un observador ficticio entre los participantes
representados y el observador. Tanto si el punto de vista est o no narrativizado, uno
siempre puede relacionar los puntos de vista con situaciones concretas. Por ejemplo
preguntndose: Quin podra ver est escena de esta forma? Dnde debera estar uno
para ver la escena de esa manera y qu clase de persona debera ser para ocupar ese
espacio?
Imgenes objetivas. Los ngulos frontales (desde el punto de vista horizontal)

o perpendiculares (desde el punto de vista vertical) sugieren posiciones privilegiadas de
los observadores, en las cuales las distorsiones propias de la perspectiva desaparecen.
Sin embargo, no son objetivos de la misma forma. El ngulo frontal supone mximo
involucramiento, est orientado a la accin. En cambio, el ngulo perpendicular es el
ngulo de mayor poder. Est orientado a un conocimiento terico, objetivo.
Contempla al mundo desde un punto de vista endiosado y alejado.
Otro punto de vista objetivo es el de los rayos x o de corte transversal. Su
objetividad deriva de que no se detiene en las apariencias, sino que va ms a all de la
superficie, a los niveles ms profundos y ocultos.
2.2.3.4. Modalidad
La modalidad visual se basa en estndares determinados histrica y
culturalmente sobre qu es real y qu no es real, y no en una correspondencia objetiva
de la imagen visual con una realidad definida de alguna manera independiente.
Desde el punto de vista del naturalismo, la realidad es definida en base a cuanta
correspondencia hay entre la representacin visual del objeto y lo que normalmente
vemos de ese objeto con el ojo desnudo. Las imgenes o fotografas pueden ser
consideradas hiper-reales cuando muestran mucho detalle, mucha profundidad, mucho
color como para ser reales. Es decir que dentro de las escalas que veremos a
continuacin, ambos extremos se alejan de lo que es considerado como la realidad.
Marcadores de modalidad
El color puede ser un marcador de modalidad naturalista en trminos de tres
escalas.
1) Saturacin: va desde la saturacin total de color hasta la ausencia de color, es
decir, blanco y negro.
14
2) Diferenciacin: va desde el rango ms diversificado de colores hasta lo

monocromtico.
3) Modulacin: va desde el color completamente modulado (por ejemplo, la
utilizacin de muchas sombras distintas de rojo) hasta el color plano sin
modular.
Existen otros marcadores modales, adems de los que se vinculan con el color.
4) Contextualizacin: va desde la ausencia de fondo hasta el fondo ms articulado y
detallado.
5) Representacin: va desde la mxima abstraccin hasta la mxima representacin
de detalles pictricos.
6) Profundidad: va desde la ausencia de profundidad hasta la mxima perspectiva
profunda.
7) Iluminacin: va desde la representacin ms completa del juego de luz y sombra
hasta su completa ausencia.
8) Brillo: va desde el mximo nmero de diferentes grados de brillo hasta solo dos
grados: blanco y negro, o gris oscuro y gris claro, o dos valores de brillo del
mismo color.
Por otro lado, las orientaciones de la codificacin son conjuntos de principios

abstractos que nos dicen la forma en que los textos son codificados por grupos
sociales especficos o dentro de contextos sociales especficos. Kress y van Leeuwen
definen las siguientes orientaciones:
1) Orientaciones tecnolgicas: tienen como principio dominante la efectividad de la

representacin visual como un dibujo tcnico. Por ejemplo, el color es intil para
el propsito cientfico o tecnolgico de la imagen y tiene, en este contexto, baja
modalidad.
2) Orientaciones sensoriales: son utilizadas en contextos donde el placer es el
principio dominante. Se encuentra en algunos tipos de arte, publicidad, moda,
alimentos, fotografa, decoracin de interiores, etc. Aqu el color es una fuente
de placer y de significados efectivos y consecuentemente tiene alta modalidad.
Toda una psicologa del color se desarroll para sostener esta orientacin.
3) Orientaciones abstractas: utilizadas por elites socioculturales, por ejemplo, en el
arte elevado y en contextos cientficos. En esos contextos, la modalidad es alta
cuanto ms la imagen reduzca lo individual a lo general, y lo concreto a sus
15
cualidades esenciales. La habilidad de producir o leer un texto basado en estas

orientaciones es una marca de distincin social, de ser una persona educada o
un artista serio.
4) El sentido comn de la orientacin naturalista: se mantiene por el momento
como la dominante en nuestra sociedad. Todos los miembros de la cultura
comparten esta orientacin cuando estn siendo interpelados como miembros
de nuestra cultura, sin importar cuanta educacin o entrenamiento cientfico y
tecnolgico hayan recibido.
2.3. Funcin textual

La funcin textual determina la cohesin de los distintos elementos del texto,
organiza la informacin que se suministra a travs de los diferentes modos semiticos y,
tambin, la jerarquiza.
2.3.1. Composicin
En primer lugar, los elementos visuales pueden recibir un acento ms fuerte o
ms dbil que otros elementos de su entorno inmediato y as convertirse en tems ms o
menos importantes en el conjunto. Ms generalmente, la composicin supone un
encuadre (o su ausencia) a travs de dispositivos que conectan o desconectan elementos
del texto, proponiendo que los veamos como juntos o separados de alguna forma donde,
sin un encuadre, los veramos como continuos y complementarios. La composicin,
entonces, relaciona los significados representacionales e interactivos de la imagen entre
s a travs de tres sistemas interrelacionados.
1) Valores de informacin: el lugar de los elementos (los participantes y los
sintagmas que los relacionan entre s y con el observador) les otorga valores
informacionales especficos vinculados con las diferentes zonas de la imagen:
izquierda/derecha, arriba/abajo, centro/margen.
2) Prominencia: los elementos (los participantes, as como tambin los sintagmas
representacionales e interactivos) estn hechos para atraer la atencin del
observador en diferentes grados segn estn en primer plano o en el fondo,
segn su tamao relativo, el contraste del valor tonal o del color, etc.
3) Encuadre: la presencia o ausencia de dispositivos de encuadre (realizados por
elementos que crean lneas divisorias o por lneas reales de encuadre) conectan o
desconectan elementos de la imagen, significando que se corresponden o no en
algn sentido.
16
2.3.2. Dado y nuevo

En un esquema de dos partes, los elementos que se encuentran a la izquierda son
lo ya dado, algo que se supone que el observador ya sabe. Y a la derecha, se encuentra
lo nuevo, el mensaje. Que algo sea considerado dado quiere decir que es presentado
como ya conocido por el observador, como algo familiar y un punto de partida acordado
para el mensaje. Que algo sea considerado nuevo quiere decir que representa algo
todava no sabido o al menos no aceptado por el observador y que, por lo tanto, tiene
que prestarle especial atencin. Lo nuevo es problemtico, polmico, mientras que lo
dado es presentado como sentido comn, evidente.
En los textos, cada Nuevo puede a su vez convertirse en lo Dado de una
siguiente imagen.
2.3.3. Ideal y real

En este tipo de composiciones, suele haber una conexin menor entre los
elementos que entre las partes de una composicin horizontal. En general, el sentido es
de oposicin entre ambos. El sector superior tiende a crear un tipo de atraccin emotiva
y a mostrar lo que debera ser. El sector inferior tiende a ser ms informativo y
prctico, mostrando lo que es. Puede haber una fuerte lnea dividiendo ambos, aunque
tambin puede haber algunos elementos que los conecten.
Si en una composicin, algunos de los elementos constitutivos estn situados en
la parte superior y otros elementos en la parte inferior del espacio de la imagen,
entonces lo que est ubicado arriba es presentado como lo ideal y lo que est ubicado
abajo, como lo real. Para que algo sea ideal tiene que ser presentado como la esencia
ideal o generalizada de la informacin, tambin tiene que ser ostensiblemente la parte
ms sobresaliente. Lo real es lo opuesto a esto ya que presenta informacin ms
especfica (detalles), informacin ms realista (fotografas como evidencia
documentada, mapas, grficos) o informacin ms prctica (consecuencias prcticas,
directivas para la accin).
2.3.4. El valor informativo del centro y el margen

En la civilizacin occidental est composicin es relativamente poco comn. El
centro es lo dominante y se encuentra rodeado por elementos marginales poco
polarizados entre ellos. Que algo sea presentado como centro quiere decir que
representa el ncleo de la informacin hacia el cual todos los otros elementos estn
17
subordinados. Los mrgenes son elementos auxiliares, dependientes. En muchos casos

los mrgenes son idnticos o similares entre ellos, por lo cual no hay ningn sentido de
divisin entre dado/nuevo y/o ideal/real. En otros casos, centro y margen se combinan
con los sistemas de dado/nuevo y/o ideal/real (por ejemplo en los diarios).
Los trpticos tambin son una forma de combinacin donde hay un centro (que
funciona de mediador), a su izquierda se encuentra lo dado y, a su derecha, lo nuevo.
Tambin hay trpticos verticales (con un centro que media entre lo real y lo ideal).
Puede haber un sentido de gradualidad entre diversos mrgenes cada vez ms lejanos
del centro.
Cuan marginales sean los mrgenes tambin puede depender del tamao y
prominencia del centro. Pero incluso cuando el centro se encuentra vaco, continua
existiendo in absentia, como un pivote invisible alrededor del cual todo lo dems gira.
2.3.5. Prominencia
Sin importar donde est ubicado, la prominencia puede generar una jerarqua en
los elementos. La prominencia no es objetivamente mesurable sino que resulta de la
compleja interaccin entre un nmero de factores: tamao, nitidez del foco, contraste
tonal (por ejemplo en los bordes), contraste de color (el contraste entre colores muy
saturados y colores suaves, o el contraste entre rojo y azul), ubicacin (los objetos
parecen ms pesados cuando se mueven hacia arriba y hacia la izquierda por una
asimetra en el campo visual), perspectiva (los elementos en primer plano son ms
prominentes que los del fondo, y los elementos que se superponen a otros son ms
prominentes que los superpuestos) y tambin factores culturales como la aparicin de
una figura humana o un potente smbolo cultural.
Centro de gravedad: el elemento de mayor prominencia se convierte en el centro est o
no en el verdadero centro de la imagen.
2.3.6. Encuadre
Los elementos o grupos de elementos pueden estar desconectados (separados) o
conectados (juntos) entre s. El encuadre tambin es una cuestin de grado: los
elementos de la imagen pueden estar ms o menos encuadrados. Se realiza a travs de
lneas de encuadre, espacios en blanco entre los elementos, discontinuidades de color,
etc. La conexin tambin se realiza de diversos modos. Puede ser enfatizada por
18
vectores, elementos dibujados que llevan la visin de un objeto al otro, repeticin de

colores y formas en distintos elementos de la composicin.
Cuanto ms fuerte es el marco de un elemento, ms est presentado como una
unidad separada de informacin. La ausencia de marcos supone identidad grupal,
mientras que su presencia supone individualidad y diferenciacin. Cuanto ms
conectados estn los elementos de la composicin, ms estn presentados como
perteneciendo a lo mismo, como una sola unidad de informacin.
2.3.7. Composiciones lineales y no lineales

Las pginas densamente impresas con texto o los comics tienen un patrn rgido
de lectura lineal. Sin embargo, otras pginas pueden ser ledas de diferentes formas, su
patrn de lectura est menos estrictamente codificado. Muchas pginas multimodales
tienen jerarquas particulares de los movimientos del lector hipottico dentro y a travs
de los diferentes elementos. Ese recorrido de lectura comienza con el elemento ms
prominente, de ah se mueve al siguiente ms prominente, etc.
2.3.8. Colores
Siempre estn asociados a algo: se utilizan los mismos colores de otras
agrupaciones, partidos o que tengan alguna simbologa en particular. Por ej. Rojo y
negro puede remitir a Montoneros, el rojo solo al comunismo, el amarillo al Pro, etc.
Se distinguen dos formas de construir significado a travs del color. La primera

es por asociacin, la cuestin es de dnde proviene ese color o dnde lo vimos antes.
La segunda, se vincula con las caractersticas distintivas del color.
- Valor: es la escala de los grises. La escala que va desde la mxima iluminacin

(blanco) a la mxima oscuridad (negro). En la vida de los humanos la experiencia de luz
y oscuridad es fundamental y no hay ninguna cultura que no haya edificado significados
simblicos y sistemas de valores alrededor de estas experiencias.
- Saturacin: la escala va desde las manifestaciones ms saturadas o puras de los
colores hasta los colores ms suaves, plidos o pasteles. La completa des-saturacin
sera el blanco y negro. La saturacin expresa las temperaturas emotivas, los tipos de
afecto. Su escala va desde la mxima intensidad de sentimientos hacia el sentimiento
ms suave o incluso neutralizado. La alta saturacin puede ser positiva, exuberante,
19
aventurera o vulgar y llamativa. La baja saturacin puede ser sutil y tierna, pero tambin
reprimida, malhumorada.
- Pureza: escala que va desde la mxima pureza hasta la mxima hibridacin. Existen
distintas clasificaciones, por ejemplo, entre colores primarios y secundarios, o entre
colores con nombres simples y sus matices.
- Modulacin: es la escala que va desde el color completamente modulado (por
ejemplo, un azul muy texturado con diferentes tintes y sombras) al color plano (como en
los comics o las pinturas de Matisse). El color plano puede ser considerado simple y
audaz en un sentido positivo o puede ser visto como bsico y simplificado. El color
modulado puede ser percibido como sutil, haciendo justicia a la verdadera textura del
color real o como demasiado quisquilloso y detallista. La modulacin tambin puede
estar relacionada con la modalidad. El color plano es un color genrico, expresa el color
como la cualidad esencial de algunas cosas (el pasto es verde), mientras que el color
modulado es color especifico (el color del pasto depende del momento del da y del
clima). Este ltimo, muestra el color de la gente, lugares y cosas como se las ve en
verdad, bajo condiciones de luz especficas. La verdad del color plano es una verdad
abstracta, mientras que la verdad del color modulado es una verdad naturalista.
- Diferenciacin: es la escala que va desde lo monocromtico hasta el uso de la mxima
variedad de la paleta, y su diversidad y exuberancia es una de sus significaciones
semiticas, mientras que la moderacin supone falta de diferenciacin.
- Matiz: es la escala que va del azul al rojo. El polo rojo est asociado con la calidez, la
energa, la prominencia, el primer plano; y el polo azul con el fro, la calma, la
distancia, el fondo.
3. Retrica de la imagen
Roland Barthes (1977) plantea que, en la imagen publicitaria, puede identificarse
la presencia de tres tipos de mensajes:
- el mensaje lingstico
- el mensaje icnico denotado
- el mensaje icnico connotado.
Sostiene que las funciones del mensaje lingstico con respecto al mensaje icnico son
dobles: una es el anclaje y otra es el relevo. El mensaje lingstico es una tcnica para
20
fijar la cadena de significados y de esta manera combatir con los mensajes inciertos. La
imagen literal es denotada y la imagen simblica es connotada.
3.1 Mensaje lingstico

El mensaje lingstico hace referencia al lenguaje escrito que podra llegar a formar
parte de la misma imagen. Ayuda a identificar los elementos de la escena y la escena
misma, es decir, se trata de una descripcin denotada de la imagen. Las posibles
funciones del mensaje lingstico son:
- funcin de anclaje sostiene o apoya la imagen, es denominativa y

corresponde al anclaje de todos los posibles sentidos denotados. Contribuye
a una conveniente identificacin de los objetos, impidiendo que los sentidos
connotados se desorienten.
- funcin de relevo. Es menos frecuente que la anterior. Se trata de una
combinacin inseparable entre el texto y la imagen, que no se encarga de
otorgarle sentido a sta ltima, sino que constituye un elemento ms de la
composicin. El significado recae sobre las palabras, haciendo que la imagen
aparezca como un acompaamiento semitico.
El mensaje lingstico est presente en todas las imgenes como ttulo, leyenda, dilogo
de pelcula, etc. Desde esta perspectiva, toda imagen es polismica, es decir, implica
diferentes significados entre los cuales el lector puede elegir algunos e ignorar otros.
Esta polisemia da lugar a mltiples significados, por lo cual Barthes la considera una
disfuncin.
3.2 Mensaje Icnico Denotado

El mensaje literal es la imagen denotada, a la que le corresponde una identificacin
primaria que es un proceso en el cual solamente se requiere la percepcin para
reconocer los elementos de una composicin. El contenido denotado se refiere a los
elementos explcitos ofrecidos por la imagen.
3.3 Mensaje Icnico Connotado

El contenido connotado se refiere a los mensajes no explcitos que aparecen en una
21
lectura compleja de la imagen. Son agrupaciones de elementos de la figura que aluden a

conocimientos pertenecientes a un cdigo cultural compartido por emisor y receptor y ,
a la vez, varan segn cada individuo.
3.5 Ejemplo de anlisis
Mensaje lingstico
Esta publicidad contiene un mensaje lingstico en espaol dividido en tres
partes. El primero se encuentra en el margen superior izquierdo en el cual se pone
nfasis en la confianza y calidad del lavavajillas LG junto con el slogan de la marca
lifes good. El segundo mensaje est en el margen derecho debajo de la imagen
donde se describen las caractersticas del producto y beneficios que tiene su uso (menor
consumo de electricidad y de agua, mayor capacidad en sus estantes, etc.). El tercer
mensaje aparece en la parte inferior del aviso y describe las cadenas de supermercados y
negocios de electrodomsticos donde se puede comprar el producto y especifica los
aos de garanta del motor y sus repuestos.
22
Mensaje Icnico denotado

En esta publicidad la imagen principal muestra a un grupo de nias sonriendo
mientras cocinan y prueban las masas de sus preparaciones de cupcakes. Utilizan
muchos elementos de vajilla en la mesada de la cocina. En la parte inferior, sobre el
margen izquierdo, se observa la imagen del lavavajillas de color gris que se quiere dar a
conocer.
Mensaje Icnico connotado

En la publicidad, el mensaje que se quiere transmitir a travs de la imagen es la
tranquilidad que tienen las madres porque las nias pueden divertirse en la cocina,
tienen ms libertad para moverse dentro de ella y, de este modo, aprender a ser amas de
casa mientras juegan. Con este producto se busca ahorrar tiempo y facilitar las tareas en
los hogares para poder disfrutar de los momentos divertidos con amigos o en familia y, a
la vez, cuidar el medio ambiente de manera sustentable sin derrochar el consumo de
agua y electricidad.
3.5. Anclaje lingstico

Podemos definir el anclaje como una situacin mediante la cual la presencia de
distintos textos sobre una misma imagen hace que adquiera diferentes significados. El
anclaje es una de las funciones del mensaje lingstico que contribuye a una
identificacin de los objetos, ordenndolos en relacin a un eje temtico.
Por ejemplo, si a la imagen anterior le quitamos el pegamento adhesivo que se encuen-
23
tra en el margen derecho del anuncio y lo cambiamos por la frase el triunfo del esfuer-
zo la imagen podra interpretarse como la publicidad de un banco:
3.6. Recursos de connotacin fotogrfica

Trucaje: consiste en alterar de alguna forma la imagen para que el mensaje
connotado pueda ser llevado al plano de lo denotado utilizando la credibilidad de la
fotografa para sustentarse.
En este caso, el trucaje da cuenta de la efectividad de la crema Vichy al pasar de una

piel con imperfecciones y manchas a una piel limpia y perfecta. El mensaje connotado,
en este caso, sera que la crema Vichy deja tu piel radiante y luminosa.
La pose: Es una determinada postura del sujeto que gua la lectura de la imagen.
24
En este caso, la pose de la persona connota espiritualidad, juventud y pureza, y va

acompaada por una serie de actitudes estereotipadas como los ojos cerrados, la cabeza
hacia abajo y las manos juntas en posicin de oracin.
Fotogenia: Consiste en el retoque de la imagen por medio de la tcnica. En la fotoge-

nia, el mensaje connotado est en la imagen misma (en general sublimada) por medio de
tcnicas de iluminacin, de impresin y de revelado.
En la imagen anterior, al proyectar una luz blanca sobre la cara del perro, se destacan
ciertos rasgos que cargan de connotaciones negativas a la imagen. El perro simplemen-
te est sentado pero las luces a su alrededor connotan tristeza, abandono y soledad.
Objeto: El sentido connotado surge de los objetos fotografiados, la disposicin en la es-

cena y la combinacin de estos entre s.
25
La imagen siguiente puede asociarse con el escritorio de una casa antigua, pero en reali-
dad es un telfono inalambrico, es decir que la primera asociacin es engaosa con res-
pecto a lo que verdaderamente es. Esta imagen connota intelectualidad.
Estetisismo: la fotografa, por su composicin o la postura y disposicin de sus

personajes, se asemeja o imita a una obra de arte. El esteticismo no reside en la tcnica,
sino en el contenido.
Esta publicidad intenta imitar la famosa escultura de La Piedad donde la Virgen Mara
sostiene a su hijo en el Calvario.
26
Sintaxis: A diferencia del resto de los recursos, el significado de connotacin no se da

en los aspectos de la imagen, sus elementos o su comportamiento. El significante de
connotacin est constituido por el encadenamiento.
4. Comunicacin no verbal: el mensaje multimodal en estado puro

4.1. La construccin histrica de significado del rostro
El rostro no ha sido siempre objeto de observacin. La mirada sobre el rostro y su
significacin han atravesado diferentes momentos en la historia occidental. Las
civilizaciones medievales y renacentistas de Europa occidental mezclan confusamente
tradiciones paganas y cristianas. El individuo no era considerado como tal en el mundo
medieval. La vida implicaba la presencia constante de los otros. El espacio no
consideraba la intimidad en el sentido actual. Cualquier individuo que quisiera
desligarse de la estrecha red social era inmediatamente considerado extrao. La cultura
popular de la Edad Media y el Renacimiento rechazaba el principio de individuacin.
Afirmaba permanentemente el contacto fsico con los otros. En ese contexto el rostro no
contena un valor especfico.
El concepto de individualidad tal como lo conocemos comienza a gestarse con
Descartes y la filosofa mecanicista que sostienen la disociacin total del cuerpo y sus
lazos simblicos con el universo, convirtindolo en lugar exclusivo de la individuacin.
El individuo ya no es solo parte de una comunidad sino que se vuelve un cuerpo.
27
4.2. Lecturas del rostro
El rostro revela detalles de la identidad personal, pero puede presentar lecturas

contradictorias. A la vez identifica y distingue al individuo. Marca su singularidad y lo
emparenta con los otros. Han sido numerosos los intentos a lo largo de la historia de
clasificar, como en la botnica, los diferentes rostros que se encontraban en un mismo
grupo social.
Los estudios sistemticos nacen en Grecia a partir de Pitgoras. Antes de admitir un
postulante en su sociedad, los pitagricos lo sometan a un examen minucioso del
rostro, manos, porte y movimiento de su cuerpo. Las escuelas de Scrates y Platn
tambin subordinaban el reclutamiento a la observacin de rostros y maneras. Platn
hace grabar la siguiente leyenda frente a su escuela: que nadie entre aqu si no es
gemetra, si es deforme su rostro o mal proporcionado en sus miembros.
En la edad media y el renacimiento, las descripciones intentan establecer
correspondencias entre el cuerpo y el entorno. Para la concepcin medieval, el cuerpo es
considerado una crcel que encierra al verdadero yo; mientras que para la mentalidad
renacentista, el cuerpo es la esencia de lo humano.
Ms cerca en el tiempo, Lavater publica, entre 1775 y 1778, su fisiognoma en diez
volmenes. Es la primera en establecer relaciones entre los movimientos faciales y los
sentimientos. A ella sigue Expression of the emotions in men and animals de Darwin, en
1872. Una obra que an hoy contina citndose como referencia.
Mencin aparte merece el pensamiento de Lombroso a fines del siglo XIX. Se trata
de un intento por establecer una distincin entre categoras sociales a partir de los rasgos
faciales y formas del crneo: de acuerdo a sus estudios, delincuentes, criminales,
ladrones, prostitutas y revolucionarios tendran formas particulares que permitiran
identificarlos.
Durante el ltimo siglo, los investigadores han reconocido la necesidad de trabajos
que integraran las dimensiones verbal y no verbal aunque en general ha habido pocos
estudios que unificaran ambas dimensiones.
4.2.1. Percepcin multimodal. La integracin sonoro-visual

La visualizacin de las expresiones emocionales presenta elementos tan
significativos para una interaccin verbal como cualquier elemento lingstico. El
material lingstico no es interpretado de forma independiente del contexto. Si por
28
contexto entendemos todas las relaciones sociales involucradas al momento de la

interaccin, tambin deberamos tener en cuenta las emociones presentes en cada uno de
los participantes (Watzlawick, Bavelas y Jackson, 1967).
Algunos estudios (Soto Sanfiel, 2000) han probado que la experiencia perceptiva
es diferente segn se disponga de uno o dos canales de informacin. El llamado efecto
McGurk (MacDonald y McGurk, 1978) es la primera evidencia experimental de la
integracin sonoro-visual del habla. Este trabajo muestra una variacin en el resultado
del procesamiento cuando se trabaja con dos estmulos simultneos. El experimento
desarrollado por estos dos investigadores expona al sujeto a un estmulo auditivo, la
slaba auditiva ba, mostrando simultneamente un vdeo del supuesto hablante
pronunciando la slaba ga. El resultado percibido por el sujeto fue la slaba da.
Basados en estos resultados, MacDonald y McGurk afirmaron la existencia de una
relacin interactiva entre odo y visin por la que se integra y sintetiza la informacin
disponible en ambos canales.
En esta interaccin, en el procesamiento de ambos canales, pueden presentarse
dos posibilidades: puede existir un equilibrio entre ellos o uno de los dos puede ejercer
fuerza sobre el otro. Massaro y Cohen (1996) sostienen que la informacin sonora
inconsistente trastorna la identificacin visual ms profundamente de lo que la
informacin visual inconsistente trastorna la identificacin sonora. Asimismo, la
informacin sonora consistente ampla la identificacin visual ms de lo que la
informacin visual consistente ampla la identificacin sonora. Traduciendo: para estos
autores, en el procesamiento del habla, la seal audible parece ser ms influyente que la
seal visible.
Por su parte, Otatti (1997) sostiene que la combinacin del canal verbal con las
expresiones faciales y movimientos corporales afecta el modo de procesamiento. Las
caras neutras y las manifestaciones de emociones negativas provocaran un
procesamiento sistemtico del habla (por trozos), mientras que las felices un
procesamiento heurstico (global). Este autor postula la existencia de un modelo de
sincronizacin por el que las configuraciones faciales informan al perceptor cul es la
estrategia cognitiva que debe seguir en el procesamiento del habla:
- Una sonrisa espontnea seala al perceptor que la situacin es benigna y no
existe necesidad de entrar en un procesamiento sistemtico. Solo heurstico.
- Las expresiones relacionadas con las llamadas emociones negativas (tristeza,
furia, miedo y disgusto) informan al perceptor que la situacin es ms seria y
29
que requiere mayor escrutinio y deliberacin. Bajo estas condiciones, un estilo

de procesamiento sistemtico predomina cuando los perceptores juzgan a una
persona determinada.
La configuracin facial influye en el modo de procesamiento del habla (Otatti et
al., 1997) porque rige el mecanismo de procesamiento de los elementos visuales y, en
consecuencia, del habla bimodal. Aun cuando la atribucin de credibilidad audiovisual
al hablante otorgue ms importancia a la voz que al rostro, la imagen modifica el modo
de procesamiento de la seal sonora, y determina un mayor o menor escrutinio de los
elementos visuales del hablante.
Niedzielski (1999) afirma que los oyentes utilizan tanto informacin verbal
(representaciones sociales) como visual para crear y calibrar el espacio discursivo. Este
autor sostiene que las instituciones sociales como la escuela y los medios de
comunicacin crean y reproducen estas representaciones y, por ello, funcionan como
intermediarios de las percepciones de los individuos acerca de su propia variedad.
4.2.2. La cara y sus manifestaciones

De acuerdo con Ekman (2003) la cara provee tres tipos de seales:
- Estticas: Color de la piel, forma de la cara, estructura sea, caractersticas
corporales en general.
- Lentas: Arrugas permanentes, cambio de color en la piel, cambios corporales

que llevan tiempo.
- Rpidas: movimientos de prpados, labios, etc. Son producidos por el

movimiento de los msculos faciales y pueden tomar milsimas de segundo.
Los dos primeros tipos de seales codifican informacin acerca de la edad, sexo,
origen racial, atractivo, etc. Las ltimas transmiten informacin acerca de las
emociones. Ekman y Friesen (1975) identifican seis emociones bsicas: felicidad,
sorpresa, miedo, furia, disgusto y tristeza. En trabajos posteriores agregan una sptima:
el desprecio. Cada una de estas emociones presenta movimientos faciales caractersticos
e innatos que se presentaran en todas las culturas. Su expresin es involuntaria,
disparada automticamente ante la aparicin del estmulo fijado como disparador, o sea,
su manifestacin escapa a las intenciones del hablante.
30
Son numerosos los autores que, desde una perspectiva psicolgica consideran las
expresiones faciales como indicadores de procesos emocionales internos. Esta
perspectiva piensa a las expresiones emocionales como elementos primitivos de un
comportamiento adaptativo que han adquirido valor simblico en la cultura, es decir, si
bien son provocadas involuntariamente por el sistema nervioso, estas expresiones se han
convertido en signos que representan una emocin determinada por la cultura. De lo
afirmado podemos inferir que las expresiones faciales de emocin poseen las siguientes
funciones:
- Funcin biolgica: son una manifestacin de procesos biolgicos internos.

- Funcin social:
o Expresin genuina o sincera: expresan una emocin genuina,
involuntaria.
o Expresin fingida (voluntaria):
Convencin social (reglas de exhibicin)
Mentira
Dentro de las seales rpidas, incluimos las que caracterizan a cada una de las
emociones individualizadas por Ekman y Friesen:
1. Alegra o felicidad: contraccin del msculo cigomtico (que va del pmulo al labio
superior) y del orbicular que rodea al ojo. Las mejillas se elevan y surgen patas de
gallo.
2. Tristeza: caen los prpados superiores y forman un arco hacia abajo. El entrecejo se
arruga y los labios se estiran horizontalmente.
31
3. Ira: mirada fija, pupilas dilatadas, cejas juntas y hacia abajo, y tendencia a apretar los
dientes.
32
4. Sorpresa: los prpados superiores suben, pero los inferiores no estn tensos. La
mandbula suele caer.
5. Asco: ligera contraccin del msculo que frunce la nariz y estrecha los ojos. El gesto
de la nariz arrugada es simultneo al de la elevacin del labio superior.
6. Miedo: similar a la sorpresa. Prpados superiores elevados al mximo e inferiores

tensos. Las cejas levantadas se acercan. Los labios se alargan hacia atrs.
33
7. Desprecio: es una expresin en la cual la accin se produce de un solo lado de la cara.

La comisura del labio est ms tensa y algo elevada.
4.2.3. El concepto de gesto

El estudio de la gestualidad y los movimientos corporales ha sido abordado
desde diferentes perspectivas desde la antigedad clsica hasta hoy. Las definiciones de
gesto han variado no solamente con las disciplinas sino tambin con los enfoques
particulares. Para Quintiliano (1922) en Institutio Oratoria, los gestos estaban al
servicio de las palabras y deban ser un elemento de persuasin, de convencimiento. La
gesticulacin deba adaptarse al ritmo del discurso y deba comenzar y terminar junto
34
con l. De esto puede inferirse que la importancia radicaba en los gestos conscientes,
realizados con un propsito definido. Si bien Quintiliano no distingue entre
movimientos conscientes e inconscientes, s habla de una tendencia natural al
movimiento libre de las manos que debe ser evitada. Los movimientos corporales en
general deben poder transmitir la dimensin emocional del discurso. Por eso deben ser
elaborados con anterioridad.
Ms modernamente, Ekman y Friesen (1975) a partir de sus estudios sobre la
emocin, consideran ambos tipos de movimientos corporales, conscientes e
inconscientes, estableciendo tambin la existencia de movimientos semi-conscientes o a
mitad de camino entre los tipos anteriores. Las investigaciones de Ekman y Friesen se
orientan hacia la deteccin de mentiras en pacientes psiquitricos, por lo cual ellos estan
ms interesados en las marcas inconscientes. Estos autores trabajan tanto sobre gestos
manuales como sobre expresiones faciales. Esta distincin es importante porque,
tradicionalmente, los gestos manuales han sido considerados como ms conscientes, con
un grado importante de intencionalidad, mientras que las expresiones faciales han sido
tratadas como reacciones automticas, es decir, con un bajo o nulo grado de
consciencia.
Adems de gestos faciales, Ekman categoriza los movimientos de manos y
brazos. Se distinguen cinco categoras (Ekman y Friesen, 1975):
- Emblemas: seales emitidas intencionalmente y con un significado convencional

(pulgar levantado). Son fcilmente reconocibles por los miembros de una comunidad
dada.
- Ilustradores: acompaan a la comunicacin verbal. Matizan, remarcan o ejemplifican

el contenido verbal. Si bien se utilizan intencionalmente, el manejo consciente de los
ilustradores es menor que el de los emblemas.
- Reguladores: sincronizan y organizan la comunicacin oral. Se utilizan para tomar el

relevo en la conversacin, para iniciar y finalizar la interaccin, o para ceder el turno de
la palabra. Si bien no estn tan convencionalizados como los emblemas, muchos de
ellos tambin son fcilmente reconocibles y de uso corriente, por ejemplo, ofrecer un
apretn de manos para finalizar una conversacin.
35
- Gestos que expresan estados emocionales o muestras de afecto: este tipo de gestos
reflejan el estado emocional de la persona en un momento particular. Adems de los
gestos faciales que indican una determinada emocin, Ekman y Friesen sostienen la
existencia de movimientos corporales que denotan una determinada emocin. Por
ejemplo, el encogimiento de hombros como manifestacin de tristeza, un movimiento
frentico de manos y brazos puede ser una manifestacin de nerviosismo, etc.
- Adaptadores y autoadaptadores: son gestos que se utilizan para manejar emociones que
no queremos/podemos expresar. Son la exteriorizacin de emociones reprimidas en
mayor o menor medida. Pueden distinguirse los signos dirigidos a uno mismo (como
por ejemplo, pellizcarse, rascarse, frotarse una parte del cuerpo), los dirigidos hacia los
objetos (jugar con un bolgrafo, lpiz, cigarrillo, etc.) y los dirigidos a hacia otras
personas (apretar el brazo, abrazar, llevar la mano a la cara o al cuello, etc.). Son
mayormente inconscientes -como por ejemplo morderse las uas o chuparse el dedo,
algo bastante comn en los nios pequeos- aunque comparten ese rasgo dual con los
reguladores, es decir, puede existir cierto grado de conciencia.
Esta clasificacin, sumada a la descripcin de movimientos faciales y su

correspondencia con emociones particulares, permite dar cuenta del marco emocional
de nuestro interlocutor en una interaccin cara a cara.
4.2.4. Pragmtica de las emociones: las reglas de exhibicin

Adems de los movimientos faciales automticos, Ekman (2003) postula que las
emociones poseen una dimensin cultural mucho ms extendida. Las conductas para la
manifestacin simblica de las emociones estn ritualizadas y son dependientes de cada
cultura: Ekman las denomina reglas de exhibicin. Estas reglas condicionan lo que
puede hacerse en los diferentes mbitos sociales, incluyen tanto movimientos faciales
controlados como conductas corporales elaboradas y dependen de los parmetros fijados
por cada comunidad. As, el discurso dominante en una sociedad determinada
categoriza, condiciona y regula la expresin de las emociones.
Estas reglas se adquieren tempranamente y se desarrollan como una especie de
pragmtica emocional, definiendo los parmetros contextuales aceptados para
expresar una determinada emocin. De esta forma, la expresin corporal queda
socialmente regulada, de manera que puede ser promovida o inhibida. Como ejemplo
36
pueden mencionarse casos como el de Bali. Las reglas de exhibicin comunes en Bali
para los miembros de la religin hinduista disponen que los asistentes a los funerales
participen en procesiones cantando y bailando alegremente, mientras que en Occidente
los funerales son situaciones donde lo indicado son las expresiones de dolor y angustia.
Estas diferencias estn asociadas a los particulares sentidos comunes de cada sociedad.
En Bali, el discurso dominante establece una prioridad de los sentimientos relacionados
con el destino espiritual post-mortem, mientras que en occidente prevalecen los
sentimientos vinculados con la ausencia y la prdida (Rulicki y Cherny, 2011).
5. Semitica de la msica
En la antigedad, la msica era pensada pragmticamente. Tena un papel

fundamental en rituales religiosos y modalizaba no solo las palabras sino toda la
experiencia mstica (Surez Urtubey, 2007: 16). No abordaremos aqu la discusin
desarrollada por la Esttica de la Msica (Adorno, 1962), pero mencionaremos
brevemente que la msica, al igual que el lenguaje, no puede definirse ni describirse
correctamente a menos que se tenga en cuenta su forma tripartita de existir: como un
objeto aislado de manera arbitraria, como algo producido y como algo percibido. Es
sobre estas tres dimensiones que se apoya en gran medida la especificidad de lo
simblico (Molino, 1990: 114).
Investigaciones en psicomusicologa han encontrado evidencias de cmo la

msica de fondo puede influenciar la forma en que se perciben imgenes y figuras
geomtricas (Bolivar, Cohen y Fentress, 1994).
Ellis y Simons (2005: 32) describen tres hallazgos respecto de la influencia de la
msica en la interpretacin de imgenes:
- Existe una relacin de adicin entre estmulos visuales y auditivos presentados

simultneamente.
- La capacidad de la msica para unirse con la narracin visual puede jugar un papel
muy importante modulando respuestas emocionales.
- La relacin entre elementos musicales y valores emocionales se desarrolla a partir de
dos ejes, emocionalidad y excitacin. Las piezas compuestas en tonalidades mayores
son percibidas como emocionalmente positivas, mientras que las compuestas en
tonalidades menores se asocian con emociones negativas. Por su parte, las piezas cuyo
37
tempo es lento y constante son percibidas como tranquilas, mientras que las que
presentan un tempo rpido y un ritmo irregular se asociarn con la excitacin:
Elementos estructurales Valencia emocional

Tonalidades mayores, armonas consonantes Valencia positiva
Tonalidades menores, armonas disonantes Valencia negativa
- tempo, ritmo regular Tranquilidad
+tempo, ritmo irregular Excitacin
Tranquilidad
Valoracin positiva Valoracin negativa
Excitacin
Debe considerarse que esta clasificacin es cultural y se encuentra anclada en los
valores de la percepcin occidental.
5.1. Analizando msica

Barton & Unsworth (2014: 7) analizan la versin cinematogrfica del relato de
Shaun Tan, The Lost Thing, y la incidencia de la msica en el desarrollo de la trama. De
acuerdo con estos autores, en la obra mencionada, la msica construye tres temas o
tpicos: amistad, preocupacin y pertenencia.
Al correlacionar la msica con las escenas presentadas en el film, se crean
espacios emocionales que construyen el significado de los tpicos antes mencionados.
Al repetir los fraseos musicales que aluden a alguno de ellos, vuelve a evocarse el
marco emocional antes establecido, de esta manera las escenas se ligan entre s a partir
de la emotividad construida por la msica que construye un motivo. De acuerdo con
Schoenber (2000: 17), el motivo se constituye por repeticin.
Su anlisis tambin destaca los siguientes elementos:
- Uso prolongado y sostenido de notas y volumen para denotar que algo est por
suceder.
38
- Cambios en la instrumentacin del tpico para establecer la relacin con escenas

diversas.
Bibliografa
Adorno, T. (1962). Philosophie de la nouvelle musique. Paris: Gallimard.
Agawn, K. (2012). La msica como discurso. Buenos Aires: Eterna Cadencia.
Barthes, R. (1977). Rhetoric of the Image. En Image, Music, Text.
New York: Hill and Wang.
Barton, G.; Unsworth, L. (2014). Music, multiliteracies and multimodality: exploring the book
and movie versions of Shaun Tans The Lost Thing, en Australian Journal of Language and Literacy,
Vol. 37, No. 1.
Bolivar, V.; Cohen, A.; Fentress, J. (1994). Semantic and formal congruency in music and
motion pictures: Effects on the interpretation of visual action, en Psychomusicology, No. 13, 28-59.
Darwin, C. (1872). The Expression of Emotion in Men and Animals. Londres: John Murray,
Albemarle Street.
Ellis, R., Simons, F. (2005). The impact of music on subjective and physiological indices of
emotion while viewing films, en Psychomusicology, No. 19, 15-40.
Ekman, P. (2003). Emotions Revealed. Nueva York: Times Books.
Ekman, P. y Friesen, W. (1975). Unmasquing the face.Cambridge: Englewood Cliffs: Prentice
Hall.
Halliday, M.A.K. (2004). An Introduction to Functional Grammar. Londres: Hodder Headline
Group.
Hodge, R. y Kress, G. (1979). Language as Ideology. Londres: Routledge.
Kress, G. y van Leeuwen, T. (1996). Reading Images. The Grammar of Visual Design. Londres:
Routledge.
MacDonald, J. y McGurk, H. (1978). Visual Influences in Speech Perception Processes en
Perception & Psychophysics, No. 23 vol. 3 pp. 253-257.
Marqus Graells, Pere.(1995). Introduccin al lenguaje audiovisual. ltima revisin: 7/11/10)
UAB. (disponible en Internet).
Massaro, D. W. y Cohen, M. M. (1996). Perceiving Speech from Inverted Faces en Perception
& Psychophysics, No. 58, vol. 7, pp. 1047-1065.
Molino, J. (1990). Musical fact and the semiology of music en Music Analysis, No. 9, pp. 104-
156.
Niedzielski, N. (1999). The effect of social information on the perception of sociolinguistic
variables en Journal of Language and Psychology, No. 18, vol. 1, pp. 62-85.
Otatti, V. et al. (1997). Happy faces elicit heuristic processing in a televised impression
formation task. A cognitive tuning account en Personal and social psychology bulletin, No. 23 vol. 11
pp. 1144-1156.
Quintilianus, M. F. (1922). The Institutio Oratoria with an English translation. Nueva York: G.P.
Putman & Sons.
39
Rulicki, S. y Cherny, M. (2011). Comunicacin No Verbal. Cmo la inteligencia emocional se

expresa a travs de los gestos. Buenos Aires: Granica.
Shoenberg, A. (2000). Fundamentos de la composicin musical. Espaa: Real Musical.
Soto Sanfiel, M. (2000). Influencia de la percepcin visual de rostro del hablante en la
credibilidad de su voz. Tesis doctoral. Universitat Autnoma de Barcelona.
Surez Urtubey, P. (2007). Historia de la Msica. Buenos Aires: Claridad.
van Leeuwen, T. (2005). Introducing Social Semiotics. Londres: Routledge.
Watzlawick, P.; Bavelas, J. y Jackson, D. (1967). Pragmatics of Human Communication. Nueva
York: W.W. Norton &Company Inc.
Zbikowski, L.M. (2002). Music Theory, Multimedia and the Construction of Meaning.
Integral. Pp. 25168. Available from: https://moodle.roehampton.ac.uk/mod/resource/view.php?
id=173637
40

Ficha Multimodalidad 2017 PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Ficha Multimodalidad 2017 PDF

Uploaded by

Copyright:

Available Formats

Universidad de Buenos Aires - Facultad de Filosofa y Letras

Anlisis de los lenguajes de los medios masivos de comunicacin (Pardo)

Semitica social y multimodalidad

Preparacin y adaptacin de los textos:

1. Introduccin: la Semitica Social

Society is typically constituted by structures and relations of power, exercised or

2. El concepto de multimodalidad: extendiendo la experiencia del cambio

2.1. Funcin ideacional

- participantes interactivos: participantes involucrados en el evento

Los participantes representados se diferencian a partir de sus volmenes y

Tambin consideran las siguientes circunstancias:

En cuanto a los procesos podemos decir que son caracterizados en trminos de

El anlisis propuesto por estos autores diferencia entre un modelo accional2 y un

2. El modelo accional de la Lingstica Crtica (Hodge y Kress, 1979) se basa en el anlisis de

participantes, pero no tienen direccin se convierten en una estructura analtica

2.1.1.2. Procesos relacionales

clasificacin, los participantes se muestran de forma descontextualizada: el fondo plano

Procesos analticos (part of)

1) Sobresalen en la representacin de alguna manera (puede ser porque estn en

2.2. Funcin interpersonal

Significados interaccionales: la articulacin y comprensin de significados en las

2.2.1. Acto de imagen y mirada

Aquellos no tan educados (o que impugnan el valor de esa educacin) pueden

2.2.2. Tamao de la toma y distancia social

2.2.3. Perspectiva e imagen subjetiva

Tipo de plano Denominacin y breve explicacin

3. En Marqus Graells (1995)

2.2.3.1. Involucramiento y ngulo horizontal

2.2.3.2. Poder y ngulo vertical

2.2.3.3. Narrativizacin de la imagen subjetiva

Imgenes objetivas. Los ngulos frontales (desde el punto de vista horizontal)

2) Diferenciacin: va desde el rango ms diversificado de colores hasta lo

Por otro lado, las orientaciones de la codificacin son conjuntos de principios

1) Orientaciones tecnolgicas: tienen como principio dominante la efectividad de la

cualidades esenciales. La habilidad de producir o leer un texto basado en estas

2.3. Funcin textual

2.3.2. Dado y nuevo

2.3.3. Ideal y real

2.3.4. El valor informativo del centro y el margen

subordinados. Los mrgenes son elementos auxiliares, dependientes. En muchos casos

vectores, elementos dibujados que llevan la visin de un objeto al otro, repeticin de

2.3.7. Composiciones lineales y no lineales

Se distinguen dos formas de construir significado a travs del color. La primera

- Valor: es la escala de los grises. La escala que va desde la mxima iluminacin

3.1 Mensaje lingstico

- funcin de anclaje sostiene o apoya la imagen, es denominativa y

3.2 Mensaje Icnico Denotado

3.3 Mensaje Icnico Connotado

lectura compleja de la imagen. Son agrupaciones de elementos de la figura que aluden a

3.5 Ejemplo de anlisis

Mensaje Icnico denotado

Mensaje Icnico connotado

3.5. Anclaje lingstico

Por ejemplo, si a la imagen anterior le quitamos el pegamento adhesivo que se encuen-

3.6. Recursos de connotacin fotogrfica

En este caso, el trucaje da cuenta de la efectividad de la crema Vichy al pasar de una

En este caso, la pose de la persona connota espiritualidad, juventud y pureza, y va

Fotogenia: Consiste en el retoque de la imagen por medio de la tcnica. En la fotoge-

Objeto: El sentido connotado surge de los objetos fotografiados, la disposicin en la es-

Estetisismo: la fotografa, por su composicin o la postura y disposicin de sus

Sintaxis: A diferencia del resto de los recursos, el significado de connotacin no se da

4. Comunicacin no verbal: el mensaje multimodal en estado puro

4.2. Lecturas del rostro