Integracin de modalidad cruzada en las Artes temporales1.

.
Dra. Silvia Malbrn
Universidad Nacional de La Plata
Universidad de Buenos Aires
Argentina

Introduccin

La percepcin del mundo es resultado del impacto en nuestra conciencia de

informacin proveniente de diferentes fuentes: auditivas, visuales, espaciales,
tctiles y motoras. Diversos autores consideran que dicha percepcin ms que una
serie de experiencias sensoriales independientes es incorporada como un interjuego
de impresiones distintas a travs de las cuales los componentes sensoriales son
sutilmente alterados por una integracin mutua (Stein y Meredith, 1993 2; Deneve y
Pouget, 2004).
En estudios psicofsicos tempranos se comenz a prestar atencin a los
aspectos referenciales del sonido y a la congruencia cognitiva entre la msica y las
imgenes visuales (Lipscomb, 1999). As tambin, por los aos cuarenta, se
administr una encuesta concerniente a las relaciones inter-sensoriales: los
resultados permitieron concluir en que la mayora de los objetos de nuestra vida
cotidiana son percibidos por dos o ms modalidades sensoriales que trabajan en
cooperacin (Ryan, s/f) 3
Segn Wood (1998) la investigacin musical frecuentemente ha postulado
que el procesamiento de la msica, como dominio especfico, es un fenmeno
puramente auditivo que funciona independientemente de otras modalidades. Sin
embargo, actuales tendencias en investigacin han comenzado a desafiar esta
presuncin, por considerar que la msica es una experiencia fisiolgicamente
1
Ficha de estudio original para el curso
2
Citado por Word (1998)
3
idem
mediada y situada que se presenta con elementos visuales concurrentes que
pueden ser relacionados con los sonidos; por ejemplo la actuacin de un director de
orquesta, de un conjunto instrumental o de un grupo de rock.
La cognicin auditiva compromete diversas fuentes de conocimiento en
formato de modalidad cruzada: visual, motor, cintica, con alineamientos,
superposiciones y paralelismos entre diversas vas de entrada y componentes
puramente auditivos (Bregmann 1990, McAdams, 1984,1993).
Las relaciones de comunicacin entre las personas requieren la integracin y
coordinacin de estmulos sensoriales receptados por diferentes vas sensitivas. Un
caso tpico se produce cuando, en una reunin social muy ruidosa, es dificultoso
entender lo que habla la persona con quien estamos departiendo. En tal situacin el
movimiento de los labios es importante ayuda para entender el mensaje del
hablante. Este hecho presenta importantes implicaciones para los mecanismos de
atencin selectiva que pueden comprometer sinergias espaciales (lazos cross
modales) en el procesamiento atencional de informacin cruzada entre
modalidades sensoriales.
Segn diversos autores, estas formas de conjuncin entre las prcticas
expresivas son mecanismos multimodales de integracin que obtienen su mayor
eficacia cuando logran congruencia de modalidad cruzada (cross modal
congruence) y demandan diferentes modos de interaccin sensitiva, basados en la
dominancia sensorial de los sentidos. En el desarrollo de la accin tal dominancia
fluye entre una forma de arte y otra, reforzndose mutuamente. Los puntos de
conjuncin entre acentos temporales de expresiones artsticas diferentes, son
entendidos como lazos de conexin cross- modal (links cross modal) a los que se
les adjudica gran influencia en la percepcin integral.
Las expresiones artsticas de conjuncin (teatro/msica, danza/msica,
film/msica) cuando obtienen un eficaz arreglo en el tiempo, pasan a integrarse en
una nica y nueva fusin; por ello se consideran discursos multimodales. Una
entrada de informacin multidimensional ( input) genera una salida unidimensional
(output). Los investigadores coinciden en sealar la correspondencia de estas ideas
con el efecto McGurk4. En un ilustrativo estudio los autores observaron que si en la
escena una persona dice la slaba ba y se aparea con un track de sonido que
articula la slaba ga para los espectadores el resultado es una conjuncin de ambas
entradas de informacin y creen que la slaba que han escuchado es da. La
significacin de esto es conceptual: cuando se presenta informacin simultnea
proveniente de un estmulo visual y otro auditivo la experiencia deriva en una nueva
audiovisin considerada ptima, ya que se conjuga en un nuevo producto fruto de la
asociacin intermodal. A esto los autores lo llaman captura Ser captura auditiva
si el estmulo visual eclipsa o comanda al estmulo auditivo y ser captura visual si
el estmulo auditivo captura al visual (Mc Gurk y Mac Donald, 1976) 5.

Componentes biolgicos
La integracin multisensorial es la capacidad de combinar informacin
proveniente de diferentes modalidades sensoriales de modo de alcanzar una ms
precisa representacin del entorno y del propio cuerpo. Cada modalidad sensorial
usa un diferente formato para codificar las mismas propiedades del ambiente y del
cuerpo. Esto es, cada una usa su propio lenguaje y la informacin no puede ser
compartida entre modalidades sin recurrir a mecanismos de traduccin de cada
lenguaje. Para combinar estas respuestas sensoriales diferentes, el cerebro debe
tener en cuenta la postura y los movimientos del cuerpo en el espacio. Los inputs
sensoriales provenientes de diferentes modalidades, pero originados en un mismo
lugar del espacio, pueden influenciarse mutuamente segn la postura corporal, lo
que sugiere la existencia de un lazo de unin y de un mecanismo de traslacin de
las representaciones espaciales provenientes de diferentes sistemas sensoriales
(Deneve y Pouget. 2004)
La posicin de objetos se codifica en diferentes marcos de referencia; los
estmulos visuales son representados por neuronas receptadas por la retina, los
estmulos auditivos por campos receptivos de la cabeza y los estmulos tctiles por

4
Citado por Fogelsanger y Afanador, 2006.
5
Citado por Fogelsanger y Afanador, 2006.
campos receptivos anclados en la piel. Se ha visto que un cambio en la posicin de
los ojos o en la postura corporal genera un cambio en la codificacin de los datos
visuales / auditivos / tctiles/ generando nuevas respuestas neurales diferentes
a las registradas antes del cambio de posicin. Para combinar diferentes respuestas
sensoriales, el cerebro toma en cuenta la postura y los movimientos del cuerpo en
el espacio (Deneve y Pouget, 2004).
Segn Reybrouck (2005), la msica es escuchada y enactivada ms que
meramente imaginada o representada. An en los casos en que no es producida
por el sujeto, puede inducir en las personas una suerte de resonancia ideomotora
que genera en el auditor una experiencia con el sonido como si hubiera estado
comprometido en su produccin. Esto indica que la intencin de la accin es tan
movilizadora como el comportamiento manifiesto. El autor lo explica como
fenmeno endgeno localizado en el sistema nervioso central. Estudios previos
muestran que existe en la percepcin un componente motor que hace que las
mismas reas cerebrales que son activadas en la accin sean activadas cuando son
solamente imaginadas. Reybrouck (2005) concluye en que si bien no toda
percepcin es reducible a componentes motores, los componentes motores estn
siempre comprometidos y son parte integral de la percepcin; a la imagen virtual
as conformada en la mente (movimiento imaginado) la denomina simulacin
ideomotora.
Desarrollos recientes muestran la existencia de neuronas tri-modales
(audio- viso- motoras) en la corteza pre-frontal del cortex (Kohler et al. 2000) 6,
por ello se considera que los diversos mecanismos de integracin multimodal
resultan un aspecto crucial de la investigacin sobre neuro- cognicin.
Stein y Meredith7 (1993) registraron la presencia de neuronas multi-
sensoriales en diversas reas cerebrales, las cuales convergen dentro y a travs, de
informacin multimodal. Estas reas responden mximamente a las interacciones de
los estmulos a travs de ms de una modalidad. Desde esta perspectiva los datos
sensoriales mltiples no solamente son integrados sino tambin reseteados,

6
Citado por Olivetti Berardinelli et al
7
Citado por Wood
produciendo una amplia transformacin que va mucho ms all de la suma de las
partes componentes. Olivetti Berardinelli et al.(2004) sealan que en los ltimos
aos un creciente nmero de investigadores han adoptado nuevas tcnicas de
neuroimgenes para pesquisar conexiones intermodales en las imgenes mentales.
Los resultados dan cuenta de un alto grado de interaccin entre las imgenes
mentales y otras funciones cognitivas.

Componentes psicolgicos
La investigacin en Psicologa Cognitiva ha mostrado que el cerebro (de
manera involuntaria) reconoce lazos de unin entre informacin presentada por
dominios sensoriales complementarios (Wood,1998).
Diversas lneas actuales de investigacin, dan cuenta de que la informacin
conjunta proveniente de diferentes canales sensoriales, influencia nuestros juicios
interpretativos (Cohen, 2005; Fogelsanger y Afanador,2006).
Las diversas formas de integracin sensorial o de modalidad cruzada
(cross-modal) potencian la eficacia comunicacional segn el grado de congruencia
entre las diferentes vas expresivas puestas en juego (Vines et al., 2006). As
tambin, otros trabajos dan cuenta de que la emocin del espectador se
incrementa cuando msica y accin son congruentes en trminos de contenido
emocional (Cohen, 2001, 2005; Fogelsanger, A. y Afanador, K., 2006; Parke et al.
2007; Forge Thompson et al, 2006).
La ejecucin musical, el cine, el teatro y la danza comprometen experiencias
multi-sensoriales en las cuales los estmulos sonoros y visuales interactan con el
tiempo. Todas ellas son consideradas interacciones cross-modales; los procesos
mentales subyacentes son de central importancia para nuestra comprensin de las
relaciones entre los sentidos, la organizacin perceptual y el modo en el cual las
representaciones del mundo son configuradas (Vines et al. 2006)
La conjuncin entre msica /sonido y accin, es caracterstica de diversas
culturas (Cross, 1999); en tal sentido se ha visto que la mayor congruencia es en el
campo de las artes temporales. Una de las formas privilegiadas de acuerdo entre
dominios, es cuando comparten patrones de acentos temporales. Segn Sloboda
(1985) los espectadores en base a los principios de la Gestalt, tienden a construir
asociaciones entre percepciones coincidentes en el tiempo.
Un anlisis comparado de actuaciones en diferentes expresiones artsticas
muestra que las artes temporales comparten formas de diccin organizadas en
patrones regulares; por ello es que los espectadores emiten juicios que anan
percepciones de la accin y de la msica. Es frecuente escuchar comentarios tales
como la escena es tan lenta como la msica de fondo, en el video-clip las
sucesivas tomas van con la msica, y por eso resultan tan rpidas la msica es la
que impone los cambios bruscos de velocidad de los bailarines. En todos estos
casos se est aludiendo al apareamiento temporal entre los niveles temporales de la
msica y los de la accin (Mitchel y Gallear,2001; Hodgins 1992)8.
Desde la perspectiva psicolgica el espectador recibe del cine una
multisensorial estimulacin, en la que a travs de la narrativa visual puede
relacionar su historia personal y explorar nuevas experiencias, entre otras. Las
investigaciones han mostrado que los espectadores utilizan esquemas pre-
existentes los aplican al film y crean nuevos esquemas coincidentes con la temtica
filmada (Cohen,2005)

Integracin cross modal: msica y artes del espectculo

En las artes del espectculo dramtico varios experimentos han mostrado
que la inteligibilidad del lenguaje se incrementa significativamente cuando la cara
del que habla es vista en lugar de ser solamente escuchada, ya que los
movimientos del cuerpo ponen en evidencia variedad de actitudes e ilustran diversos
estados mentales (Vines et al. 2006)
Segn Laurienti et al. (2004) la congruencia entre semntica y actuacin es
un factor crtico en las performances de integracin multi-sensorial; esta afirmacin
sugiere el rol del lenguaje corporizado en la comprensin de la actuacin teatral y
flmica.

8
Citados por Fogelsanger y Afanador
 Boltz (2001) observ que los juicios de los espectadores de acciones
dramticas variaban segn las caractersticas de la msica. A los sujetos
participantes del estudio se les mostr una escena en la cual un hombre segua a
una mujer por la ciudad. Cuando la msica elegida resultaba dramtica, tal accin
fue interpretada como peligro de muerte; la misma escena acompaada por msica
romntica, fue interpretada con valencia altamente positiva. Esto confirma que la
msica acta como un esquema, como marco interpretativo y como vnculo
emocional en el procesamiento de estmulos visuales. As tambin que contribuye a
otorgar significacin a escenas ambiguas, mantener el estado de alerta y
atencional, conceder sentido a diversos roles sociales y que acta como un valioso
predictor en avance de la trama (Boltz 2001).
Vines, et al (2005) consideran que acciones tales como mover la cabeza,
levantar las cejas y otros gestos posturales frecuentes en la escena , cuando
convergen temporalmente con la msica, comparten un significativo monto de
informacin y por ello actan como disparadores que refuerzan anticipan o
aumentan la seal auditiva. Los autores los consideran gestos para-lingsticos.
El aporte del sonido y la msica a la trama flmica no necesita ser justificado;
basta con reflexionar sobre el giro comunicacional y emocional que signific la
aparicin del cine sonoro. Por ello en el caso de la unin entre msica y film se
ponen en juego principios que proceden de los datos a la estructura (bottom up),
basados en el agrupamiento perceptual visual y auditivo (Cohen, 2001, Lerdahl y
Jackendoff, 1983). La congruencia film- msica ha sido ampliamente desarrollada
por el compositor y cineasta francs Michel Chion (1990), creador de la
Audiovisin que present la nueva disciplina con su acertada frase no se ve
lo mismo cuando se oye; no se oye lo mismo cuando se ve.
Cohen (2001) acuerda con Cook (1998) en que la msica es un modo de
expresin poderoso para representar un sentimiento tan abstracto como el de la
emocin; concomitantemente la pantalla resulta igualmente poderosa para
representar el objeto al cual la emocin es dirigida. La autora ha creado un modelo
de congruencia asociativa. Para ella, la msica de film como forma de transmisin
de la cultura, sirve a la funcin narrativa y se codifica en un canal de procesamiento
bidimensional dado que la msica del film aparea y rene la informacin visual y
emocional.
Diversos autores han utilizado analogas entre msica y discurso verbal,
para obtener informacin sobre sus interrelaciones, Malbrn (2008) en un test con
un grupo de msicos, examin las analogas entre fragmentos musicales y escenas
respecto de textos escritos en forma dialogal y adjetivos calificativos. Comprob
correlacin positiva y significativa entre ambas dimensiones, tanto para el
apareamiento estructural como en el tono emocional. Las conclusiones resultan
coincidentes con las de otros trabajos previos (Krunhansl 1996; Krumhansl y
Schenk, 1997): tanto en la versin slo visual como en la versin slo auditiva, los
participantes coinciden en la dimensin estructural de las ideas internas del
discurso. La entrada unimodal (versiones slo auditiva o slo visual) se
interconectan con una entrada multisensorial (la versin integral) Esta entrada
mapea todos los inputs sensoriales en un marco comn de referencia. Tal
comprobacin en el trabajo de Krumhansl y Schenk (1997) fue analizada con la
lectura de imgenes cerebrales acerca de las zonas neurales activadas. Esto les
ha permitido comprobar la existencia de un rea cerebral multisensorial influenciada
por entradas unimodales.
Los paralelismos entre estructura y sintaxis de los lenguajes expresivos
tambin han sido sealados por Meyer (1956,2001) que distingue entre actividad
contrapuntstica y simultaneidades jerrquicas, esto es, atender a la diferencia entre
coincidencias punto a punto (punctus contra punctus) y entre las coincidencia entre
grandes mojones de las estructuras de cada discurso.
Deneve y Pouget. (2004) aseveran que la integracin multisensorial
extiende sus beneficios a otros comportamientos tales como profundidad en la
percepcin, discriminacin en la accin, comprensin del lenguaje e identificacin
del objeto, asuntos que soportan la concepcin de una teora general de la
percepcin.
 Un elemento a considerar es el que se vincula con la msica como
movimiento virtual: es frecuente que cuando los sonidos aumentan en la frecuencia
de vibracin
(cualidad perceptiva de altura del sonido) las personas tienden a realizar
movimientos ascendentes y viceversa. Asimismo que el aumento de sonoridad
(crescendo) deriva en una analoga de ampliacin del movimiento y viceversa, o
que un aumento en la frecuencia temporal (accelerando) sea correspondido como
incremento en la velocidad de desplazamiento.
Para Fogelsanger y Afanador, (2006) congruencia, captura y movimiento
virtual son los tres atributos claves de la relacin msica y danza,
Se ha visto que los principios de integracin y congruencia estructural son
coadyuvantes para la interpretacin de la trama. El xito de la integracin entre
msica e historia narrada es dependiente de la congruencia en el cruzamiento de
ambas narrativas (Cohen,2005)

Integracin cross modal: Msica y danza / expresin corporal

La danza en conjuncin con la msica presenta una larga historia a travs de
las diversas culturas del mundo; su potencial aporte como forma de cohesin social,
entretenimiento e identidad cultural forma parte de la historia de la danza. Un
trabajo de Fogelsanger y Afanador (2006) consisti en un estudio conjunto
realizado por los autores (uno es coregrafo y otro compositor). Analizaron diversas
caractersticas de la integracin msica y danza. Segn los autores el atributo
relevante es la congruencia entendida como el ajustado apareado entre la sucesin
de eventos de la msica y los de la coreografa. Por ello consignan una lista de
paralelos tales como: i) apareamiento entre el pulso o el ritmo de la msica y el del
movimiento; ii) alineamiento de otros aspectos temporales estructurales que no son
el pulso; iii) cualidades cross modales anlogas; iv) otros referentes
complementarios.
Diversos trabajos han estudiado la manera en que la danza y el movimiento
corporal pueden reflejar las propiedades estructurales y expresivas de la msica
(Krumhansl y Schenck, 1997). Estos autores consideran que la congruencia cross
modal favorece la percepcin de similitudes y alineamientos entre las dos
modalidades (danza y msica). En un experimento mostraron que la integracin
auditiva y visual de una actuacin de ballet, si comparten informacin estructural y
contenido emocional, generan en el espectador respuestas fundidas basadas en
la conjuncin msica -movimiento. Los resultados del trabajo emprico mostraron
que los participantes aparearon la segmentacin del fraseo con el componente
visual, lo que inducira a pensar que utilizaron un alto nivel de procesamiento
perceptivo de los patrones de movimiento. Por ello los autores sealan como factor
de peso la correspondencia temporal entre los eventos musicales y el movimiento
del cuerpo, como as tambin la correlacin entre contorno del movimiento corporal
y contorno del fraseo. El estudio permiti observar que la conjuncin intersensorial
aporta a la emocin, indexada por la tensin y clarifica la estructura, indexada por
el fraseo.
Segn Reybrouck (2005), la experiencia musical es multifactica y asume
como paradigma epistemolgico clave la adopcin de una visin procesual de la
relacin entre la msica, el cuerpo y la cognicin experiencial. Para ello propone un
modelo adaptativo general de base biolgica y cognitiva como modo de atender
conjuntamente al cuerpo, la mente y la msica. Considera que su modelo se
aproxima a las teoras que entienden a la cognicin como una actividad
estructurada por el cuerpo, en un entorno de naturaleza biolgica, psicolgica y
cultural (Lakoff y Johnson, 1999). El autor propone una hiptesis corporizada que
describe a la percepcin como accin guiada por los sentidos y considera a los
procesos sensoriales y motores como estructurados, inseparables y mutuamente
informativos. Esto permite a las personas explorar el ambiente con el cuerpo y los
sentidos, en un ir y venir de entradas multisensoriales y experiencias corporales.
Elaborados mecanismos de retroalimentacin (feedback) se han observado entre
el aparato sensorial, el aparato motor e informacin temporal apareada con
imgenes motoras (Todd, 1999).
 El rasgo dominante del siglo XXI es el cambio de paradigma en el estilo de
comunicacin entre las personas. Los recitales, las presentaciones acadmicas, las
propuestas polticas, los avances de discos compactos de grupos juveniles, son
presentados con recursos multimedia. Esto es, son todas manifestaciones cross-
modales. La pedagoga tiene la palabra.
REFERENCIAS
Boltz, M. (2001). Musical soundtracks as a schematic influence on the cognitive
processing of filmed events. Music Perception, 18, 427-455

Chion, M. (1990/ 1993). La Audiovisin. Introduccin a un anlisis conjunto de la

imagen y el sonido. 1era ed. en espaol. Paris: Ediciones Nathan

Cross, I. (1999). Music, Cognition, Culture and Evolution. Annals of the New York
Academy of Sciences. 930. (pp. 28-42)

Cohen, Annabel. ( 2000). Musicology Alone. Review of Analysing Musical

Multimedia, by Nicholas Cook (Oxford University Press) . Music Perception
17:

Cohen, Annabel. ( 2001). Music as source of emotion in film. En P. Juslin y J.

Sloboda: Music and Emotion. Theory and Research. Oxford: UP

Cohen, Annabel J., (2005) How Music Influences Film and Video: Approaches from

Experimental Psychology. En Kendall, Roger A,. & Savage, Roger W. H.,

(eds.). Perspectives in Systematic Musicology .California: UP

Deneuve, S. y Pouget, A. (2004). Bayesian multisensory integration and cross-

modal spatial links. Elsevier. Journal of Phisiology. Paris

Fogelsanger, A. y Afanador, K. (2006). Parameters of Perception: Audition, and

Twentieth Century Music and dance. Congress on Research in Dance.
Tempe: Arizona.

Forde Thompson W,Russo F. y Quinto L. (2006). Preattentive integration of visual

and auditory dimensions of music. 2nd International Conference on Music and
Gesture. Manchester.

Laurienti, P.J., Kraft, R., Maldjian J Burdette, H.,& Wallace, M. T. (2004).

Semantic congruence is a critical factor in multisensory behavioral
performance. Exp. Brain Res.158. 2004

Lerdahl, F.y Jackendoff, R. (1983/2003). La Gramtica Generativa de la Msica

Tonal . Madrid: AKAL.
Lipscomb, S. (1999). Cross modal integration: Synchronization of auditory and
visual components in simple and complex media. Journal of the Acoustical
Society of America 105.Issue 2.

Malbrn, S. (2008). El cruce de modalidades perceptivas. Un estudio sobre msica

y actuacin.

Primer Congreso Internacional. Artes en cruce: Problemticas tericas

actuales Buenos Aires: Universidad de Buenos Aires

Meyer, L. (1956/2001). Emocin y el significado en la msica.

Mitchel, R. y Gallear, M. (2001). Emboding Music: matching and dance in Memory.

Music Perception 19.1. 65-85

Olivetti Berardinelli M., Di Matteo R.,Del Gratta, C., De Nicola,A., Ferreti, A.,Tartaro,
A.,Bonomo,L.,y Romani, G.L. (2004) Intermodal sensory image
generation:An fMRI analysis.The European Journal of Cognitive Psychollogy:
Vol.16, Nro. 5

Parke, R., Chew, E. y Kyriakakis, C. (2007). Multiple Regression Modeling of the

Emotional Content of Film and Music.123 rd Convention in Audio
Engineering.

Reybrouck, M. (2005). Body, mind and music: musical semantics between

experiential cognition and cognitive economy. Transcultural Music
Review. 9.

Sloboda, J. (1985). The Musical Mind: The Cognitive Psychology of Music. Oxford:
Oxford U.P.

Vines, B.,Krumhansl C., Wanderley, M. y Levitin, D. (2006). Cross-modal

interactions in the perception of musical performance. Cognition, 101, 80-113.

West, R, Howell,P y Cross,I. (1985). Modeling perceived musical structure. En P.

Howell, I. Cross y R West (Eds.) Musical structure and Cognition. London:
AP
Wood,A, (1998). Intersensory segregation: an investigation into the effects of
concurrently presented visual material on subjects ability to memorise the
rhythm of short melodies. Christs College. Cambridge.
www://mus.cam.ac.uk/~ic108/pandP/Wood98/Wood98.html.
Recuperado el 28/08/2008

Sid Caesar y Nanette Fabray (ca 1952, ****)"Argument to Beethoven's 5th".

Programa

Your Show of Shows USA. (film)