Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt
Universidad de Londres, Reino Unido

en Discourse: Studies in the Cultural Politics of Education, Vol. 26, N 3, Septiembre de 2005. pp. 315331.

Como las palabras vuelan en las pantallas, dan vueltas y se disuelven; la imagen, el sonido y el movimiento ingresan en la escuela en nuevas y significativas formas, formas que reconfiguran la relacin entre imagen y palabra. En este artculo discutir esas nuevas configuraciones multimodales y explorar cmo impactan en las producciones de escritos y lecturas de los alumnos en escuelas inglesas. Examinar el cambiante rol de la escritura en pantalla, especficamente cmo el carcter visual de la escritura y el rol crecientemente dominante de la imagen desestabiliza y descentra la predominancia de la palabra. A travs de ilustrativos ejemplos de aplicaciones TIC y las interacciones de los estudiantes con stas en Lengua y Ciencia escolar (y juegos en el contexto del hogar), explorar cmo stas parecen promover la imagen por sobre la escritura. Ms en general, discutir qu significa todo esto para la alfabetizacin y cmo los lectores en edad escolar interpretan los textos multimodales.

Introduccin Las tecnologas basadas en impresos y pantallas permiten disponer de diferentes modos y recursos semiticos en formas que moldean los procesos de elaboracin de significados. La particular comprensin intuitiva material y social (Kress y van Leween, 2001; van Leween, 2005) de las nuevas tecnologas y pantallas, como opuestas a las pginas, han conducido a una reconfiguracin de la imagen y la escritura en pantalla en formas que son significativas para la escritura y la lectura. En este artculo describo algunas de esas configuraciones y exploro las decisiones de diseo tomadas respecto de cundo y cmo la escritura, el discurso y la imagen son utilizados para mediar en la elaboracin de significados. Mi intencin a lo largo del artculo es desafiar el primer plano de la palabra escrita y establecer la necesidad de investigacin y prctica educativa que mire ms all de lo lingstico. En este proceso yo espero demostrar cmo los tiles anlisis multimodales pueden realizarse tanto en el contexto de la alfabetizacin escolar como en el de las aplicaciones computacionales y los

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

juegos (Kress y van Leween, 2001; Kress et al, 2005, van Leween, 2005). La lectura y la escritura basadas en impresos son y siempre han sido multimodales. Estas requieren de la interpretacin y el diseo de marcas visuales, espacio, color, fuentes o estilo y, cada vez ms imagen y otros modos de representacin y comunicacin (Kenner, 2004). Un enfoque multimodal hace posible que sean atendidos y se vaya ms all de verlos como decoracin. Reno aqu una variedad de ejemplos ilustrativos con el propsito de explorar cmo las nuevas tecnologas transforman las prcticas de lecturas. Estos ejemplos incluyen aplicaciones computacionales (Microsoft Word), CD ROMs (Multimedia Science School [New Media Press, 2001] ) y Of mice and men1 [Penguin Electronics, 1996] y juegos (Kingdom hearts [Sony, 2002] e Ico [Sony, 2001]). Estos han sido seleccionados para mostrar la gama de configuraciones de imagen y palabra y para comenzar a explorar cmo esas configuraciones pueden ser moldeadas por las asignaturas del currculo y por los diferentes contextos de uso.

La escritura en el entorno multimodal de la pantalla Los textos en pantalla son ensambles multimodales complejos de imagen, sonido, movimiento animado y otros modos de representacin y comunicacin. La escritura es un modo en este ensamble y su significado por tanto necesita ser comprendido en relacin con los otros modos junto a los cuales est ubicado. Los diferentes modos ofrecen recursos especficos para elaborar significados y las formas en las que los modos contribuyen a que la elaboracin de significados que realizan las personas, vare. La representacin de un concepto (por ejemplo: clulas o partculas) se realiza por los recursos de la escritura en formas que difieren de los recursos de la imagen, por ejemplo: diferentes aspectos se incluyen o excluyen en una representacin escrita y en una visual. La escritura no es siempre el recurso central para elaborar significados en las aplicaciones que se usan en Lengua y Ciencias Naturales, en las escuelas. En algunos textos la escritura domina y en otros puede haber poca o ninguna escritura. El diseo particular de las relaciones entre imagen y palabra en un texto impacta en su potencial forma de significado. Por ejemplo: una aplicacin de computadora puede ser diseada para presentar toda la fuerza representacional y comunicacional de la imagen y la palabra alrededor de un signo, la imagen puede ser usada para reforzar el significado de lo que se dice, de lo que se escribe, etc. A su vez, esta relacin sirve para producir o indicar
1

Nota de la traductora: Of mice and men/De ratones y hombres- Novela escrita por John Steinbeck en 1937.

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

coherencia. Un ejemplo de esta clasificacin de recursos semiticos a travs de modos se ofrece en el juego de PlayStation Ico (Sony, 2001). Ico trata sobre un nio (Ico) que es encerrado en un fuerte misterioso y l y su rescatado compaero Yorda deben escapar. Con este fin, los dos personajes viajan a travs de una especie de laberinto de un fuerte y vencen a monstruos sombros y a una esquiva reina hechicera. Esta discusin se basa en datos del video y observacionales de un proyecto piloto diseado para explorar cmo un juego en tanto texto multimodal se realiza a travs de la interaccin del jugador (Carr y Jewitt, 2005). Mi discusin se basa en el anlisis multimodal de datos del juego y del video y en la observacin de una sesin de juego entre tres nios (de 8, 15 y 17 aos de edad). En el juego Ico la calidad efmera del personaje central Yorda se produce a travs del diseo multimodal de los modos. Esta cualidad se realiza por el impenetrable discurso de Yorda y sus transcripcin escrita (yo discutir esto con ms detalle ms adelante en este artculo). Est sealado en las visualmente mal definidas y cambiantes caractersticas y en los bordes filtrados y borrosos de su forma. Su voz tranquila, suave, sus gestos lentos y fantasmales que dudan y apenas terminan junto a su movimiento flotante agregan a esta realizacin del personaje. Cada uno de los modos usados en la realizacin del personaje Yorda estn diseados para sugerir la misma cosa: ella existe en un espacio liminal en la frontera entre el castillo en el que el juego est situado dentro y el mundo fuera del castillo, al cual el jugador debe tratar de escapar.

En otros momentos, la imagen y la escritura se ocupan de diferentes aspectos del significado en un texto. Aqu me gustara empezar a trabajar en algunas de las nuevas configuraciones de la imagen y la escritura provocadas por las potencialidades de las nuevas tecnologas. En particular yo quiero interrogar sobre cmo esas configuraciones impactan en la construccin de significado, lectura y escritura. Esta discusin necesita ser leda conociendo que los sitios de la pantalla estn siempre localizados y moldeados socialmente: lo nuevo siempre se conecta con, se detiene y desliza por sobre lo viejo (Levinson, 1999; Manovich, 2002). Las formas en que los modos de representacin y comunicacin aparecen en la pantalla estn por tanto todava conectados con la pgina, presente y pasado. De manera similar la pgina se conforma incrementalmente y se rehace por la nocin de pantalla. Hay pantallas que se parecen a pginas y pginas que se parecen a pantallas (por ejemplo: los libros de Dorling Kindersley). Hasta hace poco la dominancia de la imagen por sobre la palabra ha sido una caracterstica de los textos diseados para nios pequeos. Ahora, la imagen eclipsa la palabra en una variedad de textos, en pantalla y fuera de pantalla: hay ms imgenes en pantalla y las

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

imgenes son cada vez ms preeminentes por sobre los elementos escritos. La preeminencia de la imagen es tpica en muchas aplicaciones de ciencia escolar, como por ejemplo Multimedia Science School (New Media Press, 2004) (Figura 1).

Figura 1: Captura de pantalla del CD ROM Multimedia Science School

Estos ejemplos estn extrados de mi investigacin sobre multimodalidad, aprendizaje y el uso de las nuevas tecnologas en Ciencia escolar, Matemtica y Lengua (Jewitt, 2003, 2005). Aqu me focalizo en una grabacin de video y una observacin del CD ROM Multimedia Science School en uso en un aula de una escuela secundaria de sptimo ao en la ciudad de Londres. Cuando la escritura aparece en pantalla, una funcin comn es para nombrar y etiquetar elementos. En Multimedia Science School, por ejemplo, el diseo de la imagen y la escritura en pantalla sirve para crear dos reas diferenciadas de la pantalla: un marco y una pantalla dentro de la pantalla central (Ver figura 1). El anlisis semitico multimodal del diseo de la pantalla muestra que el marco sirve a la clasificacin cientfica y al etiquetado del fenmeno cientfico a ser explorado. Hay una serie de botones que se muestran en el marco. Cada botn tiene una etiqueta escrita sobre l que relaciona con las reas de los tpicos cubiertos por el CD ROM (por ejemplo: estados de la

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

materia). Estos actan como subttulos escritos para lo que se exhibe visualmente en la seccin central pantalla dentro de la pantalla. La pantalla dentro de la pantalla en el CD ROM es un espacio multimodal sin ninguna escritura y muestra el mundo emprico a ser investigado. Este media y brinda la evidencia que completa los conceptos cientficos (por ejemplo:estados de la materia) etiquetados por el marco. En otras palabras, la configuracin de la escritura y la imagen en el CD ROM modalmente marca esos dos aspectos distintivos de la ciencia escolar; por ejemplo: la teora cientfica y el mundo emprico. El marco se basa mayormente en la escritura, la disposicin y composicin. La pantalla dentro de la pantalla se basa en la imagen, el color y el movimiento. No es slo en la ciencia escolar en la cual la imagen domina la pantalla. Esto tambin es verdadero en las aplicaciones usadas en la clase de Lengua, sin embargo, como mostrar la forma en la cual la relacin entre palabra e imagen se configura es bastante diferente.1 La relacin entre imagen y escritura en el CD ROM Of mice and men/De ratones y hombres ilustra varias caractersticas de la relacin cambiante entre imagen y escritura (Jewitt, 2002). La imagen cubre ms de la mitad de la pantalla y ms de tres cuartos de las pginas en la novela en CD ROM. Esto sirve para descentrar la escritura. La escritura se muestra en la pantalla enmarcada dentro de un bloque blanco, este bloque est colocado sobre una imagen que llena la pantalla (Figura 2).

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Figura 2: Captura de pantalla del CD ROM Of mice and me/ De ratones y hombres

El texto completo de la novela Of mice and men/De hombres y ratones se reproduce en el CD ROM, pero la forma en que est distribuido a travs de la pantalla, como opuesta a la pgina, difiere. La cantidad de escritura por pantalla se reduce enormemente cuando se compara con la pgina de la novela (as una pgina est compuesta por tres o cuatro prrafos mientras que cada pantalla de CD ROM est compuesta por un prrafo). Esta reestructuracin quiebra la narrativa y desconecta las ideas que previamente corran una pgina hacia fragmentos de la narrativa a travs de pantallas. El diseo de la escritura en pantalla est conectado con las demandas epistemolgicas y los requerimientos del rea curricular. En Lengua escolar la escritura en pantalla representa los conceptos del currculo, aunque en la mayora de los casos una lectura alternativa de esos conceptos es vuelven disponibles a travs de imagen, movimiento y otros modos. En la matemtica y ciencia escolar la escritura parece ser usadas fundamentalmente para nombrar las entidades curriculares cannicas dentro del lenguaje especializado de la asignatura.

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

La escritura parece cumplir una funcin similar en los juegos de computadora de Play Station. Mientras que la accin multimodal rueda, la escritura se usa para nombrar un personaje o para indicar su status, especificar un punto narrativo o identificar una decisin. Por ejemplo, la decisin de cundo y qu representar mediante la escritura/habla puede dar forma al personaje del juego y la narrativa. La escritura y el habla pueden ser usadas para dar voz y expresin a algunos personajes en el juego y no a otros. Al observar a mi hija (8 aos de edad) y a sus amigos jugar con los juegos de PlayStation, me di cuenta y me interes cmo ellos se avanzan en los juegos usando el acceso de los personajes a la palabra hablada como una pista multimodal de su potencial para ayudar a resolver los enigmas y tareas en el juego. El acceso al lenguaje del personaje indica (fue ledo como parte de) su valor en el juego, por ejemplo: su valor en lograr el objeto del juego, para recolectar recursos para avanzar al siguiente nivel del juego). Una anlisis semitico multimodal del juego Kingdom hearts (Sony, 2002) muestra que algunos personajes tienen el potencial de hablar, algunos responden mediante globos de textos cuando son abordados por el jugador/avatar, y otros no tienen ningn lenguaje potencial. Los personajes que tienen la mayora de los modos de comunicacin son la clave para lograr el xito en el juego. El diseo de la escritura y del habla tambin puede sutilmente dar forma a la identidad de un personaje de un juego. En el juego Ico (2001), presentado ms arriba en este artculo, la configuracin del habla y la escritura dentro del juego multimodal sirve para referenciar la funcin social del lenguaje como una marca de identidad, pertenencia y diferencia. Esta referencia es central a la narrativa del juego y la tarea de resolver el enigma del juego y lograr el objetivo, escapar del castillo. El lenguaje que habla Ico es una especie de Esperanto global, una combinacin no gramatical de elementos de japons, francs y alemn. El lenguaje hablado de Ico es al mismo tiempo universal e inaccesible. Su habla se traduce en subttulos que aparecen en la tira inferior del corte de las secuencias del juego. El idioma de Yorda, como el de Ico, est elaborado por partes reelaboradas de varios lenguajes existentes, pero es ficcional. Sus palabras habladas son traducidas a un lenguaje pictrico escrito ficcional. El lenguaje escrito est hecho de letras rizadas que se ubican en algn lugar entre la letra cursiva japonesa y arbiga. En otras palabras, ni el lenguaje hablado de Yorda ni la traduccin escrita es accesible al jugador. La relacin entre escritura y habla en este juego parece casi desafiar su propsito esencial, comunicar.

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Y sin embargo estos lenguajes incomprensibles significan, a pesar de todos. En el caso de Yorda la escritura y el habla son formas puras. Indican algo de su personaje a travs de la inaccesibilidad de su conversacin. El habla y la escritura se usan para representar la identidad de Yorda como de otro mundo y diferente. Al representar el lenguaje de Yorda como uno que puede ser hablado y escrito, el diseo de juego construye a Yorda como de tipo humano, alfabetizada y sociable. Lo que Yorda dice no puede ser conocido, pero el tono tranquilo, suave y lrico de su voz con el que ella pronuncia sus afirmaciones no comprensibles es un signo audible de su naturaleza amable e inofensiva (van Leeuwen, 1999). El guin escrito que representa sus palabras ofrece un eco visual de los signos pictricos tallados en el sepulcro donde inicialmente Ico es encerrado. De esta manera, el guin escrito de los subttulos marca la conexin de Yorda con el castillo. El lenguaje hablado marca su diferencia con Ico. La escritura marca su pertenencia al castillo, el lenguaje marca su identidad. La forma en que la escritura y el lenguaje hablado son usados en el juego Ico tambin son parte de la construccin de la relacin entre los personajes Yorda e Ico. Al observar a los personajes hablar y escuchar, queda claro que Ico no puede comprender el lenguaje de Yorda (No queda claro si Yorda puede o no comprender lo que Ico dice). Los jvenes que hemos observado jugando el juego son (como Ico) abandonados a interpretar visualmente los significados que Yorda lucha por hacer a travs de gestos, movimientos, posturas y auditivamente a travs de su voz. Su interpretacin y respuesta hacia ella difiere en la relacin con su experiencia en el juego y la nocin de juego que a su vez depende del contexto de juego (Carr y Jewitt, 2005). Contrariamente, el jugador tiene acceso al lenguaje de Ico a travs de los subttulos escritos. Las decisiones del diseador sobre cundo y cmo usar la escritura y el habla media el flujo de la narrativa como una secuencia multimodal. El grito desesperado del nombre de Yorda es la nica conversacin contra el fondo de la accin.

El habla de Ico y Yorda despoja lo que se dice, el contenido del lenguaje y en cambio ofrece el sonido, la forma material del habla. La forma visual material de la escritura puede ser resaltada de manera similar. Esto despoja el contenido de lo que se escribe, como el lenguaje escrito ficcional de Yorda. El despojo del contenido de la escritura es lo que pongo ahora en discusin: la visualizacin de la palabra. Los recursos de las nuevas tecnologas enfatizan el potencial visual de la escritura en formas que producen nuevas configuraciones de la imagine y la escritura en pantalla: fuentes, negritas, itlicas, color, disposicin y ms. El carcter visual de los textos escritos ha sido siempre presentado a los calgrafos, tipgrafos y otros, pero la

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

inclusin y representacin y reconocimiento de las cualidades materiales y visuales de los textos es ms reciente dentro de la lingstica (vase por ejemplo: Ormerod y Ivanic, 2002; Shortis y Jewitt, 2004). En ocasiones las fronteras entre la palabra y la imagen aparecen enteramente permeables e inestables (Chaplin, 1994; Elkins, 1999). El potencial de las nuevas tecnologas difuminan las fronteras entre lo visual y lo escrito en formas que reformulan los modos y las relaciones entre ellos. El diseo de la tipografa cintica (Lanham, 2001; Maeda, 2000) es una instancia de esto y una que cuestiona lo que la escritura es y puede ser en el siglo veintiuno. Esa es una pregunta que se complica an ms por la nocin cambiante de pantalla y el desarrollo de pantallas tridimensionales, flexibles y transparentes. Estos cambios repercuten y se conectan con tradiciones visuales del pasado cuando la falta de acceso de la gente a la escritura como medio de comunicacin significaba que relato visual paralelo estaba a menudo incrustado en textos visuales escritos vistosos. Por entonces y ahora (aunque por diferentes razones), la forma visual de la escritura no era una decoracin, era y es significado diseado. La observacin del uso del CD ROM Of mice and men/De ratones y hombres durante una serie de clases de Lengua escolar brind un ejemplo de cmo la tipografa, en tanto una visualizacin de la palabra, contribuye a las maneras en las que los estudiantes forman significados de un texto. En particular, ofrece reflexiones sobre la forma en que los estudiantes interpretan el estatus de los personajes dentro de una novela en CD ROM. El CD ROM da informacin de cada uno de los personas en la forma de una nmina de trabajo, una lista de nombres de los personajes y roles. La mayora de los nombres de los personajes estn escritos como una lista usando una fuente que se parece a una vieja mquina de escribir (estilo Courier) y estn remarcadas en rojo. Los nombres de los personajes el jefe y la esposa de Curly estn manuscritos en tinta roja junto a la lista. Las diferentes fuentes tipogrficas usadas en el CD ROM marcan las conexiones y desconexiones entre los personajes en el relato. Aunque el contraste entre el estilo de fuente, el color, la disposicin espacial, los dos personajes el jefe y la esposa de Curly son representadas como forasteros. El comentario manuscrito molestndonos escrito junto al nombre la esposa de Curly va ms all y la posiciona como una intrusa. La tecnologa codificada en esas dos fuentes marcan las diferentes distancias sociales entre el visualizador/lector y la gente listada (tambin la lista en s misma). La fuente de mquina de escribir sugiere una relacin ms distante (ms fra) que la fuente manuscrita. Cmo y cundo estas dos fuentes diferentes se vinculan en CD ROM se vuelve entonces una cuestin de eleccin, una cuestin de significado. Por ejemplo, el

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

archivo del dossier sobre la esposa de Curly incluye una imagen de un sobre dirigido a la esposa de Curly en Speckled Ranch, el lugar de la historia (Figura 3).

Figura 3: Captura de pantalla del dossier de la esposa de Curly en el CD ROM Of mice and men/ De ratones y hombres

Cuando el usuario hace clic en la imagen del sobre, se activa un hipervnculo a una carta de Steinbeck dirigida a Clare Luce (el actor que interpret el personaje en una produccin teatral del libro). El sobre est producido como manuscrito usando la fuente Apple Chancery mientras que la carta a la que est hipervinculada est producida como tipiada usando la fuente Courier y barras de desplazamiento. Este patrn de una fuente manuscrita en una pantalla hipervinculada con un texto usando la fuente Courier ocurre a lo largo de todo el CD ROM. Esto sirve para producir dos tipos distintivos de escritura. La fuente Apple Chancery se emplea para indicar algo en el nivel ficcional de la historia. La fuente Courier se emplea para indicar algo en el nivel factual. La narrativa ficcional de la novela y las descripciones de los personajes emulan manuscrito y la marca visual de la presencia o esencia de un escritor humano. La informacin factual incluida en el dossier y en los textos hipervinculados sobre los lugares histricos que se mencionan en la novela usan Courier, una fuente que

10

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

produce la imagen de una mquina, la vieja y maciza mquina de una mquina de escribir y sugiere la presencia de tecnologa como ausencia humana.

Figura 4: Captura de pantalla del texto hipervinculado del dossier de la esposa de Curly en el CD ROM Of mice and men/ De ratones y hombres

La tipografa se emplea aqu para expresar visualmente algo perteneciente tanto a lo personal y potencialmente ficcional o a lo formal y factual. Estas diferentes fuentes dan a los estudiantes que leen una pista visual con los diferentes tipos de trabajos con los que se espera que se comprometan. En el caso de la fuente manuscrita el trabajo de los estudiantes es de tipo imaginativo, mientras que la fuente Courier sugiere que el tipo de compromiso que se necesita es ms distante, ms relacionado con hechos histricos y evidencias. De esta forma, las cualidades de las fuentes empleadas son una clave para el posicionamiento textual del lector. En ocasiones la escritura en pantalla se vuelve totalmente visual. Con esto queremos decir que el contenido de la escritura es consumido por esta forma. La escritura se transforma en imagen cuando es o muy grande o muy pequea para relacionarse con la prctica de la lectura. El minsculo garabato de palabras impresas se refugia en un texturado patrn de lneas y es redefinido como una representacin visual en pantalla. Cuando la escritura cambia de lugar en la pantalla interacta en ritmo con otros modos, por ejemplo: el significado lingstico de lo que est escrito es a menudo ilegible y se transforma (Jewitt, 2002).

11

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Algunos piensan que lo mejor es separar imgenes y escritos en las versiones de los libros en CD ROM porque las imgenes distraen a los estudiantes (Graham, 1996). Desde una perspectiva multimodal yo veo el diseo de la imagen y la escritura como contribuyendo al significado de un texto de diferentes formas. Desde este punto de vista, la relacin espacial entre imagen y escritura es un recurso para dar significado que puede ser til. Cuando la escritura es separada y pasa a primer plano para dominar la pantalla, puede ser vista como un tipo de resistencia al potencial multimodal de las nuevas tecnologas y la pantalla. En otras palabras, una cantidad importante de escritura en pantalla se transforma en un signo o convencin o tradicin. La escritura en pantalla funciona para referenciar los valores del conocimiento especializado, la autoridad y autenticidad asociada a lo impreso. Refiere al texto literario y a la elite educada o, ms prosaicamente, a los exmenes y la evaluacin. Se requiere una cantidad importante de trabajo para mantener la escritura como el modo dominante en pantalla. Esto sirve para asegurar la conexin entre lo viejo y lo nuevo. Sin embargo, la escritura es usualmente una parte del ensamble multimodal de imagen, msica, lenguaje hablado y elementos en movimiento en la pantalla. No slo los diseadores y los docentes toman decisiones sobre las relaciones entre imgenes y palabras en los textos. En la prxima seccin de este artculo analizar un ejemplo sobre cmo los estudiantes se comprometieron en esas decisiones cuando ellos elaboraron (disearon) textos.

El diseo de la escritura e imagen de los alumnos Los estudiantes en el aula (y en cualquier otro lugar) se comprometen en la toma de decisiones complejas sobre qu modo usar y cmo disear de la mejor manera configuraciones multimodales. Aqu me focalizo en un ejemplo de diseo de imagen y escritura digital elaborado por estudiantes en un aula de Lengua de sptimo ao. Esta discusin se basa en un video y en la observacin de una clase en la que los estudiantes elaboraron un folleto sobre su escuela secundaria para ser enviado a futuros alumnos de las escuelas primarias locales. Los estudiantes trabajaron en parejas y cada pareja dise un folleto a doble pgina usando Microsoft Word y cmaras digitales para producir las pginas. Se presentan dos pginas finales tpicas del folleto en las figuras 5 y 6 (el nombre de la escuela fue borrado en funcin del anonimato).

12

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Figura 5: Pgina de un folleto elaborado por un estudiante Tu da en la escuela [nombre de la escuela]

13

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Figura 6: Pgina de un folleto elaborado por un estudiante La tecnologa de la informacin en la escuela [nombre de la escuela]

14

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

La tecnologa brindada a los estudiantes incluy acceso a una amplia gama de imgenes incluyendo clip art, bordes, Word art, logos importados, fotos digitales e imgenes descargadas y tambin a sus propios dibujos realizados usando las herramientas de Word Draw. Cada uno de los anuncios en el folleto final se produjo con una fuente diferente, desde la simple fuente Courier hasta la fuente ornamental Apple Chancery. Algunos estudiantes escribieron en maysculas sus textos escritos, otros usaron negrita o itlica. Otros estudiantes eligieron usar Word Art, completando con sombras y efectos tridimensionales. Los estudiantes parecieron usar las fuentes con un recurso mediante el cual marcar visualmente su individualidad dentro del proceso colectivo de hacer un folleto, ms que usar la fuente para marcar coherencia y sentido de audiencia, en la cual el individuo se enmascara dentro de un carcter uniforme de lo colectivo. Las facilidades del procesamiento de palabras permiti a los estudiantes disear y redisear sus pginas del folleto para envolver y desenvolver la escritura alrededor de imgenes, para alterar la orientacin de la pgina de vertical a horizontal y viceversa, para cambiar los mrgenes, para alternar entre diferentes estilos de fuentes y tamaos, para importar e eliminar imgenes, etc. Las posibilidades de Microsoft Word permitieron a los estudiantes manipular el diseo de los elementos visuales y escritos fcilmente. Esto destaca el trabajo iterativo de diseo, seleccin, adaptacin, visualizacin, etc. en el cual no se requiri un compromiso inicial. En el proceso de hacer las pginas los estudiantes se comprometieron en una serie de decisiones y negociaciones. Estas incluyeron si usar o no un borde, qu tipo de borda, si importar imgenes de clip art o si usar Word Art, decisiones sobre el empleo de los elementos listo para usar versus hecho en casa. Los estudiantes tuvieron que componer lo escrito y decidir cmo presentarlo en la pgina. Los estudiantes dedicaron un tiempo considerable a la disposicin de sus pginas. Los estudiantes usaron tablas, grillas y otros dispositivos en su diseo de las relaciones entre imagen y escritura en la pgina. El uso de la grilla en Un da en la escuela (Figura 5) organiza tanto la imagen como la escritura y brinda una afirmacin visual sobre la organizacin del tiempo en la escuela como una grilla regulatoria de las prcticas. La escritura funciona como un tipo uniforme de etiqueta que iguala los diferentes perodos y produce uniformidad centrada alrededor del tiempo. La disposicin de la tabla, su simetra y las celdas del mismo tamao contribuyen a la representacin del texto de un da en la escuela como perodos de tiempos regularizados. Las imgenes distinguen los perodos ofreciendo contenido visual icnico. Los estudiantes usaron los recursos visuales que estaban disponibles fcilmente en el aula: clip

15

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

art. Ellos adaptaron algunas de las imgenes agregando escritos. Las imgenes de clip art que ellos seleccionaron presentan la enseanza y la escuela como sinnimos de ocupacin y una prctica mayormente didctica. La gente est de pie y seala en las pizarras. El uso de las imgenes por parte de los estudiantes es imaginativo y al mismo tiempo limitado por el origen de las imgenes dentro de la base de clip art de Office. La eleccin del borde por parte de los estudiantes en el texto La tecnologa de la informacin en la escuela (Figura 6) est compuesta por lpices listos para escribir, organizados alrededor de un borde horizontal de imgenes de computadoras que los estudiantes armaron con la imagen de clip art de una computadora. Ellos probaron diferentes bordes y colocaron esto diciendo cuando se les pregunt que lo eligieron porque se refiere a la escritura. En un sentido su seleccin puede ser vista como un tipo de clasificacin visual de tecnologas de escritura que realiza el uso principal de una computadora en la escuela: producir textos con procesador de textos. Ahora me referir a qu reconfiguracin de la imagen y la palabra en pantalla -descripta hasta aqu en este artculo- significa para la lectura.

La lectura como prctica multimodal El reconocimiento del carcter multimodal de los textos, tanto impresos como digitales, impacta en las comprensiones convencionales de la lectura. Los textos que se apoyan principalmente en la escritura pueden todava ajustarse al concepto de lectura como compromiso con la palabra. Lo que es ostensiblemente un texto escrito monomodal ofrece al lector informacin visual importante que se incorpora dentro del proceso de lectura. La lectura es afectada por la organizacin espacial y el encuadre de la escritura sobre la pgina, la direccionalidad, forma, tamao y ngulo de un escrito (Kenner, 2004). De este modo diferentes escrituras pueden ser vistas como diferentes modos, dando lugar a una variedad de potenciales para la construccin de significados con diferentes principios

representacionales subyacentes a cada sistema de escritura (Kenner y Kress, 2003, p. 179). En otras palabras, tanto la escritura como la lectura son actividades multimodales. La necesidad de repensar la lectura (as como las concepciones de texto) no ha sido confinada a las tecnologas digitales o la pantalla. Como mencion anteriormente, siempre hay deslizamientos y conexiones entre lo viejo y lo nuevo. Como consecuencia, las

concepciones de lectura a travs de una variedad de sitios de la pantalla estn en proceso de cambio. Los recursos multimodales disponibles a los lectores son centrales para repensar qu

16

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

es la lectura y en qu se transformar en un entorno digital comunicacional hbrido (blended). Dicho eso, la nueva gama y reconfiguraciones de modos que las tecnologas digitales vuelven disponibles presenta diferentes potenciales para la lectura de los textos impresos. Estas reconfiguraciones modales casi demandan que se preste atencin al carcter multimodal de la lectura. Cuando se compara la experiencia de lectura de una novela impresa o un texto digital (una novela en CD ROM o una novela en Internet) la gente a menudo conversa sobre qu es mejor. Esta comparacin es en algn sentido una comparacin falsa, en tanto las nuevas tecnologas estn usualmente combinadas (blended) con las viejas tecnologas en el aula; es poco comn que un CD ROM realmente reemplace el libro original. En lugar de preguntar qu es mejor?, el libro o la pantalla, yo creo que es ms til preguntar qu es mejor para qu propsito. Considero que la nocin de prdidas y ganancias semiticas de Kress es til para pensarlo (Kress, 2003). Esta idea puede ser aplicada para la diferencia (las prdidas y ganancias) para la lectura en el cambio de un medio, el libro impreso, a otro, la pantalla digital. En otro trabajo yo he discutido la lectura de los estudiantes de una novela en CD ROM y cmo esto permiti que los estudiantes se involucraran con la novela como pelcula, historieta y musical (Jewitt, 2005). Aqu discuto cmo esas diferentes dan forma a la prctica de la lectura usando un ejemplo de la lectura de los estudiantes de una simulacin en CD ROM en ciencia escolar. La aplicacin Multimedia Science School es multimodal y, como ya he mencionado, la escritura se restringe a un etiquetado mnimo. Los estudiantes tienen que leer color, movimiento e imagen para poder construir sentido del concepto de partculas. La aplicacin Multimedia Science School usa imagen y color para construir las entidades de estados de la materia (slido, lquido y gas) y partculas. En el CD ROM las imgenes se presentan como evidencia de aspectos criteriales de partculas. El trabajo de los estudiantes (en este ejemplo estudiantes de sptimo ao en una clase de Ciencia) consiste en leer el significado para construir la nocin de partcula. Para leer las imgenes los estudiantes necesitan ser capaces de comprender qu es y a qu deberan prestar atencin. Ellos necesitan saber qu seleccionar como elementos relevantes representacin visual. e importantes de la

Los estudiantes usando la aplicacin que he observado y

videograbado, estaban activamente involucrados con los recursos visuales exhibidos en la pantalla del CD ROM. En algunos puntos los recursos visuales de color, textura y forma empleados en la aplicacin parecan estar en conflicto con su lectura visual cotidiana del mundo. Para algunos estudiantes exista una tensin entre la realizacin visual de la teora cientfica y la vida cotidiana como era mostrada en el CD ROM. Esto caus una confusin

17

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

considerable en la lectura de los estudiantes y en la construccin de las partculas. Un ejemplo de esto fue la lectura que realizaron los estudiantes de la secuencia de simulacin que mostraba la transformacin de slido a lquido. La imagen, el movimiento animado y el color estn diseados para representar la disposicin de las partculas de slido a lquido. Este diseo intenta mostrar las partculas animadas superpuestas sobre el agua como una representacin alternativa de un lquido. Durante la clase yo not que varios estudiantes interpretaron las partculas en la imagen como una parte de un lquido (el agua mostrada en el fondo). Mientras trabajaban con el CD ROM, una de las estudiantes, Lucy, coment que las partculas estaban sostenidas en el agua como gelatina. Ella no entendi la imagen de las partculas como una representacin del agua. Lucy no distingui entre el recurso visual del fondo o primer plano (capa superpuesta). En cambio, su construccin de la entidad partcula es la de algo que existe dentro de un lquido, un slido o un gas ms que la partcula como una cosa que constituye un lquido, slido o gas. Otra representacin visual problemtica en el CD ROM es la transformacin de lquido a slido. El uso del color en esta secuencia fue lo ms problemtico a ser ledo por los estudiantes. La pantalla de apertura de la transformacin de lquido a slido muestra una cubeta de precipitacin dentro de otra cubeta. La exterior contiene hielo y la interior contiene agua. El agua es representada con un color celeste blancuzco plido con cualidades de reflejos. La escritura en el marco de la pantalla muestra claramente que eso es lo que los estudiantes estn observando. A pesar de la clara etiqueta, los estudiantes estaban confundidos con respecto a qu estaban observando. Los estudiantes no tomaron en cuenta la informacin escrita que se les haba ofrecido a travs de la escritura en el marco cientfico del CD ROM. En cambio, ellos se apoyaron solamente en la imagen y el color para leer la transformacin. Este es un ejemplo de la dominancia del modo visual y su impacto en la lectura de los estudiantes. Pareciera ser que la brecha conceptual entre la escritura en el marco y la imagen en la pantalla dentro de la pantalla es simplemente demasiado importante para que los estudiantes sean capaces de construir sentido a partir de esto. Esta dificultad pareci ser una consecuencia de una diferencia en los principios que emplearon los estudiantes y los principios que emplearon los diseadores de la aplicacin en relacin con el uso de los recursos modales de color, textura y forma. Los principios de los diseadores entraron en conflicto con los principios de los estudiantes para comprender esos recursos. Los estudiantes a menudo privilegian un modo por sobre otros modos cuando leen textos multimodales. Desde mi perspectiva, sucede de manera

incremental que los lectores, especialmente los lectores jvenes y los lectores alfabetizados en

18

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

computadoras, privilegian la imagen y el color por sobre la escritura cuando leen un texto multimodal.

En el ejemplo de la transformacin de lquido a slido los estudiantes leyeron la representacin de un lquido para ser un slido. Este episodio muestra cmo los estudiantes se enganchan con las representaciones modales en la pantalla de manera diferente para construir sentido de una representacin. Esto muestra cmo los estudiantes privilegian o ponen en primer plano algunos modos como modos ms confiables en su lectura. La secuencia multimodal est claramente etiquetada mediante la escritura en el marco como transformacin de lquido a slido. Las partculas se muestran en movimiento ms libre y ms veloz al principio de la secuencia que en la pantalla final en la que las partculas se mueven lentamente o casi no se mueven y estn distribuidas de forma compacta. La direccin de una lnea trazada sobre el grfico muestra la temperatura en la parte superior del grfico como ms alta que la temperatura que figura en la parte inferior del grfico. En otras palabras, la direccionalidad del grfico representa una disminucin de la temperatura. Incluso la conversacin de los estudiantes demuestra que ellos comprenden que la sustancia est siendo enfriada y que el grfico est mostrando una disminucin de temperatura. A pesar de esta informacin, los estudiantes no leen la transformacin como una transformacin de lquido a slido. La prominencia y el alto valor de realismo dado a los recursos de imagen, color y textura invalidan todo lo que los estudiantes saben. Los diseadores produjeron un texto multimodal, estos estudiantes lo leyeron visualmente. Esto resalta el rol importante del docente en mediar con las aplicaciones computacionales en el aula. Por ejemplo, el docente podra haber empleado esta lectura como un punto til para la discusin del realismo y las formas en que la ciencia escolar ofrece formas alternativas de visualizar y pensar acerca del mundo. Junto con la eleccin de qu modo leer, la estructura de muchos textos digitales abre opciones sobre dnde comenzar a leer un texto/qu camino de lectura seguir. Esta pregunta est intrnsecamente ligada con el foco central de este artculo, por ejemplo: cmo la relacin entre imagen y escritura cambia ambos: las formas de conocimiento y las prcticas de lectura y escritura. El diseo de modos a menudo ofrece a los estudiantes diferentes puntos de entrada a un texto, caminos posibles a travs de un texto y resalta el potencial de los lectores para rehacer un texto a travs de su lectura. El lector est involucrado en la tarea de encontrar y crear caminos de lectura a travs de los textos multimodales y multidireccionales en la pantalla, una fluidez que est comenzando a filtrarse en la pgina de los libros impresos

19

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

(Kress, 2003; Moss, 2001). La escritura, la imagen y otros modos se combinan para comunicar mltiples significados y alientan al lector a rechazar una nica interpretar y a asumir mltiples lecturas posibles de un texto (Coles y Hall, 2001). El carcter multimodal de la pantalla no indica un nico punto de entrada, un comienza y un final, en cambio indica que los textos estn presentados en capas y ofrecen mltiples puntos de entrada. Esto ofrece al lector nuevas potencialidades para la lectura de un texto y el diseo de un texto a travs de su involucramiento con ste. La lectura de un texto escrito sobre una pgina es usualmente un evento lineal en el que el autor y el ilustrador guan el ojo en una direccin particular conectada con la lectura de un texto. Ciertamente es el caso de que los mltiples caminos de lectura son siempre parte del repertorio de un lector experimentado (Coles y Hall, 2001). Los textos multimodales de la pantalla redefinen el trabajo del lector quien tiene el trabajo de construir una narrativa o imponer sus propios significados a travs de su camino a travs del texto. Algunos han proclamado que la narrativa lineal ha muerto y otros afirman que nunca ha estado viva. Yo creo que las narrativas siguen viviendo en diferentes formas a travs de una gama de medios. Dicho esto, yo creo que las facilidades de las nuevas tecnologas hacen que la narrativa no lineal se logre ms que en la pgina impresa. El diseo de algunos libros para nios (por ejemplo The jolly pocket postman, Ahlberg y Ahlberg, 1995) y muchas revistas dirigidas a la gente joven sirven para fragmentar la nocin de narrativa lineal y alientan a los lectores a verse a s mismos como escritores. Al hacerlo, estos textos deshacen las formas literarias de clausura y narrativa. Sin embargo, el potencial para el movimiento y la clausura a travs de textos en pantalla es fundamentalmente diferente de la mayora de las formas literarias clsicas basadas en los libros y ofrece al lectora el potencial de crear (aunque parcialmente) el texto a ser ledo. La pregunta no es qu tipo de narrativa es mejor, sino qu puede hacerse (significar) con los recursos que los diferentes tipos de narrativas ponen a disposicin. Es una pregunta que refiere a qu tipos de narrativas se ajustan mejor con las facilidades de los diferentes medios para propsitos particulares y qu rol tienen la imagen y la escritura en su configuracin.

Comentarios finales A pesar del carcter multimodal de los textos basados en pantallas y del proceso de diseo y produccin del texto, la lectura de la poltica educativa y la evaluacin continan para proveer una visin lingstica de la alfabetizacin y una visin lineal de la lectura. Esto fracasa al

20

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

conectar los tipos de alfabetismos que se requieren en la escuela con los mundos fuera de la escuela para la mayora de la gente. La Estrategia de Alfabetizacin nacional del gobierno (Departamento de Educacin y Habilidades, 1998) en Inglaterra es ese tipo de poltica. Est formada por una conceptualizacin de la alfabetizacin lingstica y basada en lo impreso en la que el foco est puesto en la palabra, la oracin y el texto. Simultneamente, las estrategias de los gobiernos proclaman el poder de las nuevas tecnologas para cambiar todo. El carcter multimodal de las nuevas tecnologas produce una tensin para las concepciones tradicionales de alfabetismo que mantienen el lenguaje escrito en su centro. Las formas tradicionales de evaluacin continan poniendo nfasis en la escritura a mano y la ortografa, habilidades que las facilidades de las computadoras hacen que sean relevantes de manera diferente para el aprendizaje. Al mismo tiempo, la evaluacin fracasa para acreditar la adquisicin de nuevas habilidades que las nuevas tecnologas demandan a los estudiantes, tales como encontrar, seleccin, procesar y presentar informacin de Internet y otras fuentes Somekh et al., 2001). Yo quiero sugerir que el carcter multimodal y las facilidades de la nueva tecnologa requieren que los conceptos de alfabetismo tradicionales (basados en lo impreso) sean reformados. Lo que significa ser alfabetizado en la era digital del siglo XXI es diferente de lo que era necesario previamente (Gardener, 2000). Si la alfabetizacin escolar quiere ser relevante en funcin de las demandas del entorno multimodal del mundo ampliado debe apartarse de la reduccin del alfabetismo como una serie esttica de habilidades tcnicas o arriesgarse a fomentar una poblacin de analfabetos funcionales (McClay, 2002). En sntesis, la alfabetizacin escolar necesita ser expandida para reflejar los sistemas semiticos que usan los jvenes (Unsworth, 2001; Jewitt, 2005).

Referencias
Ahlberg, J., & Alhberg, A. (1995). The jolly pocket postman. London: William Heinemann. Carr, D., & Jewitt, C. (2005). Multimodality and the playable text . Paper presented at Computer Assisted Learning Conference, Bristol University, 6 April 2005. Chaplin, E. (1994). Sociological and visual representation . London: Routledge. Coles, M., & Hall, C. (2001). Breaking the line: New literacies, postmodernism and the teaching of printed texts. United Kingdom Reading Association , 35(3), 111/114. Department for Education and Skills. (1998). The National Literacy Strategy . Retrieved February 13, 2005, from http://www.nc.uk.net. Elkins, J. (1999). The domain of images. New York: Cornell University Press.

21

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Gardener, P. (2000). Literacy and media texts in secondary English . London: Cassell Education. Graham, J. (1996). Trouble for Arthurs teacher: A close look at reading CD-ROMs. InM. Simons (Ed.), Where weve been: Articles from the English and Media Magazine (pp. 285/290). London: English and Media Centre. Jewitt, C. (2002). The move from page to screen: The multimodal reshaping of school English. Journal of Visual Communication, 1(2), 171/196. Jewitt, C. (2003). Reshaping literacy and learning: A multimodal framework for technology mediated learning. Unpublished doctoral dissertation, Institute of Education, London University. Jewitt, C. (2005). Technology, literacy, learning . London: Routledge Falmer. Kenner, C. (2004). Becoming biliterate: Young children learning different writing systems. Stoke on Trent: Trentham Books. Kenner, C., & Kress, G. (2003). The multisemiotic resources of biliterate children. Journal of Early Childhood Literacy, 3(2), 179/202. Kress, G. (2003). Literacy in the new media age . London: Routledge. Kress, G., & van Leeuwen, T. (2001). Multimodal discourse: The modes and media of contemporary communication. London: Arnold. Kress, G., Jewitt, C., Bourne, J., Franks, A., Hardcastle, J., Jones, K., et al. (2005). Urban classrooms, subject English: Multimodal perspectives on teaching and learning . London: RoutledgeFalmer. Lanham, R. (2001). What next for text? Education, Communication, and Information , 1(1), 59/74. Levinson, P. (1999). Digital McLuhan: A guide to the information millennium. London: Routledge. McClay, J. (2002). Intricate complexities. English in Education, 36(1), 36/54. Maeda, J. (2000). Maeda @ Media. London: Thames and Hudson. Manovich, L. (2002). The language of new media. Cambridge, MA: MIT Press. Moss, G. (2001). To work or play? Junior age non-fiction as objects of design. Reading, Literacy and Language, 35(3), 106/110. Ormerod, F., & Ivanic, R. (2002). Materiality in childrens meaning making practices. Visual Communication, 1(1), 65/91. Shortis, T., & Jewitt, C. (2004). The multimodal ecology of texts in A-level examinations . Paper presented at British Association of Applied Linguistics, Kings College, London, 13 September 2004. Somekh, B., Barnes, S., Triggs, P., Sutherland, R., Passey, D., Holt, H., et al. (2001). NGfL Pathfinders: Preliminary report on the roll-out of the NGfL Programme in ten Pathfinder LEAs. London: Department for Education and Skills. Unsworth, L. (2001). Teaching multiliteracies across the curriculum: Changing contexts of text and image in classroom practice . Buckingham: Open University Press. van Leeuwen, T. (1999). Speech, music, sound. London: Macmillan. van Leeuwen, T. (2005). Introducing social semiotics . London: Routledge.

22

Multimodalidad, lectura y escritura para el siglo XXI

Por Carey Jewitt

Aplicaciones
New Media Press. (2001). Multimedia science school (CD ROM). Oxon: New Media Press. Penguin Electronics. (1996). Of mice and men (CD ROM), Steinbeck Series. New York: Penguin Electronics. Sony. (2001). Ico . San Mateo, CA, USA: Sony. Sony. (2002). Kingdom hearts . San Mateo, CA, USA: Sony.

Notas
1. Esta discusin se basa en videograbaciones y observaciones de uso del CD ROM Of mice and men/ De ratones y hombres en una serie de clases de Lengua en noveno ao en una escuela de la ciudad de Londres.

23