You are on page 1of 11

Comunicacin: METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI Temtica dentro de la cual se inscribe la comunicacin: 1.

Educacin Infantil, Primaria y Secundaria (edutec1@um.es) Modalidad en la que se presenta el trabajo: Presencial Nombre y apellidos de los autores, centro de trabajo y correo electrnico:

Francisca Serrano Pastor Profesora Titular de Universidad Dpto. Mtodos de Investigacin y Diagnstico en la Educacin Facultad de Educacin. Universidad de Murcia. ESPAA fjserran@um.es Manuel Ato Garca Catedrtico de Universidad Dpto. Psicologa bsica y Metodologa Facultad de Psicologa. Universidad de Murcia. ESPAA matogar@um.es Luca Amors Poveda Profesora Ayudante Dpto. Didctica y Organizacin Escolar Grupo de Investigacin de Tecnologa Educativa (GITE) Facultad de Educacin. Universidad de Murcia ESPAA lamoros@um.es

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI por Serrano, F., Ato, M. y Amors, L. EDUTEC 2005: Congreso Internacional sobre Formacin del profesorado y Nuevas Tecnologas. Santo Domingo (Repblica Dominicana) del 17 al 19 de noviembre de 2005

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI Serrano, F., Ato, M. y Amors, L. Universidad de Murcia

1. ANTECEDENTES: ESCENARIO DE LA INVESTIGACIN. La investigacin se enmarca dentro del proyecto EDUSI, que se desarroll en el periodo 1998-2000. Sus antecedentes se remiten a ESSIMUR, la Estrategia y Plan de Accin sobre la Sociedad de la Informacin, que el Instituto de Fomento de la Regin de Murcia (Espaa) present a principios de enero de 19961. No obstante las acciones que planteaba EDUSI ya llevaban ejecutndose aos atrs, como tambin sucedi con el programa y proyecto CIEZ@NET, impulsado por la Consejera de Economa y Hacienda (Ventana Digital, 1999) y donde EDUSI tuvo cierta participacin. El objetivo final de ESSIMUR fue identificar las lneas estratgicas y definir un plan de accin que, una vez integrado en los planes de desarrollo regional, permitiera que la Regin de Murcia se incorporara a la llamada Sociedad de la Informacin. Por lo tanto hubo acciones relacionadas con EDUSI, si bien no puede afirmarse que hubiera acciones de causa y efecto de uno hacia el otro. En esta lnea, el objetivo de EDUSI, acrnimo de Educacin en la Sociedad de la Informacin, consisti inicialmente en la formacin de una intranet educativa regional entre centros de tres municipios: Cieza, Lorca y Molina de Segura. 2. CONSECUENTES. La base del proyecto se sustenta en las iniciativas siguientes1: 1) Adoptar nuevos enfoques en la educacin de la Regin de Murcia, donde las nuevas tecnologas sirvan para el descubrimiento y el aprendizaje activo; 2) Donde el docente asuma un nuevo rol: ayudando al alumno a trabajar por si mismo, coordinando, motivando y guiando en la bsqueda de sus conocimientos; 3) Donde los padres estn integrados como parte del proceso formativo de sus hijos en los primeros ciclos de la enseanza (papel activo en el proceso de aprendizaje de los hijos): interactuando con el profesorado y continuando con el proceso educativo en los hogares a travs del uso de herramientas multimedia semejantes a los utilizados en los centros docentes. De este modo los padres debaten, orientan acerca de temas educativos y se tiene acceso al profesorado; 4) Donde se diseen, elaboren y experimente con entornos que favorezcan el proceso de aprendizaje
1

El proyecto de la Regin de Murcia fue aprobado por la Comisin Europea (Decisin de la Comisin, 18/12/1996), bajo la cofinanciacin de la DGV, a travs del FSE. El proyecto finaliz el 31 de diciembre de 1998, habiendo trazado un documento estratgico y de accin consensuado que permite a la Regin de Murcia avanzar hacia la Sociedad de la Informacin de manera ordenada y eficiente. Fuente: http://www.vdigitalrm.com/essimur.htm (ltima visita, agosto de 2004). 1 Fuente: http://ciudadanos.cieza.net/diegotortosa/edusi1.htm (ltima visita, agosto de 2004).

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI por Serrano, F., Ato, M. y Amors, L. EDUTEC 2005: Congreso Internacional sobre Formacin del profesorado y Nuevas Tecnologas. Santo Domingo (Repblica Dominicana) del 17 al 19 de noviembre de 2005

favoreciendo la interactividad del alumnado: mediante herramientas de simulacin, entornos de realidad virtual o materiales hipermedia pensados para entornos educativos. 3. METODOLOGA. La investigacin se enmarca dentro de la metodologa orientada a la toma de decisiones y al cambio en tanto que se trata de una investigacin evaluativa cuya intencin se dirige a generar conocimiento. Siguiendo a Popham (1975), Stufflbeam y Shinkfield (1987) la evaluacin educativa y la investigacin educativa son actividades distintas. Para Arnal, del Rincn y Latorre (1992) el concepto de investigacin evaluativa va a depender de lo que se entienda por evaluacin y por programa. Martnez Mediano (1996), por su parte, indica que el punto que separa a la evaluacin de la investigacin evaluativa es resbaladizo. Por su parte, la investigacin evaluativa presenta, atendiendo a las diferencias metodolgicas extradas de Popham (1975), las siguientes caractersticas susceptibles de comparacin con la evaluacin educativa en la tabla 1.
Definicin del problema Objetivo Resultados EVALUACIN EDUCATIVA Conocer para DECIDIR Hacer posible mejores decisiones Inters por COMPRENDER el fenmeno para orientar la actuacin de otros Fenmeno educativo en particular no generaliza Centro: situacin especfica sobre las que tomar las mejores decisiones Determinar el valor de un fenmeno educativo Valoracin de la importancia de una relacin descubierta Comparar la calidad de una relacin con otras INVESTIGACIN EDUCATIVA Conocer para SACAR CONCLUSIONES Inters por COMPRENDER el fenmeno Generaliza los resultados a una amplia variedad de situaciones comparables Centro: generaliza el resultado a cuanta ms gente mejor Bsqueda de la verdad cientfica, el valor no es necesario Ante una relacin fiable se puede cesar la bsqueda No compara la calidad de una relacin con otras

Valoracin

Tabla 1. Diferencias metodolgicas entre evaluacin e investigacin educativa. Basado en Popham (1975).

Para Popham (1975) la evaluacin educativa y la investigacin educativa (pensando en investigacin bsica) tienen ciertas similitudes en tanto que ambas son de inters para la comunidad cientfica, ambas ofrecen anlisis y estudios sistemticos y comnmente comparten tcnicas de medicin similares. Sin embargo, establecen diferencias como puede observarse en la tabla 1. Coinciden Stufflebeam y Shinkfield (1987) en que las actividades de la evaluacin educativa y la investigacin son distintas. As, mientras la evaluacin se dirige a determinar un valor considerando todos sus criterios, con un bajo control y manipulacin, la investigacin educativa se dirige al estudio de variables considerando slo algunas, estas variables tendrn un inters terico y sern tratadas con un alto control y manipulacin. En la evaluacin, los resultados pueden generar una teora mientras que en la investigacin se elabora la teora. La evaluacin tiende a la comprensin concreta de un fenmeno, mientras que la investigacin se dirige hacia su amplia comprensin. Apoyada en estas aportaciones interpreto que la evaluacin, si nos centramos en el concepto de valor, ofrece una mayor apertura que la investigacin bsica. Sin embargo, es pensando en la investigacin aplicada cuando se consigue ubicar la investigacin evaluativa que se 3

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI por Serrano, F., Ato, M. y Amors, L. EDUTEC 2005: Congreso Internacional sobre Formacin del profesorado y Nuevas Tecnologas. Santo Domingo (Repblica Dominicana) del 17 al 19 de noviembre de 2005

va ha llevado a cabo. Tomando la aportacin de Martnez Mediano (1996: 45): El propsito de la investigacin aplicada es contribuir al conocimiento que ayude a la gente a comprender la naturaleza de un problema de modo que los hombres puedan controlar de un modo eficaz su ambiente. Por lo tanto, coincidiendo con Arnal, del Rincn y Latorre (1992) y Martnez Mediano, (1996) la investigacin evaluativa se caracteriza por la proyeccin prctica propia de la investigacin aplicada. Las caractersticas que reconocen Arnal, del Rincn y Latorre (1992) se refieren a la investigacin evaluativa como proceso marcado por juicios de valor, juicios que se centran sobre valoraciones de una situacin concreta al tiempo que se toman decisiones alternativas. Para Martnez Mediano (1996) en la misma lnea, la investigacin evaluativa es una modalidad de investigacin que utiliza metodologas propias de las Ciencias Sociales, y por ende, de la Educacin por lo que la investigacin evaluativa implica evaluacin formativa y sumativa. Si atendemos a los medios Cabero (1994, 1999, 2001) determina que las perspectivas desde las que realizar la evaluacin de medios pueden ser: a) la evaluacin del medio en s; b) la evaluacin comparativa del medio; c) la evaluacin econmica y d) la evaluacin didctico-curricular. El estudio que se presenta se centra en la evaluacin didctico-curricular, en tanto que permite conocer el comportamiento de un medio dentro del contexto de enseanza y aprendizaje as como sus posibilidades de interrelacin con el resto de elementos del currculo. Pero adems la investigacin evaluativa incluye dentro de esta perspectiva la evaluacin del medio en s, en tanto que las unidades didcticas hipermedia han sido descritas como parte del procedimiento de investigacin. En particular se ha realizado un estudio de casos centrndonos en tres centros docentes inicialmente. Los diseos de investigacin evaluativa pueden ser de diferentes tipos. As Arnal, Del Rincn y Latorre (1992) indican que la investigacin evaluativa constituye una sntesis al mismo tiempo que una extensin de una amplia gama de mtodos de investigacin que aportan informacin sobre cuestiones planteadas en torno a los programas educativos, con el fin de facilitar la toma de decisiones sobre los mismos (pp. 216). Los diseos de investigacin evaluativa identificados por los autores aparecen recogidos en la tabla 2.
Diseos de orientacin empricoanaltica Diseos susceptibles de complementariedad Diseo basado en objetivos Diseo basado en el mtodo cientfico Diseos ms orientados a la Diseo UTOS decisin Diseo CIPP Diseo de crtica artstica Diseo contrapuesto Diseos sin metas Diseos de negociacin Diseo iluminativo Diseo democrtico Diseo respondente

Diseos de orientacin humansticointerpretativa

Tabla 2. Diseos de investigacin evaluativa, segn Arnal, del Rincn y Latorre (1992).

Recurriendo a las directrices tomadas de Stufflebeam y Shinkfield (1987) y Arnal, del Rincn y Latorre (1992) la investigacin llevada a cabo asume el diseo orientado a la decisin. La metodologa llevada a cabo se encuentra en la lnea de los planteamientos 4

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI por Serrano, F., Ato, M. y Amors, L. EDUTEC 2005: Congreso Internacional sobre Formacin del profesorado y Nuevas Tecnologas. Santo Domingo (Repblica Dominicana) del 17 al 19 de noviembre de 2005

del diseo UTOS elaborado por Cronbach, en tanto que la planificacin evaluativa y las cuestiones que hay que investigar fueron los ejes directores del diseo. Las cuestiones de investigacin se plantearon a modo de necesidades y de ellas se hizo una lista de objetivos a los que posteriormente se le fue asignando prioridades en funcin del tiempo disponible y de la fiabilidad de las variables tras el anlisis de datos. Finalmente se responde a todas las necesidades. La investigacin evaluativa contiene tanto mtodos de investigacin asociados al paradigma cuantitativo como al paradigma cualitativo. Siguiendo las aportaciones de Martnez Mediano (1996) nada capta mejor la diferencia entre los mtodos cualitativos y cuantitativos que las diferencias lgicas que subyacen en los enfoques de muestreo (1996: 71). La investigacin cualitativa atiende a estudios en profundidad, tomando muestras relativamente pequeas. Adems la muestra no ha sido seleccionada al azar, como vimos anteriormente, sino de manera determinstica, la lgica y el poder del muestreo determinstico descansa en seleccionar casos ricos en informacin para su estudio en profundidad, de los cuales se puede aprender gran cantidad de cosas sobre un tema de especial importancia (1996:71). En este sentido la investigacin se apoya bajo un planteamiento cualitativo tanto por su muestra como por el empleo del estudio de casos, usual en paradigmas cualitativos y no compatible con paradigmas experimentales que tienden hacia amplias muestras de investigacin, el logro de evidencia emprica y la provocacin de cambios en una variable (Martnez Mediano, 1996). Podramos decir, siguiendo a Serrano (1999), que el enfoque analtico que la persona ha adoptado para el proceso de disposicin y tratamiento de la informacin ha sido un enfoque cuantitativo de la informacin cualitativa (1999: 58). Los procedimientos se ajustan a los denominados estudios de investigacin descriptivos tipo encuesta, en tanto que las tcnicas de recogida de datos han sido los cuestionarios (empleados en la fase 1, 2, 3 y 5), la observacin estructurada (fase 3 y 4) y las fuentes documentales (fase 1 y 3). Las tcnicas tipo encuesta son tiles en s mismas y se complementan entre s, pudindose ayudar de la triangulacin (Martnez Mediano, 1996). La intencin fue recabar la mayor informacin posible. Adems se utiliz el diario para la recogida de notas de campo que permitiera tanto consultar informacin previa como contrastar datos. Otra tcnica interesante que finalmente no se analiz fue el registro de interacciones entre el estudiante y el hipermedia, bajo la plataforma JLE ya que el tiempo limit el modo de analizar dichas interacciones as como que los docentes llevaran a cabo este procedimiento para comprender el trayecto lgico de respuesta del alumnado. Tambin se utiliz el diario del investigador y el registro de interacciones, el primero porque sirvi como complemento, y el segundo porque aunque finalmente no se analiz s se consider en la planificacin inicial como interesante. 4. POBLACIN Y MUESTRA. La poblacin o universo de la investigacin es el conjunto de centros docentes, alumnos de dichos centros docentes y profesorado que lo componen. El universo tiene cuatro subpoblaciones:

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI por Serrano, F., Ato, M. y Amors, L. EDUTEC 2005: Congreso Internacional sobre Formacin del profesorado y Nuevas Tecnologas. Santo Domingo (Repblica Dominicana) del 17 al 19 de noviembre de 2005

Subpoblacin A: Formada por centros docentes de la Regin de Murcia implicados en el Proyecto EDUSI y envueltos en el tringulo Cieza, Lorca y Molina de Segura2. Subpoblacin B: Profesores que trabajan en dichos centros docentes y que elaboran materiales en formato electrnico. Subpoblacin C: Unidades didcticas en formato electrnico elaboradas por la subpoblacin B. Subpoblacin D: Alumnado que hace uso de la poblacin C. Cmo se observa trabajamos con una poblacin jerarquizada, lo que quiere decir que dependiendo de la subpoblacin A obtendremos las siguientes subpoblaciones. As, del nmero de centros docentes (subpoblacin A) depende el nmero de profesorado (subpoblacin B), este profesorado elabora material docente (subpoblacin C) y de l depende el que los estudiantes (subpoblacin D) la utilicen. La muestra con la que trabajamos es incidental y es necesario diferenciar entre muestra invitada y muestra productora de datos como ofrecemos en la tabla 3.
muestra invitada
FASE 1 4 centros docentes 14 profesores FASE 2 122 alumnos FASE 3 5 asignaturas en formato electrnico FASE 4 42 alumnos FASE 5 64 alumnos

muestra productora de datos


FASE 1 3 centros docentes 9 profesores FASE 2 85 alumnos 5 asignaturas FASE 3 4 hipermedia 1 no hipermedia FASE 4 18 observaciones FASE 5 64 alumnos

Tabla 3: Muestra invitada y muestra productora de datos

La experiencia de implementacin de materiales en soporte informtico se plantea siendo el docente el que construye su material didctico. Los centros docentes que participaron en esta fase fueron el CP3 San Antonio, de Molina de Segura y el IES4 Ramn Arcas, de Lorca. Es por este motivo por el cual la muestra productora de datos para la fase 5 corresponde al alumnado de 1 A y 1 B de la ESO 5 del CP San Antonio y 4 E de la ESO del IES Ramn Arcas sumando un total de 64 alumnos. En la fase 4 (observacin) de cada grupo-clase se eligieron por cada asignatura 6 alumnos distintos para ser observados generando un total de 42 observaciones. La eleccin se hizo bajo el criterio del sexo y del lugar donde estaban sentados. La eleccin por sexo nos permite obtener informacin ms heterognea y equilibrada al incorporar la observacin de conductas tanto de chicos como de chicas. La eleccin por el lugar de colocacin se debe a un motivo funcional. En cada sesin de observacin se dispone de dos observadoras. Cada una de ellas observ a tres alumnos
2

Molina de Segura, Cieza Y Lorca son municipios que pertenecen a la Regin De Murcia. Estos tres municipios se encuentran al sureste de Espaa y son del interior de la Regin de Murcia. Buena parte de la Regin est baada por el Mar Mediterrneo. 3 Colegio Pblico 4 Instituto de Educacin Secundaria 5 Educacin Secundaria Obligatoria

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI por Serrano, F., Ato, M. y Amors, L. EDUTEC 2005: Congreso Internacional sobre Formacin del profesorado y Nuevas Tecnologas. Santo Domingo (Repblica Dominicana) del 17 al 19 de noviembre de 2005

al tiempo que, en ocasiones, deban negociar con ellos para confirmar impresiones surgidas durante la observacin. Por esta causa, la cercana de la observadora con los observados fue necesaria. Adems, como se indica arriba, tratamos de que los observados fueran diferentes de una sesin a otra. De este modo conseguimos observar las conductas de diferentes alumnos con el fin de favorecer una descripcin variada de las conductas de los jvenes. Ante la cantidad de datos obtenidos finalmente la muestra productora de datos se redujo a 18 observaciones como recogemos en la tabla 4 (ver total de alumnos observados) que se encuentra justo debajo de este prrafo.
Asignatura Grupo Total de alumnos Total de alumnos observados Sexo Edad Ingls A - 1 E.S.O. 25 6 4 chicos 2 chicas 13 - 14 aos. B -1 E.S.O. 24 6 3 chicos 3 chicas 12 - 13 aos Biologa y Geologa E - 4 E.S.O. 15 6 4 chicos 2 chicas 15-16 aos

Tabla 4. Muestra para la observacin.

En la fase 5 se completaron 145 cuestionarios. Cada cuestionario corresponde a la evaluacin por parte de un alumno, 15 alumnos utilizaron la unidad didctica de Geologa y 19 los ejercicios de ortografa dentro de la asignatura de Lengua y Literatura. Hay 12 alumnos del grupo de 1 A de la ESO y 26 alumnos del grupo de 1 B de la ESO que utilizaron la asignatura de Msica. Por otra parte, 24 alumnos utilizaron la asignatura de Sociales. La asignatura de Ingls ha sido utilizada por 25 alumnos en el grupo de 1 A de la ESO y por 24 en el grupo de 1 B de la ESO. 5. TCNICAS DE INVESTIGACIN, INTRUMENTOS DE RECOGIDA - ANLISIS DE DATOS Y PROCEDIMIENTOS. Las tcnicas empleadas en la investigacin fueron la intravista, a travs del empleo del diario del investigador, la entrevista, utilizando el cuestionario y la observacin sistemtica. La intravista, segn Walker (1985), logra el efecto de verdad gracias a la introspeccin, por lo que la experiencia propia y la subjetividad son los instrumentos clave. Por su parte, la entrevista, se basa en el supuesto de que para decir la verdad hacen falta dos personas (1985: 172). Parte del reconocimiento de que las personas somos capaces de ofrecer una explicacin de nuestra conducta sobre la base de la reflexin de nuestras acciones. Se trata de un conjunto de tcnicas especficas de las ciencias sociales que abarca desde le cuestionario estructurado hasta la conversacin no estructurada. En este sentido, el cuestionario es considerado como una entrevista formal, estilizada, a modo de sustituta de sta. Formalmente es similar a una entrevista cara a cara slo que se prescinde de la presencia del investigador. Entre sus ventajas se destaca el que potencialmente implica un estmulo idntico a numerosos sujetos. Por tratarse de una entrevista en serie, los inconvenientes tienen que ver con los de la produccin en masa, principalmente en lo que respecta a la falta de oportunidades de interpretacin. 7

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI por Serrano, F., Ato, M. y Amors, L. EDUTEC 2005: Congreso Internacional sobre Formacin del profesorado y Nuevas Tecnologas. Santo Domingo (Repblica Dominicana) del 17 al 19 de noviembre de 2005

Atendiendo a la observacin, Cols et. al (1993) apuntan que deberemos tener en cuenta los siguientes aspectos a la hora de llevarla a cabo: A) el tipo de observacin (no sistemtica, sistemtica o muy sistematizada). B) Tcnicas de registro que, tomando la denominacin empleada por Cols el al. y coincidiendo con Rodrguez Diguez (1986) identificamos cuatro tcnicas: el registro anecdtico, el sistema de signos, el de categoras y las escalas de estimacin. C) Quien, cuando, dnde y cmo se va a observar (muestreo de tiempo, de situaciones o de sujetos). D) El papel desempeado por el observador (participante o no participante). Para Bickman (1980) la observacin es uno de los modos principales de obtener datos sociales y para ello deber tener presente tres aspectos: conocer claramente cul es el propsito de la investigacin, llevar a cabo la observacin de modo sistemtico y contener mecanismos que garanticen la fiabilidad y la validez. Siguiendo al profesor Rodrguez Diguez (1986), las condiciones para la elaboracin de la herramienta necesarias a la hora de conducir el instrumento de observacin al nivel mximo de exigencia son: a) la definicin de los comportamientos que van a ser observados; b) la indicacin de las condiciones en las que debe llevarse a cabo la observacin; c) la cuantificacin de la respuesta del observador o empleo de expresiones homogneas con las calificaciones convencionales y d) la validez y fiabilidad del instrumento, confiabilidad. Werner y Schoepfile (1987, citado en Arnal, del Rincn y Latorre, 1996) muestran la compleja relacin existente entre tcnicas como la observacin, la entrevista, el anlisis de documentos y el empleo de instrumentos estructurados segn la analoga del missile. Con dicha analoga que se ha adaptado en la figura 1 se muestra cmo el investigador completa la informacin recogida con unas tcnicas acudiendo tambin a los datos que han aportado otras tcnicas.

Comienzo

Fin

OBSERVACIN

DIARIO

Realidad educativa

CUESTIONARIOS

Tiempo

t0

APLICACIN DEL PROGRAMA

1 Propu

Figura 1. Proceso interactivo para evaluar la realidad educativa. Adaptado de Werner y Schoepfle (1987, en Arnal, del Rincn y Latorre, 1996: 233).

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI por Serrano, F., Ato, M. y Amors, L. EDUTEC 2005: Congreso Internacional sobre Formacin del profesorado y Nuevas Tecnologas. Santo Domingo (Repblica Dominicana) del 17 al 19 de noviembre de 2005

Los procedimientos utilizados fueron los mapas, el anlisis de contenido, las escalas (Diferencial semntico de Osgood y Escala de actitudes de Likert), las matrices de datos, los diagramas esquemticos (Mapas conceptuales y diagramas de flujos) y el paquete para el tratamiento estadstico de datos Systat. Siguiendo a Rodrguez, Gil y Garca (1996) la construccin de mapas implica un proceso complementario al vagabundeo. Diferencian entre mapas sociales, espaciales y temporales y ofrecen una visin del campo como un todo. Tomando la definicin aportada por Krippendorff (1980: 28) el anlisis de contenido es una tcnica de investigacin destinada a formular, a partir de ciertos datos, inferencias reproducibles y vlidas que puedan aplicarse a su contexto. Por ser abordada como tcnica de investigacin implica una serie de procedimientos especiales para el procesamiento de datos cientficos. En el anlisis de contenido los datos son lo nico disponible para el analista y se describen en funcin de unidades, categoras y variables, o bien son codificados de acuerdo con un esquema multidimensional. Por su parte Prendes (1994) indica que se trata de un procedimiento vlido y fiable a la hora de analizar mensajes partiendo de un material que ha sido recogido en un soporte especfico. Permite el anlisis y la descripcin del contenido de comunicacin de un modo objetivo y sistemtico mediante el uso de categoras excluyentes y cdigos que atienden a partes del mensaje. Prez (1984) indica como reglas para la seleccin de categoras: la homogeneidad, la inclusin, la utilidad, la exclusin mutua, la claridad y la correccin. Atendiendo a la reduccin de datos como parte del proceso general de anlisis, Rodrguez, Gil y Garca (1996) indican que generalmente el anlisis de datos cualitativos comporta la segmentacin en elementos singulares o unidades cuando los datos son de tipo textual. Siguiendo a Krippendorff (1980) las escalas se establecen a travs de dos trminos opuestos, polares. De este modo sin ser necesario explicar el significado de los puntos intermedios, el codificador describe los atributos de cada unidad de registro. Debe tenerse en cuenta que no todos los conceptos pueden situarse en un mismo continuo entre opuestos. Por su parte, Serrano (1999) indica que las matrices se encuentran dentro de los procedimientos propiamente cualitativos. En esta investigacin han sido tiles durante la disposicin y tratamiento de los datos. Las matrices pueden ser de diferentes formatos, aunque el ms habitual y el utilizado ha sido la tabla de doble entrada. Siguiendo a Serrano (1999) los mapas conceptuales se encuentran dentro de los diagramas esquemticos, como sucede con otros procedimientos como la red semntica, el rbol ordenado, el rbol de representacin y explicacin, y el diagrama de flujo. Se trata de un procedimiento que proviene de la Psicologa Cognitiva y cuyo uso se extiende al mbito de la Educacin, como recursos heursticos. Se han utilizado diagramas con lenguajes textuales, por ejemplo para la obtencin de conclusiones y propuestas de mejora (fase 4). Tambin se ha hecho uso de diagramas utilizando un lenguaje grfico. El lenguaje grfico ha sido fundamental para la elaboracin del informe sobre el que se basa este trabajo y frecuentemente utilizado en la fase 5 a la hora de mostrar las categoras y subcategoras tras el anlisis de contenido. Para analizar los datos se recurre al paquete estadstico SYSTAT. Siguiendo a Ato y Lpez (1994) diferentes evaluaciones de software estadstico demuestran que esta 9

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI por Serrano, F., Ato, M. y Amors, L. EDUTEC 2005: Congreso Internacional sobre Formacin del profesorado y Nuevas Tecnologas. Santo Domingo (Repblica Dominicana) del 17 al 19 de noviembre de 2005

aplicacin es la ms equilibrada en potencia y versatilidad, en facilidad de manejo y en la sencillez de su aprendizaje. Para el investigador esta aplicacin ha supuesto un modo rpido de tratar estadsticamente los datos. Al mismo tiempo SYSTAT cumple con las demandas que requieren los objetivos de la investigacin llevada a cabo. Entre las ventajas encontradas, algunas recogidas en Sancho, Ato, Lpez y Velandrino (1989) se destacan: a) la posibilidad de grabar los datos permitiendo que stos sean explotados en investigaciones futuras; b) hace posible incorporar nuevas variables; c) permite cruzar nuevas variables con las ya existentes y d) permite la elaboracin de grficos con calidad de publicacin. Esta ltima aportacin no lleg a utilizarse en la investigacin porque por entonces EXCEL (perteneciente a Microsoft) permita grficos ms atractivos que los que en su momento ofreca SYSTAT y adems ofertaba mayores opciones para modificar la esttica del grfico. Una tercera ventaja de EXCEL con respecto a SYSTAT fue la posibilidad de ofrecer informacin en espaol. 7. CONSIDERACIONES METODOLGICAS para POSTERIORES INVESTIGACIONES. Atendiendo a la metodologa del estudio, tanto en el empleo de los cuestionarios como en la observacin sistemtica es crucial determinar la fiabilidad y la validez de las herramientas de recogida de datos a travs de la medida, por ejemplo utilizando el coeficiente de Cronbach o el ndice de acuerdo kappa () de Cohen. Hubiera sido deseable extraer en la observacin sistemtica dichos ndices bien introduciendo las categoras correspondientes a las conductas observadas, bien tomando una sola conducta al azar y analizando el dato aportado por el observador en cada uno de los sujetos observados. Con respecto al cuestionario Actitudes y conocimiento acerca del medio informtico: Tras la implementacin del cuestionario se recomienda para futuras investigaciones profundizar ms en la separacin entre adjetivos a la hora de emplear una escala. La variable sexo como variable cualitativa nominal llev a errores de interpretacin por lo que conviene dicotomizarla, indicando H (hombre) y M (mujer). Adems para un trabajo futuro sera interesante estudiar la validez de constructo as como establecer significados entre datos interrelacionados. Con respecto al cuestionario Gua de requerimientos y funcionalidades didcticas en el diseo y creacin de sistemas interactivos multimedia Si se decide utilizar este cuestionario por varios investigadores sera aconsejable delimitar criterios de valoracin para llegar a acuerdos. Se recomienda abrir un apartado de otras valoraciones con el fin de que los juicios de valor sean aclarados si se precisa as como actualizar en cuestionario con nuevas herramientas de software. Con respecto al cuestionario acerca del hardware y software para la elaboracin e implementacin de materiales docentes, dirigida a coordinadores EDUSI. Sera interesante, en caso de volverse a utilizar, incluir preguntas sobre la conectividad tcnica del equipamiento en los centros docentes. Por un lado descriptivas, como por ejemplo acerca de navegadores utilizados, y valorativas como por ejemplo si la navegacin en red resulta adecuada o lenta. 10

METODOLOGA DE UNA INVESTIGACIN EVALUATIVA: PROYECTO EDUSI por Serrano, F., Ato, M. y Amors, L. EDUTEC 2005: Congreso Internacional sobre Formacin del profesorado y Nuevas Tecnologas. Santo Domingo (Repblica Dominicana) del 17 al 19 de noviembre de 2005

8. BIBLIOGRAFA. AMORS, L. (2004). Evaluacin de hipermedia en la enseanza. Tesis Doctoral. Universidad de


Murcia. Indita. ANGUERA, M T. (1990). Metodologa observacional. En ARNAU, J. ANGUERA, M T. y GMEZ, J. Metodologa de la investigacin en ciencias del comportamiento. Murcia: Servicio de Publicaciones. p. 123-236. ATO, M. y LPEZ, J. J. (1994). Fundamentos de Estadstica con SYSTAT. Madrid: RA-MA. BICKMAN, L. (1980). Recogida de datos I. Mtodo de observacin. En SELLTIZ, C. WRIGHTSMAN, L. S. y COOK, S. W. Mtodos de investigacin de las relaciones sociales. 9a ed. Madrid: Rialp. p. 345398. CABERO, J. (1994). Evaluar para mejorar: medios y materiales de enseanza. En SNCHO, J. M (coord.). Para una tecnologa educativa. Barcelona: Horsori. p. 241-267. . (1999). La evaluacin de medios audiovisuales y materiales de enseanza. En CABERO, J. (ed.), BARTOLOM, A., CEBRIAN, M., DUARTE, A., MARTNEZ, F., SALINAS, J. Tecnologa Educativa. Madrid: Sntesis. p. 87-106. . (2001). Tecnologa educativa. Diseo y utilizacin de medios en la enseanza. Barcelona: Paids. COLS, M P., GONZLEZ RAMREZ, T., GARCA PEREZ, R. y REBOLLO M A. (1993). "Tcnicas de recogida de informacin". En COLS, M P. y REBOLLO, M A. Evaluacin de programas. Una gua prctica. 2a ed. Sevilla: Kronos. HERNNDEZ, F. (1995). Bases metodolgicas de la Investigacin Educativa. Murcia: DM. HERNNDEZ, F., IGLESIAS, E., FUENTES, P. y SERRANO, F. J. (1994) Introduccin al proceso de investigacin en educacin. Murcia. [DL: MU-2158- 1992]. MARTNEZ MEDIANO, C. (1996). Evaluacin de programas educativos. Investigacin evaluativa. Modelo de evaluacin de programas. Madrid: UNED. PEAK, H. (1979). Problemas de observacin objetiva. En FESTINGER, L. y KATZ, D. (eds.). Los mtodos de investigacin en las ciencias sociales. 3a reimp. Buenos Aires: Paids. p. 235-285. PREZ SERRANO, G. (1984). El anlisis de contenido de la prensa. La imagen de la Universidad a Distancia. Madrid: UNED. POPHAM, W. J. (1980). Problemas y tcnicas de la evaluacin educativa. Madrid: Anaya/2. PRENDES, M P. (1994). La imagen didctica: Anlisis descriptivo y evaluativo. Tesis doctoral. Universidad de Murcia. Indita. RODRGUEZ DIEGUEZ, J.L. (1986) [1980]. Didctica General. 1. Objetivos y evaluacin. 1a ed, 5a reimp. Madrid: Cincel. RODRGUEZ, G., GIL, J. y GARCA, E. (1996). Metodologa de la investigacin cualitativa. Mlaga: Aljibe. ROSALES, C. (1990). Evaluar ES reflexionar sobre la enseanza. Madrid: Narcea. SNCHEZ MECA, J., ATO, M., LPEZ PINA, J. A. y VELANDRINO, A. P. (1989). Estadstica exploratoria y confirmatoria con el paquete Systat. Murcia: Secretara de publicaciones Universidad de Murcia. SERRANO, F. J. (1999). Anlisis de relatos. En SEZ, A., ESCARBAJAL, A., GARCA, A. y CAMPILLO, M. (coords.). Murcia: DM. p. 33-71. STUFFLEBEAM, D.L. y SHIKFIELD, A.J. (1987). Evaluacin sistemtica. Gua terica y prctica. Barcelona: Centro de Publicaciones del MEC y Piados Ibrica.

11

You might also like