Professional Documents
Culture Documents
En este captulo se tratarn los pasos esenciales comprendidos en el diseo de un enfoque cuantitativo para un plan de investigacin. Ms especficamente, sern tratadas las etapas implicadas en un diseo por encuesta o en un proyecto experimental. Se continuar la discusin iniciada en captulos anteriores acerca de los supuestos del paradigma implicado. Por ejemplo, de manera consistente con una metodologa proveniente de un enfoque positivista, los instrumentos se usarn para recolectar datos asumiendo que la realidad es mensurable y existe all afuera separada del investigador, quedando de esta manera las cuestiones de la validez y confiabilidad de los resultados revestidas de crucial importancia. Otros postulados provenientes de este enfoque y tipo de metodologa son: la mecnica causa y efecto como patrn de causalidad, el firme propsito de la eliminacin de sesgos sobre los datos a travs de procedimientos tales como el cuidadoso diseo de instrumentos de recoleccin de datos y la construccin de muestras representativas de una poblacin de estudio. La exposicin no intenta ser exhaustiva en cuanto a la consideracin de los diferentes mtodos de investigacin. Existen otros exelentes textos para este propsito (por ej., para el diseo por encuesta ver Babbie, 1990; Dillman, 1978; Fink y Kosecoff, 1985; Fowler, 1988; para el diseo experimental, ver Keppel, 1991; Rosenthal y Rosnow, 1991). Aqu se tratarn las principales etapas implicadas en el plan de una investigacin cuantitativa, a la vez que se provee de un esquema para la presentacin de informes.
Definiciones
Un diseo por encuesta provee de una descripcin cuantitativa o numrica de una fraccin de una poblacin la muestra- a travs de un procedimiento de recoleccin de datos basado en la formulacin de interrogantes a individuos (Fowler, 1988). A su vez, esta recoleccin de datos habilita al investigador a generalizar sus hallazgos a toda una poblacin de estudio a partir de una muestra de respuestas. Un experimento somete a prueba relaciones de causas y efectos. El investigador manipula una o ms variables independientes y determina si estas manipulaciones producen efectos o resultados distintos (McMillan y Schumacher, 1989). El investigador somete a prueba relaciones de causa y efecto porque se asume tericamente que todas (o la mayora) de las variables manipuladas y sus resultados estn controladas durante el experimento.
Tabla 8.1: Preguntas a formularse para la elaboracin de un plan de investigacin basado en un diseo por encuesta Cul es el propsito de la investigacin? Se mencionan las razones para la eleccin de este tipo de diseo?
Se identifica la naturaleza de la encuesta (longitudinal o panel vs. de seccin cruzada )? Se mencionan el tipo y tamao de la poblacin? Se estratificar la poblacin? Si es as, de acuerdo a cules criterios? Cuntos individuos incluir la muestra? Cul es el criterio de tal seleccin? Cul es el procedimiento de muestreo utilizado (por ej., al azar, no al azar)? Qu instrumentos se usarn en la encuesta? Quin desarroll tal instrumento? Cules son los contenidos temticos sobre los que se quiere recabar informacin? Qu tipo de informacin se proponen medir las escalas? Cul es el procedimiento utilizado para el testeo del instrumento o pre-test? Cul es el perodo de tiempo planeado para la administracin de la encuesta? Qu variables estn presentes en el estudio? Cmo se relacionan estas variables con las preguntas de investigacin y las opciones de pregunta del cuestionario? Qu precauciones especficas se tomarn en el anlisis de los datos en cuanto a: (i) el anlisis de las respuestas, (ii) el control del sesgo, (iii) la conduccin del anlisis descriptivo, (iv) la transformacin de las opciones de pregunta en escalas (en caso de que se requieran), (v) el control de la confiabilidad de las escalas (en caso de que se requieran), y (vi) el anlisis estadstico multivariado para responder a las preguntas de investigacin?
NOTA: La encuesta de seccin cruzada es el tipo de encuesta ms usual. Est diseada para obtener informacin de un grupo representativo de elementos en un momento determinado del tiempo. El objetivo es informacin a nivel individual sobre distintas variables en un perodo de referencia determinado. La encuesta longitudinal o panel siguen a los elementos de la muestra a lo largo del tiempo, recogiendo observaciones consecutivas de los mismos elementos. El objetivo es recabar informacin sobre cmo cambia el valor para elementos concretos de determinadas variables a lo largo del tiempo. Su mayor atractivo es que permiten estudiar la dinmica individual.
Poblacin y muestra
Especifique las caractersticas de la poblacin y del procedimiento de muestreo. Babbie (1990) establece un excelente examen de la lgica implicada en la teora del muestreo; aqu se resean slo algunos aspectos clave que deben ser descriptos en un plan de investigacin: Describa la poblacin comprendida en el estudio. Indique el tamao de la poblacin, si es posible determinarlo, y cmo se identificar. Identifique si el procedimiento de muestreo para la poblacin comprende slo una etapa o es multietpico (clustering). La eleccin puede estar basada en la posibilidad de acceso a determinados individuos en una poblacin (Babbie, 1990; Fink & Kosecoff, 1985). En el muestreo polietpico, el investigador primero realiza un muestreo de grupos u organizaciones (o clusters), luego selecciona individuos dentro de ellos y finalmente realiza un muestreo sobre esta seleccin. En el muestreo de una sola etapa, el investigador posee un acceso directo a los individuos comprendidos dentro de la poblacin y sus datos. Identifique cmo se seleccionarn los individuos. La muestra aleatoria, en la cual cada individuo comprendido en la muestra posee la misma probabilidad para ser seleccionado (muestra sistemtica), es la ms recomendable debido a su rigurosidad y la posibilidad que plantea de generalizar los hallazgos a la poblacin entera. Una muestra de criterio es una muestra en la cual los individuos se seleccionan en base a su disponibilidad o conveniencia para formar parte del estudio (Babbie, 1990). Discuta si la poblacin seleccionada al azar ser estratificada de manera que determinadas caractersticas que poseen los individuos permanezcan representadas en la muestra (Fowler, 1988). Identifique las caractersticas o atributos que se usarn para estratificar la muestra (por ej., gnero, nivel de ingreso, nivel educativo). Seale si los estratos al interior de la muestra se han elaborado de manera tal que la presencia de los atributos considerados es proporcional o desproporcional al tamao de la muestra (Babbie, 1990; Miller, 1991). Indique el procedimiento para seleccionar una muestra aleatoria. El mtodo ms riguroso para seleccionar una muestra se basa en la seleccin de individuos al azar usando tablas de nmeros al azar posibles de encontrar en numerosos manuales de metodologa. Indique el tamao de la muestra (el nmero de individuos que comprende). Se recomienda el uso de la frmula para determinar el tamao muestral presente en muchos manuales de metodologa (por ej., ver Babbie, 1990; Fowler, 1988).
Instrumentacin
La fundamentacin del instrumento de recoleccin de datos del que se har uso es un componente esencial de un plan de investigacin por encuesta. Identifique el instrumento del que se har uso en el estudio. Discuta si se trata de un instrumento que fue diseado por el investigador para los propsitos del estudio, si es un instrumento modificado o un instrumento desarrollado por otros. Si se trata de un instrumento modificado, indique si se posee autorizacin para usarlo. En algunos estudios, se suele construir un instrumento a partir de los componentes de distintos instrumentos en este caso tambin es necesario obtener autorizacin. Si se planea hacer uso de un instrumento ya existente, describa la validez y confiabilidad comprobadas de los tems y escalas del instrumento. Discuta acerca de los esfuerzos de sus autores para establecer la validez de contenido (los tems miden el contenido de lo que se proponen medir?), la validez predictiva (los puntajes predicen un criterio de medicin?), la validez concurrente (los resultados se correlacionan con otros resultados?), la validez del constructo (los tems miden constructos hipotticos o
conceptos?), y validez didctica o aparente (los tems miden lo que el instrumento se propone medir?) (Borg, Gall & Gall, 1993). Para discutir la confiabilidad: exponga las medidas de consistencia de los tems (son las respuestas consistentes a travs de los constructos?), la estabilidad de los tests (las respuestas de los individuos varan cuando el instrumento se administra por segunda vez?), y la consistencia en la administracin de los tests y los puntajes obtenidos (los errores se deben a errores del encuestador o de la asignacin de puntajes) (Borg et. al., 1993). Cuando se modifica un instrumento o se utiliza una combinacin de varios, la validez y confiabilidad del instrumento original se distorsiona y debe ser problematizada nuevamente. Incluya tems de muestra para el lector. Para un artculo en una revista acadmica, se aconseja incluir un apndice con preguntas y sus opciones de respuesta que muestren como se procedi a la medicin de las principales variables del estudio. En una disertacin de tesis se puede incluir una copia completa del instrumento en el apndice. Indique las principales secciones en las que se divide el instrumento (la encuesta): la presentacin, las preguntas y sus opciones de respuesta o tems (por ej., preguntas actitudinales, conductuales, fcticas), y las instrucciones para finalizar la encuesta. Mencione asimismo el tipo de escalas usadas para medir los tems del instrumento, tales como escalas de valoracin (por ej., desde muy de acuerdo hasta muy en desacuerdo), escalas categricas (por ej, s/no), y escalas de rango (por ej., ordene los tems segn su nivel de importancia). Exponga el procedimiento de testeo del instrumento. El pre-test es una etapa importante a fin de determinar la validez del instrumento a la vez que introducir mejoras en la redaccin de las preguntas, el formato de la encuesta y las escalas utilizadas. Debe indicarse la cantidad de individuos a los que se incluy en el pre-test y si se planea incorporar sus comentarios en las revisiones finales del instrumento. En una encuesta por correo, identifique los pasos que se tomarn en la administracin de la encuesta y su seguimiento para obtener un alto nivel de respuestas. Yo utilizo un procedimiento de tres pasos: (a) un envo inicial invitando a participar de la encuesta, (b) un segundo envo luego de dos semanas en el que se adjunta el cuestionario completo, y (c) un tercer envo recordando el plazo para la devolucin de las respuestas. Este procedimiento cubre un perodo de seis semanas en total.
Preguntas de investigacin
Pregunta descriptiva de investigacin: Cuntas publicaciones han producido los investigadores de la facultad con anterioridad a la obtencin de su doctorado? Pregunta descriptiva de investigacin: Cuntas becas financiadas han obtenido los investigadores de la facultad en los ltimos tres aos? Pregunta descriptiva de investigacin: Posee el investigador un cargo docente de dedicacin exclusiva en la universidad?
Items de la encuesta
Ver preguntas 11-15: nmero de publicaciones previas a la obtencin del doctorado artculos en revistas con referato, libros, ponencias en congresos, captulos de libros
Ver preguntas 16-18: becas financiadas por fundaciones, por la universidad de pertenencia, por el Ministerio de Educacin.
Paso 4: Si el investigador hace uso de escalas que l mismo ha construdo para el instrumento, debe discutir cmo se combinarn los tems del cuestionario en escalas para las dimensiones independientes y dependientes, utilizando anlisis de factores. Asimismo, debe consignarse la confiabilidad de las escalas a travs de pruebas estadsticas de consistencia interna, una medida que tambin demuestra la validez del constructo de las escalas del instrumento. Finalmente, podra incluirse una descripcin de los procedimientos y software estadstico utilizados. ' Paso 5: Exponga las medidad estadsticas de las que se har uso para comparar grupos o relacionar variables y responder a las preguntas u objetivos de investigacin. En el argumento exponga las razones para la eleccin de las medidas estadsticas utilizadas. Base estas razones en: (a) la unidad de medida de las escalas, (b) el propsito de la investigacin de comparar grupos o relacionar variables, y (c) el tipo de datos obtenidos y su apitud para el tratamiento estadstico.
Tabla 8.3 Preguntas a formularse para la elaboracin de un plan de investigacin basado en un diseo por encuesta Quines son los sujetos de estudio? A qu poblacin pertenecen? Cul es el procedimiento de seleccin de los individuos que participan en el experimento? Se hace uso de un mtodo de seleccin al azar? A qu tipo de diseo pertenece el experimento propuesto? Cuntos individuos componen el grupo del experimento y cuntos el grupo de control? Cul es la variable dependiente considerada? Mediante qu procedimiento y cuntas veces se la mide? Cules son las condiciones experimentales? Cmo se han operacionalizado? Las variables consideradas en el experimento covariarn? Cmo sern medidas? Qu tipo de diseo experimental se ha seleccionado? Se incluye un modelo grfico para ilustrarlo? Qu instrumentos sern usados para medir los resultados del estudio? Cules han sido las razones que llevaron a su seleccin? Quines los han desarrollado originalmente? Cules son los alcances de la confiabilidad y validez de estos instrumentos? Se ha obtenido la autorizacin de sus autores para su uso en la presente investigacin? Cules son los principales pasos comprendidos en el procedimiento experimental (por ej., la asignacin al azar de individuos al grupo experimental y al grupo de control, la recoleccin de datos demogrficos, la administracin de pre-tests, la administracin de las condiciones del experimento, la administracin del post-test?
Cules son las potenciales amenazas a la validez interna y externa para el diseo experimental y su procedimiento? Cmo se planea evitarlas? Se incluye una prueba piloto del experimento? Qu medidas estadsticas se utilizarn para analizar los datos (por ej, descriptivos, multivariados)?
Indique si los sujetos se asignarn aleatoriamente a los grupos experimentales. En muchos experimentos, adems de la seleccin al azar los investigadores hacen uso de la asignacin al azar de los individuos a cada grupo. Este procedimiento elimina la posibilidad de que diferencias sistemticas entre los sujetos y el medio experimental afecten a los resultados del experimento (Keppel, 1991). Informe al lector del nmero de individuos considerados en cada grupo y del procedimiento utilizado para determinar el tamao de cada grupo. Es de suma importancia fundamentar el tamao de los grupos en un procedimiento sistemtico. Sobre todo, los investigadores disean experimentos sensibles a la posibilidad de tener efectos significativos con el tratamiento (o estmulo) eligiendo niveles de significacin rigurosos, seleccionando diseos sensibles tales como mediciones repetidas y estratificacin y controlando variables mediante la covarianza (Keppel, 1991). Adems, se puede optar por seleccionar un grupo experimental de tamao adecuado de manera de acrecentar el poder explicativo de la tcnica. La seleccin del grupo experimental puede lograrse a travs de tablas especiales posibles de encontrar en la bibliografa especializada que proveen del nmero apropiado de sujetos para cada grupo, considerando los efectos de influencia y sensibilidad del diseo, el efecto del tamao muestral y los niveles de significacin (Cohen, 1977; Keppel, 1991). Los experimentos deben planearse de tal manera que el tamao de cada grupo provea de la mayor sensibilidad hacia el efecto en los resultados, asegurando que ste ltimo proviene de la manipulacin experimental del estudio.
Variables
Identifique las variables independientes, llamadas condiciones experimentales o factores del experimento. Estas condiciones son controladas y manipuladas por el investigador. En cuanto a las variables independientes, se asume que ellas inducen cambios sobre la variable dependiente.
No existe una clasificacin nica para las variables independientes, aunque Rosenthal y Rosnow (1991) sugieren cinco ejemplos: eventos biolgicos (por ej., hambre), contexto social (por ej., patrones socioculturales y estructura demogrfica), factores hereditarios (por ej., problemas de
salud), entrenamiento y experiencia, y madurez (por ej., edad de los sujetos, nivel de madurez psicolgica). En algunos casos las variables independientes representan la manipulacin (por ej., se pone a prueba los efectos de una metodologa de enseanza, asignando individuos al azar a un grupo experimental y otros a un grupo de control). En otros casos, las variables independientes son tratamientos que se preasignan a grupos que varan entre s debido a caractersticas demogrficas (Campbell y Stanley, 1966). Dentro de esta ltima categora, el investigador no manipula estrictamente la variable independiente ya que factores tales como las caractersticas demogrficas no pueden ser alterados. Identifique la/s variable/s dependiente/s del estudio. La variable dependiente es la respuesta o variable criterio que se presume como causada por o influida por las condiciones independientes del tratamiento. Rosenthal y Rosnow (1991) describen tres medidas tpicas de los resultados: la direccin del cambio observado, el grado de este cambio, y la fuerza con que el cambio toma efecto. El investigador debe establecer qu tipo de resultados sern sometidos al anlisis.
Instrumentacin y materiales
Durante un experimento se hacen observaciones y se obtienen medidas a travs de instrumentos en la etapa del pre-test o post-test (u ambos). Un plan de investigacin slido debe fundamental meticulosamente la seleccin del o los instrumentos y sus caractersticas: su desarrollo, tems, escalas, validez y confiabilidad. De la misma manera se debe fundamentar el uso que el investigador hace de determinados materiales para crear las condiciones de tratamiento del experimento. Describa el instrumento del que se har uso durante el experimento. Indique si su validez y confiabilidad han sido demostradas (utilice los criterios anteriormente mencionados para el diseo por encuesta: validez de contenido, validez predictiva, validez concurrente, validez del constructo, validez didctica o aparente [Borg et.al., 1993]), quin lo ha desarrollado y si se ha obtenido permiso para su uso. Describa meticulosamente los materiales de los que se har uso para crear las condiciones de tratamiento del experimento y de qu manera se administrarn a los diferentes sujetos o grupos (si los hubiere).
El diseo experimental
El diseo del experimento involucra la seleccin de un determinado procedimiento experimental. Fundamente el tipo de diseo que se pondr en prctica. Los tipos de diseo experimentales pueden ser: pre-experimental, cuasi-experimental, experimento autnticos, o experimentos de caso nico (tambin llamados diseo infrasujeto o de medidas repetidas). En un diseo pre-experimental, el investigador no cuenta con un grupo de control para comparar con el grupo sometido a la experiencia. En un diseo cuasiexperimental, se hace uso de un grupo de control y uno grupo que se somete a las condiciones del experimento, pero los individuos de cada grupo no son distribuidos al azar. Este tipo de asignacin aleatoria de los individuos a los grupos s se pone en prctica en un experimento puro. Esto ltimo s se pone en prctica en un experimento puro. Un experimento que involucra slo a un individuo, donde por lo tanto N es 1, consiste en la observacin del comportamiento de un individuo sobre un determinado perodo de tiempo. Se puede distinguir entre tipos de diseos experimentales en trminos del tratamiento que hacen de las variables independientes. Muchos experimentos hacen uso de diseos con grupos de sujetos distintos, en donde los individuos se asignan a los grupos experimentales sometidos a distintas condiciones experimentales (Keppel, 1991;
Rosenthal y Rosnow, 1991). Experimentos ms complejos pueden someter a los individuos a ms de un tipo de condiciones de tratamiento o mltiples condiciones independientes. En este tipo de diseos con los mismos grupos de sujetos (o diseos de pruebas repetidas), todos los individuos atraviesan por todas las condiciones experimentales. Este tipo de diseo, sin embargo, entraa un efecto de orden en la presentacin de tratamientos y en la medicin de resultados que debe ser considerado: el orden en el que se administran las condiciones experimentales puede ejercer influencia sobre los resultados ya que los individuos pueden volverse cada vez ms sensibles a los tratamientos. Existen procedimientos para controlar este peligro (Borg y Gall, 1989). Los diseos factoriales o complejos se emplean cuando se asume la existencia de ms de una variable independiente y el investigador desea cruzar los niveles de un tratamiento con los niveles de otro (Campbell y Stanley, 1966; Cook y Campbell, 1979). Este tipo de diseo determina los efectos principales de cada condicin de tratamiento experimental por separado, y tambin considera los efectos que surgen de la interaccin entre los diferentes tratamientos en conjunto. Este tipo de diseo es muy usual en las ciencias del comportamiento, ya que adems de explorar los efectos por separado a la vez que combinados provee de una visin multidimensional del fenmeno reveladora y muy rica en cuanto a la informacin nueva que provee (Keppel, 1991). Un diagrama o grfico puede ser muy til para ilustrar el tipo especfico de diseo del que se har uso. Existe un tipo de notacin estndar para realizarlos, se recomienda seguir la versin ms clsica provista por Campbell y Stanley (1966) que se expone a continuacin
X representa la exposicin de un grupo a un evento o variable experimental, cuyos efectos se quieren medir. O representa la observacin o medicin Las X y las O distribuidas en filas se aplican a los mismos individuos. Las X y las O distribuidas en columnas son simultneas entre s. El orden temporal a veces se grafica mediante una flecha, pero por convencin se asume en direccin de izquierda a derecha. El smbolo R indica asignacin aleatoria. Rectas paralelas separadas por lneas DASHED indican grupos de comparacin no equiparables a travs de la asignacin aleatoria de individuos.
Identifique los factores que pueden amenazar la validez externa e interna del experimento, y relacione estas amenazas con el tipo de diseo experimental que se implementa. Siguiendo a Isaac y Michael (1981), la validez interna se basa en considerar si la manipulacin experimental de las variables que se propone en un determinado estudio realmente producir resultados diferenciados. La validez externa determina si los hallazgos son representativos y si los resultados pueden generalizarse a circunstancias e individuos similares.
Desde que Campbell y Stanley (1966) establecieron por primera vez la importancia de esta consideracin de la validez interna y externa, la lista de factores potencialmente peligrosos
para el diseo ha ido en aumento. Por ejemplo, Borg y Gall (1989) mencionan doce tipos de amenazas a la validez interna y dos a la externa. Radica en las decisiones implementadas en el diseo de investigacin la responsabilidad por minimizar los riesgos a la validez interna y la seleccin adecuada y equilibrada de los factores con los de las situaciones reales que la situacin del experimento pretende recrear.
El procedimiento
El investigador debe describir en detalle el procedimiento mediante el cual llevar a cabo el experimento.
Exponga paso a paso el procedimiento en el que se basa el experimento. Por ejemplo, Borg y Gall (1989) delinean seis pasos tpicamente usados en el procedimiento de un grupo de control pre y post-testeado:
1. Sobre los individuos sometidos al experimento se realizan mediciones de la variable dependiente o de una variable estrechamente correlacionada con una variable dependiente. Se asignan individuos de a pares sobre la base de el puntaje que obtuvieron en las medidas descriptas en el paso 1. Se asigna al azar un miembro de cada par de individuos al grupo experimental, y al otro se lo ubica en el grupo de control. Se expone al grupo experimental a las condiciones del experimento, mientras que al grupo de control no se le asigna ningn tratamiento o se lo somete a un tratamiento alternativo. Se realizan mediciones de las variables dependientes en el grupo experimental y en el grupo de control. Se compara el desempeo del grupo experimental y del grupo de control en el post-test mediante el uso de pruebas de significacin estadstica.
2. 3. 4.
5. 6.
Anlisis estadstico
Informe al lector acerca de todos los tipos de anlisis estadsticos usados durante el experimento. Exponga las medidas de estadstica descriptiva calculadas para las observaciones y mediciones realizadas en las etapas del pre y post-test del diseo experimental. Estos estadsticos son promedios, desviaciones estndar y rangos. Exponga las medidas de estadstica inferencial mediante las cuales se pone a prueba las hiptesis del estudio. En diseos experimentales que comprenden datos categricos (grupos) en la variable independiente y datos continuos en la variable dependiente, pruebas t o el anlisis univariado de la varianza (ANOVA), anlisis de la covarianza (ANCOVA), o anlisis multivariado de la varianza (MANOVA) son usados a menudo para determinar la significacin estadstica de las diferencias entre los puntajes promedios de los diferentes grupos comprendidos en el experimento. En los diseos factoriales, donde se busca interpretar tanto los efectos principales como los surgidos de la interaccin de las variables, con frecuencia se usan medidas no paramtricas de equivalencia estadstica cuando los puntajes obtenidos durante el pre-test o post-test indican desviaciones importantes de una distribucin normal. En diseos experimentales de caso, utilice grficos cartesianos para analizar las condiciones iniciales y el tratamiento experimental: en el eje de las abcisas
represente unidades de tiempo y en el eje ordinal el comportamiento observado. Cada dato es representado con un punto en el espacio graficado y se los une con lneas. En algunos casos, pruebas de significacin estadstica tales como la prueba t pueden ser utilizadas para comparar el promedio entre las condiciones iniciales y las distintas fases del tratamiento experimental, aunque tal procedimiento puede violar el supuesto de que son mediciones independientes (Borg y Gall, 1989).
Referencias bibliogrficas
Babbie, E. (1990). Survey research methods (2 Ed.). Belmont, CA: Wadsworth. Borg, W. R. y Gall, M. D. (1989). Educational research: An introduction (5 Ed.). New York: Longman Campbell, D.T. y Stanley, J.C. (1966). Experimental and quasiexperimental designs for research. En N.L. Cage (ed.), Handbook of research on teaching (pp. 1-76). Chicago: Rand McNally. Fink, A. y Kosecoff, J. (1985). How to conduct surveys: A step-by-step guide. Newbury Park, CA: Sage. Fowler, F.J. (1988). Survey research methods. Newbury Park, CA: Sage. Isaac, S. y Michael, W.B. (1981). Handbook in research and evaluation: A collection of principles, methods, and strategies useful in the planning, design, and evaluation of studies in education nd and the behavioral sciences (2 ed.). San Diego: EdITS. Keppel, G. (1991). Design and analysis: A researchers handbook (3 Prentice Hall.
rd th nd
McMillan, J.H. y Schumacher, S. (1989). Research in education: A conceptual introduction. New York: HarperCollins. Rosenthal, R. Y Rosnow, R.L. (1991). Essentials of behavioral research: Methods and data analysis (2 Ed.). New York: McGraw-Hill.
nd