ANALISIS DE CUESTIONARIOS EN MOODLE. (Cuestionario de Fsica, Movimiento Armnico Simple, M.A.S Grado once,) Germn Rafael Madrigal Patarroyo.

Introduccin. El objetivo de este artculo es describir las caractersticas de la herramienta Cuestionarios que presenta la plataforma de enseanza Moodle, a partir de una experiencia con un cuestionario en particular aplicado a estudiantes de grado once, teniendo en cuenta y utilizando las herramientas de valoracin y anlisis que estos ofrecen como una alternativa al examen tradicional a manera de mtodo de evaluacin, pero tambin siendo una herramienta para el ejercicio en diferentes tipos de evaluaciones, asumiendo en todo momento la importancia de la tarea de evaluacin del aprendizaje. El anlisis del citado de cuestionario, los criterios de las preguntas efectuadas, y el anlisis de las respuestas obtenidas, sobre la informacin que da la plataforma acerca de ellas y la incidencia en la evaluacin, a partir de la realizacin de una prueba con estudiantes de grado once, en la asignatura de Fsica y con un tema especifico denominado Movimiento Armnico simple, M.A.S, determina la conceptualizacin y alcance de este articulo. Palabras clave: Cuestionario Moodle, Analisis de Items, Calificacin, Evaluacin, ndices. Abstrac The aim of this paper is to describe the characteristics of Questionnaires tool presents the Moodle learning platform, from an experience with a particular questionnaire applied to eleventh grade students, taking into account and using assessment tools and analysis they offer as an alternative to traditional test evaluation method way, but also be a tool for the exercise in different types of evaluations, assuming at all times the importance of learning assessment task. The analysis of that questionnaire, the criteria of the questions posed, and analysis of the responses on the information you give them about the platform and the impact on the evaluation, from conducting a test with students eleventh grade in the subject of Physics and a specific issue called Simple Harmonic Motion, S.H.M, determines the conceptualization and scope of this article. Keywords: Moodle questionnaire, Analysis of Items, Qualification, Evaluation, Index. Vision General La evaluacin del aprendizaje es un proceso mediante el cual y utilizando diversos instrumentos de medida, se valora el nivel alcanzado por los estudiantes respecto a los conocimientos, habilidades y actitudes, en funcin de los distintos objetivos del aprendizaje. Por tanto, la evaluacin educativa involucra la elaboracin, aplicacin y anlisis de los instrumentos de medida, creados con la finalidad de inferir las capacidades de los estudiantes y cuya funcin principal es la de ofrecer informacin para la toma de decisiones de tipo pedaggico que conlleven a mejorar el proceso de enseanza aprendizaje, para tratar de superar las dificultades que poseen los estudiantes en una determinada temtica o asignatura. Comparacin. Al igual que los exmenes tradicionales, las evaluaciones o pruebas de tipo test tienen ventajas y desventajas. Una de las desventajas es la imposibilidad de indagar si el estudiante domina un mtodo completo, es decir, si conoce todas las etapas de resolucin de un problema y su vinculacin. Otra de ellas es la dificultad de elaborar o plantear unas preguntas o problemas de calidad, an cuando se pueden reciclar preguntas, y reutilizarlas en prximas ocasiones.

A pesar de estos inconvenientes, este tipo de pruebas ofrecen muchas ventajas. Una de las principales es que permite averiguar, de manera muy clara, si el estudiante domina los conceptos y no nicamente la mecanizacin de un procedimiento. Otra ventaja es que reduce al mnimo la influencia de errores numricos cometidos por el estudiante en su calificacin final, frecuentes en los exmenes tradicionales. Y otra ventaja ms es que reduce considerablemente el tiempo necesario para calificar los exmenes, as como la subjetividad de la prueba que se evala. Aunque este anlisis se hace sobre una sola prueba, este tipo de cuestionarios, utilizando una plataforma de enseanza aprendizaje como Moodle, constituyen una herramienta til para evaluar el aprendizaje de los estudiantes en una asignatura, en este caso, Fsica. Adems, pueden sustituir a la tradicional con lpiz y papel de resolver ejercicios de clase, tambin puede servir de entrenamiento, autoevaluacin y preparacin para otras pruebas, como Saber (ICFES) o de ingreso a la universidad. Anlisis de las columnas Segn Abad y otros (2006), los tems o cuestiones se formulan de manera lgica para que midan y lo hagan de una manera correcta el constructo, variable, o rasgo que interesa evaluar con el cuestionario. Ahora, el grado en que cada tem hace bien este trabajo del rasgo de inters, es algo que se puede comprobar estadsticamente de manera sencilla si se obtiene por lo menos tres indicadores para cada tem que son: El ndice de dificultad. El ndice de homogeneidad. (Identificado como ndice de discriminacin en Cuestionarios de Moodle) y El ndice de validez (el cual no se muestra en la tabla de anlisis de tems que elabora Moodle). Como se ver, estas columnas se encuentran en el cuestionario Moodle, junto con otras que a continuacin se relacionan y cuya trascendencia e importancia, son base de este documento. Herramienta Cuestionarios - Anlisis de tems de la plataforma Moodle.

Grafica No. 1 Elaboracin propia, Madrigal, G (2013).

PR# - muestra el nmero de pregunta que tiene un enlace para edicin incluido, el icono que muestra el tipo y un enlace a una ventana emergente de pre visualizacin. Texto de la pregunta - La pregunta. Texto de la respuesta - cada respuesta. Crdito parcial - cunto crdito/puntuacin le dio el profesor a cada respuesta. N R - Cuntos seleccionaron la respuesta y los intentos totales. % R - El porcentaje que seleccion la respuesta correcta. % Fcil. Correct. - La dificultad global de la pregunta. DT - Medida de la variacin de las respuestas seleccionadas. ndice Disc. - ndice de Discriminacin, mide la eficacia de la pregunta. Coef. Disc. - Coeficiente de Discriminacin.

Definiciones ndice de Dificultad (% de tems respondidos correctamente). Esta medida permite evaluar si a los estudiantes les resulta fcil o difcil una pregunta. Se calcula:

Donde Xpromedio es la media obtenida por todos los estudiantes que contestan el tem y Xmxima es la puntuacin mxima obtenida en el tem. Si las preguntas pueden distribuirse en dos categoras correcto / incorrecto, este parmetro coincide con el porcentaje de estudiantes que responden correctamente a la pregunta. En este caso, el ndice de dificultad IF = a / n Donde a equivale al nmero de individuos que aciertan el tem y n es el total de sujetos que realiza la prueba. Desviacin Tpica (DT). Este parmetro mide la dispersin de las respuestas en la poblacin que responde. DT se calcula como la desviacin estndar para la muestra de puntuaciones fraccionadas (correctas/mxima) para cada pregunta particular. Indica cuanto tienden a alejarse los valores puntuales del promedio de la distribucin.

ndice de Discriminacin (ID). Proporciona un indicador bruto del desempeo en cada tem por separado de los estudiantes, que obtienen puntuaciones altas frente a los que obtienen puntuaciones bajas. El parmetro se calcula dividiendo en primer lugar a los estudiantes que han intentado el cuestionario en tercios basndose en la puntuacin global obtenida en el cuestionario. A continuacin, se calcula la media obtenida en el tem analizado por los grupos superior e inferior, y se sustrae la media. La expresin matemtica es:

Donde X superior es la suma de la nota fraccional (obtenido/mximo) lograda en este tem por el tercio de estudiantes que tienen las calificaciones ms altas en todo el cuestionario (por ejemplo, nmero de respuestas correctas de este grupo), y X inferior es la suma anloga para el tercio de usuarios que han obtenido las puntuaciones ms bajas en el cuestionario total. El rango de este parmetro esta desde +1 y 1. Si el ndice es inferior a 0.0, significa que los estudiantes del grupo bajo rindieron ms en el tem que los del grupo alto. Tales tems deberan eliminarse debido a su escasa fiabilidad. De hecho, estos tems reducen la precisin de la puntuacin global del cuestionario.

Coeficiente de Discriminacin (CD). Es otra medida del poder de cada tem para diferenciar a los estudiantes eficientes de los menos eficientes. El coeficiente de discriminacin es un coeficiente de correlacin entre las puntuaciones en el tem y la puntuacin global en el cuestionario. Se calcula como:

Donde (x*y) es la suma de los productos de las desviaciones de las puntuaciones en el tem y las puntuaciones en todo el cuestionario, N es el nmero de respuestas dadas a esta pregunta, Sx es la desviacin tpica de las puntuaciones fraccionales para esta pregunta, y Sy es la desviacin tpica de las puntuaciones en todo el cuestionario. Tambin este parmetro adopta valores entre +1 y -1. Los valores positivos indican los tems que discriminan entre estudiantes competentes y no competentes, en tanto que los valores negativos se dan cuando los tems son mejor contestados por los estudiantes con calificaciones ms bajas. Los tems con CD negativo son respondidos incorrectamente por los estudiantes mejores y, en consecuencia, constituyen una penalizacin contra estos estudiantes. Dichos tems deberan eliminarse. La ventaja del Coeficiente de Discriminacin frente al ndice de Discriminacin es que el primero utiliza informacin proveniente de la poblacin total de estudiantes, no slo de los tercios extremos (superior e inferior). Por consiguiente, este parmetro puede ser ms sensible para detectar el comportamiento de los tems. La plataforma Moodle ofrece al docente la posibilidad de realizar anlisis de los tems, mostrando en una tabla los datos procesados del cuestionario, los cuales permitirn medir la calidad de los reactivos que conforman el cuestionario. Los parmetros estadsticos utilizados se calculan aplicando la teora bsica de los test, y son los que a continuacin se detallan. Anlisis del cuestionario En el cuestionario se incluyeron 14 preguntas, de las cuales 10 eran de opcin mltiple con 5 opciones de respuesta cada uno, 1 enlazadas, 1 de falso o verdadero, 1 de completar y una de contestar en un texto, todas ellas referidas al clculo de ecuaciones, periodo, frecuencia e tems relacionados con el tema de movimiento armnico simple de fsica para grado once. El tiempo destinado para realizar la prueba fue de 60 minutos, cada uno de los estudiantes respondi a los mismos tems pero ordenados de manera diferente, esto debido a las opciones de Moodle, que permite presentar las preguntas aleatoriamente. Los resultados obtenidos en este cuestionario se encuentran reunidos en el cuadro No. 1. Se presentaron 69 estudiantes que contestaron las primeras 13 preguntas y 60 de ellos la pregunta 14 (por lo cual se hace anlisis por separado de esta pregunta), el porcentaje de respuestas correctas est entre el 51% y el 91%, los ndices de dificultad de la mayora de las preguntas estn por encima del 33% y hasta del 70%, la Desviacin Tpica (DT), la cual mide la variacin de las respuestas seleccionadas, se encuentre entre 0.319 y 0.496, lo que indica para este caso en particular , que las respuestas estn agrupadas en un rango pequeo de variacin con respecto a la media, el ndice de Discriminacin se halla entre 0.56 y 0.81, por lo que de acuerdo con Gil Inmaculada y otros (2009), El rango de valores para los ndices de discriminacin de las preguntas se establece en mayores que 0.39 (excelente, recomienda conservar estas preguntas) no hay ndices menores de 0.30 se deben guardar estas 13 preguntas. Por otra parte, el Coeficiente de Discriminacin (CD), sirve para medir la eficiencia de algunos estudiantes con respecto a otros, est en un rango entre 0.42 a 0.66, lo cual indica que estn muy cercanos, salvo en los numerales 13 (0.24) y 14(0.2).

Cuadro resumen
NO. R Respuestas acertadas/ total respuestas %R Porcentaje que seleccion la respuesta correcta % Fcil. Correct. La dificultad global de la pregunta Coef. Disc. DT ndice Disc. Coeficiente medida de la ndice de de variacin de Discriminacin Discriminacin las respuestas seleccionadas

TEXTO DE LA PREGUNTA

Un cuerpo de masa 2 kg, atado a un resorte, describe un movimiento de ecuacin X= 0,3 cos2t, sobre una mesa horizontal (distancia en m, tiempo en s). Contestar las siguientes 5 preguntas: La frecuencia angular(w) de este movimiento es: La energa total del conjunto resortecuerpo es: La constante del resorte es: El periodo de este movimiento es: La velocidad mxima del cuerpo es: CUAL ES EL OTRO TERMINO MAS ADECUADO PARA DEFINIR VELOCIDAD ANGULAR Periodo: Una masa atada a un resorte tiene, sobre la tierra un periodo T. Si se transporta el conjunto al planeta del problema anterior, cual es el periodo de la masa? nuevo Frecuencia Angular: Se aplica una fuerza F= -8x a un cuerpo de masa 2kg, siendo x la posicin en metros del cuerpo y f la fuerza en N, cual es la frecuencia angular de este movimiento? Ecuacin de MAS: Un oscilador armnico, de periodo o,5 s tiene una elongacin mxima de 3cm para t=0. la ecuacin de su movimiento es: Las frmulas de una grfica elongacintiempo; velocidad- tiempo, aceleracin tiempo de un movimiento vibratorio armnico (M.A.S.) tiene forma..... Cul es la de cada una?

53/69 51/69 52/69 53/69 44/69 35/69

77% 74% 75% 77% 64% 51%

64% 62% 63% 53% 47% 46%

0,429 0,444 0,448 0,459 0,437 0,496

0,81 0,74 0,82 0,84 0,79 0,67

0,5 0,45 0,51 0,52 0,58 0,42

45/69

65%

44%

0,434

0,56

0,47

50/69

72%

46%

0,454

0,74

0,45

43/69

62%

44%

0,437

0,7

0,49

50/69

72% 70% 0,319 0,72 0,51

57/69 42/69 Un pndulo simple tiene sobre la tierra un periodo T. el pndulo se transporta a un planeta que posee una aceleracin de la gravedad cuatro veces mayor que la de la tierra. El periodo de este pndulo sobre el planeta es: Se aplica una fuerza F= -8x a un cuerpo de masa 2kg, siendo x la posicin en metros del cuerpo y f la fuerza en N, Cul es el periodo del movimiento de este problema La grfica elongacin-tiempo de un movimiento vibratorio armnico puede expresarse mediante una funcin que contenga el seno o el coseno. ESCRIBA UN BREVE ENSAYO SOBRE M.A.S : USAR FRECUENCIA, PERIODO, FORMULA y en que se aplica, mnimo 10 renglones, use su propio criterio, no copypast

83% 61%

39/69

57%

33%

0,4

0,65

0,57

42/69

61%

46%

0,436

0,82

0,66

63/69

91%

84%

0,369

0,74

0,24

60/69

15%

0,178

0,17

0,2

Cuadro No. 1 Elaboracin propia, Madrigal, G (2013).

Para el caso de la pregunta 14 es importante tener en cuenta que se utiliza una opcin de Cuestionarios que se llama Calificacin Manual, ver Grfica 2, la cual y como su nombre lo indica permite colocar una nota acerca de la respuesta del estudiante, no mayor a los puntos dados para ella, en este caso el puntaje es de 0 a 4. Los indicadores como el porcentaje de dificultad global de la pregunta (17%) y especialmente el ndice de discriminacin de 0.17 el cual estara en un rango de 0 a 0.20 (muy bajo) indican que es una pregunta para este cuestionario que si bien est relacionada con el tema, 10 estudiantes no la contestaron, 2 escribieron lo mismo, cuando era un ejercicio individual de aprehensin de conceptos y los dems dan respuestas muy diversas, por lo que debe replantearse o eliminar y cambiar por otra(ver detalle de las calificaciones pregunta 14).

Grafica No. 2 Calificacin Manual de un estudiante, pregunta 14. Elaboracin propia, Madrigal, G (2013).

ESCRIBA UN BREVE ENSAYO SOBRE M.A.S : (6135) USAR FRECUENCIA, PERIODO, FORMULA y en que se aplica, mnimo 10 renglones, use su propio criterio, no copy-past (0,00) 0/69 (0%) 15% 0,178 0,17 0,20

Detalle de las calificaciones de la pregunta 14. Caso aparte merece la opcin Recalificar, Grafica 3 la cual ejecuta una rutina automtica para recalcular la calificacin de todas las preguntas, esto se hace si se ha cambiado los puntos posibles por una o ms preguntas, para este cuestionario no se hizo cambio alguno, por lo que solo se trae a colacin como ejercicio.

Grafica No. 3 Recalificando el Cuestionario. Elaboracin propia, Madrigal, G (2013).

Finalmente, an sabiendo que en la mayora de las preguntas era necesario efectuar clculos aritmticos, el tiempo estimado para contestar el cuestionario fue inferior a lo necesitado por la mayora de los estudiantes; por el conocimiento que se tiene de los estudiantes, as como la posterior indagacin sobre cmo les haba parecido la evaluacin, podra decirse tambin que muchas de las respuestas incorrectas fueron debidas al desconocimiento de los conceptos y en muchos casos por errores en los clculos numricos por parte del estudiante.

Conclusiones Habra que investigar sobre si los estudiantes que obtienen buenos resultados en los cuestionarios realizados en esta plataforma, tambin los obtienen en los exmenes tradicionales, para este caso en particular, no se hizo este tipo de comparaciones, pero los resultados deficientes de muchos de los alumnos, indica el poco conocimiento del tema estudiado, objeto de esta evaluacin, lo cual no cambiara en mucho el resultado final de los estudiantes. Se encuentra que disear buenos cuestionarios a pesar de las mltiples opciones que da la plataforma, no es sencillo. Se requiere de tiempo y de experiencia, especficamente en esta asignatura de Fsica donde el contenido matemtico es importante. Sera deseable que la presentacin del anlisis de tems, sea ms amigable, la distribucin de las columnas presenta mucha informacin, con tendencia a confusin, especficamente para personas o docentes que no manejan conocimientos estadsticos. Por ltimo la evaluacin del aprendizaje, est integrada en el proceso de formacin del estudiante y responde a los criterios de pertinencia, equidad y responsabilidad compartida, aunque hay muchos mtodos de hacerla, el uso de esta plataforma es solo una estrategia, debe hacerse en forma planificada.

Bibliografa Abad, Francisco J., Garrido, Jess (Febrero 2006), Introduccin a la Psicometra, Teora Clsica de los Tests y Teora de la Respuesta al tem, Facultad de Psicologa Universidad Autnoma de Madrid. Gil I, Bilbao J, Jimnez F, (2009), Anlisis de cuestionarios para evaluar conocimientos matemticos a travs de la plataforma Moodle, licencia de Creative Commons. Meyer, Werner P, (2009) Mdulo Cuestionario, Usuario Profesor en Moodle 1.9.7, wpmeyer@adinet.com.uy Cibergrafa. Cuestionario elaborado en Plataforma Casquete de esfera perforada, para estudiantes de grado once, http://www.casquetedeesferaperforada.com/plataforma1//mod/quiz/report.php?q=338&mode=analysis