Revista Internacional de Educacin en Ingeniera

ISSN 1940-1116

AcademiaJournals.com
Volumen 4, 2011

Modelo para la Evaluacin de la Calidad de Sitios de e-learning

Ma. Antonieta Abud Figueroa MC1 ResumenEl avance tecnolgico abre las puertas del aprendizaje y de igual manera se incrementa la demanda de sitios de e-learning. Es por ello que surge la necesidad de contar con un instrumento que permita evaluar su calidad. En este artculo se presenta un modelo para la evaluacin de calidad de los sitios de elearning, basado en el estndar ISO-9126, que ofrece un marco de referencia de la eficacia de un sitio Web donde se imparten cursos en lnea, considerando caractersticas como material del curso, aprendizaje, navegacin, y disponibilidad del sitio, entre otras. Adems se presenta el desarrollo de una aplicacin Web que permite aplicar dicho modelo mediante una encuesta que contestan los alumnos del curso que se desea evaluar. Esta aplicacin genera un reporte estadstico acompaado de grficas, lo cual ofrece un panorama de la forma en que el alumno recibe el contenido de cada materia y si ste es realmente significativo, resultados que sirven de apoyo para elevar la calidad del sitio en los aspectos que se consideren deficientes. Palabras claves E-learning. Educacin virtual. Calidad.

Introduccin
En los ltimos aos se ha incrementado el uso de las aplicaciones de e-learning en el mbito de la educacin a distancia, ya que ofrece soporte tanto para alumnos como para profesores que no tienen posibilidad de realizar trabajo presencial. El buen diseo y funcionamiento de estas aplicaciones incide directamente en el logro de resultados positivos en el aprendizaje, por lo que es necesario considerar para su implementacin caractersticas como equipamiento tecnolgico, experiencia tcnica, antecedentes culturales y cognoscitivos, entre otros. Se requieren desarrollos flexibles y adaptativos que atiendan las peculiaridades especficas en este campo. Adems para asegurar la calidad de estas aplicaciones es necesario contar con mecanismos de evaluacin, para lo que se requieren guas apropiadas y metodologas de evaluacin efectivas. Esto plantea la necesidad de desarrollar un modelo de evaluacin que comprenda la totalidad de aspectos involucrados en el e-learning. En este trabajo se presenta la propuesta de un modelo de calidad para evaluar estos sitios, el cual se basa en la norma ISO 9126 para evaluar productos de software.

Antecedentes Trabajos Relacionados

Desde hace algunos aos se han desarrollado propuestas para evaluar la calidad del e-learning, entre las principales se encuentran las siguientes. Grtzner et al, (2004) presentaron la metodologa IntView para la ingeniera de software educativo con aspectos que permiten controlar el presupuesto y planificar la produccin de
1

Ma. Antonieta Abud Figueroa MC es Profesora del rea de Sistemas Computacionales del Instituto Tecnolgico de Orizaba, Orizaba, Veracruz, Mxico. aabud@prodigy.net.mx (autor corresponsal)

1 | Revista Int ernacional de Educacin en Ingenier a

este tipo de software de alta calidad. Esta metodologa permite asegurar la calidad desde el inicio del proyecto. Integra y adapta mtodos de aseguramiento de calidad de la ingeniera de software con enfoque de desarrollo de software pedaggico incluyendo todos los artefactos de desarrollo de software propuestos por la ingeniera de software. O'Brien,y Hall (2006) proponen un enfoque sistemtico para especificar, medir y evaluar la calidad en la usabilidad de aplicaciones web. Se establecen un conjunto de mtricas e indicadores que permiten evaluar la calidad percibida por los usuarios finales. Como caso de estudio se utiliz en una aplicacin de e-learning. Ardito et al, (2006) describieron un estudio sobre la efectividad, eficiencia y satisfaccin de diferentes tcnicas de evaluacin orientadas a la medicin de la calidad del e-learning. Proponen una metodologa, llamada eLSE (elearning Systematic Evaluation), en la que combinan tcnicas de evaluacin de patrones Abstract Tasks (AT), inspeccin heurstica y pruebas de usuario. Como resultado de su estudio presentan que el uso de la inspeccin AT permite encontrar un gran nmero de problemas de usabilidad con mayor eficiencia que los mtodos de inspeccin heurstica. Novell y Olsina (2006) presentaron un enfoque sistemtico para especificar, medir y evaluar la calidad de la usabilidad de aplicaciones web desde el punto de vista del usuario final, y tomaron como caso de estudio una aplicacin de e-learning. Los criterios para evaluacin estn basados en las caractersticas de calidad en el uso descritos en la norma ISO 9126-1. Se propuso el marco de trabajo llamado INCAMI ( Information, Need, Concept model, Attribute, Metric and Indicator). Reportan buenos resultados en la utilizacin de este enfoque para la evaluacin. Ssemugabi y de Villiers (2007) realizaron un estudio comparativo para evaluar la usabilidad de aplicaciones de elearning. En su estudio compararon el mtodo de evaluacin heurstica realizada por expertos con la evaluacin de usabilidad desde la perspectiva de los usuarios. Para este propsito establecieron un marco de trabajo con criterios de evaluacin divididos en tres categoras: criterios generales de interface, criterios especficos de caractersticas de una aplicacin web y criterios orientados al diseo instruccional, teora y efectividad de aprendizaje. Como resultado reportan que los resultados obtenidos por ambos mtodos son significativamente semejantes, de modo que concluyen que una evaluacin realizada por expertos resulta apropiada, eficiente, muy efectiva y se puede efectuar de forma econmica. Fetaji y Fetaji (2007) propusieron una metodologa enfocada al diseo de aplicaciones de e-learning con calidad. Su objetivo fue identificar los factores que influyen en el aprendizaje electrnico a fin de mejorarlo e identificar la naturaleza de los obstculos que se presentan. Se utilizaron encuestas a estudiantes y personal acadmico con el fin de determinar los indicadores que influyen en la calidad general del e-learning. El trabajo se enfoc bsicamente a evaluar y mejorar la calidad del aprendizaje electrnico mediante la definicin y medicin de indicadores. Despus de analizar la bibliografa expuesta se concluye que aunque existen propuestas para modelos de evaluacin, no presentan los instrumentos que permitan recoger la percepcin del usuario que utiliza el e-learning como instrumento para el aprendizaje.

La Norma ISO 9126

La ISO, bajo la norma ISO-9126, establece un estndar internacional para la evaluacin de la calidad de productos de software el cual se public en 1992 con el nombre de Information technology Software product evaluation: Quality characteristics and guidelines for their use, en donde se establecen las caractersticas de calidad para productos de software. El estndar ISO-9126 establece que cualquier componente de la calidad del software se describe en trminos de una o ms de seis caractersticas bsicas, las cuales son: funcionalidad, donde se califica si un software maneja en forma adecuada el conjunto de funciones que satisfagan las necesidades para las cuales fue diseado; confiabilidad, que mide la capacidad del software de mantener su nivel de ejecucin bajo condiciones normales en un periodo de tiempo establecido; usabilidad, que mide el esfuerzo necesario que deber invertir el usuario para utilizar el sistema; eficiencia, que permite evaluar la relacin entre el nivel de funcionamiento del software y la cantidad de recursos usados; mantenibilidad, que se refiere a los atributos que permiten medir el esfuerzo necesario para realizar modificaciones al software, ya sea por la correccin de errores o por el incremento de funcionalidad; y portabilidad, que es habilidad del software de ser transferido de un ambiente a otro. Cada una de estas caractersticas se detalla a travs de un conjunto de sub-caractersticas que permiten profundizar en la evaluacin de la calidad de productos de software (Abud, 2008).

Modelo Propuesto
En la figura 1 se presenta un esquema que muestra el modelo propuesto, al que se denomin CaEl. Para este modelo se tom como base la norma ISO-9126, considerando nicamente las caractersticas de funcionalidad, usabilidad,

2 | Revista Int ernacional de Educacin en Ingenier a

confiabilidad y eficiencia debido a que stas engloban los aspectos de calidad de la aplicacin de e-learning que son perceptibles al usuario final. Para cada una de las caractersticas se estableci un conjunto de criterios que permitan conocer el grado de satisfaccin de un usuario sobre un sitio. De esta forma para el caso de usabilidad, se consider importante la capacidad de utilizacin del sistema en base a las caractersticas del material de curso y de la interfaz humanocomputadora; para la funcionalidad se incluy la transmisin del conocimiento y las actividades de aprendizaje asociadas al mismo; para la eficiencia se califica primordialmente el desempeo del profesor y la calidad de las comunicaciones con l; y finalmente para la confiabilidad se consideraron las capacidades de la plataforma y el proceso envo-recepcin de trabajos.

Material del Curso Organizacin de la informacin Lenguaje y orientacin de las lecturas Secuencia de presentacin Suficiencia del material Uso de ejemplos y ejercicios Interfaz Imgenes y videos Navegacin Ubicacin de los elementos en la pantalla Opciones de men y mensajes

Transmisin del Conocimiento Material del curso Evidencias del aprendizaje Actividades Detalle en la definicin Diseo Eficiencia Organizacin de actividades con compaeros virtuales. Criterios de evaluacin

USABILIDAD

FUNCIONALIDAD

CaEl
EFICIENCIA CONFIABILIDAD

Comunicacin Atiende oportunamente los correos electrnicos Proporciona asesoras Retroalimentacin sobre el desempeo Desempeo del Instructor Correccin de trabajos Atencin de dudas Oportunidad al calificar Retroalimentacin

Plataforma Disponibilidad Navegacin Proceso envi-recepcin Envo-recepcin

Figura 1. Modelo CaEl

3 | Revista Int ernacional de Educacin en Ingenier a

Una vez establecido el modelo se elabor un instrumento de medicin en forma de encuesta donde para cada criterio se formularon una serie de preguntas cada una con un peso que puede ser 50 para el caso de no cumplir con el criterio, 70 cuando se cumple parcialmente y 100 cuando se cumple en su totalidad. En la tabla 1 se muestra este instrumento de evaluacin.

Tabla1. Instrumento de Evaluacin

CARACTERSTICA USABILIDAD Material del curso Organizacin de la informacin PREGUNTA PESO

Lenguaje y orientacin de las Lecturas

La informacin sobre objetivos, temas y materiales que comprenden el curso es: a) Completa b) Insuficiente c) Suficiente en algunos temas pero no en todos La organizacin de la informacin: a) Completa pero no es fcil de identificar b) Completa y presenta un control adecuado c) Es incomprensible La presentacin de los temas a) Se presenta de forma desordenada b) En algunos casos es difcil de comprender c) Sigue una secuencia lgica, de tal forma que facilitan su comprensin El lenguaje en el que estn escritas las lecturas es: a) Demasiado simple para el nivel b) Claro c) Denso pero comprensible d) Complicado Por su orientacin, las lecturas a) No tienen relacin con los temas b) Se relacionan con los temas en forma indirecta c) Se relacionan directamente con los temas d) Permiten reforzar el conocimiento de los temas Por la secuencia con que se presentan las lecturas a) Son repetitivas b) Son confusas c) Se exponen de manera completa los temas d) Se facilita la comprensin de los temas La cantidad de material de lectura para aprender lo que los objetivos de aprendizaje sealan es a) Insuficiente b) Excesiva c) Suficiente en algunos temas, pero no en todos d) Suficiente Los ejemplos que se proponen para cada tema: a) Son excelentes para entender mejor los conceptos. b) Son buenos pero no se presentan en todos los temas c) En ningn momento se presentan ejemplos Las imgenes: a) Son claras y su significado comprensible (el color, tamao, movimiento o animacin, ubicacin, son apropiadas para el tema). b) c) El material no presenta imgenes No tienen relacin con el tema en el que se presentan

100 50 70 70 100 50 50 70 100 70 100 100 50 50 70 100 100 70 50 100 100

Secuencia de presentacin

Suficiencia del material

50 50 70 100 100 70 50 100 70 50

Uso de ejemplos y ejercicios

Interfaz Imgenes y videos

4 | Revista Int ernacional de Educacin en Ingenier a

Navegacin

Ubicacin de elementos

Los videos: a) No se presentan videos en el curso b) No son de utilidad para el aprendizaje de los temas. c) Presentan una mala calidad d) En general son de utilidad para el comprender mejor los temas La navegacin a travs de las pantallas: a) Permite acceder fcil y rpidamente a los temas b) Es difcil identificar cmo llegar a una pgina c) En algunos puntos se dificulta identificar la ruta a seguir. La ubicacin de los elementos en la pantalla: a) No es uniforme, lo que dificulta identificar los elementos b) Sigue un patrn que permite identificar fcilmente la ubicacin de cada elemento c) Cada pantalla presenta diferentes elementos, lo que no permite uniformidad. Los mensajes: a) En ningn momento se presentan mensajes. b) Son confusos por lo que el usuario no sabe como responder a ellos. c) Son congruentes, sencillos y guardan cierta uniformidad, por lo que se considera que son totalmente comprensibles para el usuario. Las opciones que se presentan en los mens: a) No son claras por lo que crean confusin b) En forma clara y son fciles de operar c) Algunas veces causan confusin. El material del curso: a) Se apega totalmente al contenido del curso b) Es irrelevante para el contenido del curso c) Cubre parcialmente el contenido del curso El contenido del material del curso: a) Presenta la informacin de forma compleja y poco entendible b) Transmite el conocimiento necesario para que el alumno realmente aprenda c) Transmite conocimiento poco detallado de los temas del curso Adems del material incluido en el curso: a) En todos los temas se proporciona informacin bibliogrfica adecuada donde se pueda complementar el conocimiento b) No se proporciona informacin adicional c) d) Se proporciona informacin adecuada, pero no en todos los temas Se proporciona informacin bibliogrfica que no es til

50 50 70 100 100 50 70 50 100 70

Opciones de men y mensajes

50 70 100

50 100 70 100 50 70 50 100 70 100 50 70 50 70 50 70 100

FUNCIONALIDAD Transmisin del Conocimiento Material del curso

Evidencias del Apredizaje

El nivel de dificultad de las evidencias de aprendizaje en su mayora es a) En extremo fcil b) Muy complicado y requiere asesora estrecha del profesor, para poder realizar los trabajos apropiadamente c) Complejo, requiriendo releer y mayor tiempo de dedicacin para su comprensin d) Apropiado al nivel que se estudia Conforme el tiempo establecido en el calendario de actividades, los trabajos en su realizacin a) Resultan excesivamente laboriosos b) Requieren de menor tiempo para su realizacin

50 50

5 | Revista Int ernacional de Educacin en Ingenier a

c) Irregulares, algunos muy fciles y breves y otros muy complejos y difciles d) Son congruentes con el tiempo requerido y el tiempo establecido

70 100

Actividades Detalle

Las evidencias de aprendizaje, por su diseo a) Son laboriosas y montonas b) Implican poco esfuerzo y aprendizaje c) Resultan muy interesantes al trabajar en ellas d) Tienen relacin directa con el tipo de conocimiento que se quiere promover El sistema permite: a) Visualizar las calificaciones correspondientes a cada actividad permanentemente b) No ofrece informacin sobre la calificacin de las actividades c) Visualizar las calificaciones de una actividad por un periodo de tiempo. En el detalle, las actividades a) No queda claro su relacin con los objetivos de aprendizaje b) Est completamente definidas de modo que se entiende su objetivo, los productos a entregar y la forma de presentarlos. c) Estn parcialmente definidas, de modo que quedan dudas respecto a los productos a entregar o a los objetivos que se persiguen. La forma en que estn diseadas las actividades a) No reflejan el aprendizaje que habr de lograrse al realizarlas b) No facilita su relacin con temas previos o posteriores c) Relaciona la teora con prctica d) Permite relacionar (integrar) los aprendizajes de los diferentes temas del curso Las actividades dan oportunidad de adquirir algunas habilidades con la prctica a) Ninguna b) Menos de la mitad c) Ms de la mitad d) Todas Al trabajar con compaeros virtuales a) Desisto y opto por trabajar con compaeros de mi institucin o bien, solo b) Se me dificulta la realizacin de actividades c) Aprendo mejor d) Encuentro una nueva forma de trabajo retadora y gratificante Los criterios de evaluacin de las actividades a) Son vagos y ambiguos, no queda claro como debe evaluarse el trabajo b) Son claros, pero injustos c) Son muy generales y dependen de la interpretacin del profesor d) Permiten saber con precisin lo que debe hacerse Al escribir a la cuenta de correo electrnico de mi profesor adjunto para aclarar dudas a) No le escrib b) Me regresaron los mensajes por error en la cuenta o por encontrarse lleno su buzn o nunca respondi

50 50 100 100

100 50 70

50 100 70

Diseo

50 50 70 100

Eficiencia

50 70 70 100 50 50 100 100 50 50 50 100

Trabajo con compaeros virtuales

Criterios de Evaluacin

EFICIENCIA Comunicacin Atiende los correos

70 50

6 | Revista Int ernacional de Educacin en Ingenier a

c) d) e)

Respondi a mis mensajes espordicamente Siempre contest oportunamente Respondi pero vagamente. Incluso confundindome con otro alumno.

70 100 70

Proporciona asesoras

Retroalimenta sobre el desempeo

Desempeo del instructor Correccin de trabajos Atencin de dudas

Proporcion asesoras al grupo o a m en lo individual, para aclarar dudas a) Nunca b) 1 2 veces en el curso c) De 3 a 5 veces en el curso d) Ms de 5 En su retroalimentacin sobre mi desempeo a) No dio retroalimentacin b) Su retroalimentacin fue insuficiente c) S proporcion retroalimentacin pero de forma extempornea d) Fue descriptivo, explicando cuales fueron los errores en los trabajos y por qu. El profesor al corregir los trabajos: a) Las correcciones a mis trabajos slo se basaron en la forma, no en el contenido b) Las correcciones a mis trabajos fueron basadas en los contenidos y fueron puntuales c) No hizo las correcciones Al atender mis dudas el profesor: a) Sus explicaciones no fueron claras b) Supo aclararme las dudas que le plante c) No atendi mis dudas Respecto a la calificacin de los trabajos: a) No haba calificado la mitad de las actividades al trmino del curso b) Tard ms de 15 das en evaluar la mayora de las actividades c) Tard hasta 15 das en calificar algunas actividades Respecto a la evaluacin: a) No fue claro qu criterios utiliz para evaluar b) Slo en algunas actividades hubo claridad en los criterios de evaluacin c) Nunca se bas en los criterios del curso, pero fue objetivo al evaluar d) Respet los criterios para cada actividad y fue objetivo Cuando se realiza la evaluacin de un tema: a) No se ofrece retroalimentacin b) Se ofrecen sugerencias para repasar algn tema en especfico c) Se da retroalimentacin sobre los errores pero no se hacen sugerencias La plataforma: a) Cuenta con un manual til, sencillo y fcil donde se ofrece informacin completa b) No proporciona manual para su uso c) Cuenta con un manual incompleto lo que hace difcil encontrar informacin de ayuda Durante el curso, al navegar por la plataforma: a) Fue necesaria la ayuda de otras personas b) Se presentaron problemas frecuentes de acceso c) Fue fcil, pero en ocasiones no funcion adecuadamente

50 70 70 100 50 70 70 100

50 100 50 50 70 100 50 50 70 100 50 70 70 100 50 100 70 100 50 70

Oportunidad al calificar

Retroalimentacin

CONFIABILIDAD Plataforma Disponibilidad

50 50 70

7 | Revista Int ernacional de Educacin en Ingenier a

d)

Fue fcil y sin contratiempos

100

Proceso envorecepcin Acceso a trabajos

Acceder a los archivos de los documentos del curso y bajarlos a mi computadora fue a) Imposible sin la ayuda de otra persona b) Complicado, se abra el documento en lugar de guardarse en mi computadora c) Fcil, pero en ocasiones marcaba error d) Fcil y sin contratiempos Al registrar mis trabajos en la plataforma a) Lo hice en el espacio destinado para otra actividad b) En ocasiones no se pudo guardar el trabajo, enterndome al ver mi calificacin o por aviso del profesor c) En ocasiones no se pudo guardar el trabajo de inmediato debiendo repetir el proceso de envo del trabajo d) Nunca tuve contratiempos

50 50 70 100 50 50 70 100

Resultados
Se desarroll una aplicacin para Web aplicable al mdulo de aulas virtuales del Tecnolgico de Orizaba, mediante la cual cada alumno puede evaluar en forma separada cada uno de los cursos de e-learning en los que se encuentra inscrito. El acceso a la aplicacin es a travs de un identificador de usuario y una contrasea asignado a cada alumno desde su inscripcin. Adems el administrador del sistema tiene la opcin de consultar resultados.

Ingreso al Sistema

Figura 2. Pantalla de inicio El acceso al sistema se da desde una liga en la pgina principal del mdulo de aulas virtuales del Tecnolgico de Orizaba. Al ingresar al sistema se presenta la pantalla de bienvenida donde el usuario se debe autentificar ingresando su identificador y contrasea (figura 2.) De acuerdo al identificador el sistema reconoce si el usuario es alumno o administrador.

Proceso de Evaluacin
Cuando el usuario es un alumno, una vez que ingresa al sistema se presenta una pantalla donde aparecen sus cursos con una liga para evaluar cada uno. (figura 3) la cual al elegirse despliega una secuencia de pantallas con la encuesta del curso (figura 4). El alumno debe contestar completamente cada grupo de preguntas para acceder a la siguiente. Al terminar de llenar la encuesta los datos se graban y se presenta al alumno la pantalla final.

8 | Revista Int ernacional de Educacin en Ingenier a

Figura 3. Pantalla de cursos.

Figura 4. Pantalla de encuesta

Proceso de Resultados
Cuando ingresa el usuario administrador tiene la opcin de consultar los resultados de las encuestas. Como se muestra en la figura 5, el sistema muestra para cada pregunta una grfica indicando el resumen de las respuestas de los alumnos de un grupo lo que da idea de los aspectos positivos y negativos que percibieron los alumnos de un grupo, informacin con la cual se pueden tomar acciones de mejora.

Figura 5. Pantalla de resultados de evaluacin

9 | Revista Int ernacional de Educacin en Ingenier a

Conclusiones
El trabajo que aqu se presenta es una iniciativa para medir la calidad de los sitios de e-learning desde el punto de vista del usuario final. Se propuso un modelo junto con un instrumento de evaluacin apoyados en una aplicacin Web mediante los cuales se brinda la oportunidad de conocer la percepcin que el alumno tiene de la calidad de los cursos virtuales que se ofrecen a travs de una plataforma de e-learning, tomando los criterios del estndar de evaluacin de software ISO-9126. El modelo y el instrumento desarrollados ofrecen un enfoque para conocer el grado de satisfaccin que el usuario final tiene, lo que permite adems establecer un proceso de mejora dando las oportunidad para realizar los cambios o ajustes para mejorar el servicio. La aplicacin Web se incorpor al mdulo de aula virtual del Instituto Tecnolgico de Orizaba, sin embargo es factible su adaptacin a otras plataformas haciendo los ajustes en el acceso a los datos de alumnos y grupos.

Referencias
Abud Figueroa, M.A. Calidad en la Industria del Software. La Norma ISO 9126 (2004). Revista UPIICSA Tecnologa y Cultura. [en lnea] Disponible en http://www.revistaupiicsa.20m.com/Emilia/RevEneAbr04/Antonieta1.pdf, Consultado el 25 de Septiembre del 2008. Ardito,, C., M. F. Costabile, A. De Angeli, R. Lanzilotti, Systematic evaluation of e-learning systems: an experimental validation, Proceedings of the 4th Nordic conference on Human-computer interaction: changing roles NordiCHI '06 , ACM Press, October 2006, pp 195/202 Covell, G., Luis A. Olsina, L. Web metrics: Assessing quality in use in a consistent way, Proceedings of the 6th international conference on web engineering ICWE06, ACM Press, July 2006, pp 1-8 Fetaji,B.; Fetaji, M., E-learning Indicators Methodology Approach in Designing Successful e-learning,. 29th International Conference on Information Technology Interfaces, 2007. ITI 2007, Volume , Issue , 25-28 June 2007, pp 307 312 Grtzner, I., Weibelzahl, S., Waterson, P., Engineering e-learning systems (ELS): Improving courseware quality through lifecycle encompassing quality assurance, Proceedings of the 2004 ACM symposium on Applied computing SAC '04, ACM Press, March 2004, pp 946-951 O'Brien, E. Hall, T., Engineering e-learning systems (ELS): Training Needs Analysis: the first step in authoring e-learning content, Proceedings of the 2004 ACM symposium on Applied computing SAC '04,ACM Press, March 2004, pp 935 939Guillermo J. Covella, Luis A. Olsina, Assessing quality in use in a consistent way, Proceedings of the 6th international conference on Web engineering ICWE '06, ACM Press, July 2006, pp 1 8 Rubio, Maria Jos M.J. (2003). Enfoques y modelos de evaluacin del e-learninglearning. Revista ELectrnica de Investigacin y EValuacin Educativa, v. 9, n. 2. [en lnea] Disponible en http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm. Consultado el 4 dic. 2007. Ssemugabi, S, Villiers, R, A comparative study of two usability evaluation methods using a web-based e-learning application, Proceedings of the 2007 annual research conference of the South African institute of computer scientists and information technologists on IT research in developing countries SAICSIT '07, ACM Press, October 2007, pp 132-142

10 | Revista Int ernacional de Educacin en Ingenier a