UNIVERSIDAD DE SANTANDER

CONVENIO ENGLISH EASY WAY

FACULTAD DE EDUCACIN






MDULO EVALUACIN DE LA CALIDAD DE LA TECNOLOGA
EDUCATIVA





MNICA BIVIANA RAMREZ QUINTERO






UNIVERSIDAD DE SANTANDER
MAESTRA EN GESTIN DE LA TECNOLOGA EDUCATIVA
Itag, Antioquia
2014






UNIVERSIDAD DE SANTANDER
CONVENIO ENGLISH EASY WAY
FACULTAD DE EDUCACIN











ACTIVIDAD #4.2: INFORME DE ELEMENTOS QUE INTERVIENEN EN LA
CALIDAD DE UN LMS CON LAS CARACTERSTICAS DE CALIDAD
PROPUESTAS EN LAS NORMAS ISO.




MNICA BIVIANA RAMREZ QUINTERO






Tutor: NESTOR ANAYA CHAVEZ
MAGISTER en Educacin





UNIVERSIDAD DE SANTANDER
MAESTRA EN GESTIN DE LA TECNOLOGA EDUCATIVA
Itag, Antioquia
2014
iii


TABLA DE CONTENIDO

ACTIVIDAD #4 ............................................................................................................... 4
DESARROLLO DE LA ACTIVIDAD # 4.2 ................................................................... 5
EVALUACIN DE UN SISTEMA DE GESTIN DEL APRENDIZAJE (LMS)......... 5
Caracterizacin de la calidad ......................................................................................... 5
Marco TICS y metodologa eLSE ................................................................................. 5
Marco para el anlisis de la potencialidad y validez ..................................................... 6
Marco para la evaluacin............................................................................................... 6
Calidad basada en las herramientas ............................................................................... 6
Sistemas de Gestin de Contenidos de cdigo abierto .................................................. 7
Estndares de Educacin a Distancia ............................................................................ 7
LMS NORMAS Y ESTANDARES ............................................................................ 10
Modelo de calidad ISO/IEC 2500 ............................................................................... 10
Estndar ISO/IEC 19796-1 .......................................................................................... 11
Pros y contra de las propuestas y modelos .................................................................. 11
REFERENCIAS BIBLIOGRFICAS. ........................................................................... 13

4

ACTIVIDAD #4


2. Actividad 4.2
A partir de los diferentes materiales propuestos en este captulo, analice la informacin y
elabore un informe donde describa los diferentes elementos y caractersticas de calidad que
deben ser tenidos en cuenta (en el modelo de calidad) al adelantar la evaluacin de un sistema
LMS.

Se entregar va tablero de anotaciones y bajo la siguiente nomenclatura que definir
claramente el contenido de la informacin:
Nombre_Apellido_Informe_Actividad.4.2.doc



5
DESARROLLO DE LA ACTIVIDAD # 4.2
EVALUACIN DE UN SISTEMA DE GESTIN DEL APRENDIZAJE (LMS)
Los sistemas LMS tienen amplios propsitos educativos, la eleccin de una plataforma se
vuelve compleja ya que en el mercado hay opciones comerciales y de libre distribucin,
constantemente aparecen nuevos sistemas de gestin del aprendizaje y las actualizaciones de
las versiones suelen tener mejoras importantes, por lo tanto, todo esto genera problemas para
la toma de decisiones en cuanto a la evaluacin de calidad se refiere.
Esto lleva a que se determine las caractersticas y objetivos que se requieren para
satisfacer las necesidades de los estudiantes, profesores y administradores.
Ahora veremos diferentes propuestas y modelos relacionadas con la evaluacin de LMS:
CARACTERIZACIN DE LA CALIDAD
Segn Kapp la calidad de una plataforma e-Learning est dada por cinco caractersticas:
Mantenimiento, Compatibilidad, Usabilidad, Modularidad y Accesibilidad. Al ser evaluadas
de forma individual aseguran el entendimiento de las necesidades tecnolgicas. No establece
los criterios de medicin dejndolo a los usuarios.
MARCO TICS Y METODOLOGA ELSE
Lanzilotti enfatiza en la interaccin usuario-plataforma, definida por: Tecnologa,
Interaccin, Contenidos y Servicios. De estos aspectos se obtiene una gua y una metodologa
de evaluacin llamada eLSE que combina tcnicas de inspeccin realizada por expertos que
permite identificar problemas, luego se analiza respecto a las TICS y posteriormente se aplica
una tcnica llamada Tareas abstractas (TA), que describe las actividades que deben ser
realizadas, vistas como patrones de evaluacin y formuladas segn una plantilla, se clasifican
en dos categoras: Aprendizaje del contenido y calidad de uso.
6
MARCO PARA EL ANLISIS DE LA POTENCIALIDAD Y VALIDEZ
Georgiakakis establece la utilidad y calidad de uso de un LMS a travs de un proceso de
dos pasos: Explorar y determinar su naturaleza con base a sus caractersticas y Examinar la
usabilidad y la utilidad.
El modelo propone una serie de criterios tanto pedaggicos como tcnicos y a su vez lo
divide en prctico y educativo. Emplea listas de cotejo y una matriz de decisin para
identificar las caractersticas y clasificarlo. Despus de definidas las caractersticas procede a
establecer una serie de criterios como: Fcil de aprender y comprender, Eciente en la
realizacin de tareas, Eciente en la navegacin, Retorno a lugares seguros y Agradable. Los
valores con los que se evala son del 1 al 5.
MARCO PARA LA EVALUACIN
Segn Beshears la evaluacin se puede hacer por los criterios: Requerimientos conocidos,
Requerimientos futuros desconocidos, Implementacin, Soporte y Costo. Se distribuyen 100
puntos entre ellos, tambin se puede realizar una lista de caractersticas para cada uno de ellos
del 0 al 5. La suma de todos estos valores determina la calidad de la herramienta.
CALIDAD BASADA EN LAS HERRAMIENTAS
Se basa en la presencia o ausencia de herramientas clasificados en ocho categoras y en un
conjunto de herramientas, la cual encontramos en un sitio web llamado EduTools. Mediante
un formulario el desarrollador indica las herramientas que proporciona el sistema, donde ser
evaluado por un grupo de expertos.
Las categoras y algunas herramientas son: herramientas de comunicacin como chat,
foro; herramientas de productividad como marcadores, bsqueda interna; herramientas para el
desarrollo del alumno como Autoevaluaciones, portafolio; herramientas administrativas como
Autenticacin, Registro; herramientas de publicacin de cursos como herramientas de control
de calificaciones, monitoreo de estudiantes; Diseo curricular como plantillas de cursos,
administracin del currculo; Hardware/software como requiere un navegador web,
requerimientos BD; Precio/licenciamiento como costo, cdigo abierto
7
SISTEMAS DE GESTIN DE CONTENIDOS DE CDIGO ABIERTO
Define trece criterios generales: Costo de uso, Mantenibilidad, Usabilidad y soporte, Perl
del vendedor y de la herramienta, Modularidad, Acorde a estndares, Capacidad de
integracin, Integracin de Objetos de Aprendizaje, Efectividad y ecacia, Escalabilidad,
Seguridad, Consideraciones de hardware y software y Soporte multilenguaje. Adems de eso
una lista de caractersticas y herramientas: Administracin, Seguridad, Acceso, Integracin
con otros sistemas, Diseo de cursos, desarrollo e integracin, Monitoreo de cursos, Diseo de
actividades, Colaboracin en lnea y comunicaciones y Herramientas de productividad.
Cada caracterstica emplea una escala de 0 a 5 donde 0 es no existe o pobre, 3 es promedio
bsico estndar y 5 excede las expectativas del estndar.
ESTNDARES DE EDUCACIN A DISTANCIA
En este contexto existen organizaciones que crean normas, estndares y especificaciones
para la interoperabilidad y calidad del servicio entre LMS, entre ellas:
ADL (Advanced Distributed Learning Initiative)
Es un programa del Departamento de Defensa de los Estados Unidos y de la Oficina de
Ciencia y Tecnologa de la Casa Blanca para desarrollar principios y guas de trabajo
necesarias para el desarrollo y la implementacin eficiente, efectiva y en gran escala de
formacin educativa sobre nuevas tecnologas Web.
AICC (Aviation Industry CBT Committee)
Es una organizacin sin fines de lucro, rene a los formadores de la aviacin, los
desarrolladores de cursos, los proveedores de software, diseadores y fabricantes para
desarrollar normas, recomendaciones de tecnologa y anlisis de las mejores prcticas,
compartiendo los estndares y realizando un proceso de certificacin, as mismo los
miembros contribuyen a desarrollar las normas de las tecnologas de la informacin de
vanguardia.
8
Fue el primer organismo creado para crear un conjunto de normas que permitiese el
intercambio de cursos CBT (Computer Based-Training) entre diferentes sistemas.
Las especificaciones del AICC cubren nueve reas principales, que van desde los objetos
de aprendizaje (LO) hasta los LMS. Normalmente, cuando una compaa dice que cumple con
las especificaciones AICC, significa que cumple con al menos una de estas directivas y
recomendaciones ( AGRs):.
AGR 01: AICC Publications
AGR 02: Courseware Delivery Stations
AGR 03: Digital Audio
AGR 04: Operating/Windowing System
AGR 05: CBT Peripheral Devices
AGR 06: Computer-Managed Instruction
AGR 07: Courseware Interchange
AGR 08: Digital Video
AGR 09: Icon Standards: User Interface
AGR 10: Web-Based Computer-Managed Instruction

IMS (Global Learning Consorcio)
La misin de IMS es desarrollar y promover especificaciones abiertas para facilitar las
actividades del aprendizaje en lnea. El trabajo de la IEEE fue recogido por esta corporacin
privada fundada por algunas de las empresas ms importantes del sector. Su objetivo fue la
creacin de un formato que pusiese en prctica las recomendaciones de la IEEE y la AICC.
IEEE LTSC (Learning Technology Standards Committee)
El LTSC se encarga de preparar normas tcnicas, prcticas y guas recomendadas para el
uso informtico de componentes y sistemas de educacin como de su interoperacin. El
estndar IEEE 1484.11.1-4 evala los LMS.
9
ISO / IEC ISO / IEC TR 29163-4:2009
ISO / IEC TR 29163-4:2009 cubre lo esencial de Learning Management System (LMS)
agrupa los diferentes estndares como IMS, AICC y ADL .
PROJECT OKI
Por sus siglas en ingls (Open Knowledge Initiative, Iniciativa de Conocimiento Abierto)
busca encontrar las ventajas y beneficios que ofrece para el desarrollo de LMS. El OKI se
describe as mismo en su sitio en Internet como una arquitectura que desarrolla y promueve
las especificaciones que describen cmo los componentes de un entorno de software se
comunican entre s y con otros sistemas empresariales; no es ms que una arquitectura abierta
y extensible para tecnologa utilizada en el aprendizaje, especialmente la educacin superior.
Las especificaciones de OKI permiten la interoperabilidad sostenible y la integracin
mediante la definicin de normas para la Arquitectura Orientada a Servicios (SOA) y la
llamada definicin de interfaces de servicio abierto (OSIDs). A travs de este trabajo OKI
busca abrir nuevas oportunidades de mercado a travs de una amplia gama de dominios de
aplicacin de software.
PORTAFOLIO
Portafolio crea especificaciones y normas que describe el tipo de informacin que puede
ser almacenada en el portafolio y como debe llevarse a cabo este registr a nivel de datos.
El portafolio del estudiante es un medio de " tareas" dinmicas y progresivas sobre las
principales fortalezas y logros del aprendizaje. Describe los documentos y materiales, los
cuales colectivamente sugieren el alcance y la calidad de las actividades del estudiante.
W3C
10
El Consorcio World Wide Web (W3C) es una comunidad internacional donde
las organizaciones, personal con tiempo completo y el pblico en general trabajan
conjuntamente para desarrollar estndares Web y accesibilidad.
Liderado por el inventor de la Web Tim Berners-Lee, se describen especificaciones de
accesibilidad en la web y que abarcan los LMS.
LMS normas y estndares
Los Sistema de Gestin de Aprendizaje que emplea las TIC para su funcionamiento, debe
entenderse como un Software que media los procesos inmersos en estos sistema. Como es un
Software debe revisarse desde el punto de vista de evaluativo obedeciendo a los aspectos
tcnicos segn la norma ISO/IEC 9126 sin ser tan riguroso. La norma ISO/IEC 9126 busca
poder medir la calidad de un programa informtico. Entendiendo por calidad la propiedad o
conjunto de propiedades inherentes al software que permiten determinar su valor. Para ello
propone la descomposicin del atributo calidad en otros ms sencillos y fciles de medir. De
esta forma se establecen los requisitos de la calidad de un programa y se consigue un mayor
conocimiento del programa estudiado
MODELO DE CALIDAD ISO/IEC 2500
Es la integracin de las normas ISO/IEC 9126 e ISO 14598, que pretende el desarrollo de
productos de software conforme a su especificacin y evaluacin de calidad.
Define tres vistas para evaluar dicha calidad, la vista interna, relacionada con las
propiedades del software asociadas a las primeras fases del desarrollo (tamao, complejidad,
etc.); la vista externa se enfoca a la validacin del producto en trminos de su efectividad y
rapidez, uso de memoria, etc., la vista de uso se reere a la percepcin del usuario con
respecto a la efectividad del producto para la ejecucin de tareas. Cada vista define una serie
de mtricas y aunque las dos primeras vistas no son relevantes, la vista de uso resulta til
desde el punto de vista del usuario.
11
Este modelo permite detectar fortalezas y debilidades de un sistema y se enfoca en la toma
de decisiones para la compra y comparacin
ESTNDAR ISO/IEC 19796-1
Este es el primer estndar de calidad para el aprendizaje, la educacin y la capacitacin.
Se basa en el Marco de Referencia para la Descripcin de Calidad (RFDQ) y consta de dos
partes: un modelo de procesos como clasicacin de referencia y un esquema de descripcin
para el control de la calidad.
El modelo de procesos considera todo el ciclo de vida del e-Learning y tiene las siguientes
caractersticas: integracin, completitud, apertura, adaptabilidad y unicidad. Adems se divide
en siete categoras (anlisis de necesidades, anlisis de marco de trabajo, concepcin/diseo,
desarrollo/produccin, implementacin, proceso de aprendizaje y evaluacin/optimizacin) y
treinta y ocho subprocesos, donde se debe especificar los mtodos y mtricas a tener en
cuenta.
El modelo de descripcin de procesos, contiene la descripcin de las estructuras o
procedimientos sobre cmo realizar dichos procesos.
PROS Y CONTRA DE LAS PROPUESTAS Y MODELOS
La propuesta presentada por Kapp tiene como inconveniente su generalidad al no
establecer de forma clara una metodologa ni un rango de valores para la evaluacin.
En cuanto a la de Beshears est enfocado al proceso de implementacin lo que quiere
decir que se vuelve complejo para aquellos que no tienen conocimiento al respecto.
En cambio Georgiakakis plantea un aspecto importante que es la usabilidad, traza un
esquema de clasificacin y unos niveles, que lo hacen sencillo de utilizar, slo que su
evaluacin lo hacen expertos y en ambientes controlados.
12
En cuanto al marco TICS, se puede ver su enfoque a la parte tecnolgica, donde cobra
importancia la interaccin usuario-sistema. Su principal ventaja son las inspecciones basadas
en patrones, hacindola objetiva, slo que el nmero de ATs generados puede no cubrir todas
las caractersticas.
EduTools ofrece un marco genrico y un listado de funcionalidades deseables para las
herramientas, haciendo su medicin sencilla mediante una lista de cotejo. Pero su desventaja
radica en la presencia o ausencia de elementos que hacen que se realice una larga revisin de
la calidad del sistema.
La herramienta de cdigo abierto establece una metodologa cuantitativa para aplicar a la
evaluacin de calidad de un sistema LMS, solo que esta medicin es subjetiva y su valor esta
dado en la percepcin global.
La integracin de las normas ISO 9126 e ISO 14598 da como resultado una metodologa
genrica que no involucra elementos de enseanza-aprendizaje, esto lo hace limitado, aunque
su ventaja es que se puede definir una coleccin de caractersticas y la forma en que sern
medidas, estableciendo unos criterios objetivos que evitaran las valoraciones subjetivas.
En cuanto al modelo ISO/IEC 19796-1, se enfoca mucho en el proceso de implementacin
de un esquema de aprendizaje, haciendo que el LMS no sea parte del estndar sino parte de un
subproceso. Su ventaja radica en que proporciona un documento enfocado a la generacin de
mtricas y mediciones de calidad.

13
REFERENCIAS BIBLIOGRFICAS.

MATERIAL BASE
Libro Electrnico Multimedial: Evaluacin de la Calidad de la Tecnologa
Educativa. Captulo IV. Evaluacin de la Calidad del Software Educativo.
o 4.1. Metodologa Generalizada de Evaluacin.
o 4.2. Un Ejemplo de Evaluacin.

ANEXOS
Enhancing ISO/lEC 25021 Quality Measure. Elements for wider application within ISO
25000 series. Dominique, S.-L., & Witold, S. (2000).
Revisin de Modelos para Evaluacin de Software Educativo. Cova, A., Arrieta, X., &
Duran, J. (2007).
La Calidad en los Sistemas de Gestin del Aprendizaje. Mendez, V., & Domiguez, C. M.
(2011)

MATERIAL COMPLEMENTARIO
Software engineering Product quality Part 2: External metrics. ISO/IEC 9126-2 TR.
(2003).
Instrumento de evaluacin de software educativo bajo un enfoque sistmico. Caracas.
Daz, A., Prez, M., & Mendoza, L. (2003).

14
Enlaces Temticos
WCET (WICHE Cooperative for Educational Technologies). WCET EduTools.
Consultado el: 5 nov, 2013.
Commonwealth of Learning. LMS evaluation tool and user guide. Consultado el: 5 de
nov, 2013.

RASTREO PERSONAL
Barchino, R., Gutirrez, J., Otn, S. Panormica de las Herramientas de Apoyo a la
Teleformacin. Alcal de Henares, Espaa: Universidad de Alcal, Departamento de Ciencias
de la Computacin.
Chacn-Rivas, M., Solano, I. Modelo de calidad para la evaluacin de una plataforma
LMS. Costa Rica: Instituto Tecnolgico de Costa Rica. De la base de datos de Digitum.
Chiarani, M., Pianucci, I. (2004). Criterios de evaluacin de plataformas virtuales de
cdigo abierto para ambientes de aprendizajes colaborativos (Objeto de conferencia). De la
base de datos del Servicio de Difusin de la Creacin Intelectual.

CIBERGRAFA
FORTEC. Estndar SCORM: Definicin y objetivos. Recuperado el 13 de septiembre de
2014 de http://www.formacionytecnologia.com/blog/estandar-scorm-definicion-y-objetivos/
Monti, S., San Vicente, F. Evaluacin de plataformas y experimentacin en Moodle de
objetos didcticos (nivel A1/A2) para el aprendizaje E/LE en e-learning. Italia: Universidad de
Bolonia. Recuperado el 13 de septiembre de 2014 de
http://www.doredin.mec.es/documentos/00820083000260.pdf