EJEMPLO SELECCIN DE CARACTERSTICAS A EVALUAR

CARACTERSTICAS Y SUBCARACTERSTICAS A EVALUAR

Funcionalidad Conveniencia Precisin Interoperabilidad Seguridad Confiabilidad Vencimiento Tolerancia a las fallas Capacidad de recuperacin. Puede el campus presentar las actividades requeridas. Lo que se ve es el resultado esperado? El campus puede interactuar con otro? El campus impide el acceso no autorizado Las fallas se han eliminado durante el tiempo? El software donde esta montado el campus es capaz de manejar errores? El software donde se mont el campus puede reasumir el funcionamiento y restaurar datos perdidos despus de la falla? El usuario comprende fcilmente como usar las actividades presentadas en el campus? El usuario aprende fcilmente a utilizar el campus? El usuario sin mucho esfuerzo utiliza el campus? la interfaz se ve bien? Qu tan rpido funciona el la plataforma donde est montado el campus? La plataforma donde se encuentra montado el campus utiliza los recursos de manera eficiente? las fallas Pueden ser fcilmente diagnosticadas? El contenido del campus puede ser fcilmente modificado? Si se hacen cambios en la plataforma el campus sigue funcionando?

Utilidad

Claridad Capacidad de aprendizaje Operatividad atractivo

Eficiencia

Comportamiento del tiempo. Utilizacin de recursos

Capacidad de Mantenimiento

Capacidad de anlisis Variabilidad Estabilidad Capacidad de prueba

 Transportabilidad Adaptabilidad Capacidad de instalacin Conformidad Capacidad para remplazar

Todas las caractersticas

Cumplimiento

El contenido del campus puede ser probado fcilmente? El software donde est montado el campus se puede trasladar a otros ambientes? El software donde est montado el campus y lo contenidos del campus se pueden instalar fcilmente? El software donde est montado el contenido del campus cumple con los estndares de Transportabilidad? El software donde se encuentra el campus virtual est correctamente licenciado?

Se muestra entonces el formato de evaluacin que se aplicara segn la norma ISO 9126:
FORMATO EVALUACION ISO 9126 CARACTERISTICA Funcionalidad PREGUNTA Puede el campus presentar las actividades requeridas? Lo que se ve es el resultado esperado? El campus puede interactuar con otro? El campus impide el acceso no autorizado? Las fallas se han eliminado durante el tiempo? El software donde est montado el campus es capaz de manejar errores? El software donde se mont el campus puede reasumir el funcionamiento y restaurar datos perdidos despus de la falla? El usuario comprende fcilmente como usar las actividades presentadas en el campus? El usuario aprende fcilmente a utilizar el campus? El usuario sin mucho esfuerzo utiliza el campus? SI NO

Confiabilidad

Utilidad

La interfaz se ve bien? Eficiencia Dnde est montado el campus la plataforma funciona rpido? La plataforma donde se encuentra montado el campus utiliza los recursos de manera eficiente? Capacidad de Las fallas Pueden ser fcilmente Mantenimiento diagnosticadas? El contenido del campus puede ser fcilmente modificado? Si se hacen cambios en la plataforma el campus sigue funcionando? El contenido del campus puede ser probado fcilmente? Transportabilidad El software donde est montado el campus se puede trasladar a otros ambientes? El software donde est montado el campus y lo contenidos del campus se pueden instalar fcilmente? El software donde est montado el contenido del campus cumple con los estndares de Transportabilidad? Todas las El software donde se encuentra el campus virtual est correctamente caractersticas licenciado? CUESTIONARIOS GENERADOS PARA EVALUACIN ASPECTOS PEDAGGICOS ELEMENTOS Muy Bastante Adecuado/ Poco adecuado/ adecuado/a a adecuado/ a a X X X X X X X X X X

Capacidad de motivacin (atractivo, inters) Adecuacin al usuario (contenidos, actividades) Cantidad de informacin y datos Nivel de claridad de la informacin presentada Recursos para buscar y procesar datos Estrategias didcticas Tipo de Actividades Complejidad de las actividades Variedad de actividades Cubre los objetivos y los contenidos

Enfoque aplicativo/ creativo (de las actividades) Estilo de redaccin adecuada a la edad del usuario Grado de dificultad de las tareas Tutorizacin Fomenta el autoaprendizaje (iniciativa, toma decisiones) Posibilidades de adaptacin a diferentes usuarios. Posibilita el trabajo cooperativo (da facilidades para este) Evaluacin (preguntas, refuerzos) Nivel de actualizacin de los contenidos Valores que presenta o potencia (competitividad, cooperacin, etc.) RECURSOS DIDCTICOS QUE UTILIZA INTRODUCCIN ORGANIZADORES PREVIOS ESQUEMAS, CUADROS SINPTICOS... MAPAS CONCEPTUALES GRFICOS IMGENES PREGUNTAS EJERCICIOS DE APLICACIN EJEMPLOS RESMENES/SNTESIS ACTIVIDADES DE AUTOEVALUACIN ESFUERZOS COGNITIVOS QUE EXIGE CONTROL PSICOMOTRIZ MEMORIZACIN / EVOCACIN COMPRENSIN / INTERPRETACIN COMPARACIN/RELACIN ANLISIS / SNTESIS CLCULO / PROCESO DE DATOS BUSCAR / VALORAR INFORMACIN RAZONAMIENTO (deductivo, inductivo, crtico) PENSAMIENTO DIVERGENTE / IMAGINACIN PLANIFICAR / ORGANIZAR / EVALUAR HACER HIPTESIS / RESOLVER PROBLEMAS EXPLORACIN / EXPERIMENTACIN EXPRESIN (verbal, escrita, grfica.) / CREAR REFLEXIN METACOGNITIVA

X X X X X X X X X X

SI X

NO X X

X X X X X X X X SI X X X X X X X X X X X X X X NO

EJEMPLO DE EVALUACIN

Segn en los aspectos ms relevantes que interesan tanto al estudiante, como a los tutores y a los administradores de la plataforma, para realizar una evaluacin de cada uno de los tems, el orden de importancia sera el siguiente:

De la anterior grfica se puede deducir que el orden de importancia de cada tem depende del tipo de usuario, entonces desde el punto de vista del estudiante, los aspectos a valorar seran los siguientes: Funcionalidad: dado que lo ms importante para un usuario es que una aplicacin especfica funcione adecuadamente, de este aspecto se puede decir que la plataforma ofrece de manera permanente sus servicios y que la interrupcin de los mismos es muy eventual solo por actualizaciones o mantenimiento de la plataforma, podra decirse que la disponibilidad de la misma es de un 95%. Y su importancia en una escala de 1 a 5, es 5, dado que el estudiante necesite que la plataforma est disponible todo el tiempo.

Confiabilidad: por el lado de la confiabilidad el estudiante espera que la plataforma sea no solo permanente sino que ofrezca una confiabilidad en lo relacionado a la seguridad tanto de acceso como de los progresos y tareas que cada estudiante tiene almacenado en las bases de datos de ella. Por ende la importancia est a la par de la funcionalidad, por consiguiente su nivel de importancia es tambin 5 de 5. Facilidad de Uso: aunque es un aspecto muy importante, para un usuario bien capacitado y con experiencia, no es tan relevante, por eso en mi estudio particular pienso que su nivel de importancia es 4 de 5 porqu aunque brinda facilidades para la navegacin en el campus, no pesa en manera significativa a la hora de los avances o calificaciones de un estudiante. A quin puede afectar directamente es a los desarrolladores a quienes se les valorar la calidad de su diseo. Eficiencia: por el contrario del punto anterior, el funcionamiento eficiente de la plataforma, si juega un papel importante en el desempeo y avance del estudiante, dado que varios procesos dependen de la diligencia con que la plataforma atienda cada requerimiento que un estudiante pueda hacerle en un momento dado (Momento de presentar una evaluacin). Segn la anterior explicacin su importancia tambin ser de 5/5. Mantenimiento: en lo relacionado con este tem el estudiante no hace uso con demasiada frecuencia de esta opcin, solo cuando necesita actualizar datos o diligencias encuestas, que a la postre no juega un papel vital en el proceso formativo del estudiante, por dicha razn su importancia es de 3/5. Portabilidad: finalmente, la parte de la portabilidad, solo se ve reflejada en el desempeo que la plataforma ofrece cuando se accede desde diferentes sistemas operativos y diferentes browsers o exploradores, al respecto

puedo afirmar que habiendo realizado pruebas con uno y con otro el desempeo es prcticamente el mismo, pero al igual que el tem de Mantenimiento, tampoco influye directamente en el proceso formativo del estudiante, por consiguiente la calificacin es de 3/5. La calificacin se realiza usando una escala de 1 a 5 sobre cada una de las su caractersticas, donde 5 es la calificacin ms alta y 1 la ms baja.

Capacidad

DESCRIPCIN El software o Moodle es lo suficientemente robusto para soportar la concurrencia de muchos usuarios y dar respuesta rpida a cada solicitud

Puntuacin 5

Caractersticas del sistema.

Presenta un estndar para guardar los comentarios, subir archivos con trabajos y actividades, descarga de documentos, ayudas y material OVAs. El sistema presenta un buen nivel de seguridad pero tiene una vulnerabilidad, dado que un usuario puede ingresar ms de una vez con el mismo nombre de usuario y contrasea, desde diferentes exploradores (Internet Explorer, Mozilla Firefox y Google). La plataforma requiere tomar una capacitacin bsica para su y correcto uso, pero se abandona mucha al estudiante y no se le presta una efectiva y oportuna ayuda.. El software no presenta un adecuado aspecto grfico, debido a esto, el primer acceso para un usuario nuevo, no brinda una primera buena impresin. La interface es consistente con su informacin y generalmente funciona de manera adecuada, pero cuando hay momento de gran volumen de usuarios (ltimo da de entrega de

Seguridad del sistema

Factores humanos

Esttica

2.5

Consistencia

4.5

actividades colaborativas), se congestiona y presenta problemas para el acceso y subida de trabajos. Documentacin La plataforma MOODLE se encuentra muy bien documentada y se puede conseguir fcilmente informacin para su implementacin y uso La plataforma MOODLE de la UNAD, en sus puntos crticos (mayor grado de concurrencia de usuarios) es poco confiable y presenta lentitud, cadas frecuentes y perdida de informacin en algunos casos. Podra decirse que su frecuencia de fallas es de una vez al mes. Algunas veces se encuentran algunos link que no llevan a ninguna parte ni contienen informacin de la este hace referencia. En general los fallos tiene un tiempo medio de aproximadamente 3 horas (despus de las 9 12 de la noche en das de envi de trabajos. Cuando se presentan problemas de saturacin de plataforma, hay que esperar generalmente una noche a que el sistema se desocupe y vuelva a funcionar adecuadamente. En lo que tiene que ver con la saturacin de plataforma, es muy fcil de predicir, ya que es lo que simpre ha pasado (por lo menos hasta ahora) en lo que relaciona a otro tipo de fallas si es muy difcil saber cundo la plataforma amanecer fallando. En general presenta buena velocidad de procesamiento, pero hay que aclarar que esto depende tambin de la velocidad de conexin o ancho de banda con la cual dispongamos cada uno de los usuarios. 5

Frecuencia y severidad de las fallas

Exactitud de las salidas

Tiempo medio de fallo

4.5

Capacidad de recuperacin ante falla

Capacidad de prediccin

Velocidad de procesamiento

4.5

Tiempo de respuesta

Presenta buenos tiempo de respuesta en lo que trata a la apertura y descarga de archivos, hay una demora es en el proceso de subida de archivos, pero se observa que esta es la que generalmente presenta cualquier pgina para dicho proceso. No requiere de tener una maquina poderosa, relativamente cualquier computador actual soporte este software Presenta buen rendimiento acorde a las necesidades Realiza las tareas de manera eficiente, las demoras en la retroalimentacin y publicacin de notas y resultado de actividades ya es una falla humana. Este es un software el cual permite ser implantado y modificado por cualquier institucin educativa, por consiguiente permite agregar nuevas funcionalidades y adaptarlo a las necesidades explcitas del cliente. El software puede ser implementado en cualquier institucin y adems ser usado desde cualquier sistema operativo y desde cualquier explorador. Al ser un software reconocido y libre permite a cualquier usuario realizar un proceso de depuracin y medir el nmero de errores encontrados, permitiendo descubrir todas sus debilidades y fortalezas. Su configuracin es bastante fcil y no requiere la presencia de grandes expertos, basta nicamente hacer uso de una capacitacin efectiva a cada tipo de usuario. Este software opera en un ambiente web y es compatible con todos los

4.5

Consumo de recursos

Rendimiento efectivo total Eficacia

4.5

4.5

Extensibilidad

Adaptabilidad

Capacidad de pruebas

Capacidad de configuracin

Compatibilidad

exploradores y sistemas operativos reconocidos actualmente. Requisitos de instalacin Desde el punto de vista de la institucin que lo adquiere, requiere como cualquier aplicacin web, un buen servidor o grupo de servidores que den respuesta efectiva a los usuarios. Desde el punto de vista del usuario o estudiante, no requiere de una maquina robusta para su instalacin, lo cual lo hace atractivo para su implementacin 5

Tenga en cuenta que hay una escala definida en el estndar ISO/IEC 9126 que va de 0.0 la ms baja a 1.0 la ms alta, si quieren pueden consultar la escala y la valoracin (0.0 a 0.2 Malo, ..,0.61 a 0.8 Bueno, 0.81 a 1.0 Excelente), para cada una de las caractersticas se debe asignar un peso en porcentaje, por ejemplo si seleccionaron cuatro caractersticas mantenimiento, eficiencia, funcionalidad y confiabilidad, los pesos asignados deben sumar 100%. Los pesos pueden ser mantenimiento 30%, eficiencia 20%, funcionalidad 35%, confiabilidad 15% sumando da 100%. Anexar un ejemplo para mayor claridad:

3. PRUEBAS Y RESULTADOS

3.1. ANALISIS DE FUNCIONALIDAD

El anlisis de funcionalidad de la herramienta se desarrollo utilizando un computador INTEL CORE2QUAD con procesador 2,4GHZ, 3GB de RAM, Disco Duro de 250 GB, Sistema Operativo Microsoft Windows 7 ULTIMATE. Para la realizacin de las pruebas con la herramienta QUALITYSOFT se hizo uso del aplicativo web KNOWGER: AMBIENTE VIRTUAL PARA LA GESTIN DE CONOCIMIENTO PARA INTEGRAR LA LABOR ACADMICA E INVESTIGATIVA DE LA FACULTAD DE INGENIERIA de la Universidad de Nario.

3.2 .REQUISITOS PRUEBA GENERAL

Inicialmente deben estar en la base de datos QUALITYSOFT los datos personales del administrador. Para la prueba se tendr la Base de Datos vaca, y se procede a evaluar el aplicativo web KNOWER por medio de la sesin de estudiante.

3.3. PRUEBA GENERAL

Mtricas Externas

Tabla 34. Usabilidad

Caracterstica USABILIDAD Comprensibilidad Aprendizaje Operabilidad Atractivo Valor Obtenido 11,4933 0,714286 0,8733 0,7 0 % 16 bueno excelente bueno

deficiente
FIN

Analizando este factor de usabilidad, se puede ver como la comprensibilidad en el aplicativo web evaluado es bueno porque los usuarios entienden el software, no tienen dificultades para la seleccin de las funciones que desean usar, es adecuado y puede ser usado para tareas particulares.

La subcaracterstica aprendizaje es excelente, al usuario no le toma mucho tiempo entender y aprender a usar una nueva funcin lo cual hace que el tiempo que emplea para ir de una funcin a otra es muy corto. En cuanto a operabilidad, se nota que el programa fue analizado en una etapa en la que se ha corregido previamente los errores y se han hecho las validaciones correspondientes

Los usuarios fcilmente aprenden a utilizar funciones especficas, y la eficacia de los sistemas de ayuda y documentacin con los que cuenta el aplicativo web hace que los usuarios puedan operar y controlar el software. En cuanto a atractivo, el aspecto del software es limitado ya que no se puede modificar el color ni elementos de la interfaz.

Tabla 35. Mantenimiento

Caracterstica Valor Obtenido % 16 Excelente Excelente FIN

MANTENIMIENTO 16 Analizabilidad Estabilidad 1 1

Con respecto a la analizabilidad, en el sistema se puede corregir funciones sin ningn problema, puede que se encuentre en la etapa del mantenimiento donde se localizan los fallos para ser corregidos El sistema es estable y midiendo el comportamiento del administrador, usuario o sistema incluyendo el software cuando se trata de probar el software modificado o no modificado.

Tabla 36. Portabilidad

Caracterstica Valor Obtenido %

PORTABILIDAD Adaptabilidad Instalacin Co-existencia Sustituir

13,2 0,75 0,5 1 1

16 bueno regular excelente excelente FIN

El sistema se puede adaptar a diferentes entornos especificados, como tambin el comportamiento del sistema o el usuario que est tratando de instalar el software en un entorno de usuario especfico es bueno. La instalacin no es complicada, pero no ofrece la capacidad de personalizar la misma lo cual puede ser una limitacin.

La coexistencia con otros programas es excelente, no presenta conflictos ni errores en este aspecto.

El comportamiento del sistema o el usuario que est tratando de usar el software con otra plataforma independiente en un entorno comn compartiendo recursos comunes, es excelente porque no produce conflictos.

Tabla 37. Funcionalidad

Caracterstica Valor Obtenido % 20 excelente excelente excelente

FUNCIONALIDAD 20 Idoneidad Precisin Seguridad 1 1 1

Funcionalidad cumplimiento

de 1

excelente

FIN

En cuanto a la idoneidad se puede afirmar que las funciones que se encuentran son las suficientes para la ejecucin de las tareas, no se detectaron funciones incompletas o faltantes.

La precisin indica que los resultados obtenidos son acordes a los resultados deseados y reales.

En este factor los usuarios ven las funciones muy satisfactorias, la ocurrencia de una operacin satisfactoria durante la prueba y operacin de usuario del sistema, adems proporcionan un resultado razonable y aceptable para lograr el objetivo especfico previsto de la tarea del usuario.

La seguridad es excelente, se ve que los datos estn protegidos de otros usuarios, as que, un usuario no puede ver los datos de otros usuarios con el fin de cambiarlos, borrarlos o tener acceso a datos que no deberan ser vistos por personal no autorizado.

Los resultados esperados de las diferentes tareas realizadas son razonables durante la operacin del aplicativo web. Tabla 38. Confiabilidad
Caracterstica CONFIABILIDAD Madurez Valor Obtenido 16 1 % 16 excelente excelente FIN

Tolerancia a fallos 1

En cuanto a madurez, el aplicativo web no mostro fallas en ninguna de las funciones evaluadas, lo cual significa que las funciones han sido corregidas en su totalidad. Ningn fallo se detect en la etapa de evaluacin.

En cuanto a tolerancia a fallos, la capacidad del software de mantener un nivel alto de confiabilidad al no presentar fallas de operacin o de vulneracin de su interfaz especificada, lo convierte en un producto de muy alta calidad en esta caracterstica.

Tabla 39. Eficiencia

Caracterstica EFICIENCIA Valor Obtenido 11,1225 % 16 bueno

Tiempo de 0,772031 comportamiento

FIN

En cuanto a tiempo de comportamiento el programa es rpido para la realizacin de las tareas a usar con respecto a los recursos usados por el sistema.

Observaciones

Tabla 40. Observaciones

No. Fecha 1 Caracterstica Subcaracterstica Tipo Pregunta Descripcin

23/12/2010 Funcionalidad Idoneidad

externa Estabilidad de la debido a que la especificacin Auditora se realizo funcional cuando el software (volatilidad) ya estaba en funcionamiento, no se tuvo

conocimiento de funciones cambiadas al entrar en operacin 2 23/12/2010 funcionalidad interoperabilidad externa Intercambiabilidad el sistema no tiene de datos (formato transferencia de de base de datos) datos con otros programas interoperabilidad externa Intercambiabilidad de datos (intento del usuario de xito basado en el intercambio) Seguridad externa Acceso auditabilidad El software no tiene intercambio de datos con otros programas

23/12/2010 funcionalidad

23/12/2010 funcionalidad

El software no tiene un historial de acceso Descripcin

No. Fecha 5

Caracterstica Subcaracterstica Tipo Madurez

Pregunta

23/12/2010 confiabilidad

externa Falta de densidad Durante el periodo en contra de de prueba, no se casos de prueba obtuvo esos resultados debido a que el producto a evaluar ya est terminado externa Falta resolucin de No se tiene los resultados porque se evalu el producto final al no

23/12/2010 confiabilidad

Madurez

23/12/2010 confiabilidad

madurez

externa Tiempo medio Las pruebas entre fallos software mostraron fallas

23/12/2010 usabilidad

operabilidad

externa Accesibilidad fsica

Para este caso se tom la discapacidad visual de Los usuarios se muestran conformes

23/12/2010 usabilidad

operabilidad

externa Atractivo

interaccin

con tipo de letra, pantalla y colores El programa solo admite una tarea de

10 29/12/2010 eficiencia

Tiempo de externa Rendimiento comportamiento (cantidad promedio rendimiento) Tiempo de externa Rendimiento comportamiento (peor ratio rendimiento caso)

11 29/12/2010 eficiencia

El programa solo de puede ejecutar una de tarea.

12 29/12/2010 eficiencia

Tiempo de externa Tiempo de vuelta El sistema no comportamiento (media para el ejecuta tareas tiempo de simultaneas entrega) Utilizacin recursos de externa Dispositivos El programa no Entrada/ Salida utiliza muchos de utilizacin recursos, por lo que no provoca ineficiencias al sistema

13 29/12/2010 eficiencia

No. Fecha

Caracterstica Subcaracterstica Tipo Utilizacin recursos

Pregunta

Descripcin

14 29/12/2010 eficiencia

de externa Mxima Depende del utilizacin de la sistema operativo memoria de externa Media ocurrencia errores memoria de No muestra de mensajes de error de relacionados con la memoria

15 29/12/2010 eficiencia

Utilizacin recursos

16 29/12/2010 eficiencia

Utilizacin recursos

de externa Relacin entre el El sistema no error de memoria muestra mensajes / hora de error de memoria de externa Medios de El programa no comunicacin la ocupa demasiado utilizacin del tiempo en dispositivo de sincronizar recursos

17 29/12/2010 eficiencia

Utilizacin recursos

equilibrio

18 29/12/2010 eficiencia

Utilizacin recursos

de externa Utilizacin de la Solo se utiliz un capacidad de usuario para transmisin transmisin de datos externa Falta capacidad El programa no de anlisis presenta fallas de operacin de usuario externa Falta de eficiencia El programa no de anlisis presenta fallas de funcionamiento externa Estado capacidad supervisin de El programa no de ofrece la opcin de datos de seguimiento

19 29/12/2010 mantenimiento analizabilidad

20 29/12/2010 mantenimiento analizabilidad

21 29/12/2010 mantenimiento analizabilidad

22 29/12/2010 mantenimiento Modificacin

externa Cambiar la El programa no eficiencia del ciclo tiene la capacidad de enviar solicitudes de inconformidad externa Cambiar la No se pude implementacin modificar el software mientras inmediatamente transcurre el tiempo

23 29/12/2010 mantenimiento Modificacin

No. Fecha

Caracterstica Subcaracterstica Tipo

Pregunta

Descripcin del

24 29/12/2010 mantenimiento Modificacin

externa Modificacin de la depende complejidad programador

25 29/12/2010 portabilidad

Adaptabilidad

externa Capacidad de El software no adaptacin de las presenta cambio estructuras de independiente del datos sistema operativo

No conformidades

Tabla 41. No conformidades

No. Fecha Caracterstica Subcaracterstica Tipo Pregunta No Descripcin conformidad correctiva Agregar opcin de modificar la apariencia con otros colores

23/12/2010 usabilidad

atractivo

externa Personalizacin No se de interfaz de ofrece la aspecto opcin de personalizar la apariencia

Se observa que en la configuracin personal del programa no existe el usuario, por lo tanto no puede modificar aspectos a la interface de KNOWER como son los colores. Se sugiere que se implemente una opcin de modificar el entorno para el gusto del usuario, debido a que presenta colores muy claros y en das muy luminosos el contraste de colores no es el indicado.