You are on page 1of 13

TRADUCCION CAPITULO 9 LIBRO HEVNER

Captulo 9
Evaluacin
Sigo seis honesto al servicio de hombres. Me ensearon todo lo que
saba. Su
Los nombres son Qu y Por qu y cundo y cmo y dnde y
La OMS.
- Rudyard Kipling
La evaluacin es un elemento clave en el diseo de artefactos
basados en IT. Un diseador encuentra un adecuado e interesante
para resolver el problema. Luego vienen con soluciones de diseo.
Que es seguida por la fase de construccin. Despus de haber
construido el artefacto, la siguiente fase es la evaluacin de la
eficacia, utilidad o rendimiento. La evaluacin es un componente
crucial en la ciencia de diseo del proceso de investigacin. La dise
el artefacto es una entidad socio-tcnico que existe dentro de un
entorno (de negocios o social) que establece los requisitos para su
evaluacin. Dicha evaluacin de artefactos que requiere la definicin
de mtricas apropiadas y, posiblemente, la recopilacin y el anlisis
de datos adecuados. Artefactos que pueden evaluarse en trminos de
funcionalidad, integridad, consistencia, precisin, rendimiento,
fiabilidad, facilidad de uso, colocar con la organizacin, y otros
atributos de calidad pertinentes (Hevner, marzo et al. 2004). En este
captulo, nuestro objetivo es ayudar al lector a comprender los
diferentes problemas, preguntas, mtodos y tcnicas que surgen
cuando uno hace la evaluacin. A presentar un anlisis detallado de
las diversas tcnicas est ms all del alcance de este captulo o el
libro, pero esperamos que el lector aprenda a hacer las preguntas
adecuadas, saber cundo aplicar qu tcnica y estar seguro de que
mire los lugares adecuados para obtener ms respuestas.
9.1 Qu es la evaluacin?
La evaluacin es la determinacin sistemtica del mrito, el valor y la
importancia de algo (recurso de informacin, programa de asistencia
sanitaria) o de alguien. La evaluacin se utiliza con frecuencia para
caracterizar y evaluar temas de inters en una amplia gama de
derechos de las empresas, incluidas las artes, justicia penal,
fundaciones y organizaciones sin fines de lucro, gobierno, salud y
otros servicios de tecnologa.
La mayora de las personas entienden el trmino "evaluacin" como
un medio de toma de decisiones mediante la medicin de algo. Todos
podemos hacer evaluaciones en nuestra vida cotidiana. Tomemos un
ejemplo sencillo. Usted est planeando ir de vacaciones a las islas
griegas. Pero no ests seguro de qu isla(s) en Grecia, usted debe
visitar. As que busque informacin sobre gua de viajes de algunos

TRADUCCION CAPITULO 9 LIBRO HEVNER


sitios web. Tambin puede llamar a su amigo y pregunta "Por qu te
pareci de Creta?" En efecto, lo que ustedes estn haciendo es la
recopilacin de informacin, recopilacin de datos, anlisis de lo que
tiene, y luego hacer una eleccin - su conclusin y hallazgos.
En el campo de los sistemas de informacin, la evaluacin es
bastante difcil y complejo. Qu evaluar? Puede evaluar el
rendimiento del sistema (tcnica) o su utilidad general para el usuario
final (socio-tcnico) o ambos? En nuestro campo, estudiamos la
recopilacin, procesamiento y difusin de la variedad de la
informacin empresarial y "Construyamos" artefactos - software y
hardware - para facilitar tales actividades. Tales recursos y sistemas
de informacin presentan una serie de caractersticas que podran
estudiarse (Friedman y Wyatt, 1997). Tomemos el ejemplo de un
sistema de apoyo a la toma de decisiones clnicas en un hospital. La
mentalidad tcnicamente podran centrarse en caractersticas
inherentes, preguntando cuestiones tales como "Cuntas preguntas
puede responder el sistema por segundo." Pero los mdicos que
utilizan un sistema semejante podra preguntar ms pragmtica
preguntas como "es la base de conocimiento que impulsa este
sistema hasta la fecha con los actuales protocolos clnicos?" El
superintendente de un hospital puede tener ms preguntas en mente
"Estamos viendo mejoras en los resultados de los pacientes con el
uso de la CDSS?".
En este captulo, no podemos describir exhaustivamente cmo cada
mtodo de evaluacin distinto puede utilizarse para responder a cada
tipo de pregunta. En lugar describimos brevemente la gama de
tcnicas disponibles y concentrarse en aquellos que pueden aplicarse
fcilmente a diversos casos.
9.2 Por qu tenemos que realizar las evaluaciones?
Hay muchas razones para llevar a cabo estudios de evaluacin. A
menudo son dictadas por los interesados. Algunas de las razones por
las que necesitamos para evaluar los sistemas de informacin
incluyen los siguientes: promocional: para aumentar la adopcin y
uso de dentro de las organizaciones, debemos evaluar los sistemas y
demostrar que no slo el trabajo sino que sean seguras, fiables y
rentables. Esto da tranquilidad a los directores y gerentes que
despus se sienten seguros de que saben que los sistemas que estn
comprando.
Acadmico: como una importante disciplina cientfica, un anlisis
permanente de la estructura, la funcin y el impacto de los recursos
de informacin debe ser un mtodo principal para descubrir sus
principios (Friedman andWyatt 1997). Muy a menudo, cuando los
revisores examinar nuevas investigaciones, tienden a dar importancia
a lo bien que el sistema o la tecnologa propuesta se ha evaluado y
comparado contra sistemas similares existentes. En una conferencia

TRADUCCION CAPITULO 9 LIBRO HEVNER


de la ciencia del diseo, un papel con ninguna evaluacin es menos
probable de ser aceptado para su publicacin.
Prctica: sin evaluar sus nuevos sistemas, los diseadores no pueden
saber qu tcnicas o mtodos son ms eficaces, o por qu ciertos
enfoques fallan. Es slo a travs de la evaluacin que los diseadores
llegan a comprender los matices de su diseo y agregar al cuerpo de
conocimientos para otros futuros diseadores para aprender.
9.3 Diferentes perspectivas de las partes interesadas
Cuando un sistema de informacin (o recurso) est siendo evaluado,
diferentes actores tienen a menudo diferentes perspectivas. Todos
miran en la misma cosa con diferentes puntos de vista. Veamos un
ejemplo. Decir que una nueva compaa que ha diseado y ha
lanzado un nuevo producto para la medicin no invasiva de azcar en
la sangre (vase Fig. 9.1).
Como este producto es lanzado, hay diversos actores que estn
interesados en sus resultados. Las partes interesadas son pacientes
(que probablemente usarn el nuevo dispositivo), mdicos (que
probablemente recomendar sage), diseadores/desarrolladores (que
estn motivados para verla triunfar en el mercado) y, finalmente, los
pagadores (que han financiado el desarrollo y quisiera obtener una
devolucin).

Fig. 9.1 perspectivas diferentes sobre un nuevo dispositivo de


tecnologa
9.4 Estructura bsica de los estudios de evaluacin.

TRADUCCION CAPITULO 9 LIBRO HEVNER


Independientemente de cundo, dnde y cmo se realizar una
evaluacin, todos los estudios de evaluacin tienen cierta estructura
en comn. Esa estructura se muestra en la Fig. 9.2.

Fig. 9.2 Estructura de un estudio de evaluacin


Toda evaluacin es iniciada por alguien que necesita saber. Que
alguien podra ser el propio diseador o podra ser un organismo de
financiacin, quin quiere saber cmo algo que ellos han financiado
realmente funciona. Puede ser un individuo o un grupo, pero la
evaluacin debe comenzar con un proceso de negociacin para
identificar las cuestiones que sern un punto de partida para el
estudio (Friedman y Wyatt, 1997). El resultado de esa negociacin es
normalmente un conjunto de preguntas y detalles sobre cmo la
evaluacin ha de llevarse a cabo y durante cunto tiempo. Todos
estos entendimientos entrar en un contrato por escrito. El contrato
debe ser claro en las preguntas cuyas respuestas la evaluacin est
buscando.
El siguiente paso incluye las investigaciones reales, recopilando la
informacin para responder a las preguntas y la realizacin de
experimentos. Las tcnicas para la realizacin de la evaluacin son
numerosos. Los datos se analizan adecuadamente para responder a
las preguntas que estamos pidiendo. Finalmente se crea un informe
para los individuos o grupos que necesitan saber. El formato del
informe debe estar en lnea con las estipulaciones del contrato; el
contenido del informe se desprende de las preguntas y los datos
recopilados. La mayora de los informes son documentos escritos,
aunque a veces los informes pueden presentarse a travs de
demostraciones en vivo y presentaciones.
Todas las evaluaciones se pueden clasificar en dos grandes grupos:
filosfico y subjectivist objetivista. "Objetivista" se deriva de
una orientacin filosfica logicalpositivist - al igual que en el clsico
de ciencias experimentales. "Esta posicin sugiere que el mrito y el
valor de un recurso de informacin en principio puede medirse con
todas las observaciones dando el mismo resultado. Las personas
racionales pueden y deben ponerse de acuerdo sobre qu atributos

TRADUCCION CAPITULO 9 LIBRO HEVNER


de un recurso son importantes para medir y cules son los resultados
de estas mediciones seran identificadas como ms conveniente,
corregir o resultado positivo" (Friedman y Wyatt, 1997). Porque la
medicin numrica permite anlisis estadsticos precisos de
rendimiento a lo largo del tiempo, es prima
Vista superior a una descripcin verbal. Por lo tanto anlisis primarios
se realizan usando mtodos cuantitativos. "Esto contrasta con un
enfoque subjectivist basada en suposiciones que deriva de
una posicin filosfica intuitionist pluralista. Este enfoque asegura
que lo que se observa sobre un recurso depende de manera
fundamental en el observador" (Friedman y Wyatt, 1997). Diferentes
observadores del mismo fenmeno legtimamente podan llegar a
conclusiones diferentes. Ambos pueden ser objetivo en sus
evaluaciones, incluso si no estn de acuerdo. Mrito y vale la pena
debe estudiarse en su contexto. El valor de un recurso surge a travs
del estudio del recurso como funciona en un determinado entorno
empresarial u organizacional. Individuos y grupos pueden
legtimamente sostener perspectivas diferentes sobre lo que
constituye los resultados deseados. Descripcin verbal puede ser muy
instructivo y, por lo tanto, los datos cualitativos son valiosos. La
evaluacin debe considerarse como un ejercicio de argumentacin,
ms que como una manifestacin, porque cualquier estudio aparece
equvoca cuando se someten a un anlisis serio.
9.5 El arte de la evaluacin del rendimiento
El rendimiento es a menudo un criterio fundamental en el diseo de
sistemas de software y los artefactos digitales. La evaluacin es
crtica para la adquisicin y el uso de sistemas informatizados (Jain,
1991). El objetivo de los diseadores, cientficos, analistas y usuarios
es obtener el mximo rendimiento para un costo dado. Todos los
investigadores de las ciencias de diseo deben desarrollar un
conocimiento bsico de la terminologa y las tcnicas de evaluacin
del rendimiento. Cuando un diseador disea y construye un
"sistema", probando su rendimiento a travs de diversas tcnicas
puede ser hecho por una variedad de razones. Algunas de ellas son
las siguientes:
Comparar este sistema con otros sistemas similares.
Determinar el valor ptimo del parmetro (ajustes de sistema)
encontrar los cuellos de botella de rendimiento
caracterizar la carga en el sistema (de caracterizacin de la carga
de trabajo)
Determinar el nmero y tamao de los componentes (capacidad de
planificacin).
predecir el rendimiento en futuras cargas (escalado y prediccin).

TRADUCCION CAPITULO 9 LIBRO HEVNER


Los tres principales tcnicas utilizadas para la evaluacin del
desempeo son modelos analticos,
Simulacin y medicin. El trmino se refiere a la mtrica de los
criterios utilizados para evaluar
El rendimiento del sistema. Ejemplos tpicos de mtricas son el
tiempo de respuesta o
El rendimiento. Las solicitudes formuladas por los usuarios del
sistema se denominan las cargas de trabajo.
La carga de trabajo de un sistema de base de datos estara
compuesto de consultas y otras solicitudes se ejecuta de usuarios. Un
reto cotidiano comn por los diseadores es seleccionar las mtricas
de rendimiento que deben utilizarse para comparar el rendimiento de
los distintos tipos de sistemas. Tmese un momento para pensar qu
mtrica que elegiras para evaluar el rendimiento de
- dos unidades de disco
- Procesamiento de transacciones de dos sistemas de e-commerce
- dos algoritmos de retransmisin de paquetes
La seleccin de una tcnica de evaluacin y seleccin de una
mtrica son dos pasos clave en todos los proyectos de evaluacin de
rendimiento. Hay un nmero de factores a estudiar antes de decidir
que la evaluacin tcnica para elegir. La tabla 9.1 muestra los
criterios para la seleccin de una tcnica de evaluacin.

Modelizacin analtica es clculos matemticos que pueden ayudar a


observar cmo las variables de inters se relacionan con otros
factores. Mediante sencillos y rpidos clculos podemos encontrar los
valores ptimos para las variables de inters. a menudo utilizamos
modelos analticos como un clculo de sobres. Tcnicas como la teora
de colas son ejemplos de modelos analticos. Tratar con simulaciones
de software escribir cdigo en un lenguaje de simulacin que imita el
comportamiento del sistema propuesto. Proporciona una manera fcil
de visualizar el rendimiento de ciertos parmetros en el tiempo. Las
mediciones son posibles slo cuando ya existe un sistema propuesto.
Los estudios de medicin debe realizarse con cuidado y, a veces, son
difciles de duplicar a medida que cambian las condiciones. Las
mediciones son la cosa real.

TRADUCCION CAPITULO 9 LIBRO HEVNER


Como se muestra en la Tabla 9.1, hay siete criterios en orden de
importancia, el cual puede ayudar a los diseadores a elegir una
evaluacin tcnica. El primer criterio es la etapa del ciclo de vida del
sistema. Si el diseo o la solucin se encuentra en una etapa de idea,
analticas y tcnicas de simulacin pueden aplicarse con rapidez. La
medicin slo puede aplicarse en la post-fase de prototipo. El
segundo criterio es el tiempo requerido. Esto es a menudo crtica.
Cdigo de simulacin puede tomar un montn de tiempo para
desarrollarse y pueden as estudios de medicin real. Pero los
modelos analticos se aplican rpidamente. Los criterios 5 consulte
trade-off evaluacin. Es muy fcil hacerlo en modelos analticos
debidamente cambiando los smbolos o ecuacin. El costo de los
anlisis de "trade-offs es moderado y ms difcil en una simulacin
que podra requerir uno a escribir cdigo nuevo para nuevos
componentes para ser probado. Es extremadamente difcil hacer
escenarios hipotticos con sistemas reales. No son lo suficientemente
flexibles para una rpida modificacin y reconfiguracin. Los otros
criterios enumerados en la Tabla 9.1 son autoexplicativos. El objetivo
de todo estudio de rendimiento sea para comparar diferentes diseos
alternativos o para encontrar el valor de parmetro ptimo. Hasta su
validacin, todos los resultados de la evaluacin son sospechosos:
No confiar en los resultados de un modelo de simulacin hasta que
hayan sido validados por modelizacin analtica o mediciones
No confiar en los resultados de un modelo analtico hasta que hayan
sido validados por un modelo de simulacin o mediciones
No confiar en los resultados de una medicin hasta que hayan sido
validados por simulacin o modelos analticos
9.6 evitando errores comunes en la evaluacin del desempeo
No hay objetivos: Cualquier esfuerzo sin objetivos est abocada al
fracaso. La necesidad de un objetivo puede parecer obvio, pero
muchos se han iniciado esfuerzos de rendimiento sin objetivos claros
(Jain, 1991). Un analista de rendimiento del equipo de diseo y
comienza inmediatamente a un modelo o simular el diseo. Un
reclamo comn es que el modelo ser lo suficientemente flexible
como para ser fcilmente modificados para solucionar diferentes
problemas. Analistas experimentados saben que no hay tal cosa como
un modelo de propsito general. Cada modelo debe ser desarrollado
con un objetivo especfico en mente. El establecimiento de metas no
es un ejercicio trivial.
Asistemticas enfoque: los analistas suelen adoptar un enfoque poco
sistemtico mediante el cual se selecciona los parmetros del
sistema, factores, mtricas y las cargas de trabajo de forma arbitraria.
Esto lleva a conclusiones errneas. El enfoque sistemtico es
identificar un conjunto completo de objetivos, parmetros del
sistema, factores, mtricas y cargas de trabajo.
Anlisis sin comprender el problema: Muchos analistas creen que
nada se logra sin un modelo y datos numricos en su lugar. Una gran

TRADUCCION CAPITULO 9 LIBRO HEVNER


parte del esfuerzo de anlisis debera ir en la definicin de un
problema. Como dicen, un problema dice as est medio resuelto.
Mtricas de rendimiento incorrecto: Un error comn es que los
analistas elegir aquellas mediciones que pueden ser fcilmente
medidos o calculados en lugar de aquellas que son relevantes.
Las tcnicas de evaluacin equivocada: Los analistas suelen tener
una preferencia de una tcnica sobre la otra. Los diestros en tcnicas
de colas tienden a cambiar cada problema de rendimiento de la cola
un problema incluso si el sistema es demasiado complejo y fcil de
medir. El clsico clich "cuando tienes un martillo, todo lo que se ve
es un clavo" se aplica a este error. Un marco de evaluacin
sistemtica de la Fig. 1. 9.3.
9.7 Realizar un estudio comparativo objetivista - Un breve
ejemplo
Evaluacin socio-tcnico de la utilidad de que los artefactos
diseados para resolver problemas especficos o de organizacin
humana es una parte importante del estudio de los sistemas de
informacin. En este breve ejemplo, presentaremos algunas nociones
claves que son frecuentemente utilizados en los estudios de
evaluacin objetivista. Este es un ejemplo prestados del texto clsico
de informtica mdica, evaluacin por Friedman y Wyatt (1997). El
dominio de nuestro ejemplo es la informtica mdica y sistemas
hospitalarios. Considere la posibilidad de un hospital

Fig. 9.3 Un proceso de evaluacin sistemtico


Que realiza ciruga ortopdica. Se ha observado que los pacientes
postoperatorios estn desarrollando un tipo de infeccin. Un equipo
de diseo es trada y desarrollan un sistema de aviso que solicita a los
mdicos para el uso de antibiticos profilcticos para pacientes
ortopdicos
para
prevenir
infecciones
postoperatorias.
La

TRADUCCION CAPITULO 9 LIBRO HEVNER


intervencin es la instalacin y puesta en marcha del sistema de
recordatorio; los sujetos son los mdicos y las tareas son los
pacientes atendidos por los mdicos. En un estudio comparativo, el
investigador crea normalmente un conjunto de condiciones
contrastantes para comparar los efectos del uno con los del otro. El
investigador identifica una muestra de participantes. Por ejemplo,
sera natural para comparar un grupo de pacientes y sus tasas de
infeccin postoperatoria antes y despus de la intervencin; en este
caso, el sistema electrnico de recordatorio. Algunas variables de
inters
se
mide
para
cada
participante.
La variable
dependiente constituye un subconjunto de las variables del estudio
que recoge los resultados de inters para el investigador.
Las variables independientes son incluidos en un estudio para
explicar los valores medidos de las variables dependientes. Desafos
de medicin casi siempre surgen en la evaluacin de los resultados o
la variable dependiente para un estudio. Estos tipos de estudios son a
menudo llamados estudios antes-despus. El investigador toma
mediciones de referencia de antibitico de pedidos y las tasas de
infeccin postoperatoria ante el recurso de informacin est instalado
y, a continuacin, realiza las mismas medidas despus de que est en
uso rutinario. Resultados hipotticos inicial se muestra en la Tabla 9.2.

El evaluador puede reclamar que la reduccin a la mitad de la tasa de


infeccin se puede atribuir al sistema de alerta, especialmente
porque fue acompaada por una mejora del 20% de los mdicos en la
prescripcin de antibiticos. Puede haber muchos otros factores que
podran haber dado lugar a la percepcin de la diferencia en los
resultados. Si hubo una larga separacin entre la lnea de base y las
mediciones postoperatorias, luego durante esta brecha, el personal
nuevo puede haber sido contratados en el hospital, el case-mix de
pacientes podra haber alterado, nuevos antibiticos profilcticos
podra haber sido introducido, o reuniones de auditora clnica podra
haber destacado la infeccin causa mayor sensibilizacin clnica.
Simplemente suponiendo que caus el sistema recordatorio de
beneficio es ingenuo.Qu podemos hacer para mejorar este
experimento? Una forma de abordar algunos de los problemas en las
conclusiones anteriores, es utilizar controles no aleatorizadas
simultnea. Esto exige para las medidas de resultado de los mdicos
y los pacientes no est influenciada por el sistema recordatorio de
antibitico profilctico, sino que estn sujetos a los dems cambios

TRADUCCION CAPITULO 9 LIBRO HEVNER


que se estn produciendo en el medio ambiente. Si hacemos el antes
y despus de las mediciones para ambos grupos, fortalece el diseo
porque le da una estimacin de los cambios debido a los "factores
inespecficos que tengan lugar durante el periodo de estudio. As en
este nuevo diseo del estudio, se comparan dos grupos paralelos. Un
grupo llega a utilizar la intervencin (llamado grupo recordatorio) y el
otro grupo no llegue a utilizarlo (denominado el grupo de
control).Nos centramos en la tasa de infeccin postoperatoria como
una sola medida de resultado o variable dependiente. Las variables
independientes son "tiempo" y el "Grupo." resultados hipotticos a
partir del estudio se muestran en la Tabla 9.3.

Existe la misma mejora en el grupo donde se dispone de


recordatorios, pero ninguna mejora (de hecho el ligero deterioro)
donde no se dispone de recordatorios. Este hallazgo demuestra una
inferencia ms fuerte hacia el sistema recordatorio de ser la razn
para la mejora. Aunque los dos grupos paralelos son simultneos, los
escpticos an puede refutar nuestro argumento afirmando que
existe cierta sistemtica, desconoce la diferencia entre mdicos o
pacientes en el recordatorio o grupos de control. Uno podra
argumentar que el grupo de control debe estar en un pabelln
especfico dentro del hospital, que no es muy limpio y donde el
mantenimiento de prevencin de infecciones no es tomada en serio.
Quizs el grupo recordatorio est en una sala donde el personal del
hospital ha tomado muchas medidas para mejorar las infecciones.
Cmo podemos mejorar este diseo? Una mejor estrategia es
garantizar que los controles son verdaderamente comparables por
randomizacin. Debemos extraer diferencias sistemticas, ya sea
debido a factores conocidos o desconocidos. Esto puede hacerse
mediante la randomizacin. As pues, podramos asignar
aleatoriamente la mitad de los mdicos en ambos distritos para
recibir los recordatorios de antibiticos y el resto de mdicos a
trabajar normalmente. La tabla 9.4 muestra la hiptesis de los
resultados de dicho estudio.

TRADUCCION CAPITULO 9 LIBRO HEVNER

Como podemos ver en la tabla, la base de los resultados de los dos


grupos son casi similares como fueron asignados aleatoriamente a los
grupos. La reduccin de la tasa de infeccin es mayor en el grupo
recordatorio de que en el grupo control. La nica diferencia
sistemtica entre los dos grupos de pacientes es el uso del sistema de
recordatorio por sus mdicos. Si el tamao de la muestra es
suficientemente grande como para que estos resultados sean
estadsticamente significativas, podramos concluir con cierta
confianza que dando a los mdicos el sistema recordatorio ha sido la
causa de la reduccin en las tasas de infeccin.
9.8 Amenazas a la inferencia y validez
En el breve ejemplo anterior, comenzamos con una muestra aleatoria
de la poblacin (pacientes y mdicos). En nuestra muestra objetivo,
nos mostr a travs de nuestros experimentos de control aleatorio
que el sistema recordatorio era verdaderamente responsable de la
reduccin de la tasa de infeccin. Lo que si que no es cierto? Si el
sistema fue realmente eficaz y el estudio tambin muestra que, a
continuacin, hemos alcanzado un perfecto equilibrio. Pero si el
sistema no fue realmente eficaz, pero nuestro estudio lo dice,
entonces tenemos un falso-positivo o un error de tipo 1. Viceversa, si
el sistema estaba realmente eficaces, pero los resultados de nuestro
experimento demostr que no era entonces obtendramos un
resultado falso negativo o error de tipo 2. El ltimo cuadrante de Fig.
9.4 muestra que si el sistema no fue efectiva y el estudio revel
tambin que, entonces somos justos (Schroeder et al., 2007).

TRADUCCION CAPITULO 9 LIBRO HEVNER

9.9 Conclusiones
Como un investigador que realiza la ciencia del diseo, uno puede
evaluar los aspectos tcnicos de su artefacto o tambin puede
evaluar los aspectos socio-tcnico incluida la utilidad y el impacto
organizativo. Hay una serie de diferentes tcnicas de evaluacin, uno
tiene a su disposicin. Si uno persigue el aspecto de rendimiento
tcnico, entonces puede elegir entre modelos analticos, simulacin y
mediciones reales. Si uno elige el aspecto de impacto organizacional,
entonces usted podra realizar estudios mediante encuestas
cuantitativas o cualitativas de entrevistas. Es importante tener en
cuenta que incluso antes de que el diseo est disponible, uno podra
evaluar necesidades y requerimientos a travs de grupos de enfoque
exploratorio y despus de diseo es completa y el artefacto est en
uso, uno podra realizar estudios de grupos focales de confirmacin
(vase el captulo 10).
Mediante estudios observacionales, uno podra estudiar el artefacto
diseado en profundidad en un cierto entorno de negocios. Los
estudios de campo tambin puede supervisar el uso de los artefactos
en varios proyectos para obtener una valiosa comprensin de su valor
y utilidad. Varias tcnicas analticas pueden ser empleadas. En el
anlisis esttico, se examina la estructura de los artefactos de
cualidades esttico (por ejemplo, la complejidad). Estudios de anlisis
de la arquitectura de la adecuacin de los artefactos en la
arquitectura del sistema de informacin tcnica. En estudios de
optimizacin, uno puede demostrar inherentes propiedades ptimas
del artefacto o proporcionar lmites de optimalidad sobre
comportamiento de artefactos. Anlisis dinmico normalmente
estudios artefacto en uso por cualidades dinmicas como el
rendimiento. Los
mtodos
experimentales
pueden
incluir
experimentos controlados en los que se estudian los artefactos en
ambiente controlado por cualidades (por ejemplo, la facilidad de uso).
Usando modelos de simulacin, uno puede ejecutar el artefacto
artificial con datos dinmicos y observar el comportamiento del
rendimiento y la escalabilidad. Las estrategias de evaluacin de

TRADUCCION CAPITULO 9 LIBRO HEVNER


pruebas tambin pueden ser empleados. Funcional (caja negra)
pruebas ayudan a descubrir los fallos y defectos. Estructurales (caja
blanca) Comprobacin de usu aliado realiza la cobertura de las
pruebas de algunas mtricas (por ejemplo, las rutas de ejecucin) en
la implementacin de artefactos. Por ltimo, los mtodos de
evaluacin descriptiva tambin pueden ser empleados. Uno de esos
mtodos es el argumento informado. Se utiliza informacin de la base
de conocimiento para construir un argumento convincente para la
utilidad del artefacto. Mtodo de construccin de escenarios
construye escenarios detallados alrededor de la cuadra para
demostrar su utilidad.
Referencias
Friedman, C. P. y J. C. Wyatt (1997) Los mtodos de evaluacin
en informtica mdica, Springer- Verlag New York, LLC.
Hevner, A. S.March, J. Park, y S. Ram (2004) La ciencia del
diseo de los sistemas de informacin de investigacin." MIS 28
trimestrales (1), pgs. 75-105. Jain, R. (1991) El arte de anlisis
de rendimiento de sistemas informticos, J. Wiley & Sons, Inc.,
Nueva York.
Schroeder, L. D., D. L. Sjoquist, y P. E. Stephan
(2007) comprender el anlisis de regresin: Una Gua de
introduccin. Sage Series: aplicaciones cuantitativas en las
ciencias sociales, n 07-057.

You might also like