Presentacin Gua

Para el Diseo de Pruebas y Elaboracin de Reactivos

EVALUACIN

Evaluacin

Actividad mediante la cual, en funcin de determinados criterios, se obtiene informacin pertinente...

acerca de un fenmeno, situacin, objeto o persona para emitir un juicio...

y con base en ste, adoptar una serie de decisiones relativas al objeto evaluado

Evaluacin

Qu tipo de evaluacin se realizar a los servidores pblicos?

tica de la Evaluacin
1. Una evaluacin debe ser til Estar dirigida a las personas que realizan aquello que se est evaluando y a sus ms directos responsables Ayudar a identificar las fortalezas y debilidades del objeto evaluado en orden de importancia Informar de manera clara y oportuna

Proporcionar soluciones o propuestas de mejora

tica de la Evaluacin
2. Una evaluacin debe ser factible

Emplear procedimientos viables

Controlar las fuerzas polticas que puedan afectar los procedimientos

Ser eficiente

tica de la Evaluacin
3. Una evaluacin debe ser honesta

Estar basada en compromisos que aseguren la: Cooperacin

Proteccin de derechos
Veracidad de los resultados

Informar de manera equitativa

tica de la Evaluacin
4. Una evaluacin debe ser exacta Describir con claridad el objeto en su evolucin y en su contexto Revelar fortalezas y debilidades: Del plan de evaluacin

De los procedimientos
De las conclusiones

Proporcionar conclusiones vlidas y fidedignas

DESARROLLO DE PRUEBAS

Prueba Una prueba es un instrumento de medicin... Mide la cantidad de conocimientos, habilidades, destrezas o actitudes que un individuo posee... Es el medio por el cual se recoge informacin estructurada acerca de lo que se quiere evaluar... Toda prueba debe ser objetiva, vlida y confiable

Tipos de Prueba
Referida a Norma Referida a Criterio

Los resultados se interpretan comparando el logro de cada persona con el de los dems miembros del grupo

Compara el resultado de la persona con un parmetro establecido de antemano

Informa si un individuo sabe o puede hacer ms o menos que los dems

Parte del supuesto de que en el grupo todos los miembros deben alcanzar el resultado pretendido

Tipos de Prueba
Norma
Pruebas de seleccin

Criterio
Pruebas de certificacin

Pruebas de clasificacin general (bsqueda de talentos, problemas de aprendizaje, etc.)

Pruebas de acreditacin de nivel o programa educativo

Pruebas de diagnstico en dominios instruccionales especficos

Estudios comparativos de rendimiento general de los sustentantes considerando Pruebas de admisin variables sociodemogrficas (sexo, nivel de ingreso, escolaridad de los Estudios comparativos de eficacia padres, etc.) en dominios instruccionales especficos considerando distintas Estudios comparativos de variables educativas (estrategias rendimiento general de programas docentes, organizacin del y centros educativos currculum, materiales didcticos)

Prueba
Objetividad Validez Es independiente de factores externos o extraos a la evaluacin misma Recoge la informacin para la cual fue diseada: mide lo que debe medir

Confiabilidad La informacin generada es consistente: congruente y pertinente

Prueba

Qu tipo de pruebas se disearn para evaluar a los servidores pblicos?

Desarrollo de Pruebas

DISEO: Se define qu evaluar, se planea la prueba y disean los materiales de apoyo

ELABORACIN: Se construyen las preguntas de la prueba y los materiales de apoyo

VALIDACIN: Se pilotea la prueba y los materiales para verificar su confiabilidad y validez

Desarrollo de Pruebas
Procesos Etapas
1. Determinar perfil referencial

Diseo

2. Definir tipo y modalidad de la prueba 3. Elaborar Tabla de Especificaciones 4. Elaborar versin preliminar del M. de la P. 5. Generar y revisar reactivos

Elaboracin

6. Ensamblar versiones 7. Elaborar documentos de apoyo 8. Pilotear la prueba y documentos de apoyo 9. Interpretar resultados

Validacin

10. Ajustar la prueba

11. Conformar bancos de reactivos 12. Ensamblar versin definitiva

13. Elaborar versin definitiva de M. de la P.

PERFIL REFERENCIAL

Perfil Referencial

Abstraccin creada de una generalizacin emprica que se formula para ser utilizada con un propsito cientfico particular: explicacin, descripcin o experimentacin Hace referencia a esquemas tericos o conceptuales y es susceptible de ser definido de manera mensurable Es el objeto de medida de la prueba

Perfil Referencial
Esclarecer la solicitud Identificar las caractersticas de la poblacin a la cual se dirige la prueba Definir el propsito de la prueba Identificar el objeto de medida de la prueba Definir terica o conceptualmente el perfil referencial Definir operacionalmente el perfil referencial

Asignar nivel taxonmico a los componentes del perfil referencial

Validar el perfil referencial

Perfil Referencial
Paso Esclarecer la solicitud - Identificar las necesidades de informacin: Qu informacin se requiere?, Qu se espera obtener? Actividad

- Identificar el procedimiento a seguir: cmo se espera obtener esa informacin?, qu tipo de datos se esperan obtener?

1
- Identificar las decisiones: Para qu se va a usar?

- Jerarquizar las necesidades de informacin: Qu informacin es ms importante? - Jerarquizar las decisiones a tomar: Cul es la decisin fundamental?

Perfil Referencial
Ejemplo de solicitud

Qu
(Qu se requiere)

Cmo
(Cmo se espera obtener la informacin)

Para qu
(Qu acciones se llevarn a cabo con la informacin que resulte de la aplicacin de la prueba)

Identificar el manejo de los conocimientos que tienen los servidores pblicos en la capacidad de seleccin de personal

Mediante la obtencin de datos que midan el cumplimiento del nivel de dominio

Coadyuvar en la profesionalizacin de los servidores pblicos Certificar la capacidad del servidor pblico Permitir la permanencia del servidor pblico en el puesto Evaluar a los candidatos a ingresar al servicio pblico

Perfil Referencial
Paso Actividad Identificar las caractersticas de la poblacin a la cual se dirige la prueba

- Caractersticas de edad, gnero, escolaridad, puesto o funcin laboral, etctera 2

- Institucin o empresa a la que pertenecen

- Ubicacin (municipios, entidades, etc)

- Nmero de personas

Perfil Referencial
Paso Actividad Definir el propsito de la prueba

- Qu

- Cmo 3 - Para qu

- A quines

Perfil Referencial
Ejemplo de propsito de prueba Identificar el manejo de los conocimientos del servidor pblico para determinar el nivel de dominio que posee sobre la capacidad tcnica de seleccin de personal, a fin de: Coadyuvar en la profesionalizacin de los servidores pblicos Certificar la capacidad del servidor pblico Permitir la permanencia del servidor pblico en el puesto Evaluar a los candidatos a ingresar al servicio pblico

Perfil Referencial
Paso Actividad Identificar el objeto de medida de la prueba

- Identificar el o los conceptos clave del propsito

- Identificar los marcos tericos que ayuden en la definicin de los conceptos clave

- Determinar el referente para el desarrollo de la prueba

- Considerar si se trata de una prueba referida a una norma o referida a un criterio

Perfil Referencial
Propsito de la prueba: Qu Cmo Para qu Seleccin del perfil referencial: Objeto de medida

EJEMPLO DE PROPSITO

Objeto de medida: Conocimientos Nivel de dominio Capacidad Tcnica Seleccin de personal Marco conceptual:

Identificar el manejo de los conocimientos del servidor pblico para determinar el nivel de dominio que posee sobre la capacidad tcnica de seleccin de personal, a fin de: Coadyuvar en la profesionalizacin de los servidores pblicos Certificar la capacidad del servidor pblico Permitir la permanencia del servidor pblico en el puesto Evaluar a los candidatos a ingresar al servicio pblico

Psicologa Educativa
Referentes de psicometra Psicologa organizacional Normatividad vigente de APF Prueba referida a un criterio

Perfil Referencial
Paso Actividad Definir terica o conceptualmente el perfil referencial

- Consultar teoras y reglamentacin relacionada: descripcin de capacidades, perfiles curriculares, perfiles de puestos u ocupaciones, leyes, reglamentos, enfoques, modelos

- Consultar investigaciones relacionadas: caractersticas, tendencias y requerimientos en la formacin de recursos humanos para la actividad profesional, estndares de desempeo profesional, acadmico o laboral eficiente - Con base en las fuentes consultadas, definir cada uno de los conceptos clave que integran el perfil referencial considerando sus atributos o propiedades esenciales

Perfil Referencial
Paso 6 Definir operacionalmente mensurables Actividad el perfil referencial en trminos

- Determinar las conductas observables que subyacen a la definicin terica del perfil referencial (accin) 6a - Definir las situaciones en las que se espera que estas conductas sean ejecutadas: restricciones, informacin o descripciones que servirn de referente para la accin (condicin)

Perfil Referencial
COMPONENTE DEFINIDO OPERACIONALMENTE

AREA

COMPONENTE

ACCIN

CONDICIN

Nociones bsicas del proceso de seleccin de personal

Definir las principales caractersticas del proceso de seleccin de personal

Relacionar 3 caractersticas del proceso de seleccin de personal con la definicin que le corresponde

A partir de un listado de caractersticas del proceso de seleccin de personal

A partir de un listado de caractersticas del proceso de seleccin de personal, relacionar 3 con la definicin que le corresponde

Reconocer solicitud de empleo

Seleccionar el formato de solicitud de empleo que es autorizado por la organizacin

A partir de una serie de formatos de solicitud de empleo

A partir de una serie de formatos de solicitud de empleo, seleccionar el que es autorizado por la organizacin

Perfil Referencial
Paso Actividad Se realiza la ponderacin de los componentes del perfil a partir de dos preguntas: Relevancia: Qu tan relevante es el componente con respecto al rea de la que forma parte? 6b Si la respuesta es muy relevante se anota el nmero 4 Si es relevante se anota el nmero 3 Si es poco relevante se anota el nmero 2 Si es nada relevante se anota el nmero 1

Suficiencia: Cuntas preguntas debera contestar el sustentante respecto al mismo componente para considerar que lo domina suficientemente? La respuesta puede variar de 1 a 5

Perfil Referencial
COMPONENTE DEFINIDO OPERACIONALMENTE

REA

RELEVANCIA

SUFICIENCIA

Nociones bsicas del proceso de seleccin de personal

A partir de un listado de caractersticas del proceso de seleccin de personal, relacionar 3 caractersticas con la definicin que le corresponde

A partir de una serie de formatos de solicitud de empleo, seleccionar el que es autorizado por la organizacin

Perfil Referencial

Paso

Actividad

Asignar nivel taxonmico y tipo de conocimiento a los componentes de la definicin operacional del perfil referencial
- Elegir la taxonoma acorde con el perfil referencial

7a

- Asignar nivel taxonmico de manera que permita diferenciar una operacin cognitiva de otra, as como informar claramente los resultados

Taxonoma de Bloom
Memoria Capacidad de recordar hechos especficos y universales, mtodos y procesos o un esquema, estructura o marco de referencia Descripcin de aquellas conductas basadas en la interpretacin, la traduccin, el resumen, la parfrasis o la extrapolacin de los conocimientos adquiridos Conductas que la persona desarrolla al utilizar principios, procedimientos y mtodos para resolver un problema particular y nuevo. Implica la utilizacin de abstracciones en situaciones particulares concretas Conductas en las que la persona debe identificar los elementos de la estructura de un todo y explicar la relacin que observa entre ellos Uso de procesos para trabajar con elementos aislados, partes o piezas, ordenndolos y combinndolos de tal manera que constituyan un esquema o estructura que antes no estaba presente de manera clara Formulacin de juicios sobre el valor de materiales y mtodos de acuerdo con determinados propsitos. Incluye los juicios cuantitativos y cualitativos respecto de la medida en que los materiales o los mtodos satisfacen determinados criterios

Comprensin

Aplicacin

Anlisis

Sntesis

Evaluacin

Nivel Taxonmico
REA COMPONENTE DEFINIDO OPERACIONALMENTE RELEVANCIA SUFICIENCIA NIVEL TAXONMICO TIPO DE CONOCIMIENTO

A partir de un listado de caractersticas del Nociones proceso de bsicas seleccin de del personal, proceso relacionar 3 de selecc caractersticas con de la definicin que le personal corresponde A partir de una serie de formatos de solicitud de empleo, seleccionar el que es autorizado por la organizacin

Memoria

Memoria

Perfil Referencial

Paso

Actividad

Asignar nivel taxonmico y tipo de conocimiento a las conductas derivadas de la definicin operacional del perfil referencial

7b

- Asignar tipo de conocimiento a cada componente para delimitar an ms su alcance

Tipo de Conocimiento

Hechos

Lugares, personajes, smbolos, valores y cantidades especficas, fechas, nombres, etc.

Conceptos

Definiciones, atributos crticos, caractersticas o variables explicativas de un fenmeno, etc.

Principios o reglas Frmulas, relaciones causa efecto, teoras, leyes, etc

Procedimientos

Patrones de respuesta, secuencias de pasos, modelos, etc.

Tipo de Conocimiento
REA COMPONENTE DEFINIDO OPERACIONALMENTE RELEVANCIA SUFICIENCIA NIVEL TAXONMICO TIPO DE CONOCIMIENTO

A partir de un listado de caractersticas del Nociones proceso de bsicas seleccin de del personal, proceso relacionar 3 de caractersticas con seleccin la definicin que le de corresponde personal A partir de una serie de formatos de solicitud de empleo, seleccionar el que es autorizado por la organizacin

Memoria

Conceptos

Memoria

Conceptos

Perfil Referencial

Paso 8

Actividad Someter a validacin el perfil referencial

- Paneles de expertos ratifican o rectifican los aspectos plasmados en el perfil referencial - Ajuste del perfil referencial - Redaccin definitiva del perfil referencial

Perfil Referencial
Perfil referencial de la prueba de:
COMPONENTE DEFINIDO OPERACIONALMENTE

REA

RELEVANCIA

EXIGENCIA

NIVEL TAXONMICO

TIPO DE CONOCIMIENTO

Integrantes del Consejo Tcnico

Nombre:
___________________________________________ ___________________________________________ ___________________________________________

Firma:
_____________________________ _____________________________ _____________________________

TABLA DE ESPECIFICACIONES

Tabla de Especificaciones

Presenta la organizacin lgica de los componentes definidos operacionalmente y el nivel cognoscitivo con que debern ser medidos en la prueba

Indica el peso especfico que se dar a cada uno de los componentes a partir del sealamiento del nmero de reactivos que debern elaborarse.

Tabla de Especificaciones

Determina las reglas de armado o ensamble de la prueba

Permite que: Los componentes que se incluyen en la prueba representen fielmente el perfil referencial Las distintas versiones de la prueba sean equivalentes

Tabla de Especificaciones

Determinar las reas de la prueba

Determinar longitud de la prueba

Determinar tiempo de resolucin de la prueba

Validar la longitud de la prueba

Registro de la tabla de especificaciones

Tabla de Especificaciones
Paso 1 Actividad Determinar las reas de la prueba Partir de la definicin operacional del perfil referencial para establecer las reas y componentes cuya descripcin comunique con precisin los resultados Establecer la longitud de la prueba

- Determinar el nmero de reactivos por componente

NRC = RSC / PSA 2 Donde:
NRC = Nmero de reactivos por componente del perfil referencial RSC = Producto de la relevancia por la suficiencia de cada componente PSA = Promedio por rea de la suficiencia asignada a cada componente

- Determinar el nmero total de reactivos de la prueba

LP = Longitud de la prueba = NRC

Tabla de Especificaciones
REA COMPONENTE DEFINIDO OPERACIONALMENTE R S RSC PSA NRC

1 2 3

4 3 3

2 3 5

8 9 15

2 2 4

4
5 6 7

3
3 3 4

4
3 5 4

12
9 15 16

3.71

3
2 4 4

8
9 10 B 11 12 13

3
3 3 3 3 4

2
3 4 3 5 2

6
9 12 9 15 8 LP 3.17

2
3 4 3 5 3 41

R = Nivel de relevancia del componente. S = Nivel de suficiencia del componente. PSA = Promedio por rea del nivel de suficiencia. RSC = Producto de la relevancia por la suficiencia de cada componente. NRC = Nmero de reactivos por componente. LP = Longitud de la prueba

Tabla de Especificaciones
Paso Actividad Determinar el tiempo de resolucin de la prueba Multiplicar el tiempo promedio que un sustentante hbil utiliza para contestar un reactivo por el total de reactivos

3
Ejemplo: - Tiempo promedio para contestar cada reactivo: 3 minutos - La prueba es de 41 reactivos 3 (41) = 123 minutos

Tabla de Especificaciones
Paso Actividad Validacin de la longitud de la prueba - Los sustentantes contarn con el tiempo establecido en el diseo de la prueba para su resolucin?
S: El tiempo de resolucin queda igual

NO: Ajustar la longitud de la prueba (slo si el tiempo ser menor al establecido en el diseo)

- Ajustar nmero de reactivos de la prueba

LAP = (LP) (TEU) / TRP

4a

Donde:
LAP = Longitud ajustada de la prueba LP = Longitud de la prueba TEU = Tiempo en minutos establecido por el usuario

TRP = Tiempo en minutos de resolucin de la prueba

Tabla de Especificaciones
Paso Actividad

Ejemplo:
Suponiendo que slo se contar con 90 minutos para la resolucin de la prueba: 4a - Longitud de la prueba (LP) = 41 - Tiempo en minutos establecido por el usuario (TEU) = 90 minutos - Tiempo en minutos de resolucin de la prueba (TRP) = 123 minutos

Longitud ajustada de la prueba (LAP) = (41) (90) / 123 = 30 reactivos

Tabla de Especificaciones
REA COMP. DEFIN. OPER. R S RSC PSA NRC PNRC NARC

1 2 3 A 4 5 6 7 8

4 3 3 3 3 3 4 3

2 3 5 4 3 5 4 2

8 9 15 12 9 15 16 6 3.71

2 2 4 3 2 4 4 2

9
10 B 11 12

3
3 3 3

3
4 3 5

9
12 9 15 3.17

3
4 3 5

13

8
LP

3
41 LAP 30

R = Nivel de relevancia del componente. S = Nivel de suficiencia del componente. PSA = Promedio por rea del nivel de suficiencia. RSC = Producto de la relevancia por la suficiencia de cada componente. NRC = Nmero de reactivos por componente. LP = Longitud de la Prueba. LAP = Longitud ajustada de la prueba

Tabla de Especificaciones
Paso Actividad - Ajustar nmero de reactivos por componente
NARC = (PNRC) (LAP) / 100

Donde:
NARC = Nmero ajustado de reactivos por componente PNRC = Porcentaje del nmero de reactivos del componente respecto al total de reactivos LAP = Longitud ajustada de la prueba

4b

Ejemplo:
Para el primer componente de la tabla tenemos que:

- Tiene asignado 2 reactivos - 2 reactivos representan el 5% del total de reactivos (41) de la prueba (PNRC) - La longitud ajustada de la prueba es de 30 reactivos (LAP)
NARC = (5) (30) / 100 = 1.5 Se redondea

Tabla de Especificaciones
REA COMP. DEFIN. OPER. R S RSC PSA NRC PNRC NARC

1 2 3 A 4 5 6 7 8

4 3 3 3 3 3 4 3

2 3 5 4 3 5 4 2

8 9 15 12 9 15 16 6 3.71

2 2 4 3 2 4 4 2

5 5 10 7 5 10 10 5

2 2 3 2 2 3 3 1

9
10 B 11 12

3
3 3 3

3
4 3 5

9
12 9 15 3.17

3
4 3 5

7
10 7 12

2
3 2 3

13

8
LP

3
41

7
LAP

2
30

R = Nivel de relevancia del componente. S = Nivel de suficiencia del componente. PSA = Promedio por rea del nivel de suficiencia. RSC = Producto de la relevancia por la suficiencia de cada componente. NRC = Nmero de reactivos por componente. LP = Longitud de la Prueba. LAP = Longitud ajustada de la prueba. PNRC = Porcentaje del nmero de reactivos por componente. NARC = Nmero ajustado de reactivos por componente

Tabla de Especificaciones
Paso 5 Actividad Registro en el formato de tabla de especificaciones

REA

No.

COMPONENTE DEFINIDO OPERACIONALMENTE

NIVEL TAXONMICO

TIPO DE CONOCIMIENTO

No. DE REACTIVOS

MANUAL PRELIMINAR DE LA PRUEBA

Manual Preliminar de la Prueba

Documento que explica:

Los aspectos crticos del diseo de la prueba La descripcin de los referentes para la validacin de la prueba Las fuentes utilizadas para la definicin del perfil referencial

Manual Preliminar de la Prueba

Elaborar la introduccin

Describir los aspectos crticos del diseo de la prueba

Describir los referentes para la validacin de la prueba

Documentar las referencias

Manual Preliminar de la Prueba

Paso Elaborar la Introduccin 1
- Describir la metodologa utilizada para la construccin del diseo - Mencionar las razones que llevaron a la construccin de la prueba (necesidades del cliente) - Enunciar el propsito de la prueba

Actividad

Describir los aspectos crticos del diseo de la prueba: 2

Poblacin Cuerpos colegiados Definicin del perfil referencial (definicin terica y definicin operacional) Tipo y modalidad de prueba Tabla de especificaciones

Describir los referentes para la validacin de la prueba:

3
- Validez terica - Validez emprica

Referencias bibliogrficas

DESARROLLO DE PRUEBAS

Desarrollo de Pruebas
Procesos Etapas
1. Determinar Perfil Referencial

Diseo

2. Definir tipo y modalidad de la prueba 3. Elaborar Tabla de Especificaciones 4. Elaborar versin preliminar del M. de la P. 5. Generar y revisar reactivos

Elaboracin

6. Ensamblar versiones 7. Elaborar documentos de apoyo 8. Pilotear la prueba y documentos de apoyo 9. Interpretar resultados

Validacin

10. Ajustar la prueba

11. Conformar bancos de reactivos 12. Ensamblar versin definitiva

13. Elaborar versin definitiva de M. de la P.

TABLA DE ESPECIFICACIONES

Tabla de Especificaciones

REA

No.

COMPONENTE DEFINIDO OPERACIONALMENTE

NIVEL TAXONMICO

TIPO DE CONOCIMIENTO

No. DE REACTIVOS

ELABORACIN DE REACTIVOS

Elaboracin de Reactivos

Reactivo

Pregunta, proposicin o problema diseado para que sea contestado por una persona con el fin de conocer los resultados de su aprendizaje o las capacidades que posee
Tipos de reactivo

Respuesta estructurada
Respuesta no estructurada

Elaboracin de Reactivos
Respuesta estructurada Son reactivos cuya respuesta esperada es nica y est establecida de antemano Se identifica fcilmente si el sustentante cumple o no con dicha respuesta Respuesta no estructurada Son reactivos cuya respuesta esperada puede ser variable y no est previamente estipulada La valoracin de las respuestas implica un anlisis de expertos

Elaboracin de Reactivos
Aspectos generales:
Usar lenguaje comprensible y claro para los sustentantes
Omitir preguntas capciosas. Debe ser directo Deben ser independientes unos de otros Redaccin en forma positiva y no negativa Evaluar conocimientos esenciales Preguntar una sola cosa cada vez

Elaboracin de Reactivos

Reactivos de opcin mltiple

Constan de dos partes: Base. Planteamiento, enunciado o informacin que formula una situacin problemtica

Opciones. Posibles respuestas a la situacin problemtica que formula la base. Consideran la respuesta correcta y los distractores

Elaboracin de Reactivos
Base

1. El empleo de los fertilizantes sintticos produce un efecto quelante en la planta bloqueando la utilizacin de: A) B) C) D) E) oligoelementos superfosfatos nitritos prtidos lpidos Opciones

Elaboracin de Reactivos
Base del reactivo:
Debe corresponder al componente asignado en la tabla de especificaciones
Debe corresponder al nivel taxonmico asignado en la tabla de especificaciones Debe corresponder al tipo de conocimiento establecido en la tabla de especificaciones No debe quedar duda de lo que se le est solicitando al sustentante

No debe sugerir cul es la respuesta correcta

Elaboracin de Reactivos
Opciones de respuesta:
Deben ser tan breves como sea posible No deben sugerir cul es la opcin correcta
Evitar trminos demasiado inclusivos: nunca, siempre, nadie, todos, nico Evitar incongruencia gramatical con la base del reactivo No incluir frases como: todas las anteriores, ninguna de las anteriores, no s

Elaboracin de Reactivos
Opciones de respuesta...
Opciones que son mucho ms cortas o largas con respecto a las dems, tienden a ser obviamente correctas o incorrectas No usar las mismas palabras de la base del reactivo

Distractores:
Deben presentar los errores comunes en el pensamiento de las personas a las que est dirigida la prueba

Reactivos de Opcin Mltiple

Cuestionamiento directo Resolucin de problemas Jerarquizacin u ordenamiento Completamiento Relacin de columnas

Identificacin de grficas o diagramas

Multirreactivo

Reactivos de Opcin Mltiple

Cuestionamiento directo
Los reactivos se presentan por medio de un enunciado interrogativo o una afirmacin directa sobre un contenido especfico Ejemplo: 1. Cul es el primer paso para elaborar un plan de trabajo? A) Diagnstico* B) Entradas C) Insumos D) Caractersticas

Reactivos de Opcin Mltiple

Resolucin de problemas

Se presenta una situacin problemtica en un determinado contexto con informacin suficiente, que debe ser seleccionada y organizada, para realizar la aplicacin de procedimientos adecuados para su resolucin

Reactivos de Opcin Mltiple

Resolucin de problemas
En una compaa de videojuegos se desea saber si el tiempo promedio de juego en nios de 9 aos es mayor a 20 minutos. Se observaron a 100 nios obteniendo los siguientes datos: n=100 s=10
Con base en las observaciones determina las conclusiones del experimento, utilizando un nivel de significancia de =.05. A) z=.03, se rechaza B) z=.33, se acepta C) z=1.33, se acepta D) z=3, se rechaza*

Reactivos de Opcin Mltiple

Jerarquizacin u ordenacin

En los reactivos de este tipo, se presenta un listado de elementos a ubicarse de acuerdo con un criterio determinado o se solicitan elementos a enunciarse de acuerdo con una fase o procedimiento especfico. La tarea a realizar por el sustentante es la seleccin de la opcin en la que todos lo elementos aparezcan en el orden solicitado

Reactivos de Opcin Mltiple

Jerarquizacin u ordenacin
Cul es el orden correcto de los siguientes valores, segn la escala valorativa ascendente? 1. Estticos 2. Intelectuales 3. Instrumentales 4. Metafsicos 5. Vitales 6. ticos

A) B) C) D)

2, 1, 6, 5, 4, 3 3, 2, 6, 4, 1, 5 4, 6, 2, 5, 1, 3 5, 3, 1, 2, 6, 4*

Reactivos de Opcin Mltiple

Completamiento

Estos reactivos se presentan en forma de enunciados o una serie de datos, en los que se omite una o varias palabras o informacin clave al inicio, en medio o al final, presentando en las opciones las palabras o datos a ubicar en la base del reactivo. Su posicin se reconoce a travs de lneas y en el caso particular de que la(s) palabra(s) requerida(s) se ubique(n) al termino de una oracin puede ser continua a los dos puntos (:) o a los puntos suspensivos (...)

Reactivos de Opcin Mltiple

Completamiento

Completa la siguiente oracin.

George is more _______ than Rick.

A) intelligent* B) taller C) oldest D) prettiest

Reactivos de Opcin Mltiple

Completamiento

Observa la siguiente secuencia numrica y completa los espacios en blanco con las cantidades que faltan.
11, 29, __, 25, 25, 21, 32, __

A) 47 y 53 B) 29 y 32 C) 27 y 43 D) 18 y 17*

Reactivos de Opcin Mltiple

Relacin de columnas

La estructura de estos reactivos son dos listados de elementos.

La tarea consiste en relacionar los elementos de un listado con los del otro, de acuerdo con los criterios que se especifican. Para poder seleccionar la opcin que contenga el conjunto de relaciones correctas, es conveniente unir cada elemento de la primera columna con el elemento de la segunda, lo que permitir identificar claramente las relaciones.

Reactivos de Opcin Mltiple

Relacin de columnas
Relaciona las siguientes columnas, con base en el papel que desempea cada funcionario poltico.
Poltico 1.Diputado Local 2. Presidente 3. Senador 4. Diputado federal Funcin a) Se encarga de gobernar un pas b) Recolecta las peticiones de la gente y esta en contacto con ellas c) Se rene con otras personas, legisla y propone nuevas reformas, que ayuden a gobernar al pas, as como tambin las aprueba o rechaza d) Una vez recolectada las peticiones de la ciudadana, hace propuestas para su solucin

A) 1b, 2a, 3c, 4d B) 1c, 2d, 3b, 4a C) 1a, 2c, 3d, 4b D) 1b, 2d, 3c, 4a

Reactivos de Opcin Mltiple

Relacin de columnas
Relaciona las siguientes columnas de palabras de acuerdo a su significado: 1. Defensor A) Cauteloso

2. Agraciado
3. Emprendedor 4. Apasionado

B) Inmutable
C) Ocioso D) Opresor E) Repelente

A) 1A, 2D, 3B, 4E B) 1B, 2C, 3D, 4A C) 1C, 2A, 3E, 4D D) 1E, 2B, 3A, 4C*

Reactivos de Opcin Mltiple

Identificacin de grficas o diagramas

En la base del reactivo se presenta un problema o situacin concreta, a partir de la cual el sustentante tiene que dar respuesta para poder ubicar el grfico o diagrama acorde con el planteamiento inicial.

Reactivos de Opcin Mltiple

Identificacin de grficas o diagramas
A qu tipo de red corresponde el siguiente diagrama de acuerdo con su tipologa?

A) De rea local B) En bus C) En estrella D) De rbol*

Reactivos de Opcin Mltiple

Multirreactivos

Se presenta en la base del reactivo un texto, prrafo o caso a estudiar del cual se desprenden varias preguntas basadas exclusivamente en su contenido, que pueden estar asociadas a la comprensin e identificacin de aspectos inherentes al mismo.

Reactivos de Opcin Mltiple

Multirreactivos

Lea el siguiente texto. El cometa Halley recorre su rbita en torno al sol. Fue visto en 1986 y su aparicin anterior en 1910. El astrnomo Edmund Halley comprob que los cuerpos observados en 1456, 1531, 1607 y 1682 correspondan al mismo astro, por lo que anunci que este cometa aparecera nuevamente en 1758 y su prediccin se cumpli despus de su muerte. Desde entonces las personas han dejado de temer a los cometas.

Reactivos de Opcin Mltiple

Multirreactivos
De acuerdo con el texto anterior: la investigacin del astrnomo sirvi para demostrar que este fenmeno: A) es inofensivo B) no es el mismo C) se repite cada 75 aos* D) tiene una trayectoria impredecible

las conclusiones del astrnomo se basaron en: A) investigaciones de sus colegas B) observaciones del cometa C) datos histricos sobre el cometa* D) inferencias personales

Validacin de Reactivos
Validacin:
Revisin y anlisis sistemtico que llevan a cabo especialistas de un rea para determinar si los reactivos renen todas las caractersticas que los denominen vlidos y confiables

Criterios a considerar:
Correspondencia con la tabla de especificaciones en cuanto a componente, nivel taxonmico y tipo de conocimiento

Caractersticas tcnicas precisas

Validacin de Reactivos
Qu se debe revisar en la base del reactivo?

Pertinencia

Simbologa
Contenido Terminologa Claridad

Validacin de Reactivos
Qu se debe revisar en la base del reactivo?

Pertinencia
Debe corresponder a la tabla de especificaciones en cuanto al: rea y componente

Nivel taxonmico
Tipo de conocimiento

Validacin de Reactivos
Qu se debe revisar en la base del reactivo?

Contenido
Debe ser:

Adecuado al nivel del sustentante

Susceptible de medir objetivamente Congruente con las unidades temticas Acorde con los componentes especificaciones (no transcripcin) Original (no extracciones textuales) de la tabla de

Validacin de Reactivos
Qu se debe revisar en la base del reactivo?

Claridad
La base del reactivo debe presentar por s misma un problema Debe ser independiente de las opciones de respuesta Debe excluir la posibilidad de que el sustentante genere dudas o conjeturas subjetivas derivadas de la estructura del reactivo

No debe incluir dos planteamientos

No deben existir preguntas o problemas capciosos Debe incluir un lenguaje comprensible y claro

Validacin de Reactivos
Qu se debe revisar en la base del reactivo?

Simbologa

Debe: Ser utilizada de manera uniforme

Ser pertinente con el texto

Estar expresada de manera correcta

Validacin de Reactivos
Qu se debe revisar en la base del reactivo?

Terminologa

Los trminos y definiciones deben utilizarse en el mismo sentido que consideran los textos, el curso o la normatividad No implica elaborar un reactivo de manera textual

Validacin de Reactivos

Distractores

Opciones de respuestas incorrectas que tienen la finalidad de llamar la atencin del sustentante que no se prepara bien para el examen

Validacin de Reactivos
Qu se debe revisar en los distractores?
Deben considerar los errores ms comunes en los sustentantes No deben incluir frases como: todas las anteriores, ninguna de las anteriores o no s No deben ser subjetivos

Deben ser difciles de descartar

Sin incongruencias relacionadas con el campo semntico o estructura gramatical de la base

Validacin de Reactivos

Qu se debe revisar en los distractores?

Deben ser plausibles y verosmiles Deben ser pertinentes Si se incluyen grficos, esquemas o dibujos, debern ser claros y completos

Validacin de Reactivos
Caractersticas o elementos para rechazar el reactivo
En cuanto a la base:
Si requiere reestructuracin, por ser confusa o incompleta

En cuanto a los distractores: Si se requiere cambiar ms de dos, por estar repetidos o no corresponder al contenido Incompletos en su contenido y redaccin Un distractor igual a la respuesta correcta con diferente redaccin

Validacin de Reactivos
Si el especialista encuentra que el reactivo:
Cumple con todas las caractersticas tcnicas y de contenido necesarias, el reactivo es APROBADO sin modificaciones Requiere cambios moderados en la base o alguna de las opciones, tambin puede considerarse un reactivo APROBADO No cumple con las caractersticas tcnicas y de contenido mnimas, y que para su aprobacin requiere la reelaboracin total de la base o de las opciones, entonces se considera RECHAZADO

Validacin de Reactivos

Finalmente:

Si el reactivo es APROBADO se procede a capturar las correcciones para presentarlas por ltima vez y sea firmado por los tres validadores En el caso de que un reactivo sea RECHAZADO se procede a capturarlo para su dictamen final

Todos los reactivos debern ser firmados por los validadores ya sea como aprobados o rechazados

Elaboracin de Reactivos

Definir el nmero de reactivos a pilotear

Disear el proceso de capacitacin

Capacitar a los expertos de los paneles

Elaborar y clasificar los reactivos

Validar el contenido de los reactivos

ENSAMBLAR VERSIONES PILOTO

Ensamblar Versiones Piloto

Versin piloto de la prueba:

Reune y organiza los reactivos validados para su aplicacin piloto

Debe hacerse con base en la tabla de especificaciones de la prueba

Ensamblar Versiones Piloto

Determinar el nmero de versiones

Determinar el orden al interior de las reas y componentes

Generar y dar formato a las versiones piloto para su revisin

Corregir la versiones y entregarlas para su impresin

Ensamblar Versiones Piloto

Paso Actividad
Determinar el nmero de versiones 1

- Revisar el reporte de reactivos validados y el nmero de reactivos por rea establecido en la tabla de especificaciones
Determinar el orden al interior de las reas y los componentes, utilizando el criterio de complejidad cognoscitiva Generar y dar formato a las versiones piloto: - Datos de identificacin - Instrucciones de llenado - Instrucciones de aplicacin - Secciones de la prueba - Presentacin de los reactivos - Paginacin Corregir las versiones y entregarlas para su impresin - Correccin de estilo

PILOTEO

Piloteo
Es la aplicacin de la versin preliminar de la prueba a una muestra de la poblacin objetivo con el fin de estimar:

Los tiempos de ejecucin

Los ndices estadsticos de los reactivos

Los ndices estadsticos de la prueba en su conjunto

Piloteo

Determinar muestra del piloteo

Aplicar versiones de la prueba

Anlisis de los resultados

Corregir la versiones y entregarlas para su impresin definitiva

Piloteo
Determinar muestra del piloteo

Criterio para aplicaciones restringidas: por lo menos 30 personas

Jueces: Resuelven la prueba y emiten comentarios a los reactivos

Cuantitativo

Cualitativo

Piloteo
Aplicar versiones de la prueba
Se prueban las instrucciones de aplicacin y de llenado

Se monitorean los tiempos de resolucin

Anlisis de los resultados

Dificultad
Discriminacin

ndices de los reactivos

Piloteo
Anlisis de los resultados
Nmero de individuos que responden correctamente el reactivo: + aciertos < dificultad - aciertos > dificultad

Dificultad

Discriminacin

Comparacin entre sustentantes: alto rendimiento Vs. bajo rendimiento

el reactivo diferencia a los que saben de los que no saben?

Piloteo
Anlisis de los resultados
Dif. = nc / N
Donde:

Dif

Dif. = ndice de dificultad Nc. = frecuencia de respuestas correctas N = Total de personas

Dis = _2 (S I)_ N
Donde:

Dis

Dis = ndice de discriminacin S = frecuencia de respuestas correctas del grupo superior I = frecuencia de respuestas correctas del grupo inferior

Piloteo
Anlisis de los resultados
CLASIFICACIN Muy difcil Difcil Aceptable Fcil Muy fcil RANGO DE DIFICULTAD 0 a 0.09 0.10 a 0.19 0.20 a 0.80 0.81 a 0.90 0.91 a 1 LMITE CRTICO

Dif

Dis. debe ser = o > al lmite crtico

Dis
Lc = 2 N+2

Piloteo
Corregir la versiones y entregarlas para su impresin definitiva
Ajustar instrucciones de aplicacin Ajustar instrucciones de llenado Eliminar reactivos rechazados Generar nuevos reactivos requeridos Corregir reactivos a revisar Ajustar o confirmar el tiempo de resolucin de la prueba

OTROS TIPOS DE PRUEBA NO OBJETIVAS

Otros Tipos de Prueba No Objetivas

Las pruebas no objetivas son tiles cuando: La evaluacin implica la deteccin de rasgos que son difciles de plantear en una forma precisa de medicin

Los rasgos a evaluar no son susceptibles de evidenciar en una prueba escrita

Se denominan as porque estn sujetas a una mayor variabilidad en cuanto a su aplicacin y a su calificacin

Otros Tipos de Prueba No Objetivas

Pruebas de desempeo Se emplean para evaluar habilidades, capacidades o competencias en situaciones de campo diversas

Ponen nfasis tanto en el proceso de ejecucin como en el producto o resultado final esperado

Se realizan mediante la observacin y una lista de verificacin o escala de calificacin

Otros Tipos de Prueba No Objetivas

Pruebas de desempeo: gua de observacin

Se utiliza para evaluar lo que el sustentante est realizando Enlista los aspectos a observar en el orden y precisin con que deben ser realizados por el sustentante Su aplicacin consiste en presenciar algn evento o actividad y registrar los detalles observados

Gua de observacin
Folio rea Contenido a evaluar Nombre del evaluador Nombre del evaluado
INSTRUCCIONES: Observe si el sustentante realiza las actividades que se enuncian a continuacin. Marque con una X el cumplimiento o no cumplimiento en la columna correspondiente. No olvide anotar las observaciones pertinentes
CUMPLIMIENTO No. ACTIVIDAD SI NO OBSERVACIONES

Otros Tipos de Prueba No Objetivas

Pruebas de desempeo: lista de cotejo Miden las caractersticas deseables o positivas que debe presentar el producto o resultado que se est evaluando Sus reactivos estn conformados por enunciados breves y sencillos Los reactivos describen cada una de las cualidades o atributos que se deben ver en el producto concluido Deben estar ordenados operativamente

Lista de Cotejo
Folio rea Contenido a evaluar Nombre del evaluador Nombre del evaluado
INSTRUCCIONES: Observe si el producto entregado por el sustentante cubre con los aspectos que se enuncian a continuacin. Marque con una X el cumplimiento o no cumplimiento en la columna correspondiente. No olvide anotar las observaciones pertinentes
CUMPLIMIENTO No. REACTIVO SI NO OBSERVACIONES

Otros Tipos de Prueba No Objetivas

Ventajas de las pruebas de desempeo

La evaluacin se realiza apegadas a la realidad

en

condiciones

ms

Permiten identificar de manera directa la forma en que el sustentante aplica los conocimientos, habilidades o destrezas que interesa evaluar

Otros Tipos de Prueba No Objetivas

Desventajas de las pruebas de desempeo

Son menos objetivas y menos confiables que las pruebas escritas

Requieren ms tiempo que las pruebas escritas

A menudo tambin requieren del uso de equipo que puede ser costoso

Otros Tipos de Prueba No Objetivas

Pruebas orales Situacin de evaluacin en que el sustentante responde de viva voz las preguntas planteadas

Permiten evaluar cualidades personales como el uso de lenguaje tcnico, la manera de exponer sobre ciertos temas clave o las formas de estructurar informacin
Son apropiadas cuando se requiere evaluar contenidos complejos o extensos que impliquen una exposicin detallada de fundamentos

Otros Tipos de Prueba No Objetivas

Ventajas de las pruebas orales Anulan la posibilidad de copiar y de engaos Requieren respuestas a un nivel intelectual ms alto que las pruebas escritas Pueden ser diseadas en menos exmenes escritos comparables tiempo que

Los evaluadores pueden identificar con ms facilidad los lmites del sustentante en cuanto al conocimiento y comprensin sobre alguna materia

Otros Tipos de Prueba No Objetivas

Desventajas de las pruebas orales

Son menos confiables que las pruebas escritas. Su principal fuente de error son los mismos evaluadores

Requieren ms tiempo de aplicacin que las pruebas escritas

A menudo estn mal planeadas: no consideran formas de estandarizacin y control adecuados