Professional Documents
Culture Documents
1
Pardo ( 1998 ); Herrera (2003) .
1
El proceso final lo constituye la conformación de la prueba
Tabla 1. Estructura de prueba que será aplicada y se realiza con base en el juicio de
jueces (2c).
DIMENSION Macroeconomía Microeconomía Econometría Pensamiento
DISCIPLINAR económico e
DIMENSION Formato de
Historia
Es importante tener presente que también se definen las
COGNITIVA
Argumentativa
pregunta
Selección
características editoriales de la prueba, la inclusión de
múltiple con anexos, material adicional y uso de ayudas, tales como
única respuesta
Selección glosario, fórmulas, calculadora. Respecto a este último
múltiple con
múltiple punto en el ECAES de Economía no se permitirá el uso de
Interpretativa
respuesta
Selección
calculadora según decisión del CAA.
múltiple con
única respuesta
Selección 3. APLICACIÓN DE LA PRUEBA
múltiple con
E
múltiple
respuesta
Propositiva Selección n esta fase se realiza la aplicación de la prueba a los
múltiple con
única respuesta
estudiantes. Implica que la entidad responsable, en
Selección
múltiple con
este caso el ICFES, realice la organización logística
múltiple correspondiente.
respuesta
Porcentaje de 30 30 20 20
preguntas
De esta etapa depende la calidad de los procesos
posteriores, por lo que es importante atender a todas las
disposiciones que se planteen al respecto.
2. CONSTRUCCIÓN Y REVISION DE PREGUNTAS
E
4. EVALUACIÓN DE PRUEBA
n esta etapa se lleva a cabo la elaboración y revisión
U
de las preguntas siguiendo los siguientes pasos:
na vez aplicada la prueba las respuestas de los
a. Construcción individual de preguntas por parte de los
estudiantes se califican y se analizan. El análisis
docentes de cada área.
implica determinar la calidad de cada una de las preguntas
b. Revisión inicial de preguntas en taller con pares
y de la prueba en su totalidad; es así que se realiza el
académicos (expertos en los campos o áreas disciplinares)
análisis de ítems y el análisis de prueba.
y grupo de psicometría.
c. Revisión final de preguntas con jueces expertos en los
campos o las áreas disciplinares (Juicio de jueces).
2
Con el análisis de ítems se conoce la dificultad 2 y la las pruebas que no han tenido aplicación previa, como el
discriminación3 de cada pregunta, como también las caso de los ECAES, la evaluacion de preguntas es
respuestas dadas a las opciones planteadas; esta fundamental porque de esta dependen los resultados de la
información evidencia si los ítems presentan problemas de prueba aplicada; es claro que si unas preguntas del
construcción o si el problema radica en la población que lo instrumento presentan problemas no pueden ser incluidas
contestó, formación deficiente o errores académicos que en la calificación final.
aún persisten.
5. RESULTADOS
En el análisis de prueba se evalúan dos de las propiedades
más importantes de un instrumento de medición objetiva,
la validez y la confiabilidad. La primera alude a si se midió
lo que se quería medir y la segunda a la precisión en la
T al vez la fase que causa mayor impacto en la
comunidad académica es la de resultados. Finalmente
todo el proceso seguido culmina cuando se produce el
medida. informe de resultados, ya sean individuales o grupales,
por institución o país, de la prueba total o por grupo de
En las pruebas ECAES la validez de la prueba es la preguntas.
referida al contenido. Para llevar a cabo este tipo de
validez se sigue el procedimiento presentado en el numeral En el caso de los ECAES 2003 se han presentaron varios
2. En resumen un grupo de expertos 4 revisa las preguntas tipos de resultados5, a saber:
en dos momentos distintos, determinando el cumplimiento EL INFORME INDIVIDUAL que incluye el puntaje general
de los estándares definidos para la construcción de expresado en una escala entre 0 y 100; y los resultados
preguntas, así como la pertinencia, y relevancia de las por grupos de preguntas.
mismas; de esta manera se garantiza que las preguntas
responden al marco teórico propuesto y que además EL INFORME INSTITUCIONAL se produce por cada
cuenta con la calidad técnica de un instrumento de programa o carrera, teniendo en cuenta las jornadas y
medición. semestres. Presentando promedios y desviación estándar
tanto institucional como nacional.
Una vez las preguntas y el instrumento son analizados, se
procede a realizar la calificación definitiva. En el caso de
2
Es lo que exige la pregunta para ser respondida con éxito.
3
Si las preguntas permiten diferenciar entre quien sabe y quien
no.
4
Los expertos son especialistas en el área a evaluar y en 5
ICFES. (2003). Informe Nacional de Resultados.
psicometría. http://www.icfes.gov.co
3
GENERALIDADES ACERCA DE El contexto incluye representaciones pictóricas como
gráficas, tabla de datos, fotografías, esquemas, figuras,
ELABORACIÓN DE ITEMS O mapas o similares; conjunto de problemas, ensayos, o textos
PREGUNTAS a partir de los cuales se generan una o varias preguntas.
Un ítem o pregunta se compone de: En el caso de las preguntas que se van a elaborar para la
Enunciado: frase en forma afirmativa que presenta la prueba de los ECAES de Economía se utilizaran cuatro
situación que debe ser respondida o resuelta. opciones de respuesta, una denominada clave y tres
Distractores: opciones que se consideran respuestas distractores, en lo posible, las preguntas tendrán un
posibles al enunciado. Se consideran como respuestas contexto.
incorrectas.
Clave: la opción que se considera responde Para empezar la construcción de preguntas, habiendo
adecuadamente el enunciado. Se considera es la respuesta definido previamente la estructura de prueba, es necesario
correcta. tener claridad sobre el formato de pregunta a utilizar,
buscando que sea apropiado para medir y evaluar tanto la
Ejemplo1 dimensión cognitiva como la disciplinar; si bien los
ENUNCIADO formatos son una característica de tipo formal para la
prueba, ellos facilitan el que se ponga en marcha el
Bajo competencia perfecta, un impuesto afecta
proceso cognitivo o la competencia que se quiere evaluar.
mas a los productores que a los demandantes
cuando ocurre que De acuerdo con el formato elegido es importante atender a
DISTRACTORES las indicaciones generales que se presentan a continuación,
a. la demanda es mas inelástica que la oferta teniendo en cuenta que la construcción de preguntas se va
b. la oferta y la demanda tienen la misma mejorando con la práctica y la experiencia.
elasticidad
c. la oferta es mas elástica que la demanda
d. la demanda es mas elástica que la oferta
CLAVE: d
4
1. Estándares para la construcción de preguntas j. No utilizar en las opciones las mismas palabras
significativas que se utilizaron en el enunciado.
5
de contaminación para el ambiente. Una manera de preguntas de construcción o abiertas como son
resolver este problema es habitualmente denominadas.
D
b. desarrollar programas de prevención de
enfermedades
e acuerdo con la forma particular en que se contestan
c. crear planes de inversión para la protección del estos se denominan:
medio ambiente
d. eliminar las industrias existentes en la ciudad Selección Múltiple con Única Respuesta
de esta opción son los más fáciles, sobre todo cuando Ejemplo 3
dicha alternativa corresponde a la respuesta correcta. Al Juan realizó un estudio sobre el consumo de carne de res
reconocer como equivocada tan sólo una respuesta, quien en los estratos 1 y 2 de la ciudad de Bogota, el modelo
responde podrá automáticamente descartar esta opción. Y, desarrollado arrojó los siguientes resultados
al poder reconocer como correctas por lo menos dos de las
respuestas en un ítem característico de selección múltiple LnRes= -3.949+0.368LnY-0.350LnPRES+0.508LnPPollo
con cuatro opciones, podrá seleccionar “ IPSO FACTO” P (0.269) (0.092) (0.071) (0.000)
dicha opción. t (-1.139) (1.178) (-1.991) (4.811)
Donde
2. Formato de las preguntas del ECAES de Economía RES : consumo per capita de carne de res (Kg)
Y: ingreso promedio anual ($ per capita)
espera que el estudiante seleccione la respuesta correcta De los resultados obtenidos por Juan es correcto concluir
entre un número determinado de opciones; mientras que que
en la segunda se pide al estudiante que elabore su
respuesta. De acuerdo a esta clasificación el examen de a. la elasticidad del precio de la demanda de carne de
Economía se centrara en el primer tipo de preguntas, las res es menor que 1 con un 95% de confianza
de selección, dada la dificultad para la calificación de las
6
b. el pollo y la carne de res son productos sustitutos
con un 99% de confianza Ejemplo 4
c. la carne de res es un bien inferior para los Considere la siguiente ecuación de demanda
consumidores de los estratos 1 y 2 de Bogota yt = 0.45+ 0.12 xt -1 + 0.70 yt -1 + residuos
d. la carne de pollo es un bien inferior para los (0.04) (0.05) (0.08)
E
De la información anterior es correcto afirmar que
ste formato presenta un enunciado y cuatro opciones
de respuesta de las cuales dos responden
1. el estadístico Durbin-Watson no es aplicable debido a
adecuadamente el enunciado, para responder debe tenerse
en cuenta el formato de combinaciones para las opciones. la presencia de la variable xt -1
2. el estadístico Durbin-Watson no es aplicable debido a
Este tipo de pregunta es útil cuando la presencia de la variable yt -1
Se presenta una situación en la que sea necesario 3. el coeficiente de determinación nos permite concluir
considerar varias posibles consecuencias
que las variables yt -1 y xt -1 ayudan a explicar el 89% de
Una situación en la que sea necesario especificar una o
más condiciones para definirla adecuadamente la variación en la variable dependiente
Dos situaciones semejantes o disímiles con respecto a 4. el coeficiente de determinación nos permite concluir
uno o más puntos de comparación. que las variables yt -1 y xt -1 tan solo ayudan a explicar el
Un principio que puede aplicarse a más de una situación 11% de la variación en la variable dependiente
Varias consideraciones que pueden llevar al mismo
resultado Área: Econometría y Estadística
El formato para responder es el siguiente Tema: violación de supuestos
Si 1 y 2 son correctas llene el óvalo A Clave: b (2 y 3)
Si 2 y 3 son correctas llene el óvalo B
Si 3 y 4 son correctas llene el óvalo C
Si 1 y 4 son correctas llene el óvalo D
7
CARACTERÍSTICAS DEL Por todo lo anterior los participantes en la construcción y
revisión de preguntas son los docentes universitarios que
CONSTRUCTOR DE PREGUNTAS7 sin duda cumplen con los requisitos propuestos.
7
Herrera, 2003.
8
AREA MICROECONOMÍA Fisiocracia (Quesnay)
Clásicos (Smith, Ricardo, Malthus, Mill)
Temas Marx
Neoclásicos (Marshall, Jevons, Walras)
Teoría del consumidor Keynes
Teoría del productor
Equilibrio del mercado Eric Roll, Collander, Homero Cuevas
Externalidades y bienes públicos
Información asimétrica HISTORIA ECONÓMICA GENERAL
Costos de transacción
Equilibrio General Walrasiano y Optimo de Pareto Formación de la economía capitalista
Economía del bienestar Traslado de la hegemonía Europa – América
Competencia imperfecta Crisis económicas y formación del sistema económico
Mercado de factores internacional
Incertidumbre
Competencia perfecta Hobsbawn Eric. “Las revoluciones burguesas”.
Guadarrama (1979), Kindleberger Charles. “Crisis
Walras, Marshall, Hicks, Arrow, Debreu económica 1929 -39” (crítica 1985), Krugman Paul. “De
vuelta a la economía de la gran depresión” (2000),
AREA ECONOMETRÌA Stiglitz Joseph “El malestar en la globalización” (2002)
9
“Colombia y la economía mundial”, CEPAL: “globalización Argumentativa: hace referencia a las acciones que realiza
y desarrollo”. (2001)k, Universidad Nacional: Colombia, una persona, con el propósito de fundamentar o
desarrollo económico y social, siglo XX. Cátedra Manuel sustentar un planteamiento, una decisión o un evento. La
Ancizar 2001 argumentación implica explicitar los por qué de un
planteamiento, articular conceptos o teorías para justificar
Adicionalmente las discusiones condujeron a precisar los pre-
requisitos necesarios como instrumental necesario para sortear
afirmaciones, hacer demostraciones matemáticas, vincular
con éxito la prueba ECAES. premisas para sustentar conclusiones y establecer
relaciones de causalidad.
Instrumental Matemático Común: Álgebra Lineal, Cálculo
Diferencial e Integral, Ecuaciones Diferenciales de Primer Orden, Propositiva: hace referencia a las acciones que realiza una
Teoría de Juegos. persona, con el propósito de plantear alternativas de
decisión o de acción y de establecer nuevas relaciones o
vínculos entre eventos o perspectivas teóricas. La
COMPETENCIAS proposición implica plantear hipótesis, resolver problemas,
establecer regularidades y generalizaciones, plantear
Se refieren al proceso que el evaluado lleva a cabo para alternativas de solución a problemas, establecer tendencias
responder la pregunta. Para el caso se han definido las de funcionamiento de un sistema.
competencias que el ICFES ha evaluado en las pruebas
realizadas, tanto el examen de estado como en los ECAES 1. FORMATO PARA LA ELABORACIÓN INDIVIDUAL
2003, las cuales son interpretativa, argumentativa y DE LAS PREGUNTAS
propositiva.
Cada profesor que construye preguntas debe hacerlo en el
Interpretativa8: hace referencia a las acciones que realiza formato diseñado para tal fin, que se presenta a
una persona, con el propósito de comprender una situación continuación.
en un “contexto” específico. La interpretación implica dar
cuenta del sentido de un texto, proposición, problema, CODIGO DE LA PREGUNTA
evento, gráfica, mapa, esquema o símbolo. Igualmente, (Diligenciado por psicometria)
reconocer los argumentos propios de un referente CIUDAD
teórico. FECHA
INSTITUCION
AUTOR
8
ICFES. (2004). Reunión de orientación psicométrica marzo 9.
10
Esta primera parte del formato garantiza la identificación Después de esta información básica acerca del constructor
básica de la pregunta y de constructor. Se encuentra como y la ubicación de la pregunta de acuerdo con la estructura
desprendible para garantizar la imparcialidad en la de prueba, se presenta la pregunta como tal, haciendo
evaluación por parte de los PARES ACADEMICOS y JUECES evidente cada uno de sus componentes. Es necesario
que hacen la revisión. aclarar que en la prueba que contestan los estudiantes no
se hace este desglose, sino que se presenta la pregunta en
AREA DE USO INTERNO. DILIGENCIADO POR su totalidad.
PSICOMETRIA
CODIGO DE LA PREGUNTA: Los cuadros corresponden a la estructura de la pregunta,
en este caso y dado que se tratan de preguntas que
FORMA: A B DIBUJO: SI NO evalúan competencias, se cuenta con un espacio para
TIPO DE PREGUNTA: I IV plantear el contexto, si lo hay, buscando que este brinde
la información necesaria y suficiente para poder responder
Este parte del formato es de uso exclusivo del grupo de
la pregunta.
psicometría, en ella se presentan aspectos de tipo formal
para la conformación del banco de preguntas.
CONTEXTO
INDICADOR CODIGO
AREA
TEMA ENUNCIADO
COMPETENCIA
COMPLEJIDAD Este es el espacio para presentar la pregunta como tal.
(ALTA, MEDIA
BAJA)
DISTRACTORES
TIEMPO DE
A
RESOLUCION
Presenta la información de la pregunta atendiendo a la
B
estructura de prueba y a la calificación subjetiva del C
constructor de la pregunta en cuanto a complejidad 9 y D
tiempo que el estudiante emplearía para responder la Espacio para las alternativas de respuesta
pregunta.
CLAVE: (RESPUESTA CORRECTA)
9
La complejidad es a priori y subjetiva.
11
Escriba cual de las opciones responde adecuadamente el
enunciado
SEÑALE LAS FÓRMULAS O TERMINOS QUE Estos dos cuadros finales se diligencian en el paso 2b de la
DEBEN SER INCLUIDOS EN EL GLOSARIO construcción de preguntas.
Explique porque la opción señalada como clave responde OBSERVACIONES (PARES ACADEMICOS)
de manera adecuada la pregunta.
De la información anterior es correcto afirmar que En un modelo de regresión de este tipo si se incluyen
rezagos de la variable dependiente no es posible usar
el estadístico DW para sacar conclusiones. El
1. El estadístico Durbin-Watson no es aplicable debido a la R2 o coeficiente de determinación, indica què tanto las
presencia de la variable xt -1 variables independientes explican el modelo.
2. El estadístico Durbin-Watson no es aplicable debido a la
presencia de la variable yt -1 PERTINENCIA (MENCIONE BREVEMENTE LAS
3. El coeficiente de determinación nos permite concluir que las RAZONES POR LAS QUE CONSIDERA QUE ESTA
variables yt -1 y xt -1 ayudan a explicar el 89% de la variación en
PREGUNTA PERTENECE AL UNIVERSO DE LO
QUE SE QUIERE EVALUAR)
la variable dependiente
4. El coeficiente de determinación nos permite concluir que las Permite establecer si el estudiante comprende
adecuadamente la teoría de los modelos de regresión
variables yt -1 y xt -1 tan solo ayudan a explicar el 11% de la
en un caso aplicado y si es capaz de entender e
variación en la variable dependiente
identificar cuando se violan los supuestos.
DISTRACTORES
A. Si 1 y 2 son correctas
B. Si 2 y 3 son correctas
C. Si 3 y 4 son correctas
D. Si 1 y 4 son correctas
13
PROCESO DE REVISIÓN DE
3. VALIDEZ DE CONTENIDO
PREGUNTAS POR PARES
INDICADOR 1 3 5 OBSERVACIONES
ACADÉMICOS La pregunta es
pertinente
Las preguntas codificadas pasan a revisión de los pares La pregunta es
académicos y psicometría, atendiendo las indicaciones que relevante
se presentan.
Se califica la pregunta en cuanto a pertinencia y relevancia.
1. ESTRUCTURA DE PRUEBA
Entendiendo por pertinencia la relación y congruencia de
INDICADOR SI NO SI NO las relaciones entre los itemes y el contenido que se
CORRESPONDE, pretenden medir.
INDIQUE A CUAL
Corresponde al área La relevancia se refiere a si el aspecto tratado en cada ítem
Corresponde al tema es importante para la descripción de las variables que
Evalúa la competencia que pretende evaluar.
dice evaluar
Se verifica que la pregunta corresponda a la estructura de
prueba definida.
4. OTROS CRITERIOS
2. Formato de pregunta
Se verifica que la pregunta cumpla con los formatos de
pregunta acordados y con los estándares técnicos
15
Según KENNETH ARROW a. eran personas de bajo nivel socioeconómico y por
tal razón su implicación es ineludible
a. “si un mecanismo de decisión social satisface todas b. eran artesanos desplazados por la ley del
las propiedades de selección, debe ser una librecambio que atacaron especialmente a los
dictadura” alemanes
b. “todas las ordenaciones sociales son las c. como organización secreta ejerció influencia en la
ordenaciones de un individuo población afectada por la ley de libre cambio y
c. “no existe ningún sistema perfecto para tomar lidero un movimiento político para llevar al poder a
decisiones sociales” Pedro Collazos y se enfrentaron a los
d. todas las anteriores representantes del comercio y algunos alemanes
d. ninguna de las anteriores
Comentario: el enunciado esta incompleto y no presenta la e. todas las anteriores
idea principal de lo que quiere preguntar. En realidad no se
ha formulado ninguna pregunta. Observaciones: el contexto no es necesario para resolver
Las opciones se pueden completar de distintas maneras y la pregunta.
con distintos elementos conceptuales. Las opciones se refieren a distintos aspectos.
Adicionalmente en los distractores se presenta la opción La alternativa C es mas extensa y además se presentan
todas las anteriores. las alternativas ninguna y todas las anteriores.
Otro aspecto implica considerar si la pregunta es general y
La denominada revolución de medio siglo (Siglo XIX) realmente relevante.
implementada por Florentino González durante la
presidencia de Tomas Cipriano de Mosquera por medio de Bibliografía
la cual se dio vía libre a la importación de productos de
diferentes variedades y modalidades como telas, vinos, Pardo, C. (1998). El diseño de pruebas para los
perfumes, pianos, etc., especialmente europeos a Exámenes de Estado: un proceso de investigación
Colombia trajo diversas consecuencias a la economía permanente. Santafé de Bogotá: ICFES.
Colombiana. El análisis se ubica en los factores Herrera, N. (2003). Algunas indicaciones técnicas para la
relacionados con aspectos sociopolíticos. construcción de ítems objetivos de conocimientos.
Revisión y adaptación para ECAES de Psicología.
Evalué los enfrentamientos ocurridos en Bucaramanga
Haladyna Thomas. 1994. Developing and validating
durante los días 7, 8 y 9 de septiembre de 1879 respecto a
las imputaciones referidas a la Sociedad Culebra Pico de multiple -choice test items.
Oro.
16