Representaciones involucradas

en la evaluacin de Portafolios
docentes
Mara Rosa Garca -MIDE UC
Pablo Torres - University of Cambridge
Carolina Leyton -MINEDUC
Primer Congreso Latinoamericano de Medicin y
Evaluacin Educacional (COLMEE)
4 y 5 Octubre de 2012

Antecedentes (1)

Este estudio se desarroll en el Centro de Medicin MIDE UC,

especficamente en el proyecto Docentems, Sistema de
Evaluacin del Desempeo Profesional Docente.
Esta es una evaluacin obligatoria para los ms de 70.000
docentes de aula que se desempean en establecimientos
municipales a lo largo del pas.
El MINEDUC es responsable por la coordinacin global e
implementacin de la Evaluacin a travs del Centro de
Perfeccionamiento, Experimentacin e Investigaciones
Pedaggicas (CPEIP), y ha encargado la asesora tcnica a
MIDE UC.
MIDE UC es responsable del diseo, supervisin y
evaluacin de los distintos componentes del programa,
segn los acuerdos suscritos en el convenio a partir de la
licitacin pblica del mismo.

Antecedentes (2)

El Portafolio es el instrumento central utilizado para evaluar

a los docentes, el cual recoge evidencia directa acerca de
la enseanza, la evaluacin y las decisiones pedaggicas
de los docentes.

Incluye evidencia escrita que es corregida por profesores

de aula, seleccionados y capacitados para realizar esta
tarea, por medio de rigurosos protocolos que buscan
garantizar una correccin confiable.
Este estudio fue desarrollado buscando mejorar la
comprensin del proceso de correccin e informar futuros
procesos de entrenamiento.

Marco terico: supuestos investigacin

Las actividades cognitivas se han comprendido como una gran

fuente de varianza en la evaluacin de portafolios (Van der Shaff et
al., 2005).

La manipulacin eficiente de las representaciones mentales es

clave para llevar a cabo tareas con una meta definida (Gourgey,
1998).

Las actividades cognitivas son influenciables y aprendibles a

travs de entrenamiento, aumentando la precisin y
disminuyendo el error en las puntuaciones (Lievens, 2001; Woehr &
Huffcutt, 1994; Jonassen, 2000).

Qu entendemos por representacin?

Las representaciones son estados mentales,
tales como pensamientos, creencias,
deseos, percepciones e imgenes sobre
cosas, cuentan con intencionalidad y
pueden ser evaluadas en trminos de su
consistencia, adecuacin, precisin y
verdad. (Stanford Encyclopedia of Philosophy, Jul -2008, Mental
Representation).

Preguntas de Investigacin

Qu tipos de representaciones estn involucradas

en la correccin de portafolios docentes y en qu
magnitud?
Hay alguna relacin entre la cantidad y cualidad
de las representaciones involucradas en la
correccin, y la precisin de correccin?
Si hay alguna relacin entre las representaciones y
la precisin de la correccin, cmo es esa
relacin?

Mtodo: recopilacin de datos (1)

Se utiliz el mtodo de pensamiento en voz alta (PVA)

(Ericsson and Simon, 1993).
La instruccin dada a los correctores fue:
A fin de que yo entienda lo que va pensando, le pido que

corrija este portafolio "ponindole volumen a su

pensamiento", es decir, contando lo que va leyendo,
pensando, las dudas que le van surgiendo, etc., y
explicando cada paso de su razonamiento lo mejor que
pueda.

Los correctores podan ser interrumpidos para pedirles

explicaran en mayor detalle su razonamiento.

Adems, si se mantenan en silencio por ms de 10

segundos, se le repeta un breve recordatorio.

Mtodo: recopilacin y anlisis de datos (2)

Muestra: 6 profesores de distintos niveles educativos que

participaban por primera vez de la correccin de portafolios.
Cada uno corrigi 6 entradas (indicadores) de portafolio escrito
usando rbricas de evaluacin y el mtodo de PVA.
Cada rbrica tena entre 2 a 4 criterios de evaluacin. Esto
configur una muestra 90 episodios de pensamiento evaluativos.
El anlisis de los pensamientos registrados incluy tres grandes
categoras: representaciones, juicios y metacogniciones.
Se determin la precisin de la evaluacin (precisa, imprecisa) en
base a criterio externo de miembros del equipo elaborador y de
entrenamiento de las rbricas de la Evaluacin Docente.
Se transcribieron los episodios de razonamiento, y se codificaron de
manera paralela por dos codificadores. El 100% de los cdigos
fueron posteriormente consensuados e ingresados al Software ATLAS
ti.

Qu resultados encontramos?

Esquema de proceso evaluativo

Evaluacin
precisa

Evaluador
Corrector de
Portafolio

Pauta de
Correccin
Rbricas

Evaluacin
imprecisa

Evidencia
Portafolio
escrito

1. Tipos de Representaciones segn nivel

de abstraccin

Representaciones segn nivel de abstraccin

y precisin de la evaluacin
60%
52%
50%

47%

41%

40%
40%
Precisa

30%

Imprecisa
20%

13%
10%
7%

0%
Rep. Concretas

Rep. Medianas

Rep. Altas

Tipos de representaciones concretas y

de mediana abstraccin

Formas de representarse la EVIDENCIA y

precisin de las evaluaciones
40%

30%
20%
10%
Precisa

Representacin de EVIDENCIA

usando conceptos
personales

usando conceptos
evidencia

Rep. EVIDENCIA/PAUTA

Lectura

0%

Imprecisa

Formas de representarse la PAUTA y precisin de

las evaluaciones
30%

20%

Precisa

10%

Imprecisa

0%
Lectura

Rep. EVIDENCIA/
PAUTA

usando
conceptos
pauta

Representacin de PAUTA

usando
conceptos
personales

Naturaleza de conceptos con que se realizan las

representaciones y precisin de la evaluacin
20%
Precisa
Imprecisa

16%

12%

8%

4%

0%

Rep. PAUTA con

conceptos de
PAUTA

Rep. EVIDENCIA Rep. PAUTA usando Rep. EVIDENCIA

Rep.
con conceptos de
conceptos
usando conceptos EVIDENCIA/PAUTA
EVIDENCIA
personales
personales

Etiquetamiento

Elaboracin

2. Tipos de representaciones segn nivel de

adecuacin

Nivel de apego del contenido representacional

a la tarea y precisin de la evaluacin
100%

6%

10%

80%

60%
94%

Rep. inadecuadas

90%

40%

20%

0%
Precisa

Imprecisa

Rep. adecuadas

Origen de inadecuacin de los contenidos

representacionales y precisin
100%

29%
80%
54%
60%

Por seleccin de
informacin equvoca o
insuficiente

40%

Por sobre
interpretacin personal

20%

71%
46%

0%
Precisa

Imprecisa

Conclusiones (1)

Existe una relacin entre representaciones y precisin evaluativa.

Ms que la cantidad, lo que impacta en la precisin es la

cualidad de las representaciones.
Al representarse la evidencia, pareciera ayudar hacerlo de forma
concreta, es decir, a partir de relecturas o alusiones textuales a
esta, y no por medio de categoras o conceptos personales del
corrector.
Al representarse la pauta parece ms conveniente hacerlo en
funcin de conceptos personales o de la evidencia.

Conclusiones (2)

Usar conceptos personales para elaborar la informacin es

beneficioso para la evaluacin cuando esta informacin es
abstracta en s misma, pero es contraproducente cuando dicha
informacin es factual.
Internalizar la pauta y examinar la evidencia con ojos de pauta
lleva a juicios ms precisos.
Correctores que caen en la sobre-interpretacin (interpretar
aquello que no se condice directamente) pueden ser un
importante riesgo para la correccin.

Representaciones involucradas
en la evaluacin de Portafolios
docentes
Mara Rosa Garca -MIDE UC
Pablo Torres - University of Cambridge
Carolina Leyton -MINEDUC
Primer Congreso Latinoamericano de Medicin y
Evaluacin Educacional (COLMEE)
4 y 5 Octubre de 2012