La Evaluacion de La escrituraenPSUleng

Universidad de Chile
Vicerrectoría de Asuntos Académicos

DEMRE
La evaluación de la escritura
en PSU-Lenguaje y Comunicación:
estudios preliminares
EXPERIMENTACIONES 2006-2007
DEMRE
Jorge Hernández M.
Comité de Lenguaje
DEMRE
- DICIEMBRE, 2009 -
DEMRE
CONCEPTOS BÁSICOS
Lectura y Escritura: dos competencias fundamentales para

el desempeño académico universitario.
Por lo tanto, DESARROLLO

Comprensión Habilidades
Lectora Escriturales
BUEN DESEMPEÑO ACADÉMICO

Lectura y Escritura: resultado de Proceso de Enseñanza-
Aprendizaje escolar.
Prueba de selección universitaria:

debe incluir ítemes para medir estas dos competencias
(validez predictiva del desempeño académico).
DEMRE
Enseñanza media LENGUAJE Y COMUNICACIÓN
MATEMÁTICA
NEM BATERÍA
PSU HISTORIA Y CIENCIAS SOCIALES
CIENCIAS: BIOLOGÍA, FÍSICA, QUÍMICA
VALIDEZ PREDICTIVA
ALINEADAS
Ingreso
educación superior MARCO CURRICULAR
Problemas:
CMO no medibles con pruebas
de lápiz y papel: oralidad.
Primer año universitario CMO no medibles con preguntas
de selección múltiple: redacción.
DEMRE
2006
Inicio de estudios medición de la escritura.
Revisión bibliográfica (evaluaciones nacionales e

internacionales)
Aplicación Exploratoria
DEMRE Revisión bibliográfica
Estudios DEMRE: Medición de la redacción, 1982
Conclusiones:
“La medición de la redacción es un problema de gran
complejidad que reside principalmente en la dificultad que
preenta la definición y delimitación de los indicadores que se
utilizan para realizarla (Afecta la confiabilidad).”
“La capacidad de redactar puede ser medida
indirectamente evaluando conductas específicas que son
sintomáticas de esa capacidad.”
“Hemos comprobado que los rasgos que suelen considerar
en otros países para medir la capacidad de redactar
(corrección idiomática respecto de las normas imperantes) no
tienen aplicación en nuestro medio.”
Estudios DEMRE:
DEMRE Medición de la redacción, 1982
Muestra:
Estudiantes de cuarto medio.

Elegidos al azar
Proporcional muestra experimental 1981.
Unidad de muestreo: cursos, elegidos en forma aleatoria
proporcional.
Tipo de pregunta abierta:
texto de tema libre
extensión mínima de dos carillas
una hora de tiempo
Se seleccionaron aquellos textos en que predominaba el
aspecto comunicativo, excluyendo literarios y de menor
extensión.
DEMRE
Producción de textos: Mediciones
PREGUNTA ABIERTA PREGUNTA CERRADA

I I
n
d ENSAYO PLAN DE REDACCIÓN n
d
i i
c RESPUESTA BREVE MANEJO DE c
a
d
CONECTORES a
d
o o
r ELIMINACIÓN DE r
e
s
ORACIONES e
s
d
ORDENACIÓN DE i
i ORACIONES n
r d
e i
c r
t e
o c
s t
o
s
DEMRE
Revisión bibliográfica
Estudios internacionales: SAT II
Tipo de pregunta abierta: Ensayo.
Instrucción: Presentar y apoyar un punto de vista sobre un

tema específico.
Tiempo: 25 minutos.
Vicerrectoría de Asuntos Académicos Revisión bibliográfica
DEMRE
Además, se acompaña de una sección de escritura con tres

tipos de preguntas de opción múltiple:
Corrección de oraciones (25 preguntas)

Identificar errores oracionales (18 preguntas)
Corrección de párrafos (6 preguntas)
El ensayo mide la capacidad de:
desarrollar un punto de vista sobre un tema presentado en

un extracto.
apoyar su punto de vista utilizando el razonamiento y
ejemplos de su lectura, estudios, experiencias, observaciones
o seguir las convenciones de la norma escrita inglesa.
DEMRE
Propuesta Comité LyC:
Recopilar evidencia sobre pregunta abierta.
PROPÓSITO:
Posibilidad de incluir pregunta abierta como nuevo

instrumento o como un ítem que forme parte de la actual
batería para incrementar la validez predictiva.
Condición: No incrementar la diferencia entre los grupos

que rinden (variables).
DEMRE
Características teóricas de la pregunta abierta:

Pregunta de respuesta breve (10 a 20 líneas)
Respuesta redactada debe corresponder a una forma
textual (organización funcional discursiva v/s estructura
textual).
Asociada a la lectura de un texto, para controlar el “efecto”
de las experiencias de vida de los grupos al momento de
redactar.
Vinculada a comprensión lectora, pero focalizada en la
organización de ideas.
Textos elegidos: literarios y no literarios.
Textos de cualquier extensión, de preferencia medianos o
extensos.
DEMRE Año 2006
Experiencia Exploratoria
Forma experimental 510
Prueba de 80 preguntas cerradas, tipo PSU.
Incorporación de 2 preguntas de desarrollo asociadas a un

texto que presenta preguntas cerradas.
Se solicita la redacción de dos tipos de textos: expositivo y

argumentativo.
DEMRE Año 2006
Temas por resolver:
Disposición de los estudiantes.
Características adecuadas del texto base.
Características textuales de la respuesta.
Variable medida.
Relación entre preguntas cerradas y abiertas.
Logística del proceso de corrección.

DEMRE Año 2006
Experiencia Exploratoria
Características grupo de experimentación:
Muestra estratificada según variables de género,

ubicación geográfica, dependencia y rama
educacional.
Total de sujetos: 816
Estudiantes de cuarto año de enseñanza media
Elegidos al azar
DEMRE
Por dependencia educacional
Por género
Forma 510-2006
Forma 510-2006 Total
%
Total Dep. educacional alumnos
%
Género alumnos P. Pagado 179 21,9
Masculino 373 45,7 P. Subvencionado 389 47,7
Femenino 443 54,3 Municipal 248 30,4
Total 816 100,0 Total 816 100,0
Forma 510 según género. Forma 510-2006 según dependencia educacional
373; 46% 179; 22%

248; 30%
443; 54% 389; 48%
Particular Pagado
Masculino Femenino Particular subvencionado
Municipal
Vicerrectoría de Asuntos Académicos Por Rama educacional
DEMRE
Por ubicación geográfica Forma 510-2006

Rama Total
Forma 510-2006 %
educacional alumnos
Ubicación Total Humanístico-
% 694 85,0
geográfica alumnos científica
R. Metropolitana 335 41,1 Técnico
122 15,0
Otras regiones 481 58,9 profesional
Total 816 100,0 Total 816 100,0
Forma 510-2006 según procedencia

geográfica Forma 510-2006 según rama
educacional
335; 41% 122; 15%
Humanístico-
científica
Técnico
Región Metropolitana
profesional
Otras regiones
481; 59%
694; 85%
Vicerrectoría de Asuntos Académicos Año 2006:
DEMRE Experiencia Exploratoria
Proceso de corrección de preguntas abiertas:
Hojas corregidas: 1632

Rúbrica Holística
Seis indicadores: comprensión, cohesión, planteamiento de
ideas, estructura discursiva, registro discursivo y ortografía.
Doble corrección (consistencia 80%)
Generación de sistema informático
Conclusiones:
Probar rúbrica mixta: holística- analítica.
Eliminar indicador comprensión.
Concepto de corrección múltiple.
DEMRE Año 2006
Conclusiones obtenidas:
 Buena disposición a contestar este tipo de ítem.

La omisión total fue de 51 estudiantes (6,3%).
Omisión de hojas: 102.
Omisión pregunta A o B: 62 estudiantes.
Los textos más adecuados son expositivos y

argumentativos.
Puede existir diferencia entre el tipo textual de la instrucción
y el tipo textual estímulo.
La pregunta abierta mide una variable diferente, por lo
tanto, está referida a dimensiones diferentes.
DEMRE
Conclusiones obtenidas:
Correlación puntaje pregunta abierta y el puntaje secciones

de la Prueba de Lenguaje y Comunicación:
Pretest: mayor covariación se produce con Comprensión de

Lectura, seguida de Plan de Redacción, Uso de Conectores y
Vocabulario.
Prueba Oficial: plan de Redacción, Comprensión de

Lectura, Vocabulario y Uso de Conectores.
La independencia se ratifica con los resultados del Análisis

de Regresión Múltiple y del Análisis Factorial, método de
Componentes Principales.
Análisis factorial
PRUEBA OFICIAL VS PREGUNTA ABIERTA. DOS FACTORES
Varianza total explicada
Sumas de las saturaciones al Suma de las saturaciones al
Autovalores iniciales cuadrado de la extracción cuadrado de la rotación
Componente % de la % de la
% de la % varianz % varianz %
Total varianza acumulado Total a acumulado Total a acumulado
1 2,883 57,661 57,661 2,883 57,661 57,661 2,721 54,410 54,410
2 ,878 17,558 75,218 ,878 17,558 75,218 1,040 20,808 75,218
3 ,547 10,947 86,165
4 ,435 8,700 94,866
5 ,257 5,134 100,000
Método de extracción: Análisis de Componentes principales.

Matriz de componentes rotados(a) Componente
Indicador
1 2
L. COMPOFI ,879 ,137
REDACOFI ,835 ,156
L. VOCABOFI ,815 ,106
CONECOFI ,751
PUNTAJE P.
,145 ,989
ABIERTA
Método de extracción: Análisis de componentes principales.
Método de rotación: Normalización Varimax con Kaiser.
a La rotación ha convergido en 3 iteraciones.
PRUEBA EXPERIMENTAL VS PREGUNTA ABIERTA. DOS FACTORES
Varianza total explicada Análisis factorial
Sumas de las saturaciones al Suma de las saturaciones al
Autovalores iniciales cuadrado de la extracción cuadrado de la rotación
Componente
% de la % % de la % % de la %
Total varianza acumulado Total varianza acumulado Total varianza acumulado
1 2,380 47,596 47,596 2,380 47,596 47,596 2,193 43,861 43,861
2 ,900 18,004 65,601 ,900 18,004 65,601 1,087 21,739 65,601
3 ,699 13,989 79,590
4 ,536 10,719 90,309
5 ,485 9,691 100,000
Método de extracción: Análisis de Componentes principales.

Matriz de componentes rotados(a)
Componente
Indicador
1 2
L. COMP510 ,777 ,206
L. VOCAB510 ,759 -,158
CONEC510 ,738 ,196
REDAC510 ,674 ,279
PUNTAJE P.
,125 ,950
ABIERTA
Método de extracción: Análisis de componentes principales.
Método de rotación: Normalización Varimax con Kaiser.
a La rotación ha convergido en 3 iteraciones.
DEMRE
2007
Estudios y análisis de aplicación exploratoria.
Aplicación experimental dos formas: 211 y 212.
Desarrollo de soluciones logísticas.

DEMRE
Características de la aplicación 2007
Prueba PSU: 80 preguntas

Incorporación de una pregunta abierta extensión mediana
Tipo de texto lectura: literario
Tipo de pregunta abierta: texto argumentativo, ajustado a
estructura textual (carta)
Muestra: 1105 estudiantes
Estudiantes: Cuarto año de enseñanza media
Estratificada según variables
DEMRE Año 2007
Experiencia 2007
Proceso de corrección de preguntas abiertas:
Hojas corregidas: 636

Rúbrica Mixta: holística – analítica.
Cinco indicadores graduados en seis niveles.
Puntaje 0, diferente de omisión.
Doble corrección (consistencia 80%)
Prueba de sistema informático.
Validación de logística de corrección: tiempos, cantidad de
correctores, formación de correctores.
TEXTO ESTÍMULO
“Helena jamás volverá junto a Menelao. Un

marido que para vengar su honor
complica a tanta gente y a tantos dioses
demuestra que tiene más amor propio que
amor”.
Marco Denevi, Helena y Menelao

INSTRUCCIÓN DE ESCRITURA
1. Después de leer el Texto 1 (“Helena y Menelao”

de Marco Denevi), elija a uno de los dos
personajes de la narración.
2. Asumiendo el rol de Helena o Menelao, escriba
una carta personal al otro personaje, donde
explique, tanto su propio actuar como el del otro.
3. En la redacción debe dar cuenta del formato o
estructura de la carta, es decir, indicar fecha,
destinatario, saludo, cuerpo del texto y
despedida. Utilice, en la redacción, un
vocabulario adecuado a la situación y una
organización coherente de las ideas.
25·Agosto·07
*Grecia
Querido Menelao:
Aún no comprendo el actuar que
haz conllevado desde que nuestra relación comenzó a
perdurar. Aún no comprendo porqué ese afán de priorizar el
honor, tus batallas, antes que tu amada.
Quiero que comprendas que yo
siempre te he amado, en mi corazón perdurarás por
siempre, pero esto; no puede continuar, se me escapó de las
manos, tu actuar me rompe el corazón y por este motivo; no
te amaré jamás, me haz dañado y tú por tu parte sigues
amandote a ti mismo.
Ojalá comprendas.
Se despide Atte,
Helena.
“HAZ” POR “HAS”: imprecisión
Construcciones sin sentido. Realizó una
selección
semántica (indicador Elementos lexical “ultracorrecta”
(indicador Utilización de registro y
de cohesión). selección lexical).
No cumple con el propósito de argumentar. Carece de
Tema no se
hipótesis, ajusta a lasy indicaciones
argumentos conclusiones. expuestas en lala
No existe
instrucción de
explicación del algún
ítem. Respuesta informa
hecho, sino sobre el estado
la exposición de un
de la relación:
suceso se solicitó
sin determinar dar cuenta
sus causas de los hechos
(Planteamiento que
de ideas).
motivan el accionar de alguno de los personajes, desde
la voz de uno de ellos (indicador “Adecuación al tema”).
Uso correcto de conector adversativo. Uso de punto y

coma interrumpe la oración tornándola incohesiva en
su nivel interno (indicador elementos de la cohesión).
Se ajusta a la silueta discursiva (indicador Estructura

discursiva).
EVALUACIÓN
Puntaje Puntaje
máximo obtenido
Adecuación al tema 5 3
Estructura discursiva 5 4
Utilización de registro y selección lexical 5 3
Argumentos 5 2
Cohesión 5 2
Total pregunta abierta 25 14
DEMRE
Experiencia 2007. Conclusiones.
Hojas de respuestas válidas: 636

Omisión: 42%.
Cambios en la estructura de la prueba: disminución de
ítemes cerrados.
GENERO DEP. EDUC.
Frecuencia % Frecuencia %
M 241 37,9 MU 218 34,3
F 395 62,1 PS 319 50,2
Total 636 100 PP 99 15,6
Total 636 100
DEMRE
Año 2007
Correlaciones ENTRE SECCIONES PRUEBA OFICIAL INDICADORES PREGAB
IN1 IN2 IN3 ID4 ID5
TEMA DISCURSO REGISTRO PLANTIDEAS COHESION
COFS2CON Correlación de
Pearson ,170(**) 0,096 0,086 ,159(**) ,204(**)
Sig. (bilateral) 0,001 0,059 0,092 0,002 0
N 389 389 389 389 389
COFS2PR Correlación de
Pearson ,215(**) ,106(*) ,223(**) ,224(**) ,213(**)
Sig. (bilateral) 0 0,037 0 0 0
N 389 389 389 389 389
COFS3VOC Correlación de
Pearson ,270(**) 0,095 ,141(**) ,260(**) ,289(**)
Sig. (bilateral) 0 0,062 0,005 0 0
N 389 389 389 389 389
COFS3CLEC Correlación de
T Pearson ,278(**) ,135(**) ,198(**) ,288(**) ,317(**)
Sig. (bilateral) 0 0,008 0 0 0
N 389 389 389 389 389
**. La correlación es significativa al nivel 0,01 (bilateral)
*. La correlación es significante al nivel 0,05 (bilateral).
DEMRE Año 2007
CARACTERÍSTICAS GRUPO MASCULINO

Estadísticos
N
Media Mediana Desv. típ. Mínimo Máximo
Válidos
PCPT 241 28,82 29 9,39 1 53
PCOFIC 238 40,9 41 16,675 -2 75
TOTPREGAB 241 17,21 17 2,871 9 25
CARACTERÍSTICAS GRUPO FEMENINO

Estadísticos
N
Válidos
PCPT 395 28,85 29 9,724 -1 53
PCOFIC 389 37,36 38 18,023 -9 74
TOTPREGAB 395 18,28 18 2,719 11 25
Vicerrectoría de Asuntos Académicos Año 2007
DEMRE
CARACTERÍSTICAS GRUPO MUNICIPAL

N
Válidos
PCPT 218 26,81 26,5 9,738 -1 53
PCOFIC 213 33,01 32 18,107 -2 74
TOTPREGAB 218 17,4 18 2,904 9 25
CARACTERÍSTICAS GRUPO PARTICULAR SUBVENCIONADO
N
Válidos
PCPT 319 28,53 28 9,074 4 51
PCOFIC 315 38,35 38 16,313 -9 73
TOTPREGAB 319 17,92 18 2,672 9 25
CARACTERÍSTICAS GRUPO PARTICULAR PAGADO
N
Válidos
PCPT 99 34,28 35 8,916 2 53
PCOFIC 99 52,08 54 12,801 19 75
TOTPREGAB 99 18,76 19 2,921 12 25
DEMRE
CONCLUSIONES FINALES
Pregunta abierta permite medir aspectos no contemplados

en la estructura actual de la prueba.
Proceso de estudio y análisis de los resultados.
Etapa de decisiones operativas: mayor tiempo de

corrección y formación de correctores.
Diseño instrumento para medición de la comprensión y

producción textual que pueda servir como prueba
complementaria a la PSU.
Instrumento CODICE será aplicado a los estudiantes
matriculados en la Universidad de Chile para realizar
estudios de seguimiento y validez predictiva.

La Evaluacion de La escrituraenPSUleng

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

La Evaluacion de La escrituraenPSUleng

Uploaded by

Copyright:

Available Formats

Universidad de Chile

Vicerrectoría de Asuntos Académicos

Lectura y Escritura: dos competencias fundamentales para

Por lo tanto, DESARROLLO

BUEN DESEMPEÑO ACADÉMICO

Prueba de selección universitaria:

Enseñanza media LENGUAJE Y COMUNICACIÓN

CIENCIAS: BIOLOGÍA, FÍSICA, QUÍMICA

Revisión bibliográfica (evaluaciones nacionales e

Estudiantes de cuarto medio.

Producción de textos: Mediciones

PREGUNTA ABIERTA PREGUNTA CERRADA

Tipo de pregunta abierta: Ensayo.

Instrucción: Presentar y apoyar un punto de vista sobre un

Además, se acompaña de una sección de escritura con tres

Corrección de oraciones (25 preguntas)

El ensayo mide la capacidad de:

desarrollar un punto de vista sobre un tema presentado en

Propuesta Comité LyC:

Recopilar evidencia sobre pregunta abierta.

Posibilidad de incluir pregunta abierta como nuevo

Condición: No incrementar la diferencia entre los grupos

Características teóricas de la pregunta abierta:

Forma experimental 510

Prueba de 80 preguntas cerradas, tipo PSU.

Incorporación de 2 preguntas de desarrollo asociadas a un

Se solicita la redacción de dos tipos de textos: expositivo y

Temas por resolver:

Disposición de los estudiantes.

Características adecuadas del texto base.

Características textuales de la respuesta.

Relación entre preguntas cerradas y abiertas.

Logística del proceso de corrección.

Características grupo de experimentación:

Muestra estratificada según variables de género,

Total de sujetos: 816

Estudiantes de cuarto año de enseñanza media

373; 46% 179; 22%

443; 54% 389; 48%

Por ubicación geográfica Forma 510-2006

Forma 510-2006 según procedencia

Proceso de corrección de preguntas abiertas:

Hojas corregidas: 1632

 Buena disposición a contestar este tipo de ítem.

Los textos más adecuados son expositivos y

Correlación puntaje pregunta abierta y el puntaje secciones

Pretest: mayor covariación se produce con Comprensión de

Prueba Oficial: plan de Redacción, Comprensión de

La independencia se ratifica con los resultados del Análisis

Método de extracción: Análisis de Componentes principales.

Método de extracción: Análisis de Componentes principales.

Aplicación experimental dos formas: 211 y 212.

Desarrollo de soluciones logísticas.

Características de la aplicación 2007

Prueba PSU: 80 preguntas

Proceso de corrección de preguntas abiertas:

Hojas corregidas: 636

“Helena jamás volverá junto a Menelao. Un

Marco Denevi, Helena y Menelao

1. Después de leer el Texto 1 (“Helena y Menelao”

Uso correcto de conector adversativo. Uso de punto y

Se ajusta a la silueta discursiva (indicador Estructura

Experiencia 2007. Conclusiones.