Competencias Cientificas Pisa

Revista de Educacin, 360. Enero-abril 2013, pp.
557-576
Fecha de entrada: 02-06-2010 Fecha de aceptacin: 27-04-2011
557
La competencia cientca y su evaluacin.
Anlisis de las pruebas estandarizadas de PISA
Scientic Literacy and Its Assessment.
Analysis of PISA Standardized Tests
DOI: 10.4438/1988-592X-RE-2011-360-127
Rafael Yus Ramos
Manuel Fernndez Navas
Monsalud Gallardo Gil
Javier Barqun Ruiz
M. Pilar Seplveda Ruiz
M. Jos Servn Nez
Universidad de Mlaga. Facultad de Ciencias de la Educacin. Departamento de Didctica y Organizacin Escolar. Grupo
de Investigacin HUM-311. Mlaga, Espaa.
Resumen
Nos centraremos en la evaluacin internacional PISA (Programme for International Student
Assessment) en el rea especca de Ciencias, entendida como competencia cientca. El programa
PISA, dirigido por la OCDE (Organizacin para la Cooperacin y el Desarrollo Econmico), se basa en
el anlisis del rendimiento de estudiantes a partir de pruebas estandarizadas que se realizan cada
tres aos y que tienen como n hacer una valoracin internacional de las competencias alcanzadas
por los alumnos de 15 aos. En un primer nivel de discusin, hemos realizado un anlisis de las
pruebas liberadas de PISA para el rea de Ciencias en los aos 2000 a 2006, tomando como matriz seis
capacidades cientcas (reproduccin, aplicacin, reexin, transferencia, heurstica y argumentacin).
Hemos concluido que estas pruebas demandan principalmente capacidades cientcas de baja
complejidad (aplicacin y reexin), con escasa presencia de la mera reproduccin. En un segundo
nivel de discusin, hemos valorado la distancia existente entre el concepto global de competencia
Yus Ramos, R., Fernndez Navas, M., Gallardo Gil, M., Barqun Ruiz, J., Seplveda Ruiz , M. P., Servn Nez, M. J. LA COMPETENCIA CIENTFICA Y SU EVALUACIN.
ANLISIS DE LAS PRUEBAS ESTANDARIZADAS DE PISA
Revista de Educacin, 360. Enero-abril 2013, pp. 557-576
558
propuesto en el informe DESECO para la OCDE y lo que realmente parece evaluar el programa PISA a la
luz de los resultados de nuestros anlisis. Segn nuestra investigacin, PISA parece atomizar la nocin
de competencia y alejarse de la concepcin holstica original para evaluar nicamente capacidades
que, al ser valoradas individualmente, no parecen mostrar realmente el grado de adquisicin de
competencias que los estudiantes alcanzan en la escuela.
Palabras clave: evaluacin, pruebas PISA, competencia cientca, competencia, aprender
cmo aprender.
Abstract
The subject is the PISA (Programme for International Student Assessment) international
evaluation survey for science, also referred to as scientic literacy. The PISA programme is directed
by the OECD (Organization for Economic Cooperation and Development) and analyzes student
performance in standardized tests administered every three years to produce an international
assessment of competences or literacies achieved by fteen-year-old students all over the
world. The science units of the 2000 to 2006 PISA that have been released were analyzed. Six
scientic capabilities (reproduction, implementation, reection, transference, heuristics and
argumentation) were taken as the matrix. The conclusion is that PISA tests mainly require low-level
scientic abilities (implementation and reection) and gloss over mere reproduction capability.
The distance is found between the overall concept of literacy proposed in the OECD DESECO
report and what PISA really seems to assess in the light of the results of our analysis. According
to our research, PISA seems to fragment the notion of literacy; in so doing, it moves away from its
original holistic approach. When the fragmented abilities are assessed individually, they do not
actually seem to show students real school performance levels.
Key words: assessment, PISA tests, scientic literacy, competence, learn to learn.
Introduccin
El presente estudio forma parte de una investigacin del Grupo HUM-311
1
del Departa-
mento de Didctica y Organizacin Escolar de la Universidad de Mlaga, desarrollada en el
(1)
Grupo de Investigacin del PAIDI (Plan Andaluz de Investigacin, Desarrollo e Innovacin): HUM-311, Innovacin e
Investigacin Educativa en Andaluca, del Departamento de Didctica y Organizacin Escolar de la Universidad
de Mlaga, dirigido por ngel I. Prez Gmez.
559
marco del Proyecto I+D (ref. SEJ-2007-66967): La evaluacin educativa de los aprendiza-
jes de segundo orden, aprender cmo aprender, anlisis de proyectos internacionales
y experimentacin de estrategias alternativas, nanciado por el Ministerio de Ciencia
e Innovacin (Espaa) y dirigido por don ngel I. Prez Gmez. En el desarrollo de dicho
proyecto se abord el tema de las competencias bsicas como un mecanismo potencial
para el desarrollo de las capacidades tiles para la vida (Prez Gmez, 2007). Especca-
mente, se trataron las competencias de orden superior, que podran agruparse bajo el
constructo de aprender cmo aprender (Hargreaves, 2005). Uno de los propsitos del
estudio era analizar el potencial de las evaluaciones externas y diagnsticas para estimar el
grado de adquisicin de estas competencias, que recoge la nueva reforma educativa espa-
ola: la Ley Orgnica 2/2006 de Educacin (LOE) (Ley Orgnica, 2006). Desde este marco,
se estableci el objetivo de estudiar y valorar en qu medida las pruebas del Programa de
Evaluacin Internacional de Estudiantes (PISA por sus siglas en ingls) miden estas compe-
tencias y si de tal evaluacin se pueden obtener orientaciones para trabajar la estrategia
de aprender cmo aprender, en la lnea apuntada por algunos autores, como Hernndez
(2006) y Gil y Vlchez (2006). Estos encuentran en los informes de PISA una oportunidad
estimuladora para repensar la tarea que se lleva a cabo en los centros, ya que se pone de
maniesto que la escuela tiende a ensear para la reproduccin, mientras que las pruebas
PISA estn dirigidas a la aplicacin o transferencia de conocimientos a situaciones cotidia-
nas. Para este objetivo, dentro del equipo de investigacin, se establecieron grupos de tra-
bajo especcos para cada rea curricular (como veremos en el apartado de descripcin
metodolgica). As pues, en este artculo se resumen las principales conclusiones del rea
de Ciencias, es decir, la llamada competencia cientca, que la LOE denomina competen-
cia en el conocimiento y la interaccin con el mundo fsico.
Primero contextualizaremos la investigacin que desarrollamos en estas pginas
e incluiremos algunas anotaciones con respecto a la teora de los test; a continuacin,
describiremos el proceso metodolgico y el anlisis propiamente dicho de las prue-
bas de PISA en el rea de Ciencias.
Marco general de la investigacin
El propsito general del Proyecto I+D en el que se inserta nuestra investigacin es
intentar identicar en los estudiantes el grado de adquisicin de las competencias de
560
aprendizaje de segundo orden dentro de los propsitos y principios que orientan toda
evaluacin diagnstica y formativa.
Teniendo en cuenta lo anterior, el grupo de investigacin HUM-311, de la mano de
su director, ha tratado de comprender y delimitar la complejidad de competencias
y procesos incluidos en los aprendizajes de segundo orden denominados aprender
cmo aprender (Hargreaves, 2005) y ha intentado establecer un marco operativo
que identique los componentes bsicos de esta familia de competencias de segundo
orden en los escenarios escolares.
Los aprendizajes de orden superior o las competencias de aprender cmo apren-
der se conciben en nuestra investigacin como constructos complejos que incluyen
factores cognitivos y afectivos inseparables, que suponen un propsito de autorregu-
lacin del proceso de aprender y una decidida tendencia a comprender los procesos
en sus contextos para facilitar la actuacin competente del sujeto en su entorno, en
funcin del propio proyecto personal, social o profesional. Por tanto, la evaluacin de
los aprendizajes de segundo orden o las competencias de aprender cmo apren-
der requiere la atencin simultnea tanto a los factores cognitivos de orden superior
como a los factores afectivos o de motivacin que impulsan y estimulan los movimien-
tos de los aprendices (Prez Gmez, 2007, 2008).
En consonancia con esto, la evaluacin externa de los rendimientos educativos,
basada en test estandarizados de la que forma parte PISA, ha ido evolucionando desde
la medicin de aspectos puramente cognitivos a la intencin de medir competencias
complejas en contextos autnticos. Los test estandarizados centrados en lo cognitivo,
a pesar de estar ligados a poderosos sistemas de incentivos, se haban mostrado
insucientes para cambiar las prcticas educativas. Como consecuencia, la evaluacin
externa ha ido evolucionando con el propsito de proporcionar informacin ms til
para que los docentes puedan utilizarla cuando analicen sus prcticas, as como con el
de informar a la sociedad y a la Administracin educativa. Pero esta evolucin es lenta
y reeja las contradicciones que surgen al intentar medir competencias complejas en
situaciones autnticas con pruebas estandarizadas de lpiz y papel (Cumming y Wyat-
Smith, 2009; Servn, 2011).
Con este marco de partida, el grupo de investigacin ha analizado los programas
ms reconocidos de evaluacin diagnstica de desarrollo de competencias uno de
los cuales es PISA, para comprobar su adecuacin terica y prctica a las exigencias
delimitadas en el marco operativo propuesto, como veremos ms adelante. Adems,
en este anlisis, el equipo trata de identicar las fortalezas y debilidades de los progra-
mas de evaluacin analizados y, mediante tres estudios de caso, tiene la voluntad de
561
proponer alternativas; por ejemplo, el uso del portafolio como estrategia apropiada
para evaluar el desarrollo de la familia de competencias implicadas en los procesos de
aprender cmo aprender.
En este artculo, nos centraremos en el anlisis de las pruebas PISA. Para comprender
el proceso metodolgico seguido, debemos indicar previamente que, para el anlisis, el
equipo de investigacin en su conjunto decidi organizarse en tres grupos diferenciados,
a los que denominaremos comisiones. La constitucin de estas comisiones responde a la
necesidad de manejar los anlisis de cada una de las reas de evaluacin abordadas. Este
artculo corresponde al rea de Ciencias.
Descripcin del proceso metodolgico de la comisin de Ciencias
La comisin de Ciencias est compuesta por cinco investigadores del grupo HUM-311, del
rea de Didctica y Organizacin Escolar: cuatro doctores en Ciencias de la Educacin y un
licenciado en Pedagoga. Adems, cuenta con un investigador doctor experto en Didctica
de las Ciencias, con amplia trayectoria en este campo, como avalan sus innumerables
publicaciones sobre dicha materia.
La investigacin de las pruebas de PISA en el rea de Ciencias se inici en el ao
2008 con un estudio preliminar de los diferentes marcos tericos relacionados tanto
con los informes de PISA como con investigaciones relevantes sobre el mbito de las
competencias educativas y el constructo de aprender cmo aprender (Hargreaves,
2005).
Una vez analizados estos marcos tericos, el grupo de Ciencias decidi analizar las
pruebas de PISA en dicha rea. El acceso a todas las pruebas constituy una dicultad
aadida al proceso metodolgico, puesto que tan solo pudieron analizarse las pruebas
que ya haban sido liberadas en las publicaciones que se especican a continuacin:
Informe Espaol de PISA 2006 (cuatro unidades), Marco de la Evaluacin de PISA 2006
(16 unidades) e tems liberados de PISA 2000 y 2003 (13 unidades).
Para el anlisis de estas pruebas, diseamos una cha en formato web (Figura I),
para que cada investigador pudiera analizar los tems de las diferentes pruebas PISA y
volcarlos a una base de datos comn para tratarlos con SPSS. Estos anlisis ocuparon
todo el ao 2009. Adems, los resultados se sometan a una discusin continua para
llegar a su triangulacin. Por otra parte, para validar los hallazgos, los resultados se
562
contrastaron con el investigador-experto en Didctica de las Ciencias, lo que tuvo
lugar tanto mediante reuniones presenciales mantenidas para tal efecto como a tra-
vs de una plataforma virtual, basada en el sistema Moodle. De esta triangulacin, el
equipo de investigacin, gracias a la gua de su director (el profesor don ngel I. Prez
Gmez), decidi emplear en sus anlisis una taxonoma de capacidades similar a la
propuesta por Hopmann, Brinek y Retzl (2007), como veremos detenidamente en el
epgrafe Anlisis de capacidades.
Analizadas todas las pruebas y extrados los datos estadsticos, as como las particularidades
que cada investigador observ (lo que llamamos incidentes crticos), y para redundar en y
validar los resultados obtenidos, las diferentes pruebas se volvieron a someter a anlisis. Cada
capacidad establecida a priori se valor de nuevo en funcin, primero, de su presencia en la
prueba y despus de su peso en ella. As, se estableci una gradacin de 1 a 3 para indicar
qu capacidades aparecen como dominantes y cules son ms secundarias. Al tiempo, se
intentaron establecer los paralelismos existentes entre estas y las capacidades denidas por
PISA. Como ltimo paso, todos los frutos de la investigacin, conclusiones y resultados se
plasmaron en un completo informe sectorial del rea de Ciencias.
FIGURA I. Ficha base de anlisis
Anlisis Pruebas:
1. Ttulo:
2. N. de pregunta:
3. Ao:
rea:
Tema:
Proceso:
Competencia requerida:
4. Pautas de correccin (respuesta nica o cuado plantean diversos niveles de respuesta):
Tipo de respuesta:
N. de opciones: Mxima puntuacin ( ), puntuacin parcial ( ), ninguna puntuacin ( ).
5. Capacidades (respuesta con calicacin mxima):
6. Observaciones:
NIVELES
Reproduccin Aplicacin
Comprensin
Transferencia Heurstica
Comunicacin
Reexin Argumentacin
CAPACIDADES
563
Sobre la competencia cientca
Otro nivel de discusin tuvo que ver con la validez de las pruebas de PISA para evaluar
competencias y, en todo caso, sobre qu es lo que realmente evala.
Para su discusin, debemos comenzar por recordar que la nocin de competencia
no es unvoca. Heredada de la Formacin Profesional y de las exigencias del mundo
empresarial, una persona es competente para un trabajo determinado cuando tiene
capacidad para hacerlo de forma adecuada y creativa (Cockenill, 1989). En el mbito
de la enseanza en el mundo anglosajn, este concepto ha seguido utilizndose desde
hace decenios en movimientos de reforma escolar ms ajustados a las demandas del
mercado. En este mbito, eran los empresarios y los empleadores en general quienes
establecan las cualidades que perlan un aprendizaje competente (Mirabile, 1998).
La Organizacin para la Cooperacin y Desarrollo Econmico (OCDE) adopt, en los
aos noventa, esta idea y se propuso impulsar en el mbito internacional un cambio
de rumbo en los sistemas educativos de los pases miembros, para que enfocaran la
enseanza para lograr aprendizajes ms competentes, con la conviccin de que ello
redundara en un mayor desarrollo econmico en estos pases. As, se identicaba
claramente aprendizaje competente con aumento de la competitividad (OECD, 1997).
La famosa escalera del conocimiento de North (1998), en la que se representaba la idea
de que el papel del sistema educativo consiste en ensear a los estudiantes a procesar
la informacin para adquirir conocimientos y aprender destrezas, reeja esta idea
claramente. Pero adems, aade el autor, el conocimiento adoptado debera ponerse
en un contexto y aplicarse de modo que se adquieran competencias personales y
grupales, y con ello se alcance la competitividad.
En pleno debate sobre la nocin de competencia en la OCDE, Weinert (2001) ya
aportaba una visin compleja al respecto, pues consideraba que esta nocin haca
referencia a la combinacin de destrezas cognitivas, de motivacin, morales y sociales,
que subyacen en el dominio o maestra y que una persona era susceptible de asimilar,
mediante la comprensin y la realizacin apropiada de una serie de demandas, tareas,
problemas y metas.
Tras el largo debate sobre este concepto en el seno de la OCDE (Denition and
Selection of Key Competencies: DESECO), Rychen y Salganik (2001) concluyeron
que la competencia es una aproximacin funcional frente a demandas y tareas, en
las que se requieren no solo conocimientos y destrezas, sino tambin estrategias y
rutinas necesarias para aplicar tales conocimientos y destrezas, as como emociones
564
y actitudes apropiadas y un manejo efectivo de todos los componentes. Algo ms
adelante, Rychen y Tiana (2004) volvan a resaltar esta concepcin de DESECO al denir
la competencia como un concepto holstico que integra la existencia de demandas
externas, los atributos personales (incluida la tica y los valores) as como el contexto.
Es decir, se entiende que las competencias son sistemas complejos de pensamiento
y actuacin, que suponen la combinacin de conocimientos, habilidades, actitudes,
valores y emociones (Prez Gmez, 2007, 2008).
De este modo, la nocin de competencia conlleva componentes cognitivos pero
tambin de motivacin, ticos, sociales y conductuales. Combina rasgos estables,
resultados de aprendizajes, sistemas de creencias y valores, y otras caractersticas
psicolgicas. Desde este punto de vista, las destrezas bsicas de lectura, escritura
y clculo son componentes crticos de numerosas competencias. Mientras que el
concepto de competencia se reere a la habilidad de enfrentarse a demandas de alto
grado de complejidad e implica sistemas de accin complejos; el trmino conocimiento
se aplica a hechos o ideas adquiridas mediante estudio, investigacin, observacin o
experiencia, y se reere a un cuerpo de informacin que es comprendido. Con el
trmino destreza se designa la habilidad de usar el conocimiento propio en tareas
relativamente fciles de desempear. Se reconoce que la lnea entre competencia y
destreza es algo borrosa, pero la diferencia conceptual entre estos trminos es real.
Contradictoriamente, cuando se elabor el PISA, se abandon esta concepcin
holstica y se adopt un enfoque analtico, que atomiza la competencia en tantas
partes como materias acadmicas de niveles no universitarios hay, y que presta ms
atencin a una de estas materias en cada trienio: primero la competencia lectora
(OCDE, 2002a), luego la matemtica (OCDE, 2004) y nalmente la cientca (OCDE, 2006).
Cada competencia parcial se dena por un conjunto de capacidades que eran el
objeto preciso de evaluacin. Seguramente, este enfoque analtico sea ms operativo
para realizar una tarea tan ardua como una evaluacin internacional, en tanto que da
ms garantas de que se aplique y se corrija de modo objetivo, pero decididamente no
evala la competencia como tal, sino meramente capacidades, como mostramos en
esta investigacin (Figura II).
565
FIGURA II. Proceso de atomizacin de la competencia en capacidades para su evaluacin por PISA
En el caso particular que nos ocupa, la competencia cientca fue denida por PISA
(OCDE, 2006) como:
La capacidad de emplear el conocimiento cientco para identicar proble-
mas, adquirir nuevos conocimientos, explicar fenmenos cientcos y ex-
traer conclusiones basadas en pruebas sobre cuestiones relacionadas con la
ciencia. Adems, comporta la comprensin de los rasgos caractersticos de
la ciencia, entendida como un mtodo del conocimiento y la investigacin
humanas, la percepcin del modo en que la ciencia y la tecnologa confor-
man nuestro entorno material, intelectual y cultural, y la disposicin a impli-
carse en asuntos relacionados con la ciencia y con las ideas sobre la ciencia
como un ciudadano reexivo.
Para el programa PISA, la competencia cientca implica tanto la comprensin de
conceptos cientcos como la capacidad de aplicar una perspectiva cientca y de
pensar basndose en pruebas cientcas.
Se debe destacar que en el rea de Ciencias, PISA muestra una aparente evolucin
en su fundamentacin terica desde el ao 2000, cuando hablaba de formacin cien-
tca, sin alusin al concepto de competencia (OCDE, 2002). Posteriormente, tras el
informe de DESECO (2002), en PISA 2003 se empieza a abordar la nocin de competen-
cia cientca, aunque en los mismos trminos que en el ao 2000, es decir, como un
sumatorio de conocimientos, procesos y situaciones o contextos (personal, pblico
y global) (OCDE, 2004). Finalmente, en 2006, ao en que se incorpora la evaluacin
en el rea de Ciencias, se introduce el concepto de competencia cientca aplicado
a un individuo concreto, pero manteniendo el objetivo de evaluar el conocimiento
(conceptos) y la aplicacin del mismo a una situacin o contexto (capacidades),
aadiendo como nica novedad, la disposicin (actitud) de los alumnos hacia las
pruebas y el conocimiento cientco (OCDE, 2006).
Competencia general
Competencia lectora Competencia matemtica Competencia cientca
Capacidad
1
Capacidad
2
Conocimiento Capacidad
1
Capacidad
2
Conocimiento Capacidad
1
Capacidad
2
Conocimiento
566
Si se acepta la concepcin holstica de competencia, no es el dominio de una capa-
cidad sola el que hace competente al aprendiz, sino el dominio de todas, aplicadas de
manera global para resolver problemas de la vida real, mxime cuando algunas de ellas
(por ejemplo, la competencia lectora y la matemtica) son claramente transversales.
En el caso especco de la competencia cientca, es evidente que PISA evala las tres
capacidades en que se descompone de forma independiente y no elabora ninguna
prueba que demande su aplicacin combinada o global, por lo que ponemos en duda
que esta prueba evale realmente tal competencia. Otro nivel de discusin se plantea
en relacin con el contexto, ya que la adquisicin de una competencia en el contexto
acadmico no asegura que se domine o aplique en un contexto no acadmico, en la
vida real del aprendiz, que es donde realmente se fraguan las competencias de valor
para el mercado de trabajo y la actividad humana en general.
En suma, para evaluar la competencia sera preciso disear pruebas que inte-
graran todas las competencias especcas de las reas y que, dentro de cada rea,
integraran todas las capacidades en las que se basan, sin olvidar el componente
actitudinal, normalmente ausente en estas pruebas. PISA ha optado por un diseo
ms analtico en su afn de facilitar una mayor abilidad estadstica de la correccin.
De este modo, no extraa que durante la aplicacin de pruebas diseadas al estilo
de PISA, se advierta que en muchas de las dirigidas a la evaluacin de la competencia
cientca se obtienen bajos resultados debido a una baja competencia lectora (por
ejemplo, no se comprende el enunciado) o por una baja competencia matemtica
(por ejemplo, no se sabe interpretar un grco) o, simplemente, porque el aprendiz
muestra actitudes negativas hacia la prueba o su contenido. Sin embargo, los crite-
rios de correccin no parecen registrar estas incidencias, por lo que se pierde la
oportunidad de realizar un diagnstico ms global y cercano a la realidad.
Anlisis de capacidades
Debe recordarse aqu que PISA trata de evaluar las competencias cientcas a travs del
dominio de los procedimientos cientcos que estn en la base de las preguntas, de la
comprensin de las capacidades que estn presentes en su resolucin y de la valora-
cin de las actitudes que presentan los alumnos hacia la ciencia actual. As, PISA evala
el conocimiento cientco a travs de tres dimensiones: a) los procesos o destrezas
567
cientcas; b) los conceptos y contenidos cientcos; y c) el contexto en que se aplica
el conocimiento cientco. Por otra parte, PISA identica cinco procesos cientcos: re-
conocer cuestiones cientcamente investigables; identicar las evidencias necesarias
en una investigacin cientca; extraer o evaluar conclusiones; comunicar conclusio-
nes vlidas; demostrar la comprensin de conceptos cientcos en determinadas situa-
ciones. Estos procesos cientcos se organizan en tres grupos de competencias segn
el tipo de capacidad de pensamiento predominante que se requiere para resolver las
preguntas que se presentan (OCDE, 2006) (Cuadro I).
CUADRO I. Tipos de capacidades en la competencia cientca
Identicar
cuestiones
cientcas
Reconocer cuestiones susceptibles de ser investigadas cientcamente
Identicar trminos clave para la bsqueda de informacin cientca
Reconocer los rasgos clave de la investigacin cientca
Explicar
fenmenos
cientcos
Aplicar el conocimiento de la ciencia a una situacin determinada
Describir o interpretar fenmenos cientcamente y predecir cambios
Identicar las descripciones, explicaciones y predicciones apropiadas
Utilizar
pruebas
cientcas
Interpretar pruebas cientcas y elaborar y comunicar conclusiones
Identicar los supuestos, las pruebas y los razonamientos que
subyacen a las conclusiones
Reexionar sobre las implicaciones sociales de los avances cientcos
y tecnolgicos
Fuente: elaboracin propia a partir de OCDE, 2006.
Con independencia de estas tres capacidades, que PISA desglosa como partes de
lo que denomina competencia cientca, hemos realizado un anlisis de las pruebas
utilizando una escala de capacidades cientcas basadas en la propuesta de Hopmann
et l. (2007), como ya indicbamos brevemente en el apartado de descripcin meto-
dolgica (Cuadro II).
CUADRO II. Capacidades registradas en las pruebas liberadas de PISA (2000-06)
Orden Capacidad Signicado
1 Reproduccin RP
Supone repetir de forma mecnica y memorstica los
conocimientos cientcos
2 Aplicacin AP
Consiste en aplicar los conocimientos cientcos aprendidos
previamente a situaciones sencillas o conocidas
568
3 Reexin RF
Implica la comprensin del fenmeno cientco y reexionar
sobre los conocimientos aprendidos en esta rea
4 Transferencia TR
Supone aplicar el conocimiento aprendido a nuevas
situaciones, conectando ideas, conceptos o hechos cientcos
5 Heurstica HE
Requiere el diseo de un plan o la descripcin de los pasos
que es necesario seguir para llegar a una solucin
6 Argumentacin AR
Requiere razonar de forma argumentada para explicar el
fenmeno cientco que se trate, comunicando la conclusin
cientca a la que se llegue a travs del lenguaje escrito
Fuente: elaboracin propia.
FIGURA III. Jerarqua de capacidades analizadas en las pruebas PISA
Obsrvese que las tareas que requiere cada tipo de capacidad se presentan en
orden creciente de complejidad. De este modo, el nivel ms bajo est representado
por la mera reproduccin del conocimiento cientco que, aunque requiere
una capacidad de memorizacin, no representa un tipo de aprendizaje de orden
superior, ya que repetir un conocimiento declarativo no implica necesariamente su
comprensin y menos an su utilizacin para resolver problemas, sean acadmicos
o de la vida cotidiana. En el nivel ms alto se sita la heurstica. Con esta capacidad,
el aprendiz muestra habilidad para planicar creativamente un procedimiento para
averiguar o solucionar un problema, sea acadmico o de la vida cotidiana. Esta escala
de capacidades segn su complejidad tambin representa una escala de apertura
intelectual, de divergencia y de creatividad, pues se pasa de planteamientos cerrados
a planteamientos totalmente abiertos (Figura III).
Estas seis capacidades cientcas grosso modo guardan cierta correspondencia
con las tres capacidades denidas y evaluadas por PISA para el rea de Ciencias (Cuadro
569
III). Excluimos aqu las actitudes, puesto que no son un parmetro de capacidad en
sentido estricto, aunque bien evaluadas podran aportar bastante luz a los resultados
en las capacidades, dada la estrecha relacin entre lo cognitivo y lo afectivo.
CUADRO III. Equivalencia de capacidades PISA-HUM-311
Capacidades de PISA Capacidades HUM-311
1. Identicacin de cuestiones cientcas 1. Comprensin/Reexin
2. Explicacin cientca de fenmenos 2. Comunicacin/Argumentacin*
3. Utilizacin de pruebas cientcas 3. Aplicacin/Transferencia
4. Actitudes hacia la Ciencia (-)
(-) 5. Heurstica/Creacin
(-) 6. Reproduccin
(*) Este apartado incluye la interpretacin de grcos y tablas.
Fuente: elaboracin propia a partir de Hopmann et l., 2007.
Resultados y discusin. Capacidades que demanda PISA
A partir del anlisis realizado sobre las capacidades que segn hemos deducido a
partir de las preguntas liberadas de PISA (2000-06) intenta evaluar este programa,
obtuvimos los siguientes resultados para cada una de las seis capacidades denidas,
con una gradacin de puntuaciones desde el 0 al 3 (Tabla I):
TABLA I. Resultados del anlisis de pruebas PISA (% Puntuacin mxima)
RP AP RF TR HE AR
No presente 67,73 34,31 1,96 49,02 72,55 54,90
1 12,75 28,31 12,75 12,75 1,96 4,90
2 3,92 12,75 26,47 17,65 2,94 9,80
3 0,00 17,65 56,86 1,96 7,84 17,65
NR 19,61 6,86 1,96 18,63 14,71 12,75
Presente 16,67 58,5 96,08 32,36 12,78 32,35
570
Siendo la referencia la puntuacin mxima, los resultados que tomamos como
elemento de anlisis constituyen la diferencia entre el total de puntuaciones no pre-
sentes y el resto, lo que ofrece el porcentaje de presencia de cada capacidad en las
pruebas analizadas.
A partir del anlisis de las pruebas realizado por el grupo de investigacin (Gallardo,
Fernndez, Seplveda, Servn, Yus y Barqun, 2010), encontramos que la capacidad que
se requiere en ms ocasiones es la que hemos denido como reexin o comprensin
(un 96,08% del total de tems). Esta implica el entendimiento del fenmeno cientco en
cuestin y la reexin sobre los conocimientos cientcos implicados. En este sentido,
encontramos que, en la mayora de los tems, dicha capacidad no va ms all de la mera
recuperacin de informacin que aparece en el texto que, a modo de estmulo, se presenta
al inicio del tem; es decir, ni siquiera es necesario que el estudiante ponga en relacin
la informacin del texto con lo que ya sabe. Algunos tems, no obstante, reclaman una
reproduccin de conocimientos cientcos tal y como hemos denido esta capacidad,
relacionada con la memorizacin mecnica. Concretamente, aparece tan solo en un
16,67% de los casos, lo cual puede tener que ver con la denicin de competencia
que se deende desde el propio programa PISA, de acuerdo con la cual la reproduccin
queda claramente descartada en la valoracin. Por otra parte, tambin encontramos
que son frecuentes las preguntas de aplicacin (58,5% de los tems analizados), la cual
va generalmente asociada a los contenidos que aparecen en la propia prueba. En este
sentido, cabe armarse que las pruebas que hemos analizado, salvo en pocas ocasiones,
se pueden responder de forma efectiva si se comprende la informacin que se aporta
en la misma actividad y si se aplican los conocimientos que se suelen presentar en el
propio tem. En otras ocasiones, hay que aplicar esta comprensin en una situacin
nueva, es decir, se requiere transferencia del conocimiento, pero esta aparece tan solo
en un 32,36% de los tems analizados. Del mismo modo, encontramos que otra de las
capacidades superiores denidas por el grupo de investigacin, la heurstica es decir,
la capacidad de disear estrategias para resolver la situacin planteada, aparece en un
porcentaje muy bajo de las pruebas analizadas (12,78%).
Por otra parte, en las pruebas examinadas, no siempre se estimula la argumentacin, ms
bien, parece que lo nico que interesa es la respuesta aplicada por parte del estudiante, es
decir el resultado nal, y no tanto el proceso que lleva al alumno a dar una u otra respuesta.
De hecho, aun cuando la argumentacin se considera una de las capacidades ms intere-
santes para la evaluacin de competencias en sentido complejo, tan solo est presente en
un 32,35% de los tems analizados. Nuestro estudio evidencia que la argumentacin es una
de las capacidades centrales en la evaluacin de la competencia cientca, en tanto que es
571
la que pone de relieve el pensamiento complejo del estudiante. En las pruebas analizadas,
cuando la argumentacin est presente, suele implicar un nivel elevado de dicultad, pero
solo se suele dar como vlida una sola respuesta que es la que obtiene mayor puntuacin,
por lo que no se tienen en cuenta las relaciones que ha podido establecer el estudiante o las
reexiones que ha podido realizar. Las preguntas abiertas, en las que s est presente la capa-
cidad de argumentacin, exigen que el estudiante est habituado a razonar y a comunicar
sus planteamientos; por tanto, se alejan del mero reconocimiento; adems, implican que el
estudiante sepa leer comprensivamente y expresarse correctamente por escrito; todo ello
es de suma relevancia para una autntica evaluacin de competencias.
El Grco I nos muestra los resultados obtenidos de nuestro anlisis de capacida-
des de las pruebas liberadas de PISA (2000-06).
GRFICO I. Modelo obtenido del anlisis de capacidades
Este grco se obtiene llevando los datos de la Tabla I a un sistema de coordenadas
en el que, en el eje de las abscisas, se sitan las capacidades examinadas en las
pruebas PISA, ordenadas por complejidad creciente. Para interpretar este grco, en
los Grcos II y III se muestra una representacin ideal del que se obtendra con
unas pruebas centradas en la evaluacin del aprendizaje competencial (Grco III)
y del que se originara con unas pruebas centradas en la evaluacin del aprendizaje
culturalista (Grco II).
RP AP RF TR HE AR
% Puntuacin mxima preguntas PISA (2000-2005)
120
100
80
60
40
20
0
16,67
58,5
96,08
32,36
12,78
32,35
572
120
100
80
60
40
20
0
RP AP RF TR HE AR
% Puntuacin mxima por pregunta
10
20
40
55
80
98
120
100
80
60
40
20
0
RP AP RF TR HE AR
% Puntuacin mxima por pregunta
20
98
40
55
80
10
Estos grcos representan los resultados esperables en sistemas de evaluacin
adaptados a dos modelos pedaggicos extremos por lo que se reere a las capacidades
evaluadas: el modelo culturalista, centrado en la reproduccin del conocimiento
cientco y por tanto, acorde con la escuela tradicional basada en aprendizajes
acadmicos (Grco II), y el modelo competencial, centrado en la funcionalidad del
aprendizaje cientco y por tanto, acorde con una escuela ms moderna, basada en
aprendizajes por competencias (Grco III).
GRFICO II. Modelo de aprendizaje culturalista
GRFICO III. Modelo de aprendizaje competencial
573
Del anlisis de las preguntas de PISA (Grco I) se obtiene un modelo intermedio entre
los dos extremos sealados, con un claro sesgo hacia las capacidades menos complejas,
pues las tres primeras renen el 68,8% de las preguntas, mientras que las tres ltimas, con-
sideradas ms complejas, renen el 31,2%. Lo relevante de este anlisis es que, a nuestro
juicio, de acuerdo con su marco terico, PISA pretende evaluar una enseanza que corres-
ponde ms con el modelo representado en el Grco III. Por eso, al menos a juzgar por las
pruebas liberadas, tenemos nuestras dudas de que el programa evale de acuerdo con los
objetivos y el modelo de competencia cientca que maneja PISA en la teora.
Conclusiones
PISA pretende establecer un marco comn, internacional, de evaluacin del rendimiento
de los estudiantes de 15 aos, entendido este como nivel de competencia. Partiendo de
esta premisa, PISA disea unas pruebas para conocer qu capacidades tienen los estudian-
tes de analizar y resolver situaciones determinadas. Es decir, el enfoque de evaluacin gira
en torno a la valoracin de los conocimientos, capacidades y actitudes que un estudiante
debe activar para dar respuesta a un problema. Responder a esta demanda requiere aplicar
el conocimiento a contextos diversos y que estos posibiliten la resolucin, la comunica-
cin y la adecuada expresin de la respuesta, esto es, que sean tiles. Con lo cual, solventar
las situaciones cotidianas supera la mera memorizacin de conceptos y su reproduccin y,
por el contrario, exige que los alumnos hayan adquirido un aprendizaje relevante.
Sin embargo, en nuestro anlisis, encontramos ciertas limitaciones en la evaluacin
de la competencia cientca en los trminos que dene el propio programa PISA como
un saber hacer complejo. En este sentido, consideramos que se debera potenciar una
aproximacin ms holstica e interdisciplinar a las competencias, pues encontramos
una falta de correspondencia entre el concepto de competencia que plantea DESECO
(2002) y el que plantea PISA (OCDE, 2006), que tiende a atomizarla adoptando un enfoque
analtico y a fragmentarla en disciplinas, capacidades, habilidades y destrezas segn
hemos analizado. De esta manera, se aleja de la concepcin holstica original y obvia los
componentes de motivacin, sociales y ticos, para evaluar nicamente capacidades que,
al ser valoradas individualmente, parecen no mostrar realmente el grado de adquisicin
de competencias en la escuela. PISA evala la competencia cientca a partir de las tres
capacidades en que se descompone de forma independiente y parece prestar escasa
574
atencin a la aplicacin combinada o global de estas. Por estos motivos, dudamos de la
viabilidad de la prueba para evaluar la competencia cientca.
As pues, consideramos que PISA parece alejarse de las capacidades de orden
superior como son la transferencia, la heurstica y la argumentacin y demanda con
mayor frecuencia capacidades cientcas de baja complejidad aplicacin, reexin,
aunque con escasa presencia de la mera reproduccin (Hopmann et l., 2007).
Por otra parte, consideramos que se debera aprovechar todo el potencial crtico
de las preguntas. Hemos encontrado que un articio llamativo de las pruebas de PISA
parece ser la restriccin de los problemas a contextos puramente acadmicos, con
escasa o nula conexin con los temas transversales y de la vida real. Entendemos
que la adquisicin de una competencia en el contexto acadmico no asegura que el
aprendiz la domine o aplique en un contexto de la vida real. Es cierto que algunas acti-
vidades plantean cuestiones de salud y medio ambiente, pero no parecen profundizar
en ellas, no plantean preguntas que revelen en profundidad la actitud del alumno, ni
suscitan reexiones o dilemas ticos ligados a la actividad cientca.
Puede que el hecho de que las pruebas deban ser sometidas al anlisis estadstico,
as como su formato de papel y lpiz, est en la base de esta desconexin (Prez Gmez
y Soto Gmez, 2011). Aunque entendemos que a la hora de realizar una evaluacin
internacional esta opcin puede facilitar la ardua tarea de aplicacin y correccin,
consideramos que no permite evaluar la competencia en los trminos anteriormente
sealados. Tal como hemos indicado en el apartado sobre el marco general de la
investigacin, creemos que la utilizacin del portafolios puede ser un interesante
instrumento de evaluacin de aprendizajes relevantes, es decir, de los conocimientos,
las habilidades, las actitudes y los valores que un individuo requiere para solventar
una situacin concreta, tomando conciencia de forma activa y reexiva del problema
presentado y adoptando estrategias de forma consciente para su resolucin (Prez
Gmez, 2007). Esta herramienta permite indagar en las interpretaciones que realizan
los estudiantes de los contextos, del cuestionamiento al que se someten para responder
de forma ajustada y de los argumentos utilizados para plantear una solucin. Somos
conscientes de que este tipo de evaluacin requiere invertir ms tiempo y es ms
costosa desde el punto de vista econmico, pero proporciona una mayor informacin
sobre las competencias adquiridas por los alumnos.
A modo de conclusin nal, cabra plantearse para futuras investigaciones si este
modelo de evaluacin de competencias que plantea PISA (mediante pruebas estandarizadas)
es el ms adecuado para las nalidades que se proponen desde el propio programa de
evaluacin. Consideramos, a la luz de nuestra investigacin, que se precisan otros modelos
575
ms acordes para la evaluacin de competencias educativas en sentido holstico. De
acuerdo con ello, ponemos en duda que la solucin de la evaluacin de competencias
est en el perfeccionamiento de la prueba PISA o del modelo elegido para tal efecto.
Referencias bibliogrcas
Cockenill, T. (1989). The Kind of Competence for Rapid Change. Personnel
Management, September, 52-56.
Cumming, J. J. y Wyatt-Smith, C. M. (2009). Framing Assessment Today for the Future:
Issues and Challenges. En Educational Assessment in the 21
st
Century. New York:
Springer.
Gallardo, M., Fernndez, M., Seplveda, M. P., Servn, M. J., Yus, R. y Barqun, J. (2010).
PISA y la competencia cientca. Un anlisis de las pruebas de PISA en el rea de
Ciencias. RELIEVE, 16 (2). Recuperado de http://www.uv.es/RELIEVE/v16n2/RELIEVE
v16n2_6.htm
Gil Prez, D. y Vlchez, A. (2006). Cmo puede contribuir el proyecto PISA a la mejora
de la enseanza de las Ciencias (y de otras reas de conocimiento)? Revista de
Educacin, nmero extraordinario, 295-331.
Hargreaves, D. H. (2005). Personalising Learning 3: Learning to Learn & the New
Technologies. London: Specialist Schools Trust.
Hernndez, F. (2006). El informe PISA: una oportunidad para replantear el sentido del
aprender en la escuela secundaria. Revista de Educacin, nmero extraordinario,
357-379.
Hopmann, S. T., Brinek, G. y Retzl, M. (Eds.). (2007). PISA zufolge PISA - PISA According
to PISA. Hlt PISA, was es verspricht? Does PISA Keep What It Promises? Reihe
Schulpdagogik und Pdagogische Psychologie, 6. Germany: Wien Lit-Verlag.
Levy, F. y Murnane, R. J. (1999). Are There Key Competencies Critical to Economic
Success? An Economics Perspective, DeSeCo Expert Report. Neuchtel: Swiss
Federal Statistical Ofce.
Ley Orgnica 2/2006, de 3 de mayo, de Educacin. Boletn Ocial del Estado (Espaa),
4 de mayo de 2006, 196, 17158-17207.
Mirabile, R. J. (1998). Leadership Competency Development. Management
Development Forum, 1 (2).
576
North, K. (1998). Wissenorientierte Unternehmensfhrung. Wiesbaden: Gabler
Westschpfung durch Wissen.
OCDE (2002a). Conocimientos y aptitudes para la vida. Primeros resultados del PISA
2000 de la OCDE. Madrid: Santillana; MEC.
(2002b). La denicin y seleccin de competencias clave (DeSeCo). Resumen
ejecutivo. Recuperado de http://www.OECD.org/edu/statistics/deseco
(2004). Marcos tericos de PISA 2003. Conocimientos y destrezas en Matemticas,
Lectura, Ciencias y Solucin de problemas. Madrid: Santillana; MEC.
(2006). PISA 2006. Marco de la evaluacin. Conocimientos y habilidades en
Ciencias, Matemticas y Lectura. Madrid: Santillana; MEC.
OECD y Human Resources Development Canada (1997). Literacy Skills for the
Knowledge Society. Further Results from the International Adult Literacy Survey.
Paris: OECD; Human Resources Development Canada.
Oorbe, A. (2008). Las pruebas de evaluacin en Ciencias del proyecto PISA. Alambique,
57, 41-52.
Prez Gmez, . I. (2007). La naturaleza de las competencias bsicas y sus aplicaciones
pedaggicas. Cuadernos de Educacin de Cantabria. Santander: Gobierno de
Cantabria, Consejera de Educacin.
(2008). Competencias o pensamiento prctico? La construccin de los signicados
de representacin y accin. En J. Gimeno (Comp.), Educar por competencias,
qu hay de nuevo? Madrid: Morata.
y Soto Gmez, E. (2011). Luces y sombras de PISA. Evaluacin de capacidades de
razonamiento sobre problemas cotidianos. Revista Cultura y Educacin.
Rychen, D. S. y Salganik, L. H. (2001). Dening and Selecting Key Competencies.
Seattle: Hogrefe & Huber.
Rychen, D. S. y Tiana, A. (2004). Developing Key Competencies in Education: some
Lessons from International Experience. Paris: Unesco.
Servn Nez, M. J. (Coord.). (2011). La evaluacin externa de los aprendizajes
escolares. Revista Cultura y Educacin.
Weinert, F. E. (2001). Concept of Competence: A Conceptual Denition. En D. S. Rychen
y L. H. Salganik (Eds.), Dening and Selecting Key Competences. Seattle: Hogrefe
& Huber.
Direccin de contacto: Manuel Fernndez Navas. Universidad de Mlaga. Facultad de Ciencias
de la Educacin. Departamento de Didctica y Organizacin Escolar. Grupo de Investigacin
HUM-311. Campus de Teatinos s/n; 29071 Mlaga, Espaa. E-mail: mfernandez1@uma.es

Competencias Cientificas Pisa

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Competencias Cientificas Pisa

Uploaded by

Copyright:

Available Formats

Revista de Educacin, 360. Enero-abril 2013, pp.

You might also like