Professional Documents
Culture Documents
Resumen
Propsito: determinar la pertinencia y los datos iniciales de confiabilidad y validez de
las pruebas de Competencias Bsicas de Ingreso de la Universidad Arturo Prat (CBI-UAP),
construidas mediante la metodologa de niveles de dominio. Participantes: las pruebas se
disearon bajo el modelo de competencias y se aplic a una muestra de 104 estudiantes de
las carreras que estn en rediseo curricular, las carreras son Pedagoga bsica, Enfermera,
Ingeniera civil Industrial y Qumica y farmacia. As mismo, se emple una muestra adicional de
22 estudiantes para una comparacin entre la prueba de autoestima diseada en el estudio
y la prueba de estilos de aprendizaje de Schmeck. Metodologa: la prueba fue construida por
un equipo de expertos y validada mediante su aplicacin en una muestra de estudiantes.
Resultados: los resultados son parciales y muestran que las pruebas son pertinentes para
evaluar las competencias bsicas logradas por los estudiantes al ingreso a la educacin
superior, as como la autoestima. Sin embargo, es necesario continuar con el proceso de
validacin porque la informacin obtenida es todava parcial.
Palabras clave: competencias, autoestima, evaluacin, niveles de dominio.
Abstract
Purpose: To determine the relevance and reliability and validity of the initial data of the basic
skills test to enroll in the Universidad Arturo Prat (CBI-UAP), these test were constructed using
the proficiency methodology. Participants: The tests were designed under the competency
model and applied to a sample of 104 students for careers that are in curricular redesign,
like basic Education, Nursing, Civil Engineering and Industrial Chemistry and Pharmacy. Also,
we used an additional sample of 22 students to a comparison between self-esteem test
designed in the study and testing of learning styles Schmeck. Methodology: The test was built
by a team of experts and validated through its application in a sample of students. Results:
The preliminary results shown the tests are relevant to assess basic skills and self-esteem of
students in the admission process to access universitary education. However, it is necessary
to continue the validation process because the preliminarity of the information.
Key words: competence, self-assessment, proficiency.
1
2
3
4
5
20
Sergio Tobn T., Manuel Olcay Gonzlez, Pursima Neira C. , Armando Mallegas y Francisco Cartes
INTRODUCCIN
Se presenta la sistematizacin de una experiencia de
diagnstico y evaluacin de competencias bsicas y
del nivel de autoestima en estudiantes de los primeros
niveles universitarios, implementada en la Universidad Arturo Prat de Chile. El propsito es determinar
el grado de dominio que tienen los estudiantes de las
competencias bsicas y de la autoestima con el fin de
implementar acciones de refuerzo en dichas competencias, ya sea en los cursos regulares del primer ao
o en espacios formativos extra o complementarios.
De esta forma, los estudiantes con deficiencias en dichas competencias podrn mejorar su desempeo y
asegurar un mayor xito en la educacin superior.
Las competencias se definen en torno a las siguientes caractersticas: a) articulacin sistmica y en tejido
de las actitudes, los conocimientos y las habilidades
procedimentales; b) actuacin ante el anlisis y resolucin de problemas; y c) referencia a la idoneidad en
el actuar (Tobn, Garca Fraile, et al., 2006).
A partir de ello, consideramos que la definicin ms
pertinente y de mayor impacto para la transformacin de la educacin con base en una poltica de calidad, es la que presenta Tobn (2010a), quien plantea que las competencias son actuaciones integrales
ante problemas del contexto externo con idoneidad
y compromiso tico. En este sentido, las competencias bsicas son actuaciones esenciales para resolver problemas de la vida personal, de la sociedad y
del contexto en diferentes reas (Tejada y Tobn,
2006).
La evaluacin tradicional se ha tendido a caracterizar
por los siguientes aspectos (Tobn, 2006): 1) los parmetros tienden a ser establecidos por el docente sin
tener en cuenta criterios acadmicos y profesionales;
2) se brindan notas cuantitativas sin criterios claros
que las justifiquen; 3) generalmente se hace con el
fin de determinar quienes aprueban o reprueban una
asignatura; 4) tiende a centrarse ms en las debilidades y errores que en los logros; 5) es establecida por
el docente, sin tener en cuenta la propia valoracin y
participacin de los estudiantes; 6) tiende a castigar
los errores y no se asumen estos como motores esenciales del aprendizaje, y 7) son escasas las oportunidades para el automejoramiento, pues los resultados
de las pruebas de evaluacin son definitivos, sin posibilidades de correccin o mejora; 8) se asume como
un instrumento de control y de seleccin externo; 9)
se considera como un fin en s misma, limitada a la
constatacin de resultados; y 10) se centra en los estudiantes de manera individual sin tener en cuenta el
proyecto docente y de centro.
La evaluacin de las competencias se orienta a eva-
&RPSHWHQFLDV
&RPSHWHQFLDV
FRPXQLFDWLYDV
SVLFRVRFLDOHV
&RPSHWHQFLDDOJHEUDLFD
&RPSHWHQFLDOHFWRUD
&RPSHWHQFLDGH
&RPSHWHQFLDOyJLFD
&RPSHWHQFLDWH[WXDO
&RPSHWHQFLDQXPpULFD
21
DXWRHVWLPD
&RPSHWHQFLDSDUDHO
DSUHQGL]DMHSHUPDQHQWH
&RPSHWHQFLDJHRPpWULFD
&RPSHWHQFLDHVWDGtVWLFD
22
Sergio Tobn T., Manuel Olcay Gonzlez, Pursima Neira C. , Armando Mallegas y Francisco Cartes
Porcentaje de mujeres:
Qumica y farmacia: 64,5%.
Ingeniara civil industrial: 37,8%.
Enfermera: 91,7%.
Pedagoga general bsica: 60%.
Porcentaje de alumnos que rindieron la prueba por
carrera y semestre.
Qumica y farmacia: 86,1%.
Ingeniera civil industrial: 52,1%.
Enfermera: 53,3%.
Pedagoga general bsica: 55,6%.
2. Prueba de lenguaje:
Nmero total de estudiantes:
Qumica y farmacia: 16.
Ingeniera civil industrial: 31.
Enfermera: 24.
Pedagoga general bsica: 9.
Nmero de estudiantes que no respondieron bien la
prueba: 0 alumnos.
Pruebas anuladas por mal diligencia: 0 pruebas.
Porcentaje de mujeres:
Qumica y farmacia: 43,8%.
Ingeniara civil industrial: 38,7%.
Enfermera: 83,3%.
Pedagoga general bsica: 66,7%.
Porcentaje de alumnos que rindieron la prueba por
carrera y semestre.
Qumica y farmacia: 44,4%.
Ingeniera civil industrial: 43,7%.
Enfermera: 53,3%.
Pedagoga general bsica: 50%.
3. Prueba de autoestima:
La prueba de autoestima fue evaluada en una
muestra de 104 estudiantes que recin ingresan a
la educacin superior en la Universidad Arturo Prat.
As mismo, se emple una muestra de 22 estudiantes
para establecer una correlacin entre los resultados
de la prueba de autoestima y los resultados de la
prueba de Schmeck en autoestima.
23
RESULTADOS
Los resultados se presentan en dos partes. En primer
lugar se presenta el anlisis de pertinencia de la prueba
desde el modelo de competencias y despus se presentan datos de confiabilidad y validez.
Medicin de la pertinencia con las competencias bsicas a evaluar en la Universidad Arturo Prat
La prueba CBI-UAP se le envi a un grupo de expertos en evaluacin de competencias en la educacin superior y su concepto fue el que aparece en la Tabla 2.
6XESUXHEDGH
6XESUXHEDGH
PDWHPiWLFDV
OHQJXDMH
DXWRHVWLPD
9DORUDFLyQ
9DORUDFLyQ
9DORUDFLyQ
FXDQWLWDWLYD
FXDQWLWDWLYD
FXDQWLWDWLYD
([SHUWR
([SHUWR
([SHUWR
([SHUWR
([SHUWR
([SHUWR
([SHUWR
3URPHGLR
(YDOXDGRU
24
Sergio Tobn T., Manuel Olcay Gonzlez, Pursima Neira C. , Armando Mallegas y Francisco Cartes
1
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
680$
'DWRVYiOLGRV
0tQLPR
0i[LPR
0HDQ 9DULDQ]D
Subprueba de lenguaje:
Esta prueba consta de un total de 31 preguntas to-
25
1
0tQLPR
0i[LPR
0HDQ
9DULDQ]D
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
,7(0
7(0
,7(0
680$
'DWRVYiOLGRV
26
Sergio Tobn T., Manuel Olcay Gonzlez, Pursima Neira C. , Armando Mallegas y Francisco Cartes
97
101
93
89
85
81
77
73
69
65
61
57
53
49
45
41
37
33
29
25
21
17
13
Comentarios:
El tamao de la muestra de esta carrera es de 102
alumnos.
La media aritmtica de la carrera es de 202,6 puntos, mientras que la desviacin estndar es de 87,3
puntos.
El puntaje mnimo y mximo son 33 (pedagoga general bsica) y 403 puntos (enfermera) respectivamente.
'LDJQyVWLFRPDW
5HQGLPLHQWR
27
Puntajemat
Rendimiento
Coeficiente de Pearson:
&RUUHODFLRQHV
3XQWDMH
3HDUVRQ
SUXHED
&RUUHODFLyQ
3XQWDMHPDW 5HQGLPLHQWR
D
PDWHPiWLFDV
6LJWDLOHG
1
5HQGLPLHQWR 3HDUVRQ
DFDGpPLFR
D
&RUUHODFLyQ
6LJWDLOHG
1
D&RUUHODWLRQLVVLJQLILFDQWDWWKHOHYHOWDLOHG
Comentario: Hay una relacin positiva entre el resultado en la prueba de matemticas y el rendimiento
acadmico de los estudiantes en el semestre, con una
significacin de 0,01.
28
Sergio Tobn T., Manuel Olcay Gonzlez, Pursima Neira C. , Armando Mallegas y Francisco Cartes
1
7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79
Puntaje PSU lenguaje
La media aritmtica de la carrera es de 65,5 puntos, mientras que la desviacin estndar es de 23,5
puntos.
El puntaje mnimo y mximo son 6 (pedagoga general bsica) y 111 puntos (enfermera) respectivamente.
La cantidad de alumnos que fueron incluidos para el
anlisis de correlacin, fue de 80.
En este anlisis tomamos como variable independiente el puntaje de la prueba de autoestima de Schmeck
y como variable dependiente el puntaje de la prueba
de autoestima UNAP. Se consideraron 22 datos para
el presente anlisis.
6FKHPFN
81$3
29
UNAP
Schemck
Coeficiente de Pearson:
&RUUHODFLRQHV
81$3
3HDUVRQ
81$3 6FKHPFN
&RUUHODFLyQ
6LJWDLOHG
1
6FKHPFN 3HDUVRQ
&RUUHODFLyQ
6LJWDLOHG
1
El anlisis factorial mostr que la subprueba de matemticas fue la que mejor logr explicar la varianza
de los datos (31,093% de la varianza), por encima
de las subpruebas de la PSU. Esto indica que tiene
un alto valor predictivo. Las subpruebas de lenguaje y
autoestima, por su parte, lograron explicar el 8,776 y
el 6,617 de la varianza respectivamente.
30
Sergio Tobn T., Manuel Olcay Gonzlez, Pursima Neira C. , Armando Mallegas y Francisco Cartes
,QLFLDO
([WUDFFLyQ
3UXHEDPDWHPiWLFD
368OHQJXDMH
368PDWHPiWLFD
3UXHEDOHQJXDMH
$XWRHVWLPDJHQHUDO
$XWRHVWLPDVRFLDO
$XWRHVWLPDKRJDU
$XWRHVWLPDHVFRODU
7RWDODXWRHVWLPD
&RPSUHQVLyQ
0HQWLUD
&DUUHUD
6H[R
0pWRGRGHH[WUDFFLyQ$QiOLVLVGH&RPSRQHQWHVSULQFLSDOHV
Tabla 6. Valores del anlisis de componentes principales
6XPDVGHODVVDWXUDFLRQHVDO
$XWRYDORUHVLQLFLDOHV
FXDGUDGRGHODH[WUDFFLyQ
GHOD
&RPSRQHQWH
7RWDO
YDULDQ]D
DFXPXODGR
7RWDO
GHOD
YDULDQ]D DFXPXODGR
(
(
0pWRGRGHH[WUDFFLyQDQiOLVLVGHFRPSRQHQWHVSULQFLSDOHV
DISCUSIN
La prueba CBI-UAP es pertinente para la evaluacin
de las competencias bsicas de ingreso y el nivel de
autoestima en los estudiantes que ingresan a la Universidad Arturo Prat, ya que est construida bajo el
modelo de competencias y brinda informacin til
para orientar procesos de refuerzo a los estudiantes
que lo requieren, tanto en las asignaturas normales
del plan de estudios como en espacios educativos
complementarios. Esto es fundamental hacerlo para
asegurar la calidad de los programas acadmicos y
contribuir al xito de los estudiantes durante su formacin, buscando con ello disminuir la desercin y
asegurar el desarrollo de las competencias (Tobn,
2009a, 2009b; Tobn, 2010a, 2010b).
Respecto a los datos de confiabilidad estos no son
concluyentes y la nica subprueba que arroj datos
relevantes es la subprueba de matemticas que tuvo
un ndice alfa de Cronbach de 0,77, estando en el
rango de lo aceptable. Respecto a las pruebas de autoestima y lenguaje, los ndices alfa de Cronbach fueron de 0,53 y 0,61 respectivamente, que aunque son
ndices importantes no alcanzar a estar en lo esperado
(Henerson, Lyons & Taylor, 1987). Por lo tanto, son
necesarios nuevos estudios con muestras ms grandes
con el fin de determinar la consistencia interna de estas dos subpruebas.
Respecto a la validez de constructo, se hizo un anlisis factorial y este demostr gran prediccin de la
subprueba de matemticas y en cierta parte tambin
de la subprueba de lenguaje. En el caso de la prueba
de matemticas, es importante indicar que su valor
predictivo fue superior a la prueba PSU de matemticas que realizan los estudiantes antes de ingresar a la
universidad.
Con respecto a la validez concurrente, el presente
estudio demuestra que tanto la subprueba de matemticas como la subprueba de lenguaje tienen un alto
grado de validez porque tuvieron una correlacin significativa y positiva con la prueba PSU en matemticas y lenguaje, respectivamente. Esto significa que
tienen efectos similares a los de otra prueba con alto
grado de confiabilidad y validez. As mismo, es importante sealar que hubo una correlacin positiva y
significativa de la subprueba de matemticas con el
rendimiento acadmico de los estudiantes.
31
Se recomienda mejorar las subpruebas de matemticas y lenguaje y aplicarlas en una muestra mayor de
estudiantes, siguiendo la metodologa de evaluacin
de competencias. Esto mismo se sugiere con respecto
a la prueba de autoestima, la cual se debera relacionar con otra prueba de autoestima ya validada.
Tobn, S., Pimienta, J., & Garca, J. A. (2010). Secuencias didcticas: aprendizaje y evaluacin de competencias. Mxico: Pearson.
Tobn, S, Garca Fraile, J. A. et al. (2006). La formacin por competencias en la educacin superior.
Madrid: Universidad Complutense de Madrid.
REVISIONES BIBLIOGRFICAS
32
Sergio Tobn T., Manuel Olcay Gonzlez, Pursima Neira C. , Armando Mallegas y Francisco Cartes