Professional Documents
Culture Documents
1. INTRODUCCIN
1.1. Evaluar por qu y para qu?
En la dcada de los ochenta, varios sistemas universitarios occidentales,
estrenaron nuevos marcos jurdicos caracterizados, entre otras notas, por la
autonoma de la universidad. Un argumento fundamental para esta transformacin
fue considerar la autonoma como un instrumento decisivo para el logro de los
objetivos de calidad y progreso de la educacin superior.
Se presume que la autonoma de la universidad permite la innovacin,
incrementa la eficiencia y eleva la efectividad. El espritu de la Ley Universitaria
concibe la autonoma universitaria como un factor de mejora del sistema, al
referirse a la pluralidad, pues la variabilidad conlleva un incremento de la calidad.
Por ello, es bueno recordar la norma espaola:
...el sistema de universidades que resulta de la aplicacin progresiva de esta Ley,
se caracterizar por una diversificacin entre las Universidades, que estimular
sin duda, la competencia entre las mismas para alcanzar niveles ms altos de
calidad y excelencia, si bien se garantiza una calidad mnima homognea para
todas la Universidades nacionales (Prembulo. LRU. 1983)
Por esta consideracin, se ha ido pasando de una racionalidad basada en el
control y la planificacin centralizada a otra que acenta el principio de
autorregulacin; y la contrapartida exigida por diversos gobiernos ha sido la
exigencia de una rendicin de cuentas (Accountability) a fin de demostrar que las
decisiones y las acciones de la universidad estn dirigidas a la mejora de la
calidad.
Adems, hay otras razones que justifican la necesidad de desarrollar procesos de
autoevaluacin:
a. Los costes se han disparado como consecuencia del contexto econmico y del
nmero de personas que buscan acceder a una profesin universitaria.
b. La sociedad exige al sistema universitario una mayor aportacin al desarrollo
nacional.
c. La internacionalizacin de la produccin y de la formacin superior reclama
niveles de calidad contrastados y contrastables.
d. Todo usuario / cliente tiene derecho a conocer datos y especificaciones acerca
de la calidad ofrecida por la institucin en la que ingresa y desarrolla su
formacin.
e. La universidad, como todo servicio pblico, ha de ofrecer evidencia a la
sociedad de la calidad de su accin.
f. La fase de expansin de los sistemas de Enseanza Superior (centros y
programas) ha puesto de manifiesto significativas debilidades de los mismos.
g. La naturaleza de las funciones y actividades de las Unidades Acadmicas,
reclama la existencia de procesos internos y externos de evaluacin como
procedimiento para garantizar la pertinencia, eficacia y eficiencia de las
mismas.
Un modelo de autoevaluacin institucional ha de contribuir a asegurar la calidad
de la universidad y debe ser coherente con las caractersticas del sistema
universitario de masas cuya orientacin parece oscilar entre dos posiciones
inicialmente contradictorias:
a. Si se acenta una orientacin tendente a asegurar la igualdad en el
tratamiento de las universidades, se optara por un sistema de financiacin
basado en las necesidades, que persigue obtener una calidad equivalente en
los programas. Consecuentemente, debera establecerse sistemas que
garanticen la calidad de manera que ningn programa est por debajo de los
estndares mnimos requeridos.
b. Si se admite la variabilidad de calidad en las diferentes Universidades y
programas, se estimulara la diferenciacin (competitividad) y se aplicara una
financiacin selectiva. Consecuentemente, podra generarse juicios
comparativos sobre la calidad de programas y/o universidades.
El sistema de evaluacin universitario debe tener un carcter mixto que conjugue
elementos de ambos modelos. Por una parte, persigue asegurar que todos los
programas tengan una calidad suficiente y, por otra, a travs de la diversidad,
pretende incrementar la calidad del conjunto de las instituciones y programas
universitarios.
1.2. El mtodo de evaluacin de la calidad universitaria
La prctica de la autoevaluacin consiste en obtener evidencias (informacin
objetiva de ndole cuantitativa y cualitativa) de modo sistemtico para orientar a
tomar la mejor decisin. El programa de autoevaluacin institucional de la calidad
de las universidades debe caracterizarse por atender, por una parte, a la eficacia y
la eficiencia (considera inputs y outputs), y, por otra, atender a los procesos;
debiendo conjugar las perspectivas intrnseca y extrnseca de la calidad de la
formacin universitaria.
Adems, la autoevaluacin institucional incluye la totalidad de la institucin
(docencia, investigacin y servicios); pues ha de afrontarse la magnitud y volumen
de la institucin, en fases sucesivas, y sin perder de vista las notas distintivas de la
misma en su globalidad (medios materiales y personales, funcionamiento,
resultados...), la implicacin de todos sus agentes y la atencin tanto al valor como
al mrito de las acciones que lleva a cabo la institucin.
2. EL MODELO DE AUTOEVALUACIN ADOPTADO PARA EVALUAR LOS
SERVICIOS
2.1. El modelo Europeo de Excelencia (EFQM)
La Gua que se presenta para autoevaluar la gestin de calidad de los Servicios
universitarios ha sido focalizada a partir del "Modelo Europeo para la Gestin de la
Calidad Total", propuesto por la European Foundation for Quality Management
(EFQM). De esta forma, se pretende, proporcionar una gua para la determinacin
de la gestin de la calidad en consonancia con el creciente consenso en torno a
las caractersticas exigibles para un sistema de organizacin basado en la calidad
total.
La generalizacin del Modelo, tanto en Europa como en otros lugares, a travs de
distintas iniciativas de reconocimiento de la excelencia en la gestin, permitir a la
Universidad, adems de afrontar sistemas de evaluacin, poder optar a premios y
reconocimientos, cada vez ms extendidos.
Recientemente, la Fundacin Iberoamericana para la Gestin de la Calidad
(Fundibq) aprob el Modelo Iberoamericano, que es sensiblemente parecido al
Europeo y en algunos puntos, incluso lo supera.
Este nuevo modelo ha sido adaptado a instituciones educativas, con la
particularidad de que ha tenido en cuenta que fuera aplicable tanto a centros
universitarios, como a los de primaria y secundaria.
Por todo ello, se ha credo oportuno, en la evaluacin de los servicios de la
Universidad, adoptar los criterios del Modelo EFQM y al mismo tiempo desarrollar
un sistema de indicadores que sirva de referente a las cuestiones que se plantean
Innovacin y Aprendizaje
Segunda fase
Tercera fase
Planificaci
Autoevaluaci
Evaluacin
externa
Informe final y
Plan de mejoras
Responsables
Unidad de Auditora Acadmica
Unidad Acadmica
Consejo de Facultad
Rectorado
Coordinacin de Presidentes
Unidad de Auditora Acadmica
Unidad Acadmica
10
11
3.
Sistema de puntuacin
Adems de realizar una valoracin de las preguntas, existe la posibilidad de que
se asigne tambin una puntuacin en cada pregunta.
El proceso es sencillo, ya que a cada uno de los niveles de valoracin ( ningn
avance, cierto avance, avance significativo y objetivo logrado) le corresponde
una puntuacin de 1, 2, 3 y 4, respectivamente. De esta forma cuando se asigne a
una pregunta una valoracin de cierto avance, se podr computar un 2, etc...
En todo caso, debe tenerse en cuenta que slo es obligatorio para la
autoevaluacin asignar a cada pregunta una valoracin de las descritas
anteriormente (ningn avance, cierto avance, avance significativo y objetivo
logrado). Si se decide utilizar el sistema de puntos (1, 2, 3, 4) esto slo quedar
como informacin de la Unidad, que le facilitar ir analizando cmo evoluciona en
el futuro hacia la excelencia, teniendo como referencia puntuaciones anteriores.
CUESTIONARIO DE AUTOEVALUACIN
CRITERIO 1: LIDERAZGO
En este criterio se analiza y describe el comportamiento de todos los dirigentes y
responsables de la Unidad Acadmica como lderes de la misma hacia la
excelencia universitaria.
Liderazgo
Planificaci
ny
Estrategia
Gestin
de
Personas
Alianzas y
Recursos
Resultados
En Clientes
Procesos
Resultados
En Personas
Resultados
En la
Sociedad
Resultados
Clave
Definicin
Se entiende por liderazgo el comportamiento y la actuacin del equipo directivo y
del resto de los responsables guiando a la Unidad hacia la mejora continua.
El criterio ha de reflejar cmo todos los que tienen alguna responsabilidad en la
Unidad Acadmica desarrollan y facilitan la consecucin de los fines y objetivos,
desarrollan los valores necesarios para alcanzar el xito e implantan todo ello en
12
13
d)
e)
f)
g)
14
15
16
17
18
19
20
21
reas:
a) Se define los indicadores adecuados para el seguimiento de una gestin eficaz
de los recursos econmicos.
b) Se gestiona de manera eficiente los recursos econmicos para apoyar la
planificacin y la estrategia.
c) Se explora nuevas actividades, propias de la Unidad Acadmica, para la
obtencin de recursos adicionales a la dotacin presupuestaria que la Unidad
recibe.
d) Se evala y revisa las estrategias y prcticas econmicas propias de la gestin
de la Unidad.
4c. Gestin de los edificios, instalaciones y equipamientos.
reas:
a) Se selecciona los recursos, medios y tcnicas adecuados a la planificacin y
estrategia de la Unidad.
b) Se utiliza los edificios, instalaciones y equipamientos de acuerdo con la
planificacin y la estrategia.
c) Se desarrolla usos alternativos, propios de la Unidad, de los edificios,
instalaciones y equipamientos con el fin de que todos los sectores de la
comunidad educativa los aproveche mejor.
d) Se establece programas adecuados de mantenimiento.
e) Se establece una gestin eficaz de inventarios de material.
f) Se determina criterios para evitar el despilfarro.
g) Las instalaciones observan las condiciones de seguridad e higiene adecuadas
para los alumnos y el personal.
h) Se reduce y se recicla los residuos.
4d. Gestin de la tecnologa.
reas:
a) Se identifica y evala las tecnologas alternativas y emergentes a la luz de la
planificacin y estrategia y de su impacto en la educacin, en la propia Unidad
y en la sociedad.
b) Se utiliza adecuadamente los medios tecnolgicos existentes.
c) Se aprovecha la tecnologa para apoyar la mejora.
4e. Gestin de los recursos de la informacin y del conocimiento.
reas:
a) Se gestiona adecuadamente la entrada y la salida de la informacin en funcin
de la estrategia y la planificacin de la Unidad.
b) Se mantiene la informacin actualizada para toda la comunidad educativa y se
asegura su validez e integridad.
c) La informacin es adecuada y accesible, y se facilita su uso al personal de la
Unidad.
d) Se prepara adecuadamente la informacin para responder a las necesidades
de las familias y de los alumnos.
e) Se facilita enlaces de comunicacin con la Administracin Educativa y con
otras fuentes externas a la Unidad.
f) Se genera un clima de innovacin y creatividad mediante el uso de los
recursos pertinentes de la informacin y del conocimiento.
NIVEL DE LA EVALUACIN:
1: Ningn avance. 2: Cierto Avance. 3: Avance significativo 4: Objetivo logrado
4.1. Se ha elaborado el presupuesto de la Unidad de manera
coherente para el desarrollo de los objetivos definidos,
22
CRITERIO 5: PROCESOS
Este criterio nos debe llevar a conocer cmo la Unidad Acadmica y/o la
Universidad identifica, desarrolla y mejora sus procesos.
Definicin
Se entiende por proceso el conjunto de actividades que sirve para lograr la
formacin del alumno y la prestacin de los servicios que ofrece la Unidad.
Este criterio alude a cmo se gestionan y evalan los procesos y a cmo se
revisan, a fin de asegurar la mejora continua en todas las actividades de la
23
24
25
26
27
28
NIVEL DE LA EVALUACIN:
1: Ningn avance. 2: Cierto Avance. 3: Avance significativo 4: Objetivo logrado
1. Se evala de forma sistemtica y peridica la satisfaccin
de clientes y usuarios en relacin con la Unidad y la calidad del
servicio, mediante encuestas u otras formas de recogida de
informacin, sobre aspectos como accesibilidad, calidad de la
informacin existente en la Unidad para los clientes,
cumplimiento de los plazos previstos, simplificacin de
trmites, profesionalidad del personal...
2. La Unidad obtiene, lleva a cabo control y analiza
informacin que pueda ser indicativa para entender, predecir y
mejorar la satisfaccin de los clientes, en aspectos tales como:
a) Nmero de acciones implantadas basadas en encuestas
de satisfaccin de los clientes o usuarios.
b) Felicitaciones o premios recibidos por el funcionamiento
del servicio.
c) Nmero de quejas y reclamaciones recibidas,
tratamiento y respuesta de las mismas.
d) Nmero de acciones correctoras derivadas de las
mismas.
e) Nmero de sugerencias recibidas y tratamiento de las
mismas
f) Otras?
3. La unidad establece objetivos para mejorar la percepcin
de los clientes y usuarios en base a la informacin obtenida de
encuestas, reclamaciones y sugerencias ...?
4. La Unidad se compara con otras Unidades de la Universidad
o de otras organizaciones, y se utiliza la informacin obtenida
para fijar nuevos objetivos?
5. En la Unidad existen normas bien definidas (cartas de
compromisos, estndares ...) en aquellos aspectos clave del
servicio, y que afecten directamente a la satisfaccin de los
clientes, como tiempo de respuesta, cumplimiento de
plazos ...?
6. Se comparan estos indicadores con los de otras Unidades de
la Universidad o de otras organizaciones?
29
30
31
32
33
34
Posibles indicadores
Funcionamiento
y - Nmero de horas en las que permanece abierta.
gestin de la Biblioteca - Horas en las que es ms solicitada y en las que lo es
menos.
- Nmero de volmenes existentes.
- Volmenes utilizados de entre todos los existentes..
- Volmenes prestados mensualmente.
Alumnos repetidores
- Nmero de alumnos que repiten.
- Materias por las que fundamentalmente repiten los
alumnos
Los datos obtenidos gracias a los indicadores requeriran:
. Comparaciones con otros datos de aos anteriores, para ver las tendencias que se
manifiestan.
. Comparaciones con objetivos fijados, para ver el nivel de cumplimiento.
. Comparaciones con otros centros educativos.
. Realizar cruces entre los datos de los distintos indicadores de una misma
rea.
NIVEL DE LA EVALUACIN:
1: Ningn avance. 2: Cierto Avance. 3: Avance significativo 4: Objetivo logrado
35
36
4. Multiplicar los resultados obtenidos en la fila (a) por el factor (b) que aparece en
la fila inferior siguiente, incluyendo el resultado en la fila Valor (a x b).
5. Sumar las cuatro casillas de la fila Valor (a x b).
6. Dividir el total obtenido en la fase anterior entre el nmero de preguntas que
contiene el cuestionario en el criterio que se est analizando. El resultado es el
porcentaje de logro que la Unidad ha obtenido en cada criterio. O bien, el nmero
de puntos sobre 100 obtenidos en cada criterio.
Cmo cumplimentar el resumen total de la Unidad
1. En el cuadro denominado Resumen total de la Unidad hay que trasladar las
casillas (a) y el % logrado de los criterios.
2. Sumar la columna de % logrado y dividir entre 9 (el nmero de criterios)
3. Colocar el resultado en el cuadro sombreado. Este es el porcentaje logrado por
la Unidad, en trminos globales, de su camino hacia la excelencia. Tambin se
puede interpretar como el nmero de puntos obtenidos sobre 100.
Liderazgo
Planificacin y estrategia
Gestin de personal
Alianzas y recursos
Procesos
Resultados en los clientes
Resultados en las personas
Resultados en la sociedad
Resultados clave
logro de la
Total/9
%
logrado
Unidad
37
38
Los posibles anexos, a incluir, han de ser pertinentes y sintticos. Otras fuentes de
datos o compendios informativos (memorias, libros de datos, hojas informativas,
etc.) se citarn y se pondrn a disposicin de las personas de la Unidad y del
Comit de Expertos Externos.
3.3 Fase de evaluacin externa
La fase de evaluacin externa se inicia con el anlisis del Informe de
Autoevaluacin por parte del Comit de Expertos Externos, que tiene a su
disposicin las estadsticas, los datos de gestin y los indicadores referidos al
servicio. Asimismo, y mediante la visita in situ, realizar las observaciones que
considere convenientes, recoger opiniones y valoraciones, y finalmente emitir su
propia valoracin a travs del informe de evaluacin externa.
3.3.1 El Comit de Evaluacin Externo (CEE)
La evaluacin externa la llevar a cabo un Comit de Expertos Externos (CEE),
cuyo nombramiento y formacin es responsabilidad del Consejo de Universidades
que proponga la Asamblea Nacional de Rectores. La composicin de este comit
variar en cada caso, dado que cada servicio tiene unas funciones y objetivos
diferentes. A modo orientativo, el CEE estar formado por expertos del campo de
la unidad evaluada (gestin econmica, biblioteca, servicios deportivos etc.)
procedentes de otra universidad, o externos al mundo universitario y un experto en
metodologa de la evaluacin universitaria. Todos ellos, sern ajenos a la
institucin y, especialmente los dos primeros, sern del mismo mbito de la unidad
evaluada.
Sus responsabilidades bsicas, son:
a) Validar el contenido del Informe y del mismo proceso de autoevaluacin.
b) Detectar aspectos no previstos y equilibrar el anlisis interno.
c) Realizar aportaciones sobre la base de los perfiles representados.
d) Servir de instrumento de mejora a la Unidad.
A partir de las propias observaciones y de las opiniones y valoraciones recogidas
en los contactos mantenidos en las audiencias, con los diferentes sectores, que
componen el servicio, el comit externo realizar un informe que someter a
consideraciones de la Comisin de Autoevaluacin para que se efecten las
alegaciones o consideraciones oportunas.
3.3.2 La metodologa de trabajo y la visita del CEE
Para la realizacin del informe externo, el CEE seguir les etapas siguientes:
1 Estudio de los documentos gua
Gua para la autoevaluacin y en especial las instrucciones contenidas en la gua
para los evaluadores externos.
2 Anlisis de la documentacin
Informe de autoevaluacin y documentacin adicional proporcionada por la Unidad
Acadmica o la Universidad. El primero deber estar a disposicin del CEE como
mnimo un mes antes de la fecha de la visita.
Es necesario que habiendo examinado el autoinforme el CEE preste mucha
atencin a analizar si el contenido se ajusta a lo que se especifica en la Gua de
Autoevaluacin, en cuanto al proceso, el contenido y el contenido ausente
(lagunas).
39
40
Supone una aportacin muy valiosa para la Unidad evaluada ya que contribuir a
corroborar o rectificar las conclusiones y reflexiones del proceso de
autoevaluacin y las impresiones e informaciones recogidas a lo largo de la visita
in situ.
Por lo tanto, esta parte del informe se caracterizar por la descripcin y valoracin
del servicio as como de los aspectos ms relevantes del mismo, siguiendo el
orden de los nueve elementos del Modelo.
La tercera parte hace referencia a la valoracin general de la Comisin y es
donde aparecen, como conclusin, los principales puntos fuertes y dbiles del
servicio, as como tambin, algunas recomendaciones. Este apartado sirve para
confrontar los puntos fuertes y dbiles detectados en la autoevaluacin.
El presidente del CEE entregar el informe externo a la Comisin de
Autoevaluacin interna y a la Universidad, as como una copia en papel y disco al
Consejo de Universidades y/o a el Asamblea Nacional de Rectores.
Es importante no demorar ms de un mes la entrega del informe de evaluacin
externa a fin de no romper la dinmica participativa generada por el proceso de
evaluacin.
3.4. Fase final: El informe final y el plan de mejora
3.4.1 El informe final de evaluacin del servicio
Una vez recibido el informe externo definitivo, la Comisin de Autoevaluacin lo
someter a una fase de audiencia pblica tan amplia como sea posible, antes de
proceder a la redaccin del Informe Final.
Este Informe Final ser una sntesis de la valoracin de las diversas dimensiones
del servicio, una relacin de los principales puntos fuertes y puntos dbiles y,
como elemento fundamental del documento, la explicitacin y priorizacin de las
acciones a emprender con el fin de consolidar los puntos fuertes y conseguir
resolver o mejorar los puntos dbiles.
La evaluacin institucional tiene dos objetivos fundamentales: la rendicin de
cuentas y la mejora.
Este ltimo, que podemos considerar prioritario, requiere que la Unidad
Acadmica formule y ejecute acciones concretas encaminadas a mejorar la
calidad del servicio que ofrece.
El Informe Final de evaluacin se difundir ampliamente en la Unidad evaluada y,
posteriormente, se har llegar al Comit de Evaluacin de la Universidad para que
se cumplan cuatro objetivos principales:
a) Rendir cuentas ante el rgano superior del desarrollo y los resultados del
programa de evaluacin.
b) Servir de referencia para que la Comisin de Autoevaluacin de la Universidad
elabore el informe global de evaluacin de toda la Universidad.
c) Comprometer a los miembros de la Unidad para que ejecuten adecuadamente
el conjunto de acciones propuestas en el Informe.
d) Conseguir que la Comisin de Autoevaluacin de la Universidad se
comprometa con las mejoras propuestas, facilitando y apoyando las medidas
que en cada caso se consideren necesarias.
Contenido del informe final
El informe final, deber contener los apartados siguientes:
1. Introduccin
41
42
f)
43
TABLAS
BIBLIOGRAFA
Abarca Fernndez Ramn, La evaluacin de la funcin docente debe ser
constructiva, Congreso Internacional sobre Evaluacin de la funcin docente,
Universidad de la Frontera, Temuco, Chile, 2003
Anlisis comparativo de los premios a la calidad.- Informacin Comercial
Espaola.- Madrid 1993.
E.F.Q.M.: Autoevaluacin 1997. Directrices para el Sector Pblico.
El Modelo Europeo de Excelencia Empresarial y su utilizacin para la evaluacin
de los Organismos Pblicos.- Jornadas sobre tcnicas de control, inspeccin
y evaluacin el mbito de la Generalitat Valenciana.- Valencia Septiembre
1997.
El Modelo Europeo de Excelencia Empresarial y su utilizacin para la evaluacin
de los Organismos Pblicos.- Jornadas sobre tcnicas de control, inspeccin
y evaluacin el mbito de la Generalitat Valenciana.- Valencia Septiembre
1997.
Evaluacin y mejora del sistema de calidad: Criterios Malcolm Baldridge y otros
premios y normas internacionales.- V Congreso Espaol de la Calidad.Madrid Mayo 1992.
Experiencias de Autoevaluacin - Revista EXCELENCIA. Club Gestin Calidad.Madrid Octubre de 1997.
Modelo Europeo de la Calidad Total y la Administracin Pblica.-VI Congreso
Cataln de Empresas de Calidad.- Barcelona Septiembre 1995.
Modelo Europeo de la Calidad Total y Norma ISO 9000.- Da Mundial de la
Calidad.- Valencia, Noviembre 1995.
http://www.ugr.es/~aulaperm/Autoevaluacion/Informe.html
http://www.gva.es/publicaciones/revista/rvea23/Membrado-6.html
44
PRESENTACIN
A fin de realizar un mejor y ms productivo trabajo, en el proceso de
autoevaluacin, nos es grato hacer un nuevo alcance que cumplimenta el
documento anterior titulado EFQM y que Usted, como Autoridad de la
Universidad, tuvo a bien disponer se publique y distribuya a las Unidades
Acadmicas de la Universidad.
Se trata de la GUIA PARA AUTOEVALUAR LOS SERVICIOS DE LA
UNIVERSIDAD, la misma que posibilita una mejor orientacin para desarrollar el
proceso de autoevaluacin. De ah que, la sola consideracin del contenido y la
lectura de cada criterio seguido de un cuestionario, nos abre el camino para poder
secuenciar el documento o perfeccionarlo, teniendo en cuenta que no es un
documento final, sino, un instrumentos que puede ayudarnos a mecanizar el
proceso cclico de la autoevaluacin y as poder medir los avances con el fin de
establecer las mejores alternativas o realizar los reajustes que sea necesario.
Le secuencia del presente documento nos predispondr, si tomamos los debidos
senderos, hacia le camino de la acreditacin y la permanente autoevaluacin que
da a da nos invite a realizar en la mejor forma cada una de nuestras actividades
universitarias.
Ramn R. Abarca Fernndez
Arequipa, julio de 2004.