1

TEMA 1.

LA INVESTIGACIN EVALUATIVA EN EDUCACIN
SOCIAL.


OBJETIVOS

- Analizar las caractersticas y los fundamentos de la investigacin evaluativa en
educacin.
- Comprender el proceso implicado en su realizacin.
- Conocer y valorar los marcos de referencia en la investigacion evaluativa:
contextual, puesta en prctica y resultados.
- Estudiar las diferentes alternativas metodolgicas en la investigacin evaluativa,
en especial haciendo hincapi en la propuesta de complementariedad.
- Analizar las principales tcnicas de recogida de informacin y datos, tanto desde
el enfoque cuantitativo como cualitativo.
- Capacitar al alumno para la interpretacin y valoracin de investigaciones
evaluativas en el anlisis de la realidad educativa.
- Disear y valorar algunas propuestas de trabajo basadas en esta alternativa
metodolgica en alguno de los campos sealados.
- Dotar al alumno de un vocabulario propio de la investigacin evaluativa.
- Desarrollar actitudes crticas y de respeto hacia las realizaciones prcticas en la
evaluacin de programas, centros y profesores.


ESQUEMA

1. Introduccin.
2. Caracterizacin de la investigacin evaluativa.
3. El proceso a seguir en la investigacin evaluativa:
3.1. Marco contextual.
3.2. Marco de la ejecucin o puesta en prctica.
3.3. Marco de la valoracin de los resultados.
4. Los mtodos en la investigacin evaluativa:
4.1. Perspectiva experimental y cuasi-experimental.
4.2. Perspectiva cualitativa.
4.3. La complementariedad metodolgica.
5. Procedimientos y tcnicas para la recogida de informacin y datos:
5.1. Tcnicas de enfoque cuantitativo:
5.1.1. La entrevista.
5.1.2. La encuesta.
5.1.3. La observacin sistemtica.
5.1.4. Los autoinformes.
5.1.5. Otras formas de recogida de informacin.
5.2. Tcnicas de enfoque cualitativo:
5.2.1. La entrevista abierta o no estructurada.
5.2.2. Los grupos de discusin.
5.2.3. La observacin participante.
2

5.2.4. La tcnica Delphi.
6. Posibilidades y aplicaciones al campo educativo.



1. INTRODUCCIN

En lneas generales, la evaluacin como rea de conocimiento especfica y en
proceso de formacin y consolidacin, tiene su arranque y desarrollo inicial en los
Estados Unidos, con la finalidad de valorar los resultados de programas especiales
diseados para alumnos con problemas sociales, as como para asegurar que las
innovaciones educativas en la escuela mejoraban realmente la enseanza. Nace pues la
evaluacin vinculada a la tradicin positivista de la investigacin educativa.

As pues, la investigacin evaluativa, como marco de referencia general para la
evaluacin de programas, instituciones y personal, presenta una serie de peculiaridades
que vamos a abordar en el presente tema. No obstante, hemos de advertir al estudiante
que en estos momentos nos limitaremos a ofrecer una panormica general de esta
propuesta diferente de abordar la investigacin en educacin social.

Hemos de tener en cuenta, que despus de haber presentado y analizado las
metodologas de corte cuantitativo y cualitativo en anteriores asignaturas, nos parece
oportuno completar esta visin panormica general con la presentacin de la
investigacin evaluativa. En concreto nos interesa conocer cules son los fundamentos y
las caractersticas de esta propuesta metodolgica, que la diferencian del resto de las
opciones en el campo de la investigacin en educacin.

Uno de los puntos principales a desarrollar se refiere al anlisis del proceso
general de la investigacin evaluativa que hemos dividido en tres grandes apartados; as
en el primero se analiza en detalle lo que denominamos marco contextual, que permite
encuadrar la propuesta evaluativa; pues se presentan los objetivos, las pautas de
actuacin, la temporalizacin, los sujetos intervinientes y los clientes; el segundo de los
momentos se dedica al estudio del marco de la ejecucin o de la puesta en prctica, que
abarca el plan de trabajo a seguir, la definicin operativa de las variables, la seleccin y
elaboracin de los instrumentos de recogida de informacin y datos, el proceso de esta
recogida y el anlisis y tratamiento de estas aportaciones; en el tercer momento se
aborda el marco de la valoracin de los resultados, que comprende la seleccin de
criterios a utilizar, el anlisis de los resultados, la formulacin de juicios, la toma de
decisiones y la redaccin del informe. Si bien hemos de advertir que se ofrece un
proceso de tipo generalista que deber ser adaptado a la problemtica concreta que nos
interese analizar en cada momento y circunstancia.

Seguidamente dedicamos un apartado especfico a presentar y analizar los
procedimientos y las tcnicas de recogida de informacin y datos, para su estudio
hemos seguido uno de los criterios ms extendidos en su clasificacin, es decir, las que
siguen un enfoque cuantitativo y las de tipo cualitativo. Respecto a las primeras se
presentan la entrevista, la encuesta, la observacin sistemtica, los autoinformes. En lo
que se refiere al enfoque cualitativo se recogen la entrevista abierta, los grupos de
discusin, la observacin participante, la tcnica Delphi. Somos conscientes que existen
muchas ms, pero dentro del campo educativo, las seleccionadas son las de mayor uso y
3

utilidad por el tipo de informacin que nos aportan. Tambin conviene sealar que este
apartado ya lo ha estudiado el alumno en la asignatura Mtodos de investigacin en
Educacin Social, situada en el segundo curso del Grado. Adems, en el tema 3 de
nuestro programa se completa la informacin sobre este punto concreto.

As pues, el alumno debe centrar el estudio en el concepto de investigacin
evaluativa y en analizar y valorar su proceso de realizacin. Tambin es importante que
conozca aquellos mtodos ms apropiados para su desarrollo, as como unas nociones
generales sobre los procedimientos y las tcnicas de recogida de informacin y datos,
todo ello enfocado hacia el campo educativo.



2. CARACTERIZACIN DE LA INVESTIGACIN EVALUATIVA

Los trminos investigacin y evaluacin aparecen, en muchas ocasiones,
entrelazados y en algunos momentos confundidos en los textos y manuales que abordan
esta problemtica. Segn indica Weis (1991) la investigacin evaluativa representa una
manera de aumentar la racionalidad de las decisiones. Pues se basa en una informacin
objetiva acerca de los diversos campos objeto de anlisis, para tomar decisiones bien
fundamentadas sobre los mismos.

Mientras la investigacin se caracteriza por las notas de: probar, extraer
conclusiones, no implicacin del investigador, verdad cientfica, generalizacin; la
evaluacin presenta como caractersticas: mejorar, tomar decisiones, implicacin del
evaluador, valoracin del fenmeno, sin pretensiones de generalizacin.

Para comprender mejor esta distincin entre la investigacin cientfica en sentido
estricto y la investigacin evaluativa, puede ser interesante el anlisis realizado por De la
Orden (1985):

Investigacin en sentido estricto
Investigacin evaluativa
Los juicios de valor del investigador se limitan a
los sealados en la seleccin del problema.
Los juicios de valor se refieren tanto a la seleccin
del problema como al desarrollo y aplicacin de
los procedimientos del estudio.
Las hiptesis de investigacin se derivan de las
teoras o bien se generan por induccin de una
serie de observaciones o conocimientos.
La formulacin de hiptesis puede resultar difcil
y, en ocasiones, inapropiada. Se suele recurrir a
los objetivos de la evaluacin.
La investigacin puede ser replicada, dado que
tanto la formulacin del problema como de las
hiptesis se realiza de forma expresa.
La replicacin es muy compleja, puesto que el
estudio evaluativo aparece unido a un programa
determinado, en un momento y situacin
concretos de su desarrollo.
Los datos que debe recoger el investigador vienen
condicionados por el problema y las hiptesis
previamente formulados.
Los datos a recoger por el evaluador dependen de
la viabilidad del proceso, adems de venir
influenciados por los juicios de valor que posee el
administrador.
Las variables ms relevantes en el trabajo pueden
ser objeto de intevencin y control, adems de
poder eliminar sus efectos mediante la
El control de variables solamente se puede realizar
de modo superficial. As la aleatorizacin, como
tcnica de control de la varianza sistemtica, es
4

aleatorizacin y otros procedimientos. muy complicado lograrla.
Los criterios que se utilizan para la validacin o el
rechazo de las hiptesis son responsabilidad del
investigador, para esta tarea emplea una serie de
reglas restringidas.
El criterio por el que se decide la continuacin,
modificacin, ampliacin, eliminacin del
programa lo fija la agencia administradora o la
audiencia a la que se dirige el informe.
La redaccin del informe de investigacin sigue
las normas establecidas por la comunidad
cientfica, con una secuencia muy determinada.
El informe de tipo evaluativo se debe adaptar a las
exigencias de la persona o personas que han de
tomar las correspondientes decisiones.


De la confluencia de ambos trminos surge la investigacin evaluativa que segn
De la Orden (1985) puede identificarse con el proceso sistemtico de recogida y anlisis de
informacin fiable y vlida para poder tomar decisiones sobre un programa educativo. Por
su parte Alvira Martn (1985) la define como la propuesta basada en la acumulacin de
informacin sobre una intervencin o un programa, sobre su funcionamiento y sobre sus
efectos y consecuencias. Suchman (Cit. Stufflebeam, 1989) indica que la investigacin
evaluativa consiste en la serie de procedimientos de recopilacin y anlisis de datos que
aumentan la posibilidad de demostrar, ms que de asegurar, el valor de alguna actividad
social y educativa. Para Patton (1990) el propsito fundamental de la investigacin
evaluativa consiste en informar a la accin, apoyar la toma de decisiones y aplicar el
conocimiento para tratar de resolver problemas humanos y sociales.

En las ltimas dcadas del siglo XX y comienzos del XXI se producen muchas
controversias en la propia concepcin del trmino, de hecho muchos autores consideran
sinnimos la investigacin evaluativa y la evaluacin de programas. No obstante, el
desarrollo de su propio concepto, las funciones que debe desempear, los fines que
pretende alcanzar, los mtodos de trabajo a los que recurre, hacen que su campo inicial de
trabajo se vaya ampliando y en la actualidad se acepta que cubre los tres grandes mbitos
de la actividad educativa, es decir, los programas, las instituciones y los profesionales.

Ahora bien, existen muchas reticencias por parte de la comunidad cientfica de
otorgar el rango de investigacin a la evaluacin. Sin embargo, el desarrollo de la
evaluacin, en su sentido ms amplio, durante las ltimas dcadas, ha contribuido de forma
decisiva a su implantacin en distintas esferas de la actividad educativa y no solamente
como verificacin de los logros alcanzados (modelos tylerianos), sino como comprobacin
de los procesos seguidos (Scriven, Sttuflebeam, Prez Juste). Para Patton (1990) la
evaluacin examina y juzga el nivel de realizacin y la eficacia de un determinado
programa educativo, sin nimo de generalizar, mientras que la investigacin evaluativa se
ocupa de analizar esa eficacia de manera sistemtica, a partir de un proceso riguroso de
recogida y anlisis de datos, con posibilidades para extraer conclusiones vlidas para la
toma de decisiones donde se aplique el conocimiento en la resolucin de problemas.

En cualquier caso dentro de estas concepciones prima su consideracin como
investigacin aplicada, centrada en la prctica, que a travs de un proceso selectivo de
recogida de informacin sobre un determinado problema del contexto educativo: un
programa, un currculo, un equipo de docentes, una actividad de aula, una institucin;
facilita la toma de decisiones de mejora sobre el mismo. Por otra parte, la investigacin
evaluativa, tradicionalmente asociada, en exclusiva, a la evaluacin de programas, ha
ampliado su campo de accin, a las instituciones y a los profesionales. Quiz, ms que el
problema de la vinculacin de estos campos a la investigacin evaluativa, que parece obvio
5

desde planteamientos metodolgicos, se deba en gran medida al conflicto de competencias
entre las reas de conocimiento del campo educativo.

Sin duda el objetivo fundamental que debe cubrir la investigacin evaluativa
consistir en medir la eficacia de los programas, es decir, si las metas propuestas se han
alcanzado, pues ello contribuir de manera trascendental a la toma de decisiones en el
futuro. Para ello es necesario recurrir a una determinada metodologa de investigacin,
adems de establecer unos criterios para juzgar dicho programa, todo analizado desde la
finalidad social que persigue la evaluacin. As pues, se debe especificar el alcance del
programa (lugar fsico en que se lleva a cabo), las dimensiones o servicios que presta a la
sociedad, la duracin temporal de su puesta en marcha, las caractersticas de la situacin de
partida, la definicin clara y concisa de las metas, los papeles a desempear por los
participantes, etc. Si entendemos que en esta propuesta metodolgica aparecen implicados
todos los aspectos enumerados, quiere decir que asumimos ir ms all de lo que implica
una simple evaluacin, entendida como valoracin de logros y procesos, para llegar a
establecer procesos sistemticos de trabajo rigurosos.


3. EL PROCESO A SEGUIR EN LA INVESTIGACIN
EVALUATIVA

Aunque ya hemos apuntado la existencia de tres campos concretos donde incide la
investigacin evaluativa, el proceso a seguir en todos ellos tiene unas pautas de actuacin
determinadas, si bien convendra resaltar la existencia de algunos matices que se pondrn
de relieve en los modelos propuestos para la evaluacin en cada caso particular. En estos
momentos nos vamos a detener en la propuesta general de actuacin del investigador.

Tejedor y otros (1994), desde una perspectiva tradicional, si bien contempla como punto de partida el
anlisis de las necesidades y las respuestas a las mismas a travs de un programa de intervencin, en concreto
sealan las siguientes fases:

- Anlisis y evaluacin de necesidades.
- Programacin:
. desarrollo de objetivos y procedimientos de evaluacin,
. seleccin de estrategias o actividades para lograr los objetivos.
- Implementacin:
. desarrollo de estrategias,
. construccin de instrumentos, que supone:
. delimitacin de variables e indicadores,
. seleccin y listado de criterios,
. redaccin de tems,
. aplicacin de instrumentos,
. seguimiento del proceso.
- Toma de decisiones (evaluacin en sentido estricto):
. sintetizar, analizar y valorar la informacin,
. proceso dinmico que genera informacin,
. retroalimentacin del programa,
. carcter formativo versus sumativo.

Prez Juste (1994), menciona en su propuesta tres fases claramente diferenciadas,
que de alguna forma suponen una secuencia de actuaciones, partiendo de los objetivos a
alcanzar, del diseo de la investigacin y de su puesta en marcha, as se apuntan los
siguientes momentos:
6


- Establecer de forma clara y precisa los objetivos de la evaluacin, a la vez que se
fijan los criterios para su realizacin.
- Planificar adecuadamente la investigacin, ello implica:
. Seleccionar y elaborar el diseo de acuerdo con los objetivos marcados para la investigacin.
. Elegir la metodologa apropiada (tcnicas de recogida de datos, fuentes de documentacin y
momentos en que se llevar a cabo).
. Definir operativamente las variables.
. Prever los anlisis y el tratamiento a seguir con los datos, criterios de seleccin y valoracin para la
toma de decisiones.
- Ejecutar el plan conforme a las previsiones realizadas.

Por su parte Escudero (1996), tambin establece con claridad tres apartados en su propuesta, si bien
dentro del bloque inicial (diseo) se realiza una previsin de las circunstancias y objetivos de partida, para
seguir con una fase ms operativa de trabajo y concluir con el anlisis de los resultados y sus implicaciones de
futuro, as pues el proceso sera el siguiente:

- Planificacin, diseo:
. Establecer el propsito o la finalidad de la evaluacin.
. Definir el objeto de evaluacin y las fuentes de informacin.
. Delimitar los procedimientos, construccin y seleccin de instrumentos.
. Definir los agentes de la evaluacin.
. Establecer el momento en que se realizar.
- Desarrollo, recogida y tratamiento de la informacin:
. Obtencin, codificacin, registro, anlisis, ...
- Evaluacin y utilizacin:
. Anlisis de resultados.
. Formulacin de juicios: interpretacin, comparacin, clasificacin.
. Anlisis de decisiones.
. Divulgacin de resultados y sugerencias a las audiencias.

Mertens (1998), tras realizar un anlisis sobre las diferentes perspectivas de la evaluacin, establece
tres pasos, as en primer lugar se alude al enfoque que se le otorga al trabajo, pues es el que marca las
caractersticas y las condiciones de las que se parte, seguidamente se procede a la planificacin de la
intervencin, para finalizar con su puesta en prctica en el campo, por lo tanto estas fase son las siguientes:

- Enfoque de la evaluacin:
. Descripcin de aquello que va a ser evaluado.
. El plan de la evaluacin.
. Los depositarios de la evaluacin.
. Constreimientos conmovedores de la evaluacin.
. Interrogantes de la evaluacin.
. Seleccin del modelo de evaluacin.
- Planificacin de la evaluacin:
. Especificacin de la recogida de datos, anlisis, interpretacin y estrategias.
. Gestin de la evaluacin.
. Plan de meta-evaluacin.
- Ejecucin de la evaluacin:
. Puesta a punto del propsito del trabajo especificado en el plan.

En realidad las diferentes propuestas analizadas, as como otras que se pudieran
aadir, tratan de ofrecernos una respuesta razonable y coherente a los interrogantes que se
puede plantear cualquier investigador al aproximarse a este campo de estudio. Este proceso
supone una constante toma de decisiones sobre diversas posibilidades que se van
planteando a medida que avanza la investigacin evaluativa, para concluir con la posible
utilidad prctica que tienen los resultados finales.

7

Uno de los autores que mejor recoge y sintetiza esta propuesta es Nevo (1986) en
una obra ya clsica en el campo de la evaluacin, donde recoge los diferentes interrogantes
que deben plantearse los investigadores ante una determinada propuesta evaluativa:

- Cmo se define la evaluacin?
- Cules son las funciones de la evaluacin?
- Qu tipo de informacin debe ser recogida?
- Qu criterios deben ser utilizados para juzgar el mrito de un objeto?
- A quin debe servir una evaluacin?
- Cul es el proceso de realizacin de una evaluacin?
- Qu mtodos de investigacin deben ser utilizados en la evaluacin?
- Quin debe hacer la evaluacin?
- Por qu estndares debe ser juzgada la evaluacin?

En consecuencia, cabe afirmar que las respuestas que vayamos dando de
forma ordenada a los interrogantes anteriores, van a enmarcar la pauta de actuacin y la
propuesta general del modelo de evaluacin planteado. En cualquier caso, parece
desprenderse de las opciones anteriores, la existencia de tres momentos clave en el
proceso de la investigacin evaluativa, tal y como recogemos en nuestra propuesta (ver
grfico pgina siguiente):

1. Marco contextual:
. Objetivos del trabajo.
. Pautas de actuacin.
. Secuenciacin y temporalizacin del trabajo.
. Los sujetos intervinientes.
. Los clientes.

2. Marco de la ejecucin o puesta en prctica:
. Plan de trabajo a seguir.
. Definicin operativa de variables.
. Seleccin y elaboracin de instrumentos de recogida de datos.
. Proceso de recogida de datos.
. Anlisis y tratamiento de datos.

3. Marco de la valoracin de resultados:
. Seleccin de criterios de valoracin.
. Anlisis minucioso de resultados.
. Formulacin de juicios.
. Toma de decisiones.
. Redaccin del informe.


As pues, en este cuadro general de investigacin, se encuadra el presente tema,
dentro del marco de los mtodos de investigacin en educacin. Seguidamente veremos en
detalle cada uno de los apartados o momentos anteriormente apuntados.




8










































3.1. Marco contextual

Nos permite el encuadre general de la propuesta investigadora, de tal forma que
ofrece una serie de informaciones de sumo inters para la posterior toma de decisiones,
pues resulta extremadamente complicado extrapolar los resultados de un estudio evaluativo
a otros mbitos de actuacin. As pues, se hace necesario hacer una reflexin profunda

PROCESO DE INVESTIGACIN EVALUATIVA
Marco de ejecucin:
Plan de trabajo
Definicin operativa variables
Seleccin/elaboracin de
instrumentos
Proceso de recogida de datos
Anlisis y tratamiento
Marco contextual:
Objetivos
Pautas actuacin
Temporalizacin
Los sujetos
Los clientes
Valoracin de resultados:
Seleccin de criterios
Anlisis de resultados
Formulacin de juicios
Toma de decisiones
Redaccin del informe
9

sobre este marco general, de forma que el investigador o el equipo pueda conocer en
profundidad el mismo. Por otra parte, es aceptado que las actuaciones y decisiones en la
evaluacin de programass, van a ser muy distintas segn el momento o los sujetos con que
se lleva a cabo el trabajo. En consecuencia, parece necesario, en este encuadre general de
la propuesta investigadora, establecer y definir con precisin los siguientes aspectos.

1.1. Objetivos del trabajo: vienen a establecer lo que pretende alcanzar el equipo
investigador mediante la realizacin del trabajo prctico. As pues, se hace necesario
proceder a una definicin clara y concisa sobre estos objetivos, si bien, se suelen
establecer unas diferencias entre los de carcter general y aquellos ms especficos u
operativos centrados en propuestas o actuaciones concretas en el campo de trabajo
elegido. En la medida en que la formulacin sea ms centrada en la realidad objeto de
estudio, ms sencillo ser el camino a seguir en la puesta en prctica de la evaluacin.
Por ello, en estas propuestas se insiste sobremanera en la definicin operativa de estos
objetivos mediante conductas perfectamente observables y constatables en la realidad
educativa.

1.2. Pautas de actuacin: es importante establecer las actuaciones a desarrollar para
la evaluacin de programas e instituciones. Ello implica que los distintos elementos que
intervienen en el proceso tienen bien delimitadas sus competencias y cules deben
asumir en los diferentes momentos por los que transcurre la intervencin. As pues,
estas pautas van a servir para que las actuaciones estn perfectamente definidas y
enmarcadas en el contexto inmediato donde se llevar a cabo la intervencin. En
realidad en este apartado debemos reflejar el cmo se debe actuar en la investigacin
evaluativa.

1.3. Secuenciacin y temporalizacin del trabajo: en el campo de la investigacin
evaluativa, los diferentes momentos del proceso mantienen una interrelacin entre ellos
e incluso en muchas ocasiones, una decisin o actuacin tiene repercusiones directas
sobre otra. As pues, se hace necesario establecer la secuencia en las actuaciones que se
deben realizar para llevar a buen puerto el proceso investigador. Adems se debe
presentar la actuacin temporal, es decir, el tiempo destinado a cada una de las
intervenciones y actuaciones, tanto del equipo investigador como de los sujetos
participantes en el trabajo. Es fundamental combinar ambas opciones para que los
diferentes procesos queden perfectamente establecidos y delimitados en el marco
concreto del estudio.

1.4. Los sujetos intervinientes: en este apartado debemos establecer una
diferenciacin entre las personas que intervienen como miembros o colaboradores del
grupo investigador y aquellos otros que van a participar en el estudio como muestra
productora de datos. En el primer caso es conveniente establecer los cargos y las
competencias de cada uno de los miembros del grupo: director, codirector, experto en
tcnicas de recogida de datos, aplicador de pruebas, experto en anlisis estadsticos,
redactor de la memoria, asesor tcnico. Respecto a la muestra objeto de trabajo es
oportuno indicar a travs de qu medios y con qu procedimiento se ha seleccionado.
Este aspecto debe ser especialmente cuidado cuando pretendemos hacer extensivos los
resultados del trabajo a grupos amplios de sujetos, es decir, cuando buscamos su
generalizacin.

10

1.5. Los clientes: en este punto se hace alusin a la persona o grupo que encarga la
realizacin del trabajo. Es decir, es importante conocer aquellos aspectos que son de
especial incidencia en la elaboracin del informe final del trabajo, adems nos puede
ayudar durante su desarrollo. En este sentido, pueden ser clientes, la persona interesada
en evaluar su tarea o su programa de intervencin, el grupo en que se incardina el
estudio, las autoridades de la propia institucin, las autoridades acadmicas externas, la
Administracin de la educacin.


3.2. Marco de la ejecucin o puesta en prctica

En este segundo momento entramos en la fase ms operativa de la propuesta
investigadora, de hecho se van a definir con precisin cules son los pasos a seguir en el
proceso de intervencin, recoleccin y anlisis de los datos que nos suministra la muestra,
tanto los referidos al proceso de actuacin como de los resultados alcanzados en el mismo.
Estamos pues ante un momento de ejecucin, frente al anterior ms centrado en el diseo.
Por lo tanto debemos ser precavidos en las diferentes opciones que debemos ir tomando en
la puesta en prctica de las actuaciones y teniendo en cuenta el marco contextual en que se
incardinan. As pues, vamos a contemplar los siguientes aspectos:

2.1. Plan de trabajo a seguir: si en el apartado anterior habamos sealado las
diferentes pautas de actuacin, en este momento debemos centrar la exposicin en la
operativizacin de las mismas y en el plan de trabajo que se debe desarrollar para
alcanzar los objetivos propuestos. Es decir, se trata de hacer visible e inteligible ese
plan de actuacin, de forma que sirva de propuesta secuenciada de intervencin para los
distintos componentes implicados en el proceso y en los resultados.

2.2. Definicin operativa de variables: dado que los objetivos vienen a establecer
una relacin entre variables, es preciso que stas sean definidas e identificadas de forma
precisa. Ello implica que debemos proceder a su medida cuantitativa y cualitativa, para
ello es preciso determinar con precisin los criterios que van a servir de referencia en el
proceso de traduccin a conductas observables y, en la medida de lo posible, que sean
cuantificables.

2.3. Seleccin y/o elaboracin de tcnicas e instrumentos de recogida de
informacin y de datos: llegados a este momento de la evaluacin procede la seleccin
o elaboracin, segn los casos, de la tcnica o el instrumento que nos sirva para la
recogida de datos. Ello depender de s existe uno apropiado a los objetivos de la
investigacin o no. En el caso de que procedamos a la seleccin debemos tener en
cuenta sus caractersticas tcnicas (fiabilidad y validez), adems de sus niveles de
precisin, la muestra que se emple en la baremacin, los rasgos definidos por el
instrumento. La elaboracin resulta una tarea ms compleja y larga, pues a partir de una
primera redaccin, es conveniente proceder a su crtica por expertos, adems se suele
llevar a cabo una aplicacin piloto para determinar sus niveles de fiabilidad y de
validez; todo ello para conseguir una depuracin y adecuacin a la propuesta
investigadora planteada.

2.4. Proceso de recogida informacin y de datos: en este momento se especifica de
forma detallada cmo se procede a la recogida de datos y en qu momentos se realiza.
Bien que se lleve a cabo de forma directa por el investigador o que cuente con apoyos
11

externos, bien presencialmente o a travs de diversos medios (telfono, correo postal y
electrnico, pgina WEB, etc.), bien con respuesta escrita o grabada tecnolgicamente.

2.5. Anlisis y tratamiento de los datos: una vez recogidos los datos, es precisa una
depuracin de los mismos, para evitar su contaminacin, eliminando los sobrantes o los
que no se corresponden con las respuestas solicitadas. Una vez finalizada esta tarea se
procede a realizar un anlisis exhaustivo de los mismos, comenzando con los estudios
descriptivos o de representaciones grficas, para seguir con otros anlisis de mayor
complejidad. Generalmente para estas tareas contamos con el apoyo de los
correspondientes programas informticos que facilitan y agilizan esta tarea tan tediosa
en tiempo y espacio. En todo caso las decisiones en este punto las debe tomar el equipo
investigador de acuerdo a su propuesta de trabajo y la calidad de los datos recogidos.


3.3. Marco de la valoracin de los resultados

Este tercer momento de la investigacin evaluativa viene marcado por la aplicacin
de los resultados alcanzados en el trabajo. Es decir, se trata de cmo llevar a la prctica las
aportaciones de la evaluacin, ya sea de un programa o de una institucin. Resulta pues
fundamental para ello, ofrecer una valoracin objetiva y contextualizada de los resultados
alcanzados en el trabajo emprico que nos conduzcan a la toma de decisiones de mejora
sobre el proceso y el producto alcanzado. Por lo tanto, una vez planificada y ejecutada la
investigacin, llegamos al momento de trascender ms all de lo que marcan los datos y
proceder a su interpretacin en el mbito de la actividad educativa en que se incardina el
estudio evaluativo. En este sentido procede desarrollar los siguientes puntos:

3.1. Seleccin de criterios de valoracin: cuando el investigador o evaluador se
encuentra frente a los datos debe tener perfectamente claros los criterios con los que los
va a juzgar. Es decir, la propuesta de trabajo nos presenta una seleccin de los mismos,
conforme a la alternativa investigadora planteada, de tal forma que cualquier otro
investigador o persona interesada pueda llegar a las mismas conclusiones que el equipo
de trabajo y con la suficiente claridad para ser interpretada por toda la comunidad
cientfica.

3.2. Anlisis minucioso de los resultados: con los criterios previamente
identificados y categorizados se procede a un estudio detallado de los mismos,
conforme a los objetivos fijados en el trabajo, de tal forma que podamos extraer tanto la
informacin superficial, que muestran los datos, como la ms profunda que encierran
los resultados.

3.3. Formulacin de juicios: una vez analizados los resultados se procede a su
enjuiciamiento, lo que implica la participacin activa del equipo investigador, pues esta
valoracin contextualizada conforme a los criterios establecidos nos permite una
apreciacin, en cierto sentido subjetiva, de lo que trasciende a los propios datos, pues se
ve influenciada por el contexto social y cultural en que se inscribe.

3.4. Toma de decisiones: constituye la principal sea de identidad en la
investigacin evaluativa, es por tanto su finalidad ltima. As pues la validez de los
resultados nos permite una toma de decisiones sobre la propuesta planteada en la
evaluacin de programas e instituciones. Naturalmente se entienden decisiones de
12

mejora que repercutan no solo sobre el resultado final alcanzado, sino sobre los
procesos que se han seguido a lo largo del estudio evaluativo.

3.5. Redaccin del informe: en realidad este apartado se encuentra expresado de
forma implcita en el desarrollo de la investigacin, parece perfectamente claro que la
realizacin de un trabajo de estas caractersticas exige que llegue a conocimiento de
otras personas interesadas en el mismo, ello se refleja en el correspondiente informe del
trabajo realizado y a travs de los resultados, debidamente contextualizados, a los que
se ha llegado. Segn la persona o entidad a que se dirija el informe exigir un tipo de
redaccin distinta, ms o menos tcnica y con mayor o menor nmero de detalles. En el
tema 15 de la asignatura presentamos un anlisis ms detallado de este apartado.

Esta propuesta de realizacin de investigaciones evaluativas, como cualquier otra
que se pueda presentar, trata de combinar actividades y pasos relacionados tanto con la
investigacin como con la evaluacin, con una especial incidencia en la valoracin de los
resultados y la implicacin del investigador en la misma, ms all de las posturas aspticas
marcadas en la investigacin de carcter cuantitativo. Teniendo en cuenta estas
consideraciones presentamos en los siguientes temas los puntos principales a tener en
cuenta para llevar a cabo la evaluacin de programas y de instituciones.



4. LOS MTODOS EN LA INVESTIGACIN EVALUATIVA

Entendemos que la metodologa se refiere al estudio de los mtodos de
investigacin, es decir, se preocupa de comprender los procesos implicados en su puesta en
prctica. As pues, describe, explica y justifica el mtodo de trabajo ms apropiado al
problema que es objeto de estudio y anlisis. Bajo su dominio tienen cabida una diversidad
de mtodos y procedimientos en el estudio de la realidad social y educativa. Mientras que
el mtodo nos indica el camino que debe seguir el investigador para alcanzar un
determinado fin.

Desde concepciones abiertas podemos aceptar, y los hechos as lo ponen de relieve,
que tradicionalmente se ha recurrido a dos propuestas de actuacin o dos caminos para dar
respuestas razonables a los interrogantes que plantea la investigacin evaluativa, nos
referimos a los basados en el paradigma positivista y en el interpretativo. Aunque en fechas
recientes los tericos y los investigadores se decantan por el empleo conjunto, defendiendo
la necesaria complementariedad metodolgica en el estudio de la realidad educativa.


4.1. Perspectiva experimental y cuasi-experimental

La principal sea de identidad de estos enfoques hemos de buscarla en el control
sobre los procesos y las variables extraas para que no influyan sobre los resultados
alcanzados, ms estricto en la propuesta experimental y menos riguroso en la cuasi-
experimental. En este sentido debemos indicar que el objeto fundamental de los mtodos
experimentales consiste en la comprobacin emprica de las hiptesis de causalidad
establecidas, con una triple finalidad: aumentar el nivel de conocimientos, descubrir las
explicaciones sobre los fenmenos y confirmar la validez de las teoras cientficas.
Conviene recordar que esta perspectiva ha sido estudiada en otras asignaturas. Por ello, en
13

estos momentos vamos a ceir los comentarios a su aplicacin en el campo de la
investigacin evaluativa.

As las evaluaciones que siguen este enfoque se caracterizan por la bsqueda de
relaciones entre los objetivos y los logros del programa de intervencin, consideramos que
son especialmente tiles cuando se trata de tomar decisiones sobre la continuidad, la
expansin, el abandono del mismo. Generalmente estas propuestas tan rigurosas suelen
descansar sobre aportaciones previas de otros estudios evaluativos anteriores basados en la
metodologa cualitativa, el estudio de casos, la investigacin correlacional y expost-facto,
la descriptiva, etc.

Esta perspectiva nos ofrece una valoracin de los resultados del programa o de la
institucin, de su impacto social, de la comparacin con otros, de puntos fuertes o dbiles,
es decir, nos ofrece informacin til sobre el programa de intervencin en su conjunto, una
vez ejecutado en todos su apartados, por lo tanto, no contempla los procesos implicados ni
los contextos en que se ha puesto en prctica.

Por su parte la alternativa cuasi-experimental, que trabaja con escenarios naturales y
no exige la asignacin al azar de los sujetos, ha sido de utilidad en este campo; pues sus
puntos de partida no son tan estrictos como la propuesta experimental. En ambos casos
puede contemplarse su empleo en algunas situaciones en que el objetivo fundamental sea
la comparacin de programas, de instituciones, de eficacia escolar, de rentabilidad social.


4.2. Perspectiva cualitativa

Surge como respuesta a las lagunas del enfoque anterior, aunque su desarrollo lo
podemos situar en pocas ms recientes, su preocupacin fundamental se dirige a
comprender los programas de intervencin y sus efectos en los participantes, dentro de un
contexto de actuacin determinado. As pues, en este enfoque, tambin denominado
naturalista, los evaluadores observan los fenmenos en situaciones naturales y recogen
informacin que es analizada desde la perspectiva de las personas implicadas en los
procesos, as como de los gestores y promotores.

El estudio de los procesos implicados en la puesta en prctica se preocupa de cmo
ocurre ese fenmeno, es decir, el inters viene motivado por conocer el nivel de
participacin y las implicaciones de los sujetos y menos por los resultados alcanzados. Esta
propuesta requiere de una sensibilidad hacia los cambios que se pueden presentar en su
desarrollo, de ah que se interese por las actividades formales, las metas parciales previstas,
los acontecimientos y las interacciones imprevistas.

La informacin as obtenida permite aventurar juicios de valor sobre el grado y la
amplitud que el programa o el centro est consiguiendo, segn los objetivos operativos
planteados incialmente, adems de poner de manifiesto aquellos campos que se deben
mejorar y los aspectos mejor valorados que se deben mantener. Conceptualmente nos
encontramos ante evaluaciones eminentemente formativas puesto que se dirigen hacia la
mejora del programa, que si resulta til y valioso se podr emplear en otros contextos de
naturaleza similar.

14

Estas evaluaciones de desarrollo ofrecen informacin a las personas que han de
tomar decisiones sobre cmo se ha puesto en prctica, cul es el motivo de su separacin
de las propuestas iniciales de secuenciacin y temporalizacin, s se van cubriendo las
expectativas formuladas, qu nivel de adaptacin se ha logrado respecto a las condiciones,
necesidades e intereses de los sujetos. De esta forma el investigador podr descubrir las
lagunas que se producen en cada situacin y orientar los cambios que sera necesario
introducir en el futuro para evitarlas y superarlas.

Los defensores del enfoque cualitativo estiman que es fundamental cuando se trata
de recoger datos ricos y valiosos tanto del contenido del programa de intervencin como
del contexto en que se aplica, adems piensan que sus trabajos suelen tener una mejor
acogida entre el personal implicado en los procesos y son ms tiles para la toma de
decisiones sobre la puesta en prctica. No obstante, se les critica por no haber demostrado
que la informacin generada es vlida y generalizable, aunque se responde que sus
intereses se han dirigido ms a los procesos y las relaciones entre las personas que
participan en los programas y menos hacia la generalizacin de los hallazgos.


4.3. La complementariedad metodolgica

Despus de analizar brevemente las propuestas cuantitativa y cualitativa y
comprobar sus posibilidades y limitaciones en la investigacin evaluativa, parece lgico
defender la opcin de la complementariedad, como hacen Cook y Reichardt (1986) cuando
se refieren a la flexibilidad y la adaptabilidad de los mtodos a las situaciones objeto de
estudio. Otros autores que siguen esta lnea como Soltis, Trend, Firestone, Goetz y
LeCompte, Anguera, Salomon. En concreto Soltis (1984) opina que si la investigacin
educativa se concibe como emprica, interpretativa, normativa y crtica, es lgico pensar
que los problemas deben abordarse desde pticas complementarias, para recoger la mayor
riqueza, no desde posturas excluyentes y raquticas. Howe (1993) tras realizar una crtica a
los que defienden la incompatibilidad, ofrece una va alternativa: la investigacin
educativa crtica, donde se busca la explicacin cientfico-social-tcnica, ms cercana a lo
cualitativo que al positivismo, pues toma como referencia la perspectiva de los
participantes.

El problema de la superacin de esta dicotoma no es tarea sencilla, pues ambas
lneas proceden de tradiciones singularmente diferentes desde una perspectiva histrica,
generadas a partir de la corriente filosfica defensora del positivismo lgico en la
investigacin emprica. En el campo de la investigacin evaluativa resulta ms sencilla la
defensa de posturas eclcticas, pues el hecho de que una propuesta investigadora sea de
naturaleza holista, no debe suponer su adhesin al resto de las condiciones del paradigma
cualitativo. Lo mismo podramos afirmar en el caso de propuesta de medicin rigurosa,
que tampoco debera asumir todos los condicionantes del paradigma cuantitativo. As pues,
el investigador puede elegir con libertad una mezcla de los atributos de ambos, siempre
que mantenga claramente definidos los objetivos de su investigacin y cubra mejor las
necesidades.

En este sentido Eisenhart y Howe (1992) resuelven la disyuntiva epistemolgica no
inclinndose abiertamente por ninguna de las perspectivas, es ms opinan que el debate
metodolgico no es ms que un invento, pues son muchos los investigadores que realizan
15

sus trabajos sin preocuparse de estas polmicas. Por ello, plantean los siguientes principios
metodolgicos:

- La formulacin de preguntas que se fundamenten en la prctica de la educacin, para
as seleccionar aquellos mtodos de trabajo que mejor se ajusten a las cuestiones
planteadas.
- La aplicacin sistemtica de tcnicas especficas de recogida de datos y de
procedimientos de anlisis que definen un determinado enfoque metodolgico.
- La fundamentacin de la investigacin y la evaluacin en conocimientos bsicos
crebles, ya sean tanto sobre teoras como sobre la prctica educativa.
- El garantizar las conclusiones alcanzadas, lo que implica abordar crticamente los
logros y los hallazgos procedentes de enfoques metodolgicos alternativos.

Desde la base de estos principios metodolgicos, las ventajas potenciales que nos
puede reportar el empleo conjunto de los mtodos cualitativos y cuantitativos seran, entre
otras, el atender de forma adecuada y en las condiciones ms exigentes, la diversidad de
propsitos y metas de la investigacin evaluativa. La complementariedad nos ofrece
tambin una visin ms rica de la realidad objeto de estudio, as como la posibilidad de
contrastar, mediante la triangulacin, informaciones recogidas a travs de fuentes diversas
y enriquecedoras.

En el terreno educativo, recurrir al principio de la complementariedad, supone
aceptar que el proceso de perfeccionamiento humano necesita conocer en profundidad los
trminos que se presentan como opuestos y descubrir en cada uno de ellos su carcter
complementario. Ello se justifica desde la aceptacin de la dificultad que entraa la
educacin, entendida en su sentido de formacin integral de la persona, adems de no
desperdiciar las aportaciones de los diferentes profesionales que concurren en el acto
educativo y que estn implicados en la comunidad educativa. El uso de un mtodo u otro
depender de los propsitos de la investigacin evaluativa, del estado de madurez del
programa, de los recursos disponibles, de los intereses y necesidades de los
patrocinadores y de los evaluadores y del medio poltico y organizativo del programa de
intervencin socioeducativa.

La argumentacin de la defensa de la complementariedad metodolgica en el
momento de abordar el estudio de la educacin social es defendida tambin de manera
sistemtica por Jaeger (1988), que resalta la importancia de la misma frente a los
enfrentamientos, pues la complejidad de los hechos y fenmenos educativos, exige la
presencia de visiones distintas pero concurrentes en el mismo, lo que ofrecer una riqueza
de matices que se podran escapar a cada una de ellas de forma aislada. En el campo
concreto de la evaluacin de programas Fernndez Ballesteros (1996) defiende esta
postura, si bien recurre a la expresin multiplismo, pues en su estudio confluyen mltiples
enfoques tericos, mltiples hiptesis rivales, objetivos, audiencias, mtodos de
evaluacin, anlisis de datos.

En esta lnea argumental nos podemos cuestionar si una sola metodologa es capaz
de ofrecernos respuestas adecuadas y contrastadas a los diferentes interrogantes que
plantea la investigacin evaluativa. Entendemos que ello no es posible, desde una
concepcin amplia del problema, que abarca el diseo del programa, como respuesta a las
necesidades educativas; para seguir con la puesta en prctica del mismo en un determinado
contexto y; a continuacin, valorar las aportaciones y tomar las decisiones oportunas que
16

repercutirn en los planes de mejora que por supuesto debern ser analizados. As pues,
esta evaluacin integral exigir a lo largo del proceso de diversos mtodos, lo que nos
conduce a la complementariedad que facilitar el contraste de informacin que puede ser
coincidente, con lo que se constatarn los resultados alcanzados o bien se descubrirn las
discrepancias, que nos identifiquen los puntos de alarma sobre los que se debe reflexionar
ms a fondo en el proyecto o programa.

Por tanto, debemos hablar de la complementariedad de mtodos de trabajo, para que
no se queden descolgados algunos aspectos relevantes del estudio, que podran estar
ocultos ante una visin restrictiva, es decir, una propuesta de trabajo bajo el enfoque
cuantitativo, que es mucho ms rigurosa en sus planteamientos y que sigue un proceso ms
lineal en su desarrollo, puede verse enriquecida con un enfoque de tipo cualitativo, donde
los contextos y las perspectivas de globalidad de los hechos y fenmenos educativos
pueden ofrecernos una visin de conjunto ms adecuada a la realidad de la educacin.
Ahora bien, debemos ser conscientes que esta perspectiva de complementariedad exige la
presencia de tcnicas variadas que permitan al investigador recoger informaciones y datos
sobre la compleja realidad social y educativa a evaluar.

En consecuencia, defendemos el enfoque metodolgico en que se combinen las
propuestas cuantitativas y cualitativas, si bien, debe ser el investigador o el equipo
responsable de esta tarea quin, en cada momento, decidir cul es el mtodo y la tcnica
ms apropiada en cada una de las situaciones contextuales en que se lleva a cabo el trabajo
y qu nivel de participacin se puede esperar de las personas implicadas en el mismo. Pues
ser muy distinto abordar el anlisis tcnico del propio programa, para lo que se necesitar
contar con el apoyo de personas expertas en el campo que es objeto de intervencin, frente
a la puesta en prctica en un determinado contexto, lo que llevar consigo la realizacin de
estudios de campo en que se recurra a la entrevista directa con las personas que lo estn
llevando a cabo. Si lo que nos interesa analizar son los resultados, tendremos que preguntar
y valorar las aportaciones de los sujetos que han participado en el programa, para ello ser
necesario elaborar una serie de pruebas de rendimiento y aprovechamiento combinadas
con otras percepciones de tipo ms cualitativo. Esta visin donde confluyen enfoques y
propuestas de trabajo diversas, que facilitan el anlisis profundo de la realidad educativa,
permitir alcanzar los objetivos propuestos por el equipo investigador en aras a conseguir
su aplicacin futura en otros contextos de naturaleza similar, lo que repercutir de manera
positiva en el logro de una educacin de calidad.


5. PROCEDIMIENTOS Y TCNICAS PARA LA RECOGIDA DE
INFORMACIN Y DATOS

Una vez que hemos analizado el proceso general para la realizacin de la
investigacin evaluativa, nuestro objetivo fundamental en este apartado ser analizar la
forma en que se puede obtener la mayor informacin y de mejor calidad, que nos permita
garantizar de forma cientfica que las conclusiones y recomendaciones del trabajo nos
conduzcan a la toma de decisiones ms trascendente para la comunidad. Si bien esta parte
se presenta en el tema 3, creemos interesante presentar en esta propuesta inicial una
sntesis de los procedimientos ms comunes en este campo.

As pues, entendemos que el procedimiento nos marca el camino a seguir en la
evaluacin, mientras que las tcnicas nos indican el modo de recorrer ese camino. Por ello,
17

prima su carcter prctico y operativo de proximidad a la realidad a evaluar. Nos
inclinamos por considerar las tcnicas como aquellos medios que emplea el investigador
o evaluador para registrar sus observaciones o facilitar el tratamiento adecuado de la
informacin. Es necesario que las tcnicas seleccionadas o elaboradas en la investigacin
evaluativa nos puedan garantizar que los datos suministrados alcanzan una buena calidad,
de forma que la toma de decisiones derivada de la misma sea la ms adecuada a la realidad
objeto de estudio.

Esta seleccin que vamos a desarrollar seguidamente, sin pretender ser exhaustiva,
trata de presentar aquellas tcnicas a las que se suele recurrir cuando el
investigador/evaluador se plantea un trabajo de esta naturaleza. Una de las decisiones a
tomar consiste en elegir el criterio que se va a utilizar para su clasificacin, en este caso
hemos optado por aqul ms extendido y al que se hace referencia en otros temas de la
asignatura, es decir, aquellas tcnicas que siguen un enfoque de tipo cuantitativo frente a
las de tipo cualitativo.

Conviene recordar al alumno que una gran parte de los comentarios recordatorios
que siguen en las siguientes pginas ya los ha estudiado previamente en la asignatura
Mtodos de investigacin en Educacin Social.


5.1. Tcnicas de enfoque cuantitativo

Si nos remontamos a los trabajos de Tyler nos encontramos con que las propuestas
para la recogida de informacin y datos tenan una naturaleza eminentemente cuantitativa,
ello es lgico si pensamos que el objetivo fundamental de estos modelos se dirigan hacia
la comprobacin de los resultados alcanzados, es decir, lo que realmente importaba era la
eficacia del programa seguido, tanto en el grado de cumplimiento como en los efectos
producidos en los beneficiarios. As pues, estas tcnicas van a generar una medida (dato
numrico) sobre la que se puedan realizar los correspondientes anlisis estadsticos.

Uno de los objetivos que se debe fijar el investigador ser el conseguir un dato de
calidad, es decir, un dato suficientemente preciso, vlido y fiable que no induzca a error o
sesgo en su procesamiento formal. Para lograr este objetivo se han de contemplar una serie
de elementos metodolgicos que han sido analizados con anterioridad (diseo, seleccin de
muestras, competencias del evaluador, calidad intrnseca del propio instrumento).

Por lo tanto, cuando el investigador se encuentre ante la seleccin de la mejor tcnica
para recoger informacin y datos para su trabajo, deber cuidar que se cumplan los
requisitos pertinentes relativos a la fiabilidad y validez especificados en el instrumento
operativo de que se trate. Ahora bien, en el caso de la construccin de uno nuevo, sera
preciso obrar con precaucin y seguir las reglas que se recogen en los diferentes manuales,
adems de llevar a cabo una aplicacin piloto que nos permita asegurar que cumple las
caractersticas tcnicas exigibles a estos instrumentos y que van a ser de utilidad para
alcanzar los objetivos fijados.

Seguidamente pasamos a exponer de forma breve aquellas tcnicas de naturaleza
cuantitativa a las que recurre con mayor frecuencia el investigador en el campo educativo.

5.1.1. La entrevista
18


Constituye uno de los procedimientos ms empleados, puesto que nos permite una
recogida directa de informacin que se basa en una relacin personal entre entrevistador y
entrevistado, mediante anotaciones y comentarios no slo sobre lo que se busca
directamente, sino tambin sobre las circunstancias en que estos hechos se producen, lo
que puede ofrecer una informacin rica y valiosa en la interpretacin de los datos
recogidos. Por tanto, se ocupa de obtener informacin sobre los sujetos y los grupos,
adems de facilitar informacin a otras personas e influir sobre determinados aspectos de
la conducta humana.

Fox (1981) la sita entre los recursos que permiten recoger datos superficiales,
subsuperficiales y profundos, bien sean sobre cuestiones externas al sujeto que requieren
su opinin como sobre aspectos internos identificados con las experiencias, propsitos e
ideales del sujeto entrevistado. Por su parte, Kerlinger (1985) estima su utilidad para
identificar variables o sugerir hiptesis, actuar como un instrumento de recogida de
informacin y validar otros mtodos o permitir la profundizacin en las motivaciones y
respuestas de los entrevistados.

Para garantizar la fiabilidad y la validez de los datos recogidos en la entrevista es
conveniente que tengamos en cuenta una serie de aspectos fundamentales para esta
tcnica, como son:

- La entrevista supone una relacin humana, por tanto, debemos conseguir una
comunicacin abierta, espontnea, positiva y libre de tensiones. Ello exige alcanzar
un alto nivel de empata (simpata neutral) que se manifiesta en la comprensin
de los dems y en no juzgar ni implicarse de manera afectiva.

- El contenido de la entrevista, partimos de la base que los sujetos no poseen la misma
preparacin para contestar temas complejos ni el mismo nivel de implicacin en el
tema analizado. En algunas ocasiones se recurrir a la seleccin de muestras
representativas y en otras, temas delicados, a preguntas indirectas.

- Las unidades de informacin que configuran las preguntas y respuestas y que
condicionan la fiabilidad y la validez de la informacin recogida. Es preciso elegir
el tipo de preguntas y respuestas ms apropiado, la formulacin clara y concisa de
las cuestiones, su estructura y contenidos. Adems de garantizar la libertad del
entrevistador.

- El registro de las respuestas debe ofrecer garantas de la fidelidad de las expresiones
manifestadas por los sujetos, evitando interpretaciones sesgadas. Para ello
disponemos de diversos recursos materiales y audiovisuales de registro.

- La categorizacin y valoracin de la informacin recibida, permite identificar todas
las categoras de la realidad analizada y que stas sean mutuamente excluyentes.
Una vez traducido a valores numricos cuantitativos o de naturaleza cualitativa, nos
permitirn llevar a cabo los preceptivos anlisis estadsticos y comprender la
realidad estudiada.

19

En la clasificacin de la entrevista se suele diferenciar entre la estructurada o
tipificada y la no estructurada o flexible. En estos momentos nos vamos a centrar en la
primera modalidad, dejando la segunda para el siguiente apartado (cualitativo).

La entrevista estructurada es aquella que emplea un protocolo previo de preguntas
de alternativa fija o bien de varias alternativas de repuesta para que el sujeto elija la ms
apropiada. En realidad se trata de un interrogatorio en el que las preguntas se formulan en
el mismo orden y con los mismos trminos. Tanto las preguntas como las respuestas suelen
ser cerradas y se reflejan de forma escrita mediante la correspondiente codificacin, para
que el entrevistado seleccione, ordene y exprese su grado de acuerdo o desacuerdo. Esta
presentacin permite realizar estudios exploratorios, de sondeo, pero sin profundizar sobre
cuestiones ms ntimas, por ello, su principal inconveniente se encuentra en la falta de
flexibilidad.

Si tomamos en consideracin el nmero de participantes podemos diferenciar entre
la entrevista individual (un solo sujeto contesta a las preguntas formuladas) y la entrevista
en grupo (varios sujetos contestan de forma simultnea de manera oral o escrita). En lneas
generales la realizacin de la entrevista lleva consigo una serie de pasos, entre los que
destacamos:

1. Identificar con claridad cules son los objetivos que se pretenden alcanzar con
entrevista, deben guardar una relacin directa y ntida con los objetivos generales de
la investigacin evaluativa.

2. Elegir la modalidad de entrevista ms apropiada a las caractersticas de los sujetos
(sexo, edad, nivel de estudios, profesin) y la propuesta global del trabajo.

3. Seleccionar los sujetos que van a ser objeto de estudio. Se trata de un tema
fundamental cuando el objetivo sea alcanzar la generalizacin de los resultados,
pues ello exige garantizar la representatividad de la muestra; en cambio si se trata
de analizar problemas concretos, se deben elegir aquellos sujetos que cumplen el
requisito exigido.

4. Realizar operativamente la entrevista, constituye la parte fundamental de la tcnica,
pues lleva consigo una serie de aspectos formales y cientficos, entre los que
debemos citar:

- Forma de las preguntas, el entrevistador debe fijar los contenidos y el nmero de
cuestiones planteadas, as como su presentacin. Los contenidos se refieren a:
experiencias, opiniones, emociones, sensaciones, conocimientos, caractersticas
personales y contextuales.

- Orden de presentacin de las preguntas que permita llegar al fondo de las
cuestiones, si conseguimos un alto nivel de implicacin personal del
entrevistado. As se suelen plantear las preguntas ms complejas y controvertidas
en los momentos intermedios o finales, donde ya se ha creado el adecuado
rapport y existe un inters manifiesto en el entrevistado.

20

- Cuidar de forma especial la relacin de ambos, creando un clima de confianza y
cooperacin entre ellos, de forma que se genere un ambiente de cordialidad y
empata que garantice la sinceridad de las respuestas y la colaboracin mxima.


- Formular preguntas directas que sirvan de estmulo al entrevistado, que sean
inteligibles y no admitan varias interpretaciones. Se deben elegir preguntas
nicas, formuladas con la suficiente claridad, de manera neutral y manteniendo
el control en su desarrollo.

- Registrar adecuadamente la informacin para garantizar su posterior anlisis, sin
resumir ni interpretar previamente. Este registro se puede realizar de forma
manual (notas de frases, listas de enunciados) o bien a travs de los recursos
audiovisuales (grabaciones en audio y vdeo).

En consecuencia podemos indicar que la entrevista estructurada se configura como
un medio rico y valioso de recogida de informacin, puesto que no solo se recoge sta,
sino que se completa con otras circunstancias que sirven de contexto y marco de referencia
de aquella, lo que enriquece y posibilita su interpretacin. Por ello, es preciso cuidar los
aspectos tcnicos de la misma como son la fiabilidad (grado congruencia entre las distintas
respuestas, nivel de concordancia entre los informadores o consistencia interna de la
informacin recogida) y la validez (exige que las respuestas guarden relacin con el tema
estudiado, adems de representar la informacin deseada y no otra distinta, se puede
recurrir a la consulta a jueces o expertos).

Aunque resulta una tcnica costosa en tiempo, dada la exclusividad del entrevistado,
como contrapartida nos ofrece una informacin exhaustiva y en profundidad de los
personajes que son clave en la investigacin evaluativa, as se puede dirigir a los
responsables del diseo y puesta en prctica y a los gestores. Es decir, grupos selectos y
que poseen en alto nivel de informacin sobre el tema que estamos investigando. Por
ejemplo cuando se pretende conocer si existe coincidencia entre los sujetos a los que se
dirige el programa de intervencin y los que la disean y ejecutan. Esto nos permitir
conocer la evaluabilidad del programa. As pues, ser especialmente recomendado su uso
en aquellos momentos puntuales en que se precise recabar informacin cualificada y de
primera mano, sobre todo en el marco contextual y el de la ejecucin.


5.1.2. La encuesta

La encuesta es una de las tcnicas a las que ms se suele recurrir en la investigacin
en educacin. Consiste en un repertorio de preguntas que se formulan a un grupo
determinado de sujetos que suelen representar a un colectivo ms amplio. En la
investigacin evaluativa se utiliza para recoger la opinin y la valoracin de una muestra
representativa de los usuarios del programa o de la institucin.

Ahora bien, este repertorio de preguntas y cuestiones de relevancia aparecen
reflejadas en el instrumento que llamamos cuestionario, que intenta recoger toda la
informacin necesaria e importante para el problema que se investiga. En cuanto a la
forma en que se administra puede ser de forma individual o en grupo, presencialmente o
mediante el correo. Apenas existe relacin entre los sujetos que contestan y la persona que
21

los administra. Mediante el cuestionario podemos describir, clasificar, confirmar,
establecer relaciones de lo que opinan, sienten, creen, valoran, piensan los individuos
sobre un determinado hecho o fenmeno educativo, adems de su comportamiento ante
situaciones concretas que se plantean en la vida real.

En el proceso de elaboracin del cuestionario, se den tener en cuenta una serie de
aspectos contextuales de sumo inters para los trabajos evaluativos como son: los objetivos
que se pretenden alcanzar, el tipo de contenidos que deseamos obtener, la modalidad de
preguntas y respuestas, la redaccin clara y concisa de las mismas. Ahora bien, estas
directrices generales se deben completar con unas sugerencias prcticas de especial inters
como:

- El contenido se suele dirigir hacia dos grandes campos, uno configurado por las
cuestiones relativas a la identificacin de los sujetos desde aquellas variables
relevantes para el estudio (personales y contextuales) y otro constituido por las
opiniones, hechos, actitudes de los sujetos ante las propuestas del investigador. Hay
que combinar la relevancia y la pertinencia de la informacin con la longitud del
cuestionario.

- Las preguntas y respuestas, pues la formulacin de las primeras condiciona las
segundas. La pregunta ha de conseguir la colaboracin del encuestado, para ello se
debe conocer la intencin de la misma y que est formulada en un lenguaje claro y
adaptado a las caractersticas de los sujetos, con enunciados concretos y precisos
que eviten dudas e interpretaciones errneas. Las respuestas ofrecidas deben
recoger todas las posibilidades, para que el sujeto conteste de forma valorativa o
seleccionando aquella que se ajusta a su caso particular.

- La forma de recoger la informacin, debe garantizar la fidelidad y precisin de los
datos recogidos ya sea de forma personal o recurriendo a medios tecnolgicos. En
los envos masivos se suele contestar en el propio cuestionario o bien en una hoja de
codificacin diseada para esta finalidad concreta.

Una vez elaborado el cuestionario, se debe proceder a su aplicacin piloto en una
muestra reducida de sujetos, que nos ofrecer una serie de informaciones de especial
inters, para corregir las preguntas confusas, las de doble respuesta, las que son
excesivamente largas, las que no aportan informacin novedosa, etc. Adems de
comprobar el tiempo en la contestacin y las posibles dudas en cuanto a su presentacin y
la redaccin de orientaciones para rellenar las casillas pertinentes. Pero sin duda, la utilidad
principal de los datos aportados por esta aplicacin ser poder determinar la fiabilidad (se
suele utilizar con frecuencia la concordancia entre los elementos similares o estrechamente
relacionados, uno de los coeficientes ms empleados es el alfa de Cronbach) y la validez
(que nos garantiza que las respuestas logran una presencia suficiente y representativa de
los objetivos y contenidos de la investigacin evaluativa, para ello se recurre a la opinin
de expertos, lo que refleja la validez de contenido).

Las aportaciones y sugerencias recogidas en la aplicacin piloto nos van a permitir
una depuracin del cuestionario, tanto en los aspectos formales como en los referidos al
contenido, para as proceder a la redaccin definitiva del mismo que ser presentada a la
muestra de sujetos previamente seleccionada.

22

En el campo propio de la investigacin evaluativa se suele utilizar en los momentos
en que se lleva a cabo la puesta en prctica y cuando se tratan de analizar y valorar los
resultados alcanzados, puesto que permite recoger una amplia variedad de datos sobre
estos dos momentos del proceso, de forma especial de aquellos sujetos que participan en el
mismo y que nos ofrecen una informacin de primera mano sobre los puntos fuertes y
dbiles de los mismos.


5.1.3. La observacin sistemtica

El observador contempla la realidad sin actuar sobre ella, registra hechos o
fenmenos tal y como se estn produciendo en un momento determinado. Es
conveniente diferenciar entre la observacin casual de los fenmenos naturales de la que
estamos presentado debidamente planificada y estructurada, con rango cientfico, que
nos suministra una serie de informaciones complementarias a otras fuentes de recogida
de informacin.

Para Selltiz y otros (1980) la observacin se convierte en una tcnica cientfica
cuando sirve a un objetivo de investigacin previamente formulado, se planea de forma
sistemtica, se registra sistemticamente, se relaciona con proposiciones ms generales
y se somete a comprobaciones y controles sobre su validez y fiabilidad. En esta lnea De
Ketele (1995) la define como aqul proceso que requiere atencin voluntaria e
inteligencia, orientado por un objetivo terminal y organizador, dirigido hacia un objeto
con el fin de obtener informacin valiosa para los objetivos fijados.

As pues, la intencionalidad es una de las caractersticas bsicas, ello implica
determinar con claridad lo que se va a observar, cmo se va a llevar a cabo y quin es el
encargado de la tarea. En primer lugar debemos tener perfectamente delimitado el
campo de la observacin, seleccionando puntos concretos, pues tratar de observar la
realidad total es prcticamente imposible, ello se traduce operativamente en lo que
llamamos guin de la observacin. En segundo lugar se nos plantea cmo observar,
bien con presencia directa del observador, bien recurriendo a diversos recursos
audiovisuales y de registro de la actividad, se deben cuidar los problemas derivados de
la interaccin entre el observador y el observado. En tercer lugar tendramos que definir
quin debe llevar a cabo esta tarea, es decir, la persona que lo refleja en el
correspondiente registro y toma las anotaciones pertinentes, puede ser una persona ajena
o bien alguien dentro del grupo.

Los criterios de tipo metodolgico que se han de tener en cuenta en el desarrollo
de una observacin sistemtica, segn las directrices de Anguera (1993) y Rincn y
otros (1995), son los siguientes:

- Los objetivos de la observacin deben estar definidos con claridad.
- La estrategia a seguir, puede ser inductiva o deductiva, segn parta de los hechos
o fenmenos o bien se apoye en un marco terico, respectivamente.
- El tipo de observacin elegido puede ser directo (recoge las conductas manifiestas
por lo que predomina lo descriptivo) o indirecto (conductas encubiertas que
precisan de la inferencia para su identificacin por lo que llevan consigo una
carga interpretativa).
23

- El nivel de sistematizacin, desde el mximo hasta el no-sistematizado, de
acuerdo a las necesidades del caso.
- El grado de participacin del observador, que genera la observacin no
participante, participante y auto-observacin.
- Los niveles de descripcin de las unidades de conducta, que lleva consigo la
eleccin de uno o varios criterios base para generar unidades moleculares,
molares y mixtas.
- El contenido de la conducta a observar que puede ser de naturaleza no verbal,
espacial, vocal y verbal.
- Los sesgos o dificultades especficas que puede plantear en un momento dado del
proceso, como la reactividad del observador sobre el observado, la reactividad
reciproca, la auto-reactividad, los fallos de procedimiento, etc.
- La formacin y competencia profesional del observador, que requiere de una serie
de habilidades especficas para realizar esta tarea, lo que aumenta la fiabilidad de
los datos.

Estas sugerencias son de suma importancia cuando planificamos una
observacin sistemtica. Adems, unido a la intencionalidad, cabe resaltar la
estructuracin y la vinculacin a unos determinados presupuestos tericos y ser
realizada con orden y mtodo apropiado. Tambin debemos sealar la importancia del
control, de forma que se elimine, en el mayor grado posible, la influencia de factores
externos que puedan distorsionar la visin de la realidad observada.

El esfuerzo para la sistematizacin de la observacin corresponde a los miembros del
equipo evaluador, dado que son los que mejor conocen los programas de intervencin y el
diseo de la evaluacin. Por tanto, se requieren observadores expertos, que sean ajenos a la
realidad del programa, es decir, es bsico que el observador sea no participante, para evitar
los efectos de la interaccin. En la investigacin evaluativa tiene suma importancia el
contexto o lugar donde se desarrolla la misma, as se habla de la observacin natural
(recoge datos donde se est implantando) y la artificial (alejada del medio natural donde se
pretende replicar las condiciones del mismo).

Existen diferentes formas de registro de la observacin, entre las de mayor uso y
utilidad en el campo educativo se encuentran el anecdotario que registra comportamientos
que se producen en el contexto; las notas de campo recogidas en el escenario de la
observacin que pueden ser de tipo personal, descriptivas, inferenciales, bien que estn
basadas en criterios tericos y metodolgicos; tambin se suelen emplear las listas de
operaciones o rasgos en las que se constata la presencia o ausencia en un momento
puntual; tambin son frecuentes las escalas de estimacin que aaden una valoracin en
intensidad del rasgo a estudiar, pueden ser de tipo numrico, grfico o descriptivo. Por
ltimo destacamos la presencia de las categoras, previamente conceptualizadas por el
observador, que nos permiten analizar la inclusin de los distintos elementos de cada una
de ellas de modo excluyente.

Como sealan los expertos la fiabilidad constituye una condicin sine qua non de
la metodologa observacional. En este caso se identifica con el grado de acuerdo producido
entre los observadores independientes, es decir, en qu medida las observaciones no tienen
errores. Por lo tanto se ocupa de la reduccin de los sesgos que se pueden producir, para su
cuantificacin y expresin recurren a los coeficientes de correlacin y porcentajes de
acuerdo, stos dependen del sistema de registro, el intervalo de tiempo, la frecuencia del
24

fenmeno, los cambios en el observador y los procedimientos estadsticos empleados.
Mientras que la validez se refiere al grado en que las mediciones obtenidas hacen una
descripcin real de lo que se pretende evaluar, en otras palabras, cuando se puede afirmar
que se ha registrado aquello que se pretenda observar.


5.1.4. Los autoinformes (tambin se recoge en el tema 13)

Los autoinformes nos presentan, en lo que se refiere al grupo de personas implicadas
y en comparacin con la entrevista, la ventaja de la accesibilidad a un mayor nmero de
elementos con un menor esfuerzo debido a que no es precisa la interaccin sujeto a sujeto.
Adems presenta un grado de especificacin que no alcanza la encuesta, es decir, si el
objetivo es el de llegar a un amplio nmero de personas para obtener informacin sobre
aspectos generales, el autoinforme ayuda a recabar informacin ms profunda sobre
determinados aspectos del programa, en cambio no se dirige a un nmero tan elevado de
personas.

El grupo que mejor puede responder a esta tcnica es el de los usuarios, pues han ido
percibiendo y viviendo los cambios que se han producido en su vida gracias a esa
intervencin, as se puede constatar cules son los efectos que se producen en el grupo
cuando se procede a su implantacin y en los usuarios al final del proceso. No obstante,
debemos ser conscientes de la subjetividad de estas aportaciones, que nos interesa expresar
en trminos cuantitativos. Ello se puede solventar a travs de indicadores subjetivos sobre
una serie de tpicos que se han sealado con anterioridad por el evaluador.

No obstante, debemos ser conscientes que el usuario es aquella persona que tiene
una necesidad que espera poder superar, por ello, no es extraa su tendencia a informar con
un sesgo positivo hacia el programa para no dejar en mal lugar a los responsables y evitar
posibles represalias. As pues, resulta ms sencillo mostrar una actitud poco crtica, ya que
puede entenderse como un signo de adaptacin social de la persona, para paliar esta
dificultad se puede recurrir a la confidencialidad y el anonimato. Sera interesante informar
a las personas implicadas de la importancia que para el futuro puede tener una buena
crtica constructiva.

Para la recogida de informacin se suele utilizar el cuestionario que aporta escalas
valorativas en la mayor parte de los elementos que lo configuran, pueden tener un nmero
impar o par de categoras, ello va a depender de la modalidad de las preguntas y de la
formacin de los colectivos a los que se dirige el autoinforme.

En consecuencia parece necesario acudir al autoinforme para recabar informacin de
los usuarios, que resulta complejo obtener por otras vas. Si bien conviene recordar que el
rigor en la construccin del cuestionario, el formato de las respuestas y el sistema de
codificacin y anlisis de las respuestas y los datos, unido a la garanta del anonimato y la
confidencialidad, nos permitir alcanzar una informacin ms contrastable y, a la vez, ms
segura y til para el evaluador en el campo educativo.


5.1.5. Otras formas de recogida de informacin

25

En este ltimo apartado referido al enfoque cuantitativo solamente haremos
referencia a los datos de archivo que proceden de las denominadas fuentes documentales y
a la utilizacin de los indicadores. Respecto a los datos de archivo nos pueden suministrar
informacin sobre la posicin de los implicados antes de iniciar la intervencin en alguna
de las variables relevantes del estudio, adems de la consulta a la documentacin escrita
del programa que aporte el evaluador. Hemos de tener en cuenta que los documentos son
producto de la actividad social y educativa y reflejan los acontecimientos producidos en un
momento de su desarrollo histrico. Aunque se reconoce la existencia de dos tipos de
documentos: oficiales y personales; en la investigacin evaluativa nos interesan los
segundos.

En cuanto a la utilizacin de indicadores, es muy recomendable su uso en alguno de
los momentos del proceso evaluador en que se aspira a alcanzar la mxima objetividad de
los datos. Teniendo en cuenta que el indicador es una medida estadstica que permite
analizar una realidad social desde un punto de vista diacrnico para reflejar su evolucin
y desarrollo. Para algunos autores son especialmente tiles en las tareas de seguimiento,
control y evaluacin operativa de las intervenciones educativas. Se puede establecer una
distincin entre los indicadores descriptivos (recoleccin de datos sin buscar relaciones
entre los elementos) y los evaluativos o normativos (reflejan las relaciones producidas en
el pasado e intentan predecir si stas se producirn en el futuro). Naturalmente en el campo
de la investigacin evaluativa son ms utilizados los segundos pues constituyen una
herramienta bsica en el anlisis de necesidades, como medio para comprobar el nivel de
cumplimiento de los objetivos del programa y como instrumento de estimacin de los
efectos finales producidos en los sujetos. Los requisitos exigibles a los indicadores son:
independencia, verificabilidad, validez y accesibilidad.


5.2. Tcnicas de enfoque cualitativo

La utilizacin de las tcnicas cualitativas en la investigacin evaluativa ha sido muy
posterior a las propuestas de corte cuantitativo, concretamente se podra situar a finales de
los setenta y principios de los ochenta del pasado siglo. Estos enfoques surgen como crtica
a los modelos clsicos de evaluacin en que se haca especial incidencia sobre los
resultados alcanzados. Por ello, se resalta la importancia de la evaluacin del proceso, que
permitir aportar modificaciones en el desarrollo de la intervencin educativa. El propio
Scriven, sin desdear la evaluacin sumativa o final, pone especial cuidado en la
evaluacin formativa. Gran parte de los modelos de evaluacin de programas, que veremos
en el tema 8, inciden en estos aspectos.

Realizar un estudio exhaustivo sobre la amplia variedad de tcnicas a las que puede
recurrir el evaluador excede de los contenidos del tema, por lo tanto, nos limitaremos a
sealar, de forma breve, aquellas que tienen un mayor nivel de uso en el campo educativo.
Adems conviene recordar que alguna de las que vamos a sealar ya han sido comentadas,
al menos en sus aspectos generales, en el apartado anterior.


5.2.1. La entrevista abierta o no estructurada

La diferencia bsica con la estructurada, comentada anteriormente, radica en los
objetivos a alcanzar y, de forma especial, en la estructura y el aspecto formal. Su objetivo
26

fundamental consiste en captar el mensaje del entrevistado sin ningn filtro previo. Por lo
tanto, permite una mayor libertad a la iniciativa tanto del entrevistador como del
entrevistado, la conversacin facilita y estimula una expresin ms libre y con respuestas
no determinadas de antemano, dado que las preguntas que se formulan suelen ser de tipo
abierto y el entrevistado debe construir la respuesta. Requiere de una preparacin ms
especfica de los entrevistadores, adems la informacin suministrada resulta ms difcil de
analizar.

Dentro de esta propuesta podemos distinguir tres modalidades segn el campo
concreto de la entrevista y su nivel de directividad:

- Entrevista focalizada, es una modalidad muy tcnica, que requiere del entrevistador
una gran habilidad, experiencia y trato personal. Se parte de un listado de tpicos
sobre los cuales se realiza la entrevista.

- Entrevista clnica, la diferencia con la anterior est en que se dirige al campo de las
motivaciones y sentimientos de los sujetos, con una finalidad eminentemente
teraputica.

- Entrevista no dirigida, donde el problema de estudio acta como catalizador. El
entrevistador debe crear una atmsfera facilitadora para que el sujeto pueda
expresarse con total libertad, ello le permitir recoger informacin tanto sobre los
comportamientos observables como sobre los motivos e ideales de la persona.

Una vez realizada la entrevista se dispone de un material amplio que debe ser
analizado en detalle para extraer los datos ms relevantes, el procedimiento al que suele
recurrir con mayor frecuencia es el del anlisis de contenido que nos servir tanto para
describir los resultados de la entrevista como para formular inferencias que posibiliten
llegar a conclusiones de orden superior a partir de los elementos de la comunicacin.


5.2.2. Los grupos de discusin

Se trata de una tcnica que nos permite acceder a imgenes colectivas y simblicas
cargadas de valor, que configuran actitudes, condicionan comportamientos y dan lugar a
estados de opinin ms o menos permanentes. Para Krueger (1991) se puede definir como
un tipo de conversacin debidamente planeada y diseada para obtener informacin de un
campo concreto de inters, en un ambiente permisivo sin directividad. Generalmente los
grupos suelen estar compuestos entre seis y diez personas, guiadas por un moderador
experto. La discusin que se genera suele ser relajada, confortable y satisfactoria para los
participantes, puesto que tienen la oportunidad de exponer sus ideas y comentarios ante
los dems. Los miembros de grupo se influyen mutuamente a travs de las respuestas que
se aportan en el proceso de dilogo y discusin.

En el campo de la investigacin evaluativa es una tcnica muy til que permite llegar
a establecer acuerdos entre los implicados en la misma, especialmente cuando se trata de
los usuarios, sobre los efectos provocados por la intervencin educativa.

Para que su utilizacin pueda aportar datos de inters en los trabajos es necesario que
se den una serie de condiciones:
27


- El nmero de personas debe oscilar entre seis y diez, que deben ser seleccionadas
conforme a unos criterios previamente establecidos por el investigador.
- El coordinador ha de tener la suficiente preparacin tcnica, adems de un
conocimiento profundo del tema y de la dinmica de grupos.
- En el grupo se contempla la figura del observador, que cumple los cometidos de
apoyo, registro y observacin.
- Las sesiones se deben grabar en medios tecnolgicos, para un mejor control y
anlisis, ello sin descartar las notas manuscritas.
- La duracin recomendada oscila entre los sesenta y noventa minutos como mximo.

En el empleo de la tcnica podemos establecer tres momentos claramente
diferenciados: la preparacin, previa a la discusin y donde se seleccionan los
participantes, se realiza la convocatoria y el coordinador prepara el tema de debate; el
desarrollo donde el coordinador introduce el tema, busca la confrontacin de opiniones,
establece un plan de trabajo para llegar a posibles consensos y modera la discusin; la
interpretacin y anlisis de la informacin que se ha recogido, se busca tanto lo que los
sujetos han manifestado de forma abierta como aquello que permanece entre lneas o en
interrogantes, pero que reflejan la opinin profunda del grupo.


5.2.3. La Observacin participante

Tambin se denomina observacin activa, puesto que consiste en la participacin
directa del observador que asume diferentes roles en la vida del grupo, en su
organizacin, conversando con todos los componentes, de forma que su presencia no
perturbe ni interfiera el desarrollo natural de los acontecimientos. As pues, se llega a
conocer la vida del grupo desde el interior del mismo, ello significa que el observador
adems de ver lo que est aconteciendo, lo siente y se integra en la situacin o en el
desarrollo del programa de intervencin. Al combinar los roles de observador y
participante puede comprender los programas desde un punto de vista interno, a la vez
que lo describe para los que estn fuera de l. Si el observador pertenece al grupo que se
investiga nos encontramos ante una participacin natural; ahora bien, si solamente se
integra con el objetivo de llevar a cabo la investigacin hablaremos de participacin
artificial.

No obstante, en el momento de fijar el nivel de implicacin del observador en el
grupo, sta puede ser mxima o mnima. Ello va a depender del propio escenario en que
se lleva a cabo, es decir, el grado de implicacin est en funcin de los objetivos fijados
por la investigacin evaluativa, las caractersticas de los participantes y el contexto
social en que se desarrolla la actividad. En todo caso, la clave est en saber seleccionar
la informacin ms relevante para el trabajo.

Otros aspectos a contemplar se refieren a la mayor o menor explicacin de la
finalidad de la observacin a los participantes, el tiempo que se debe permanecer en el
escenario natural y el grado de precisin con que se realiza, donde caben diversas
opciones como la mera descripcin, la focalizacin sobre un campo delimitado, la
seleccin de conductas concretas y ms representativas del comportamiento individual o
grupal. En todo caso, es importante cuidar su contextualizacin a nivel social y
28

educativo, bien referido al propio acontecimiento, al fenmeno observado y al escenario
donde tiene lugar el mismo.

Para la recogida de informacin se recurre a los diarios, las notas de campo, el
registro de incidentes crticos, las listas de control, etc. Aunque la mejor forma sera
mediante el empleo de los recursos audiovisuales, cuya utilizacin debe ser conocida
por el grupo para evitar problemas de carcter tico que inciden sobre la intimidad de
las personas.

5.2.4. La tcnica Delphi (tambin se recoge una referencia en el tema 13)

La tcnica Delphi busca respuestas consensuadas de un grupo de expertos a una
serie de cuestiones especficas, por ello se utiliza para determinar el alcance y la
pertinencia del problema que origina el programa de intervencin. As se ocupa de las
necesidades de los colectivos y de los objetivos que pretenden alcanzar. Los sujetos que
participan en el proceso de trabajo, generando ideas y ofreciendo sus aportaciones, no se
comunican verbalmente entre s, por lo que desconocen la identidad de las opiniones
expresadas, a excepcin del investigador que coordina el grupo, as pues, estamos
identificando el carcter meramente nominal del grupo.

Esta tcnica resulta especialmente recomendable en aquellas situaciones en que
los sujetos se encuentren muy dispersos geogrficamente y existan problemas de
relacin entre los miembros del grupo. Adems el anonimato de las opiniones evita la
influencia de las respuestas de unos sujetos sobre otros, especialmente de los lderes de
grupo que pueden condicionar las respuestas de los que les rodean.

En lo que se refiere a la composicin del grupo la mayor parte de los autores
consultados estiman que debe oscilar entre diez y treinta sujetos, aunque en algunos
casos se supere esta cifra. Adems estos participantes deben poseer un buen nivel de
conocimiento y experiencia en el tema que se est analizando, por ello, en el caso
concreto de la evaluacin de programas se recomienda su uso con los gestores (tcnicos
y responsables), no con los usuarios, as es comn encontrarnos con la denominacin de
grupo de expertos.

Los agentes implicados en la tcnica Delphi se pueden agrupar en dos
categoras, por un lado est el equipo de trabajo integrado por los directivos y tcnicos
conocedores a fondo de la problemtica abordada en el estudio y de la propia
metodologa de trabajo y, por otro, los informadores clave, que son los sujetos que
ofrecern su opinin ante las diversas cuestiones planteadas por el equipo de trabajo, es
importante mantener un feed-back controlado para motivar y enriquecer las respuestas.



6. POSIBILIDADES Y APLICACIONES AL CAMPO EDUCATIVO

La investigacin evaluativa, contemplada dentro del campo de los Mtodos de
Investigacin en Educacin, desempea un importante cometido en la formacin
acadmica del educador social, puesto que le va a permitir llevar a cabo una serie de
estudios basados en el anlisis de la realidad educativa y vinculados al campo de los
programas educativos de intervencin en la prctica docente, en la evaluacin de las
29

instituciones sociales y educativas y la calidad de sus servicios, adems de contemplar
las tareas del profesional de la intervencin y la necesidad de abordar procesos
sistemticos para su evaluacin, tanto desde una perspectiva formativa como sumativa.

Estos campos especficos aqu apuntados van a ser objeto de un anlisis ms
minucioso en los siguientes temas, por lo que en estos momentos vamos a centrar la
exposicin en cuestiones de tipo generalista. As pues, desde esta perspectiva global
entendemos que las posibilidades de esta alternativa metodolgica son muy ricas y
variadas, si bien, hemos de reconocer que aquellos profesionales que se planteen
trabajos en estos campos debern profundizar en los diferentes apartados implicados en
el proceso de la investigacin evaluativa, desde el momento en que se plantea el
problema y se formulan los objetivos hasta que, pasando por su desarrollo en la
prctica, abordamos la parte de la valoracin de los resultados y la toma de decisiones
de mejora que debern incidir tanto sobre la intervencin como sobre el personal
implicado en dicha propuesta.

En consecuencia las aplicaciones de la investigacin evaluativa, vinculadas al
campo educativo se pueden concretar, entre otros, en los siguientes puntos:

- Las intervenciones educativas con sujetos que precisen de programas vinculados
a las necesidades educativas especiales y superdotados.
- El sistema educativo en su conjunto.
- Los proyectos sociales y educativos vinculados a la actividad profesional.
- Las instituciones sociales de los diferentes niveles de la sociedad.
- Los recursos empleados por los profesionales.
- La formacin inicial y permanente del educador social.
- Las motivaciones y expectativas de los profesionales.

Todas estas consideraciones tratan de reflejar la importancia del tema ante la
formacin y la futura actividad profesional y acadmica del educador social, puesto que
su tarea, adems de aquella vinculada directamente a la orientacin e intervencin en
contextos sociales, puede ser la de asesor especialista en temas de investigacin en los
centros e instituciones socio-educativas y de formacin continua en diferentes esferas de
actividad, en aras a lograr unos buenos niveles de calidad en los servicios que se ofrecen
a la comunidad.



BIBLIOGRAFA BSICA DEL TEMA

FERNNDEZ BALLESTEROS, R.(Ed.) (1996) Evaluacin de programas. Una gua
prctica en mbitos sociales, educativos y de salud. Madrid, Sntesis.

GARCA HOZ, V.(Coord..) (1994) Problemas y mtodos de investigacin en
educacin personalizada. Madrid, Rialp.

GARCA LLAMAS, J.L.; GONZLEZ GALN, M.A. y BALLESTEROS
VELZQUEZ, B. (2001) Introduccin a la investigacin en educacin. (2 tomos).
Madrid, UNED.

30

MARTNEZ MEDIANO, C.(1996) Evaluacin de programas educativos.
Investigacin evaluativa. Modelos de evaluacin de programas. Madrid, UNED.

MEDINA, A. y VILLAR, L.M(Coords.) (1995) Evaluacin de programas, centros y
profesores. Madrid, Universitas.

MERTENS, D.M.(1998) Research Methods in Education and Psychology. Thousand
Oaks (USA), Sage.

PREZ JUSTE, R.; GARCA LLAMAS, J.L. y MARTNEZ MEDIANO, C. (Coords.)
(1995) Evaluacin de programas y centros educativos. Madrid, UNED.

ROSSI, P. y FREEMAN, H.(1989) Evaluacin. Un enfoque sistmico para
programas sociales. Mxico, Trillas.

STUFLEBEAM, D.L. y SHINKFIELD, A.J.(1987) Evaluacin sistemtica: gua
terica y prctica. Madrid, Piados-MEC.

WEIS, C.H.(1991) Investigacin evaluativa. Mxico, Trillas.