EVALUACIÓN DE PROGRAMAS

Antonio Matas Terrón

DISEÑOS DE
EVALUACIÓN
DISEÑOS DE EVALUACIÓN: INTRODUCCIÓN
➤ No existe un procedimiento general que sirva para todas las evaluaciones
de programas.
➤ Para establecer el procedimiento o diseño concreto de evaluación de un
programa, debe valorarse:
➤ Los recursos disponibles para la evaluación: económicos, humanos,
temporales y materiales.
➤ Objetivos de la evaluación.
➤ Demanda de los contratistas.
➤ Accesibilidad a las fuentes de información.
➤ Etc.
➤ Es un error anteponer los “métodos” de evaluación a la utilidad empírica
de la evaluación para los stakeholders.
DISEÑOS DE EVALUACIÓN: INTRODUCCIÓN
➤ Un diseño es un plan de acción (lo que se va a hacer), y se usa en
evaluación con la intención de identificar cambios en el sistema
evaluado.
➤ En evaluación se usan diseños similares a los de investigación, aunque
a veces se les cambia el nombre.
➤ En investigación existen distintas clasificaciones de los diseños:
Por grado de validez: no experimentales, cuasiexperimentales,
experimentales.
Por la situación: Intersujeto, intrasujeto y mixtos.
Por número de variables: Univariado, multivariado, unifactorial,
multifactorial.
Formación de grupos: Aleatorio, bloques, apareados.
DISEÑOS NO EXPERIMENTALES
➤ Características:
Principalmente el método inductivo.
Instrumentos habituales como la observación, entrevista, test y cuestionarios.
Análisis estadísticos (estadística descriptiva) y cualitativos en función del
contexto y recursos.
Carácter exploratorio.
Permiten generar hipótesis de trabajo para su comprobación posterior.
➤ Suele también categorizarse como diseños descriptivos.
➤ Tipos:
Observacionales.
De desarrollo. Se pueden incluir los de caso único longitudinales o ABA.
Estudios de encuestas (survey).
DISEÑOS NO EXPERIMENTALES: DISEÑOS OBSERVACIONALES
➤ A veces se considera metodología, y otras como técnica o
instrumentos.
➤ En los estudios descriptivos suele utilizarse como técnica y
recurrir a sus instrumentos.
➤ Como metodología se puede utilizar tanto para describir, como
para comprender (carácter más cualitativo), como para explicar
(recurriendo a sus técnicas).
➤ Consiste en el registro de eventos a través utilizando la
observación como medio principal.
➤ Los registros pueden hacerse de forma narrativa o por
instrumentos sistemáticos (listas de control, sistemas de
categorías y similares).
EJEMPLO
En un el aula de la naturaleza
Espartanero se realiza una actividad
donde alumnos de 5º de primaria
toman muestras de tierra.
Posteriormente las analizan con lupa y
clasifican las muestras según el tamaño
del grano.
En la evaluación de esta actividad se ha
llevado un registro narrativo
observacional con la intención de ver
cómo los alumnos se organizan entre sí
para recoger las muestras y analizarlas.
Principalmente se buscaba saber cómo
creaban grupos y cómo distribuían los
recursos (incluyendo el tiempo).
DISEÑOS NO EXPERIMENTALES: ESTUDIOS DE DESARROLLO
➤ Son los estudios que analizan el cambio que en función del
tiempo, experimenta un grupo, contexto, sujeto, sistema, etc.
➤ Por tanto, son útiles sobre todo para:
Analizar el cambio a lo largo del tiempo.
Tratar de identificar posibles patrones de cambio.
➤ Tipología:
Longitudinal: Estudian un mismos grupo a lo largo del
tiempo.
Transversal: Analiza varios grupos de distinta edad en un
mismo periodo de tiempo.
DISEÑOS NO EXPERIMENTALES: SERIES TEMPORALES
➤ Diseños temporales y de
caso único:
Útiles en estudios
idiográficos.
Papel destacado del
tiempo.
Tipos:
Intrasujetos: AB,
ABA.
Base múltiple
EJEMPLO
Cada vez que hay sequía se ponen en
marcha programas de concienciación
a través de los medios de
comunicación.
Para evaluar su efectividad en una
provincia concreta, se puede utilizar
un diseño ABA. En el primer A
buscamos las medidas de consumo de
agua en la provincia durante un
periodo que no sea de sequía.
B sería el periodo de tiempo de
sequía. Y el segundo A es el periodo
de tiempo de no sequía que siguió a
B.
DISEÑOS NO EXPERIMENTALES: ESTUDIOS DE ENCUESTA
➤ Son estudios que analizan la frecuencia y posibles patrones a
partir de los estudios directos sobre la población (o muestras)
permitiendo una comparación entre grupos o con un criterio.
➤ Son especialmente útiles para identificar posibles niveles de
sucesos, dando pie a estudios explicativos posteriores.
➤ Instrumentos de recogida de datos:
Entrevistas.
Cuestionarios.
Test.
Escalas.
Sistemas de categorías.
EJEMPLO
En el centro de interpretación que
trabajamos queremos sabe la opinión
de nuestros usuarios sobre la calidad
de los servicios prestados.
Esto se puede hacer con un
cuestionario.
Este procedimiento puede ser útil si
lo combinamos con otras fuentes de
información.
DISEÑOS NO EXPERIMENTALES: GRUPOS
➤ No experimentales o pre-experimentales: diseños que tratan
de identificar diferencias o cambios entre medidas, aunque no
cumplen las siguientes condiciones experimentales:
No se tienen al menos dos series o grupos de datos.
Los sujetos no se eligen ni se asignan al azar.
No existe un control eficiente sobre las variables
independientes.
DISEÑOS CUASIEXPERIMENTALES
➤ Diseños cuasiexperimentales: diseños que no ejercen un
control eficiente sobre las variables independientes.
➤ Facilitan su aplicación a grupos naturales.
➤ Su validez interna es baja por su falta de control completo.
➤ Tipos:
Series temporales:
Grupos no equivalentes.
Correlacionales (causales).
DISEÑOS CUASIEXPERIMENTALES: SERIES TEMPORALES
➤ Diseños
cuasiexperimentales de
series temporales:
Realizan varias
mediciones antes y
después de la
intervención.
El efecto de las VI’s se
manifiesta en un
cambio de tendencia o
de nivel.
DISEÑOS CUASIEXPERIMENTALES: GRUPOS NO EQUIVALENTES
➤ Diseños cuasiexperimentales de grupos no equivalentes:
EJEMPLO
Os piden evaluar si la app naturamania,
diseñada por Corporación Iniciativas
Naturales y Tecnológicas, mejora la
llamada conectividad con la naturaleza de
sus usuarios.
Para ello, podéis realizar un diseño de
pretest-postest con grupo control. Puesto
que la selección de los participantes no
garantiza que los grupo sean equivalentes,
el diseño es cuasiexperimental.
Inicialmente pasáis la escala de
Conectividad, después en grupo
experimental utilizara la app durante 15
días. El grupo control no usará la app.
Pasado ese tiempo pasáis de nuevo la
escala.
DISEÑOS CUASIEXPERIMENTALES: CORRELACIONALES
➤ Diseños cuasiexperimentales
correlacionales:
Se basan en el coeficiente
de correlación.
Se incluyen aquí los
diseños que tratan de
identificar las relaciones
causales.
Existen diversos
procedimientos para
identificarlos (path
análisis, panel de
correlaciones diferidas).
DISEÑOS EXPERIMENTALES
➤ Diseños experimentales: ➤ Tipos:
Aleatorización y ➤ De dos grupos:
control de las variables Pretest-postest.
extrañas.
Sólo postest.
El modelo matemático
Solomon.
básico es:
➤ Multigrupo:
Pretest-postest.
Yij=μ+tj+eij
Sólo postest.
➤ Factoriales.
➤ N=1
DISEÑOS EXPERIMENTALES DE GRUPOS EQUIVALENTES
➤ Diseños experimentales de grupos equivalentes:
DISEÑOS EXPERIMENTALES DE GRUPOS EQUIVALENTES
➤ Diseño experimental Solomón:
DISEÑOS EXPERIMENTALES DE GRUPOS EQUIVALENTES
➤ Diseños experimentales multigrupo:
DISEÑOS EXPERIMENTALES FACTORIALES
➤ Diseño experimental factorial:
EJEMPLO
En un colegio quieren poner en
marcha un sistema de formación
innovadora que consiste en trabajar
por proyectos todas las asignaturas,
la mitad de ellas o ninguna, y
utilizar distintos instrumentos de
evaluación: rúbricas, autoevaluación
o ambas.
Para evaluar el efecto de ambas
intervenciones podemos llevar a cabo
un diseño factorial: Proyectos x
Evaluación. De esta forma salen 9
grupos que se compararán entre sí.
DISEÑOS DE EVALUACIÓN
➤ Los diseños de evaluación se basan en los diseños de investigación.
➤ En algunos casos el diseño cambia de nombre, aunque sean idénticos.
➤ Enfoques contrafáctico: "Un enfoque contrafáctico consiste en elaborar
una estimación de lo que habría ocurrido en ausencia de un programa o
una política y compararlo con lo que se ha observado en presencia de la
intervención. Hay cuatro tipos de diseño de evaluación que aplican un
enfoque contrafáctico, que varían en función de cómo se calcula el
efecto «contrafáctico» (no intervención)" (Roger, 2014).
➤ Diseño de Regresión Discontinua: ver vídeo https://vimeo.com/
105696733
➤ Diseño de Doble Diferencia: ver vídeo https://vimeo.com/105696735
➤ En Roger (2014) hay una breve síntesis de más diseños de evaluación.
 ACTIVIDAD: CASO UNO
Comentar en clase
Fuente: Blasco, J., y Casado, D. (2009).
Guía práctica 5. Evaluación del impacto.
Barcelona: Ivalua
 ACTIVIDAD: CASO DOS
Comentar en clase
Fuente: Blasco, J., y Casado, D. (2009).
Guía práctica 5. Evaluación del impacto.
Barcelona: Ivalua
MODELO CIPP Y LOS DISEÑOS
➤ La evaluación de un
programa puede
incluir varios
diseños.
➤ En función de los
objetivos de
evaluación en cada
componente (según
el modelo CIPP) se
pueden articular
varios diseños.
ACTIVIDADES
➤ Comentar los casos.
➤ Buscar los diseños de
investigación que se parecen a
los diseños de evaluación de
Regresión Discontinua y
Doble Diferencia.
➤ Proponer un diseño de
evaluación para un programa
(el que elijan) justificando la
utilización del diseño y el
momento (componente) de
aplicación.