Andamios

39
*
Doctora en ciencias polticas y sociales por la Universidad Nacional Autnoma
de Mxico (UNAM). Profesora titular del Departamento de Poltica y Cultura de la Uni-
versidad Autnoma Metropolitana, Unidad Xochimilco (UAM-X). Correo electrnico:
myriamcardozo@hotmail.com
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
Myriam Cardozo Brum
*
RESUMEN: El artculo analiza las polticas pblicas como objeto
de estudio y revisa los principales debates que atraviesan su
campo terico y emprico en relacin con enfoques, mtodos y
tcnicas de investigacin aplicables en dos etapas fundamentales
de su proceso: la formulacin y la evaluacin. Concluye que
la formulacin ha adolecido de tratamientos demasiado sim-
plicadores, centrados en la disciplina econmica y con descuido
de la informacin cualitativa, que han contribuido a justicar
su limitado empleo. En materia de evaluacin reconoce avances
importantes desde dos corrientes encontradas (positivismo y
constructivismo) y argumenta en favor de la segunda, en tanto
muestra mayor apertura en la comprensin de la complejidad,
la participacin social, el anlisis interdisciplinario y la com-
binacin de mtodos cuantitativos y cualitativos.
PALABRAS CLAVE: polticas pblicas, anlisis, evaluacin, mtodos,
Mxico
INTRODUCCIN
El presente artculo constituye una sntesis analtica de diversos trabajos
realizados en torno al estudio de las polticas pblicas en el contexto
mexicano de los ltimos treinta aos.
Pone nfasis en el debate sobre sus enfoques, mtodos y tcni cas
de investigacin (disciplinariedad/no disciplinariedad, positi-
vismo/constructivismo, cuantitativismo/cualitativismo, simplicacin/
Volumen 10, nmero 21, enero-abril, 2013, p. 39-59
Andamios
40
MYRIAM CARDOZO BRUM
complejidad, entre otros) en dos momentos de su proceso de desarrollo:
la formulacin y la evaluacin.
Finalmente, presenta una valoracin de la experiencia mexicana en
el tema y sus perspectivas.
LAS POLTICAS PBLICAS COMO OBJETO DE ESTUDIO
El estudio de las polticas pblicas (policies) comenz a desarrollarse
a mitad del siglo pasado con los trabajos de Laswell (1951), quien
se refera a ellas como disciplinas que se ocupan de explicar los procesos
de elaboracin y ejecucin de las polticas (citado en Aguilar, 2000: 47),
para resolver problemas pblicos, de inters y utilidad para todos los
individuos de la asociacin poltica, con base cientca, interdisciplinaria
y al servicio de gobiernos democrticos (Aguilar, 2000). De tal suerte,
las polticas pblicas constituyen respuestas diseadas y aplicadas, a
travs de procesos polticos y tcnicos, para resolver problemas que,
por su relevancia para importantes sectores de la sociedad, no son
factibles de enfrentarse ecazmente desde el mbito privado. Ellas
surgen co mo resultado de un proceso de sucesivas tomas de posicin,
que se concretan en un conjunto de decisiones, acciones u omisiones,
asumidas fundamentalmente por los gobiernos, que traducen, en un
lugar y periodo determinado, la respuesta preponderante del mismo
frente a los problemas pblicos vividos por la sociedad.
1
Los gobiernos son considerados como los principales actores res-
ponsabilizados con las polticas pblicas, debido a su privilegiada
disposicin de recursos y poder para ofrecer bienes, servicios y trans-
ferencias que resuelvan problemas pblicos, si bien la participacin
de las organizaciones civiles y sociales y de los ciudadanos en general
se considera altamente deseable.
En el proceso de sucesivas tomas de posicin se concatenan planes,
programas, proyectos, acciones u omisiones, por lo que se descarta
1
La sntesis presentada, incluida en Cardozo (2012a), retoma ampliamente elementos
desarrollados en los trabajos de ODonnell y Oszlak (1976) y Oszlak (1980). Una des-
cripcin detallada de lo que el concepto puede implicar se puede consultar en Subirats
(1989).
Andamios
41
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
que una decisin aislada constituya una poltica. Adems, no resulta
ocioso aclarar que los gobiernos no actan de manera absolutamente
coordinada, racional y consistente, sino que se componen de orga-
nizaciones y funcionarios con posiciones diferentes, entre los que se
imponen tendencias predominantes, por lo que se requiere el desarrollo
de importantes procesos de coordinacin, articulacin y negociacin
para lograr el cumplimiento de sus objetivos.
El proceso de las polticas pblicas puede desagregarse en fases o
etapas, que no deben entenderse como una secuencia temporal estricta,
sino como una aproximacin meramente analtica. Su nmero vara en
funcin de la desagregacin que cada autor realiza, pero actualmente
hay consenso en incluir:
- La formulacin (anlisis ex-ante, tomando como referencia la
accin), que se basa en un diagnstico y denicin del problema,
para generar y analizar sus alternativas de solucin; de manera que
sea posible seleccionar la que se considere ms apropiada.
- La implementacin, que debera corresponder a la puesta en prctica
y control de la formulacin anterior (en forma concomitante)
mediante la toma de decisiones operativas y acciones concretas
destinadas a incidir en el problema pblico original; pero que en
la prctica suelen apartarse de la misma en distintos grados y por
razones diversas (problemas del diseo, juegos polticos, recursos
inadecuados, etctera).
- La evaluacin (estudio ex-post), que permite medir los resultados
e impactos alcanzados, describir el proceso desarrollado, explicar
sus determinantes y condicionantes, y calicar su grado de efec-
tividad; para decidir si conviene seguir aplicndola, con o sin
modicaciones, o amerita su terminacin o sustitucin.
En diferentes contextos y periodos histricos, el peso relativo del es-
tudio de las polticas pblicas se inclin ms hacia alguna de las etapas
sealadas. Hoy parece que los mtodos de anlisis para la formulacin
son muy similares a los desarrollados en la dcada que sigui a la segun-
da Guerra Mundial; en cambio, se han incrementado las polmicas,
los enfoques y los mtodos aplicables en la etapa de evaluacin.
Andamios
42
MYRIAM CARDOZO BRUM
Por otra parte, las diferentes disciplinas que participan del enfoque de
las polticas pblicas (economa, administracin, sociologa, etctera)
tambin han concentrado su inters en el anlisis de algunas fases en
detrimen to de las restantes: por ejemplo, los economistas haban predo-
minado en el campo de la formulacin, pero recientemente han
incursiona do fuertemente en materia de evaluacin.
Por otra parte, Laswell (1971) plante otra diferenciacin relacionada
con la anterior: el conocimiento del proceso de decisin y en el proceso
de decisin de polticas, lo que dara lugar a la bifurcacin de dos
corrientes: por un lado, el Policy Analysis, interesado en el momento
normativo-tcnico de formulacin de la poltica, desde un enfoque de
nfasis unidisciplinario; y, por otro, los partidarios de las Policy Sciences,
preocupados por entender los procesos decisorios y las acciones, como
suceden en los hechos, desde una perspectiva no disciplinaria, que
tambin permitir evaluar la formulacin y la implementacin.
En el presente artculo se asume el segundo enfoque para el an-
lisis a posteriori que permite arribar a la evaluacin de polticas.
Y se trata de complementar el anlisis a priori con aportes de las cien-
cias sociales para superar su tendencia economicista.
EL DEBATE SOBRE LOS MTODOS
El analista y el evaluador emplean mtodos, es decir, procedimientos
de investigacin que partiendo de una postura epistemolgica y
un marco terico denen un conjunto de principios y normas, y rea-
lizan una serie de operaciones que les permiten seleccionar y coordinar
ciertas tcnicas para alcanzar sus objetivos. Estas ltimas constituyen
instrumentos concretos de recoleccin, anlisis, tratamiento, sntesis
e interpretacin de datos (Cardozo, 2012).
Coincidimos con Beltrn (1991) cuando plantea que, tanto terica
como prcticamente, no existe unanimidad en lo que se entiende
por mtodo cientco, en tanto mtodo nico, detallado, riguroso y
universalmente aceptado; existiendo slo una aceptacin general de
sus principios: contrastacin como evidencia emprica, juego entre teo-
ra y realidad, exclusin de la manipulacin y el engao, recurso a
Andamios
43
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
la comunidad cientca como rbitro y reconocedora de la verdad, y
renuncia a la justicacin absoluta de la verdad encontrada.
El anlisis de polticas compara las ventajas y desventajas de cada
alternativa, pero como las mismas slo podrn concretarse en el
futuro, se ve obligado a trabajar con base en estimaciones probables,
en contextos permeados de riesgo e incertidumbre, donde la verdad
pierde sentido como criterio de cienticidad.
Algo diferente sucede con la evaluacin de polticas pblicas, que
consiste en poner a prueba, como si se tratara de una hiptesis, explci-
ta o implcita, si una poltica o programa de accin determinados han
sido o no capaces de provocar los efectos esperados, con base en datos y
opiniones sobre lo acaecido. Esto implica asegurarse de que dichos
efec tos se han producido, y que la poltica ha sido su nica causa,
descartando impactos de otras posibles variables.
Pero la polmica sobre el mtodo es un reejo de toda la discusin
epistemolgica generada en torno a las posibilidades y formas de ac-
ceder al conocimiento, que excede en mucho el campo de las polticas
pblicas. Existe una fuerte discusin que nace en el origen mismo de
las ciencias sociales, que iniciaron su desarrollo en un contexto en
que sus homlogas fsicas y naturales tenan ya un avance importante,
basado en buena parte en la objetividad y reproductibilidad de sus
observaciones, la cuanticacin de sus fenmenos y el empleo del ra-
zonamiento matemtico, lo que les permiti establecer leyes precisas
y predicciones slidas, subestimando lo que no fuera mensurable. La
aceptacin o el rechazo de ste como el camino a seguir por las ciencias
sociales llevaron al desarrollo de dos posiciones contrapuestas: el
positivismo y el interpretacionismo.
Sin pretender realizar un anlisis del tema en profundidad, se
identican muchos autores especialmente dentro de la escuela
neoclsica de la economa
2
que consideraron que las ciencias
sociales presentaban un atraso relativo y que su rigor y prestigio
2
Dicha escuela estableci un conjunto de supuestos sobre la base del cual elabor su
teora hipottica deductiva en el marco de la lgica formal clsica, pagando un alto pre-
cio por su profundo alejamiento del funcionamiento real de la economa en materia de
expectativas humanas, orden de sus preferencias, clculo de sus ganancias, decisiones
de sus agentes, etctera.
Andamios
44
MYRIAM CARDOZO BRUM
se ganaran por el mismo camino que lo haban logrado las fsico-
naturales, contribuyendo a generar hasta el presente cierto dogmatismo
metodolgico que privilegia la cuanticacin. Pero esa posicin ha
estado lejos de gozar de consenso: otras ciencias sociales y otros
enfoques de la economa misma se han mantenido relativamente
alejados del instrumental matemtico clsico, debido a las diferencias
epistemolgicas y metodolgicas entre dichas disciplinas. Mientras la
matemtica pura ha establecido un conjunto de axiomas
3
y, a partir
de l, ha demostrado deductivamente sus proposiciones, logrando
un conjunto slido y riguroso de conocimientos en un contexto de-
terminstico, las ciencias sociales han construido su conocimiento en
forma inductiva, por la va de la observacin y el anlisis de casos,
cuya generalizacin permite identicar algunas regularidades proba-
bles (aunque sin la pretensin de las leyes fsico-naturales), conocimiento
siempre provisorio en el sentido planteado por Popper (1977).
Esta diferencia en la forma de acceder y desarrollar su cono-
cimiento diculta la compatibilidad de sus m todos, razn por la
que en ciencias sociales ha sido ms comn el empleo de mtodos
estadsticos para describir datos y realizar inferencias a partir de
un conjunto incompleto de ellos (muestra), por lo tanto, no de ter-
minstico, sino basado en la teora de las probabilidades y el riesgo.Sin
embargo, la estadstica tambin tiene sus limitaciones: slo permi-
te asociar variables; no demuestra relaciones causa-efecto, como las
que se requiere probar en la evaluacin de polticas.
Pero hay otro motivo de rechazo al cuantitativismo men cionado:
el exceso de simplicacin que implica la modelacin matemtica
tradicional aplicada principalmente en las tcnicas de anlisis de
polticas que se revisarn en el siguiente apartado. Frente a ste
ha surgido un nuevo camino, promisorio aunque an incierto en
su efectividad, que proviene de los estudios sobre la complejidad
y el anlisis dinmico de sistemas no lineales, caracterizados por
la multicausalidad, la posible demora entre causas y efectos, la
3
Por ejemplo, el desarrollo de geometras no euclidianas a partir de eliminar el supuesto
de que las rectas paralelas nunca se cortan. Actualmente, un ejemplo de este tipo de
estudios lo constituyen los trabajos en espacios n-dimensionales donde n es mayor a 3
o bien es fraccionario (caso de los fractales).
Andamios
45
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
coexistencia de retroalimentacin positiva y negativa y muy espe-
cialmente por fenmenos de autorganizacin y emergencia de
propiedades contraintuitivas, no previsibles, que justica el rechazo
de cualquier reduccionismo y la necesidad de superar los enfoques
unidisciplinarios, remplazndolos por la multidisciplinariedad, la
interdisciplinariedad y la transdisciplinariedad. Se trata de un enfoque
que ha modicado la manera de encarar los proble mas en campos
como los de la fsica y la biologa, que muestra aplicaciones de gran
in ters en demografa, antropologa, lingsti ca, y que comienza a
plantearse en el contexto de la evaluacin de las polticas pblicas
(Forss, Marra y Schwartz, 2011).
El debate actual ms arraigado en materia de polticas pblicas opo-
ne los enfoques positivistas y constructivis tas (relativistas), pasando
por una perspectiva contingente, que utiliza a cualquiera de los an-
teriores o incluso una mezcla de ambos, dependiendo del contexto de
la poltica.
As, los enfoques positivistas se caracterizan sintticamente
4
por
poner distancia respecto del objeto analizado, preocuparse de la ob-
jetividad, la validez interna y externa de su diseo metodolgico, su
conabilidad y su poder de generalizacin. Mientras, los constructivis-
tas consideran que existen mltiples realidades en correspondencia con
la experiencia de cada uno de los individuos que las viven (en lugar de
visiones objetivas), recuperan los efectos del contexto de las polticas,
la pluridimensionalidad de los problemas, y enfatizan la investigacin
cualitativa, a veces apoyada en la estadstica (Mayntz ,1987; Le Moigne,
1994; Thoenig, 1998; Monnier, 1995; Duran, 1999, en Cardozo,
2011b).
EL ANLISIS DE LAS POLTICAS PBLICAS
Como ya mencionamos, el Policy Analysis de formulacin nos conduce
a la toma de decisiones, cuyo proceso puede explicarse en funcin
4
Este debate se ver en mayor detalle al tratar el tema de la evaluacin de las polticas.
Andamios
46
MYRIAM CARDOZO BRUM
de diferentes supuestos sobre la racionalidad humana y organizacional,
que se traducen en otros tantos enfoques de esta etapa. El primero,
identicado con la racionalidad total o exhaustiva, supone un decisor
individual o diversos decisores organizacionales que actan como blo-
que unicado, disponen de informacin completa y una capacidad
ilimitada de clculo que les permite revisar exhaustivamente todas
las alternativas disponibles y encontrar siempre la mejor solucin a
los problemas pblicos (optimizacin). Este enfoque se caracteriza por
ser normativo y fuertemente cuantitativo.
5
Un segundo acercamiento, desde el anlisis del proceso orga-
nizacional, pone el nfasis en la explicacin de la decisin tomada
con base en las rutinas y procedimientos estndares vigentes en las
organizaciones. Parte de la idea de una racionalidad limitada que lleva
a alcanzar decisiones satisfactorias, en lugar de ptimas.
6
Una tercera versin se fundamenta en el proceso poltico in-
crementalista, en que cada actor se mueve por sus propios intereses y
negocia con los dems sin compartir sus nes, por lo que se considera
que la optimizacin no es posible (no se cuenta con informacin
completa ni existe capacidad ilimitada de clculo) ni deseable (no
existen objetivos compartidos).
7
Un cuarto enfoque, muy poco desarrollado, aporta el conjunto de ele-
mentos no racionales del proceso decisorio, en que se recuperan
ele mentos como intuicin y experiencia desde perspectivas psico-
sociolgicas, antropolgicas y loscas.
8
Finalmente podemos encontrar mezclas de los distintos enfoques,
que critican el modelo racional por las razones ya planteadas, pero
tambin al incremental por su tendencia conservadora, que descarta
5
Sus orgenes los podemos encontrar desde la propuesta cartesiana, desarrollada en la
teora de juegos, por Von Neumann y Morgenstein y en la teora de la estrategia, por
Von Clausewitz.
6
El enfoque es iniciado con los trabajos conductistas de Herbert Simon (1947 y 1957),
y continuado por Cyert, March, Olsen, Cohen, etctera.
7
Charles Lindblom retoma la idea de incrementalismo planteada por el enfoque an-
terior, atribuyndole una valoracin diferente en su famoso artculo The Science of
Muddling Trough, aparecido en 1959.
8
Citado a pie de pgina por Allison (1971) y desarrollado en Steinbruner (1974), quie-
nes adems presentan los tres enfoques anteriores.
Andamios
47
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
los cambios radicales, y se propone una recuperacin selectiva de
elementos de los distintos enfoques anteriores (Etzioni, 1967).
En funcin de los enfoques previos, en el anlisis se utilizan muchas
tcnicas, especialmente cuantitativas, desarrolladas con posteridad a la
segunda Guerra Mundial e impulsadas en el contexto de Estados Unidos
por el sistema Public Program Budgeting System (PPBS) y en el fran-
cs por la Rationalisation et Choix Budgetaires (RCB), algunas de ellas
adap tadas de la prctica privada de toma de decisiones y evaluacin de
proyectos (rboles de decisin, evaluacin nanciera, teora de juegos),
otras de apoyo a los procesos (ecuaciones en diferencias, teora de co las,
cadenas de Markov, modelos de simulacin), etctera. Entre las tcnicas
es peccas de polticas pblicas tenemos (Cardozo, 1993): el anli-
sis costo-ecacia, el anlisis costo-benecio, los anlisis multicriterios y
la tcnica de anlisis de factibilidad.
El anlisis costo-ecacia (C/E) permite comparar programas y pro-
yectos alternativos que persiguen un mismo objetivo, mediante la
seleccin de aqul que presenta menor costo por unidad de logro (C/E),
o sea, tomando como base el enfoque optimizador de racionalidad
exhaustiva. Debido a que la ecacia puede ser difcil de cuanticar en
forma directa, su medicin se tiende a remplazar por indicadores
indirectos, cuya seleccin se realiza tratando de mantener la mayor
correlacin posible con los objetivos perseguidos. La limitacin ms
importante del mtodo es que no permite la comparacin de progra-
mas con objetivos diferentes o mltiples.
Al igual que la tcnica anterior, el anlisis costo-benecio (C/B) se ha
empleado principalmente en Estados Unidos para intentar resolver el
problema que plantea la primera, aun que continuando dentro del en-
foque de racionalidad exhaustiva, mediante la homogeneizacin de los
costos y los benecios de todo tipo (nancieros, econmicos, sociales,
etctera) por medio de una unidad de medida comn (generalmente
unidades monetarias), actualizando los ujos que se presentan en
distintos momentos del tiempo, y comparando posteriormente ya
sea las relaciones C/B de cada proyecto para seleccionar la menor,
o bien, los valores actuales netos (VAN) para seleccionar el mayor de
los positivos. Esta tcnica ha sido criticada por: 1) las dicultades y
Andamios
48
MYRIAM CARDOZO BRUM
arbitrariedades en que incurre para la cuantica cin de efectos que no
tienen un valor de mercado, lo que se realiza mediante la atribucin
de precios sombra; 2) la falta de criterios cla ros para determinar
la tasa de actualizacin social y, en su caso, los fac to res de
ponderacin para los diferentes grupos de ingresos; 3) su tendencia a
incluir slo las variables de cuanticacin ms sencilla (econmicas y
nancieras) a pesar de su objetivo maniesto; y 4) su excesiva conanza
en que un sosticado anlisis, poco accesible para la mayora de los
interesados y basado en cuanticaciones discutibles, conduzca a una
seleccin ptima, fundamentada como en el caso anterior, en supuestos
de racionalidad total (Cardozo, 2012a).
En el contexto francs se ha desarrollado una nueva tcnica
que intenta reaccionar a las crticas antes presentadas: los anlisis
mul ticriterios, especialmente el Electra. Esta tcnica recupera la par-
ticipacin de los grupos implicados en el problema, toma en cuen ta
objetivos mltiples y aplica valoraciones subjetivas y cualitativas en
una escala preestablecida. Procede ordenando los programas en funcin
de cada objetivo y negociando sus prioridades con los interesados o
sus representantes. Es de carcter no optimizador, responde al mode-
lo de racionalidad limitada, restringindose a buscar la solucin ms
satisfactoria a travs de una simulacin cuantitativa del regateo social
que permite identicar el subconjunto de programas que presentan
las mejores calicaciones y que al mismo tiempo carecen de fuertes
oposiciones, aunque stas provengan de grupos minoritarios.
Por su parte, la tcnica de anlisis de factibilidad (conocida como FAT
por sus siglas en ingls) es la que ms se aproxima a tomar en cuenta
los elementos polticos del tercer enfoque antes presentado. Trata de
estimar subjetivamente: 1) la posicin probable de cada protagonista o
interesado (apoyo, rechazo, o indiferencia) frente a una alternativa de
poltica; 2) la disponibilidad de recursos (presupuesto pero tambin
capacidad tcnica, prestigio, acceso a medios de comunicacin masiva,
legitimidad social, etctera) de cada protagonista para inuir en favor
de su posicin, y 3) el orden de los protagonistas en funcin de su
capacidad de inuencia efectiva (magnitud relativa de recursos en com-
paracin con la de los dems). Esto se puede completar con el anlisis
de las posiciones histricamente sostenidas por los principales grupos
Andamios
49
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
de inters, sus coincidencias, conictos y posibilidades de lograr alianzas
a favor o en contra de la poltica en discusin (Cardozo, 2011a).
A parte de la concepcin de racionalidad que subyace en cada
una de estas tcnicas y de su fuerte componente cuantitati vo, es
importante sealar que no son siempre usadas con la neutralidad que
aqu han sido expuestas, sino que a menudo son manipuladas para
justicar y legitimar decisiones adoptadas con base en otros intereses
(pseudoevaluaciones), en cuyo caso el modelo incrementalista de
Lindblom (1959) explica mejor estos procesos.
El cuarto enfoque que enunciamos, de tipo cualitativo, se ha tra-
ducido poco en las polticas pblicas. Sin embargo, en los ltimos 20
aos se han desarrollado algunos in ten tos muy prometedores de tomar
en cuenta las emociones en los procesos decisorios organizacionales
(Laamme, 1995), intentos que es posible recuperar en la etapa de for-
mulacin. En dichos procesos, las emociones afectan la estimacin
de probabilidades y la valoracin de resultados posibles, as como el
orden de preferencias del decisor (si es que tiene uno claro), por lo
que la decisin asumida tiende a alejarse de la que se asumira bajo un
esquema racional.
En nuestro contexto nacional, Aguilera y Contreras (2008) reto-
man antecedentes de Simon, March, Ortony, Howard, ORorke, Fineman,
Elster, Frijda y Goleman para proponer tambin el diseo y utilizacin
de modelos cuantitativos multi-agentes que simulen comportamien-
tos con base en emociones (Cardozo, 2011a). Sin embargo, si en el
campo de lo social, lo poltico o lo cultural se enfrentan dicultades
pa ra efectuar mediciones o establecer relaciones entre variables que per-
mitan avanzar en su modelacin matemtica, tratndose de emo ciones el
problema es an ms difcil ya que ni siquiera podemos observar las
directamente y a menudo no vemos de ellas ms que sus manifestaciones
corporales, adems de que no siempre son maniestas, sino que pueden
ser controladas y hasta ocultadas por las personas.
Finalmente, el anlisis cualitativo contribuye tambin a la for-
mulacin de polticas con el estudio de diversos tpicos como:
viabilidad poltica, presin ejercida por los grupos de inters, proce-
sos de negociacin, articulacin entre los sectores gubernamentales
Andamios
50
MYRIAM CARDOZO BRUM
participantes, recuperacin de experiencias similares, anlisis de las
limitaciones de los anlisis cuantitativos, entre otros (Cardozo, 1993).
LA EVALUACIN DE LAS POLTICAS Y PROGRAMAS
La evaluacin de polticas y programas puede realizarse con objetivos y
criterios muy diversos (disponibilidad de recursos, anlisis de procesos,
ecacia, eciencia, calidad, equidad, etctera), pero nos referire mos es-
pecialmente a la evaluacin de impactos por ser la ms compleja.
Implica valorar el conjunto de efectos, directos o indirectos, previstos
o no, que la intervencin realizada ha provocado en el problema que
la origin (Cardozo, 2012a).
Ella ha sido ampliamente aplicada a los ms variados contextos
internacionales aproximadamente desde la dcada de los ochenta,
y tambin asume diferentes enfoques. Aqu la diferencia sustantiva ra-
dica en avanzar hacia su estandarizacin con base en un pensamiento
positivista o disearlas en cada caso en funcin de sus particularidades,
retomando una visin constructivista.
A nivel de los mtodos, los primeros ponen nfasis en la cuanticacin
y privilegian el uso de la experimentacin en la evaluacin de impactos.
sta busca establecer relaciones de causalidad entre el programa y
sus efectos; toma como referencia el paradigma metodolgico de-
sarrollado para las ciencias naturales, debido al alto nivel de rigor que
le permite detentar la exclusividad de vericar relaciones de causa-
efecto estables entre ciertas acciones y sus supuestas consecuencias.
La realizacin de un experimento social requiere construir un es-
tado contra factual que estime lo que habra ocurrido de no haberse
realizado la intervencin en cuestin (Banco Mundial, 2004: 237).
Dicho diseo implica conformar aleatoriamente dos grupos entre los
posibles destinatarios de las actividades evaluadas, lo que garantiza
estadsticamente su equivalencia. En estos dos grupos se introduce
una sola diferencia: el programa a evaluar que se aplica en uno (grupo-
caso o tratamiento) y no en el otro (grupo-control o testigo). Luego
se procede a hacer mediciones iniciales y nales en ambos grupos (e
intermedias si se desea mayor control) sobre el tema de inters para
Andamios
51
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
identicar sus diferentes evoluciones, cuya nica causa se vincula con
la actividad desarrollada slo en el grupo-caso. Pero la conformacin de
grupos equivalentes en ciencias sociales se ha dicultado notoriamen-
te tanto por problemas tcnicos como ticos, por lo que es comn
recurrir a mtodos menos rigurosos como los cuasi-experimentos y los
mtodos no experimentales (Cardozo, 2012a).
Las comparaciones antes-despus de un mismo grupo (corte lon-
gitudinal) o las realizadas entre grupos (mediante cortes transversales)
se desarrollan a partir de la generacin de indicadores para las variables
impactadas (aunque los indicadores se emplean tambin en otros ti-
pos de evaluaciones). Estos se denen como la expresin de medida
de un atributo (Sann, 1999), medidas cuantitativas de aspectos del
logro que permiten contar con seales sobre su desempeo, mediante
su comparacin con los referentes internos o externos. Permiten com-
probar si hay o no un acercamiento progresivo a las metas propuestas
y operativizar la medicin de las variables, sealando sus grados y
variaciones en la forma ms objetiva y vericable posible (Cardozo,
2012a).
La construccin de indicadores requiere el conocimiento de los ob-
jetivos y actividades de la poltica o programa evaluado, las fuentes de
informacin disponibles, la periodicidad de la informacin, sus usua-
rios potenciales, los estndares de aceptabilidad, entre otros. Dichos
estndares pueden establecerse con base en valores histricos pre-
vios, me tas planeadas o resultados de unidades de anlisis similares a
las evaluadas (a nivel nacional o internacional).
Los organismos multilaterales suelen solicitar que los indicadores se
diseen siguiendo la orientacin de su marco lgico: objetivo general,
objetivos especcos, metas, indicadores, fuentes de informacin y
resultados. La Comisin Econmica para Amrica Latina (Cepal,
Sann, 1999) y el Banco Interamericano de Desarrollo (BID, 1997)
proponen usar una matriz de cuatro las (objetivo superior, objetivo
especco, productos o componentes y actividades) y cuatro colum nas
(resumen narrativo de objetivos, indicadores para medirlos, medios de
vericacin de los anteriores y supuestos de desarrollo). En el caso del
Banco Mundial (BM, 2004), su marco lgico se compone de indicadores
para: 1) monitoreo de desempeo continuo: de entrada, actividades y
Andamios
52
MYRIAM CARDOZO BRUM
salida (resultados de corto plazo), y 2) evaluacin de impacto (de largo
plazo).
La informacin cuantitativa generada en los diseos anteriores pue de
analizarse con tcnicas estadsticas: anlisis de datos (tipologas), anli-
sis de series temporales, anlisis multivariado (varianza y covarianza) y
estimacin economtrica sobre datos longitudinales agregados.
Finalmente, los criterios utilizados en las mediciones cuantitativas
giran, fundamentalmente, alrededor de la ecacia (logro de objetivos),
la eciencia (logro de resultados al menor costo posible), la efectivi-
dad (impacto, incluyendo externalidades positivas y negativas) y la
equidad (distribucin de los objetivos logrados en relacin direc-
ta con las necesidades existentes). Es importante destacar que cuando
se habla de logro de objetivos y de costos, no se hace referencia slo a
los de carcter econmico, sino tambin a los sociales y ambientales que
permiten una conceptualizacin adecuada de los criterios anteriores,
comnmente reducidos a la productividad o la rentabilidad nanciera.
Por su parte, los constructivistas mezclan elementos cuantitativos y
cualitativos para equilibrar sus resultados: informaciones cuantitativas
recogidas por mediciones comparativas en muestras contrastadas, con
datos cualitativos obtenidos por la observacin etnogrca (Patton,
1997). Puede ser el caso de la encuesta, otro de los instrumentos de
evaluacin de resultados ms empleado, que recoge informacin, per-
cepciones y opiniones subjetivas de una muestra representativa de
destinatarios y no destinatarios de las acciones, a las que se puede dar
tratamiento estadstico. Pero tambin puede incluirse el mtodo Delphi,
el benchmarking o el diseo de escenarios prospectivos.
Los mtodos estrictamente cualitativos han surgido, en su mayora,
de la crtica de enfoques cuantitativos, de extraccin generalmente po-
sitivista como ya se mencion, que suponen la existencia de rasgos
universales y regularidades. Las ciencias sociales han evolucionado en
sentido opuesto, del estudio de grandes procesos estructurales (macro)
con metodologas cuantitativas a la construccin social de signicados en
las comunidades locales con enfoque cualitativo, enfatizando el anli sis
de las diferencias y el estudio de lo individual (micro), y profundizando
en el estudio de sus motivos, intereses, valores, actitudes, comunicacin,
conductas, signicados y emociones, as como en las dimensiones
Andamios
53
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
sociales, culturales y polticas en que se desarrolla la vida de los grupos
en sociedad, sus acciones e interrelaciones. Estos mtodos no tratan
de medir los efectos de las intervenciones, pero son muy tiles para
complementarlos con un anlisis explicativo que reconstruye el proceso
de su implementacin para comprender los resultados alcanzados.
Las tcnicas de recoleccin de datos empleadas en estos casos se
caracterizan por:
- Un esfuerzo por observar, escuchar y comprender (Tarrs, 2001)
al otro a partir del involucramiento y la empata del investigador con
el instrumento utilizado y con el objeto a estudiar (reexionando,
interviniendo y controlando activamente el proceso).
- Una bsqueda de signicados, ideas y sentimientos subyacentes
o latentes en las descripciones obtenidas de las palabras o de
las conductas observadas.
- Una alta relevancia otorgada a la narracin y valoracin de esa
subjetividad, tratando de contextualizar las experiencias es-
tudiadas y de interpretarlas tericamente, sin preocuparse por la
representatividad de los casos analizados frente al universo total,
razn por la que no generalizan sus resultados, salvo con el carc-
ter de hiptesis heursticas.
- Una creciente preocupacin por adaptar las concepciones y
procedimientos sobre validez y conabilidad para que el co-
nocimiento generado cualitativamente sea aceptado y til.
En relacin con este ltimo aspecto, es necesario destacar que los
planteamientos cualitativos han desembocado tambin en una re-
denicin de los criterios de conabilidad y validez, heredados del
positivismo. Resulta muy difcil valorar estos criterios para quienes
no participaron en el proceso y, por lo tanto, limitan la conanza para
utilizar sus resultados como informacin secundaria. Sin embargo,
hay que reconocer que tampoco en materia de mtodos cuantitativos
podemos estar seguros en temas como la composicin aleatoria de la
muestra para garantizar su representatividad, o la forma en que se aplic
un cuestionario. Por lo que parece que el nico criterio que podemos
tomar en cuenta, en ambos casos, se reere a la legitimidad y el prestigio
Andamios
54
MYRIAM CARDOZO BRUM
del equipo de investigadores y la institucin que realizaron el trabajo. En
particular, la evaluacin pluralista (Monnier, 1995) renuncia a alcanzar
conclusiones cientcamente vericadas para negociar un compromiso
aceptable con los actores.
Entre los mtodos cualitativos, la tcnica ms recurrida es la
entrevista; pero tambin pueden emplearse otras: estudios de caso,
biografas, historias de vida, observacin tradicional y participante,
investigacin-accin, dinmicas de grupo, grupos de discusin, grupos
focales, paneles de opinin, debates dirigidos, anlisis de textos, entre
otros.
Los criterios empleados en estos estudios cualitativos enfatizan
aspectos vinculados a la calidad, satisfaccin del usuario, congruencia,
oportunidad y pertinencia, entre otros.
LA EXPERIENCIA MEXICANA
Mxico presenta avances muy diferentes en materia de anlisis y de
evaluacin de polticas pblicas. Si bien su estudio se introdujo al
pas a inicios de los ochenta, y las tcnicas empleadas en el anlisis
tenan ya 30 aos de utilizarse en pases como Estados Unidos, Reino
Unido o Francia, su enseanza en programas de estudio de posgra-
do fue restringida y nunca han llegado a utilizarse en forma amplia en
una prctica gubernamental, tradicionalmente acostumbrada a tomar
decisiones basadas ms en el inters poltico que en su anlisis tcnico,
econmico y social.
En consecuencia, podemos encontrar pocos ejemplos de utilizacin
de las tcnicas presentadas por parte del gobierno federal (GF) y el
correspondiente al Distrito Federal (GDF) que hayan sido publicados,
aunque se sabe que los organismos internacionales como el BID o
el BM han solicitado anlisis C/B y C/E en muchos casos en que han
aportado recursos para el nanciamiento de programas y proyectos.
La situacin ha sido diferente en materia de evaluacin de polticas
y programas pblicos, que se inicia en forma generalizada en el
pas prcticamente con el nuevo siglo, pero en cuyo caso el proceso de
institucionalizacin y comunicacin ha sido mucho ms amplio.
Andamios
55
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
Las restricciones de recursos, la poca efectividad demostrada por
los programas, el apogeo de nuevas ideas sobre la gestin pblica, son
algunas de las razones que han impuesto una prctica expandida de
evaluacin ex-post. La misma se ha reforzado con exigencias legales
dirigidas sobre todo a los programas de desarrollo social desde el
ao 2000 en el DF y desde el 2004 en el GF (leyes de Desarrollo
Social), la creciente obligacin de publicar sus resultados (leyes de
Transparencia y Acceso a la Informacin Pblica), el diseo de or-
ganismos descentralizados encargados de coordinar los procesos
(Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social,
Coneval, a nivel federal, en funcionamiento desde 2006; y Consejo de
Evaluacin del Desarrollo Social, Evala, a nivel del GDF, conformado
en 2008), involucramiento de universidades, centros de investigacin y
organizaciones sociales en la realizacin de trabajos de evaluacin
externa, entre otras.
La prctica de Coneval se ha caracterizado por disponer de am-
plios recursos que aplica con un enfoque positivista y tendencia
unidisciplinaria (econmica), persiguiendo la estandarizacin de los
pro cesos y privilegiando la medicin cuantitativa a travs de un trabajo
de expertos que descuida la participacin social. De esta manera ha
podido coordinar procesos que incluyen ms de cien evaluaciones anua-
les de programas de diferentes secretaras de Estado y organismos
autnomos.
En el caso de Evala DF, sus recursos han sido ms austeros, ha
desarrollado un nuevo enfoque que retoma las propues tas cons-
tructivistas, con diseos de investigacin especcos para cada caso,
equipos de composicin interdisciplinaria, utilizacin de mtodos
cuantitativos y cualitativos y preocupacin por la participacin so cial
(Cardozo, 2012b). En este contexto ha desarrollado 13 evaluacio-
nes de programas, siete de polticas, una de impacto de servicios y dos
metaevaluaciones.
Ambos Consejos enfrentan importantes problemas para lograr que los
resultados de las evaluaciones se tomen en cuenta, especialmente por
los evaluados: Coneval, porque sus recomendaciones no son vincula-
torias y tiene que negociar con diferentes instancias su aplicacin, y
Evala porque, a pesar de que lo son, enfrenta serios retrasos en el
Andamios
56
MYRIAM CARDOZO BRUM
cumplimiento de las recomendaciones aceptadas y congelamiento de
los procesos en que debieran resolver las controversias planteadas.
CONCLUSIONES
En teora, los mtodos cuantitativos tradicionales pueden realizar una
aportacin valiosa al estudio de las polticas y programas pblicos,
siempre y cuando se tenga presente el conjunto de supuestos en
que se fundamentan y, por lo tanto, las limitaciones que presentan.
Por su parte, los mtodos cualitativos permiten ahondar en el es-
tudio de situaciones concretas y comprender aspectos subjetivos en
mayor profundidad, complementando a los primeros en problemas
de negociacin, consenso, legitimidad, satisfaccin, calidad, etctera.
Com binando ambos mtodos debera poder obtenerse la adecuada
integracin de las racionalidades tcnica y poltica, necesarias en el
campo de las polticas pblicas.
Sin embargo, en la prctica del anlisis de las polticas encontramos
hoy un conjunto de tcnicas medianamente esclerosadas que no han
sido exitosas en ningn contexto nacional, en particular en el caso me-
xicano, ya sea por su excesiva simplicacin y falta de realismo como
por la arraigada tradicin de tomar decisiones gubernamenta les con ba-
se en otros criterios: intereses polticos, experiencia previa, intui cin,
etctera. La nica alternativa que se vislumbra implicara considerar
un diseo que capte la verdadera complejidad de los procesos impli-
cados desde la diversidad disciplinaria y promueva una efectiva
participacin social que exija la consideracin de nuevos criterios de
decisin, tendientes a mejorar la calidad de vida de la ciudadana.
En materia de evaluacin de programas, los mtodos cuantitativos
pro veen los instrumentos que hacen posible contar con un panorama
global y representativo de los logros y limitaciones de los progra mas
que se evalan; mismos que resultan necesarios pero no sufi-
cientes pa ra la realizacin de una evaluacin integral que pretenda
explicar los resultados alcanzados o valorar aspectos cualitativos.
Ca da caso especco requiere disear una adecuada combinacin de
mtodos y tcnicas que permita captar su especicidad.
Andamios
57
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
En materia de evaluacin de impacto, es muy difcil identicar
y medir con seguridad cul es la parte del cambio observado en un
problema que puede considerarse como consecuencia de una inter-
vencin especca; tema que podra modicarse profundamente en
caso de asumirse el enfoque de la complejidad, lo que implicara un nue-
vo rol y habilidades diferentes de los evaluadores, que habra que tomar
en cuenta en sus entrenamientos.
Limitarse al paradigma experimental implica re nunciar al apren-
dizaje de efectos no previstos, objetivos ocultos, teoras implcitas,
etctera, y querer imponerlo como criterio de cienticidad conduce a
pseudoexperimentaciones sin sentido o al empobrecimiento del campo
del anlisis.
Recientemente, algunos autores (Patton, 2002) arman que si bien
las herramientas disponibles son sucientes para evaluar programas y
proyectos, no lo son para enfrentar la complejidad de las polticas y de su
evaluacin, para las que casi no existen propuestas; por lo que se necesi-
ta una gran capacidad de inventiva metodolgica, una actitud exible
ante posibles explicaciones tericas alternativas y un conocimiento
especco del tema a evaluar. La planeacin de la evaluacin en estos
casos se vuelve un arte, donde la experiencia y la intuicin pueden
resultar ms efectivas que un conjunto de procedimientos analticos; no
hay manuales aplicables.
Ante las dicultades planteadas se muestran evidentes las venta-
jas de avanzar en el caso mexicano sobre enfoques constructivistas,
meto dologas combinadas sin dogmatismos, equipos de trabajo pluri-
disciplinarios y esfuerzos por avanzar en la cabal compresin de la
complejidad.
FUENTES CONSULTADAS
AGUILAR, L. (2000), El estudio de las polticas pblicas. Mxico: Porra.
AGUILERA, A. y J.C. Contreras (2008), La inuencia de las emociones en la
toma de decisiones conjuntas: una aproximacin modlica. Mxico: El
Colegio de San Luis Potos.
Andamios
58
MYRIAM CARDOZO BRUM
ALLISON, G. (1971), Essence of Decision. Explaining the Cuban Missile
Crisis. Boston: Little Brown and Co.
BM (2004), La pobreza en Mxico: una evaluacin de las condiciones, las
tendencias y la estrategia del gobierno. Mxico: Banco Mundial.
BID (1997), Evaluacin: una herramienta de gestin para mejorar el desem-
peo de los proyectos. Washington: Ocina de Evaluacin del BID.
BELTRN, M. (1991), La realidad social. Madrid: Tecnos.
CARDOZO BRUM, M. (1993), La evaluacin de las polticas pblicas:
problemas, metodologas, aportes y limitaciones, en Revista de Ad-
ministracin Pblica, nm. 84, Mxico: INAP.
_____ (2011a), Teora de las decisiones; marco terico-conceptual, Mxico:
UAM-X.
_____ (2011b), Organizacin y mtodos alternativos en la evaluacin
de polticas y programas sociales. La experiencia consolidada y la
emergente en el caso de Mxico, en Revista Gestin y Anlisis de
Polticas Pblicas, nm. 5, Madrid: INAP.
_____ (2012a), La evaluacin de polticas y programas pblicos. El estado
del arte. Mxico: UAM-X.
_____ (2012b), Sistematizacin de la experiencia de Evala DF 2008.
Metaevaluacin y autoanlisis. Mxico: UAM-X/Evala DF.
DURAN, P. (1999), Penser lAction Publique. Droit et Socit, vol. 27, Pars.
ETZIONI, A. (1967), La exploracin combinada: un tercer enfoque en la
toma de decisiones en L. Aguilar (2000), La hechura de las polticas.
Mxico: Porra.
FORSS, K., M. Marra y R. Schwartz (eds.) (2011), Evaluating the
Complex. Atribution, Contribution and Beyond, en Comparative
Policy Evaluation, vol. 18, New Brunswick (USA) y Londres (UK):
Transaction Publishers.
LAFLAMME, S. (1995), Communication et motion. Pars: LHarmattan.
LASSWELL, H. (1951), La orientacin hacia las polticas, en L. Aguilar
(2000), La hechura de las polticas. Mxico: Porra.
_____ (1971), La concepcin emergente de las ciencias polticas, en
L. Aguilar (2000), La hechura de las polticas. Mxico: Porra.
LE MOIGNE, J.L. (1994), Le Constructivisme. Pars: ESF.
LINDBLOM, Ch. (1959), The Science of Muddling Through, en Public
Administration Review, vol. 19, Washington.
Andamios
59
POLTICAS PBLICAS: LOS DEBATES DE SU ANLISIS Y EVALUACIN
MAYNTZ, R. (1987), Sociologa de la organizacin. Madrid: Alianza.
MONNIER, E. (1995), Evaluacin de la accin de los poderes pblicos.
Madrid: Instituto de Estudios Fiscales.
ODONNELL, G., y O. Oszlak (1976), Estado y polticas estatales en Amrica
Latina: hacia una estrategia de investigacin. Buenos Aires: CEDES.
OSZLAK, O. (1980), Polticas pblicas y regmenes polticos: reexiones
a partir de algunas experiencias latinoamericanas, en Estudio CEDES,
vol. 3, nm. 2, Buenos Aires.
PATTON, M.Q. (1997), Utilization-Focused Evaluation. The New Century
Text. Thousand Oaks: Sage Publications.
POPPER, K. (1977), La lgica de la investigacin cientca. Madrid: Tecnos.
SANN ANGEL, H. (1999), Control de gestin y evaluacin de resultados
en la gerencia pblica, Serie Manuales, nm. 3, Santiago de Chile:
CEPAL.
SIMON, H. (1947, ed. 1972), El comportamiento administrativo. Madrid:
Aguilar.
_____ (1957), Models of Man, Social and Rational. New York: J. Wiley.
STEINBRUNER, J. (1974), The Cybernetic Theory of Decision: New Dimensions
of Political Analysis. New Jersey: Princeton University Press.
SUBIRATS, J. (1989), Anlisis de polticas pblicas y ecacia de la ad-
ministracin. Madrid: INAP.
TARRS, M.L. (2001), Observar, escuchar y comprender. Sobre la tradicin
cualitativa de la investigacin social. Mxico: Colmex/Flacso/Porra.
THOENIG, J.C. (1998), Lvaluation de lAction Publique Locale, en M.C.
Kesller et al., Evaluation des Politiques Publiques. Pars: LHarmattan.
Fecha de recepcin: 30 de mayo de 2012
Fecha de aprobacin: 26 de febrero de 2013
Volumen 10, nmero 21, enero-abril, 2013, p. 39-59