Evidence-Based Practice and the Use of Information in State Agency Decision Making

Edward T. Jennings JR., Jeremy L. Hall

El contexto actual de políticas hace cada vez más necesario el uso de información en la toma de decisiones
respecto de políticas, programas y prácticas. En este sentido, el objetivo de este artículo es examinar el alcance
que tiene el uso de diversas fuentes de información en la toma de decisiones de las agencias estatales. Para
ello, utilizan datos de una encuesta que realizan en 2008 a los directores de diversas agencias y a partir de la
información obtenida construyen un análisis factorial que les permite identificar patrones del uso de la
información en las agencias.
Introducción
La Rendición de Cuentas y la Evaluación del Desempeño presionan para que se tenga evidencias de la
efectividad de las políticas. Lo anterior ha conducido a instrumentos como la evidencia basada en las prácticas.
Si bien el uso de estos instrumentos ha aumentado con el tiempo, existe poca información acerca del uso que
se les da a estas herramientas dentro de las agencias de gobierno. Al respecto, este estudio busca profundizar
sobre el tema: ¿En dónde se utiliza la información? ¿Cuáles son las fuentes de evidencia que son consultadas?
¿Hay un uso diferenciado en función del área de política a la que remite?
El uso de evidencia supone algunas interrogantes para los consejeros y el gobierno: desde la definición de qué
es la evidencia científica, las características particulares que deben tener las metodologías utilizadas en su
construcción o cómo la evidencia científica debe ser utilizada. Sin embargo, no se ha logrado un consenso al
respecto. Lo anterior podría vincularse con los resultados de esta investigación: existe un uso diferenciado
relacionado con el área de política a la que refiera.
A pesar de la discusión sobre lo que debe considerarse como evidencia, en últimas instancias, la evidencia
basada en la experiencia consiste en utilizar la evidencia científica para producir mejores resultados en los
programas públicos. No obstante, los tomadores de decisiones toman en cuenta múltiples aspectos como los
valores reflejados en la política, el efecto de las decisiones en los valores que se buscan en la política, las
consecuencias políticas de cada una de las opciones, el impacto de las decisiones en los presupuestos y otras
consideraciones. Además, la calidad de la evidencia varía dependiendo de la comprensión y valor que se le
otorgue a la información.
Los antecedentes de las políticas basadas en la evidencia y las prácticas basadas en la evidencia (EBP)
La literatura sobre el tema es joven y se encuentra aún en desarrollo. No obstante, su adopción es una
respuesta a la búsqueda de mejores resultados y eficiencia. De hecho, su uso podría considerarse como parte
de una tendencia hacia la profesionalización de algunos aspectos de la vida económica y social. Actualmente,
hay pocos estudios sobre el uso de la evidencia científica en la creación de políticas1. El sector de la salud
pública es el área en la cual se han expandido y generado un mayor uso de estas herramientas.
Expectativas acerca del uso de evidencia
La presión para generar mayores racionalidad y profesionalismo en los gobiernos no ha sido uniforme. En
efecto, ha variado a lo largo del tiempo y entre las diferentes jurisdicciones. En este sentido, el uso y la
disponibilidad de la evidencia de un programas o política no es garantía directa de que la evidencia será utilizada
en la toma de decisiones. Las agencias reciben una gran cantidad de información relacionada con sus

1Además, es necesario considerar lo que Maynard (2006) sostiene: no es fácil determinar qué evidencia es necesaria
porqué las preguntas cambian con el tiempo y la información que se necesita para responderlas también.
programas, pero esa información se encuentra en una amplia variedad de formas y está sujeta a múltiples
interpretaciones que están dadas en función del contexto2 en el cual se enmarquen.
Hay muchas interrogantes acerca del desarrollo y uso del EBP en Estados Unidos. Es por ello que, es
importante evaluar la calidad e impacto de la evidencia utilizada en los procesos de decisión. Esta investigación
es un primer paso para lograr una mayor comprensión sobre la importancia que le otorgan a la información
generada por la evidencia científica y otras fuentes. Una teoría que ayuda a comprender la generación de
información es la desarrollada por Jones y Baumgartner (2005), quiénes argumentan que la atención es
selectiva y está limitada por el encuadre en el que se enmarque y la fricción que se tenga. En efecto, el encuadre
aceptado moldea la atención de diferentes tipos de información, y como los marcos de referencia varían de
agencia a agencia, también la selección que se haga de las fuentes de información.
Métodología y administración de la encuesta

Metodología
Encuesta a directivos de 12 agencias en cada uno de los 50 estados: alcohol y abuso de sustancias, servicios para los adolescentes y la niñez,
discapacidades del desarrollo, desarrollo económico, protección ambiental, vida silvestre y pesca, gestión de residuos peligrosos, recursos
naturales, policía estatal, turismo, transportes y carreteras, y rehabilitación vocacional.

Enfoque en 4 preguntas: 1) ¿Usan información o evidencia para sustentar sus decisiones? ¿Con qué frecuencia? (Indicador de la influencia relativa
de cada fuente de información), 2) ¿En dónde buscan información y evidencia las agencias para sostener sus decisiones?, 3) ¿Qué tanto peso
reciben las diferentes fuentes de información? (Indicador de la influencia relativa de cada fuente de información), y 4) ¿Cómo varía el uso de
información en función del área de política de las agencias analizadas?

Tasa de respuesta: varía de acuerdo con el tipo de agencia y el estado (la agencia con mayor tasa de respuesta fue la correspondiente a vida
silvestre y pesca, mientras que la agencia que obtuvo menor tasa de respuesta fue la de recursos naturales). De 600 agencias, se obtuvo respuesta
de 234. Tras eliminar 17 respuestas, se obtuvo una tasa de respuesta del 36.2 %.

Resultados
 46% consultan información externa muy frecuentemente, 44% lo hacen con frecuencia, 10% a veces,
1% rara vez, y nadie contesto que nunca.
 Hay variaciones considerables en el alcance que tiene el uso de diferentes fuentes de información
para las agencias. Para disminuir la variación se utilizaron muestras ponderadas para ajustar las
diferentes probabilidades de las agencias. Sin embargo, el análisis reveló que existen algunos
patrones de resultados inconsistentes y con poca credibilidad.
 El análisis de resultados tiene validación interna. No obstante, no podría estimarse que tanto podría
generalizarse a aquellas agencias que no respondieron la encuesta.
 La fuente de información más consultada es la generada por la propia agencia, seguida de la
investigación y evaluación formales.
 Los resultados de las pruebas ANOVA muestran que, no varía el peso que le dan las agencias a
fuentes de información como literatura profesional, premios de innovación de programas, otras
agencias, legisladores, personal legislativo, o los representantes electos.
 Se construyó un análisis factorial para determinar si hay relaciones en el uso que le dan las agencias
a partir de las 19 fuentes de información encontradas (personal interno de las agencias, agencias
similares en otros estados, evaluaciones formales e investigación, literatura profesional,
asociaciones profesionales, agencias federales de gobierno, estudios científicos, gobernador,
otras agencias en el estado, grupos de interés, legisladores, consultores, asociaciones de
integrantes del gobierno, cuerpos certificados, personal legislativo, representantes del
gobierno local, programas de innovación, think tanks, medios de comunicación). A partir de esto

2 Para efectos de los autores, el contexto se refiere tanto a las agencias (su misión, procedimientos y estructuras, estructura

del personal y perfiles, jurisdicción y liderazgo) como al ambiente en general en el cual operan las agencias (político, legal,
social, económico y tecnológico).
 se construyó una clasificación de cuatro categorías de fuentes: Política, Profesional/científica,
Agencia/Usuario e Innovación.
 Las agencias que obtuvieron menores puntajes en el factor político fueron aquellas con un
conocimiento científico fuerte como rehabilitación vocacional y abuso de sustancias y alcohol.
 La fuente profesional/ científica obtuvo menores puntajes en la gestión de residuos peligrosos y
desarrollo económico.
 El factor agencia/usuario es de menor importancia para el desarrollo económico y las agencias del
turismo. Las agencias que trabajan con su contraparte federal son las que reportan un mayor uso de
este factor.
 El factor de fuentes de innovación obtuvo menor uso en área de política relacionadas con las ciencias
duras, en las cuales las prácticas están muy bien establecidas.
 Hay una variación en la disponibilidad de la información científica.
Desarrollando una teoría de Políticas basadas en la evidencia
Tras el supuesto inicial de que el tipo de agencia moldea el uso de EBP, se puede afirmar, con base en la
información encontrada que, si bien esto puede afectar no es la única variable que lo determina. Es
necesaria una construcción teórica más robusta. Una forma de hacerlo es construir categorías vinculadas
al contexto político de las agencias y a su capacidad científica. Además, el uso de la evidencia científica y
de las prácticas y políticas basadas en la evidencia no dependen exclusivamente de su disponibilidad,
también de su relevancia, credibilidad, capacidad operativa, misión y objetivos de la agencias, ambiente
político y características internas3. Otros factores que puede influir es el conflicto y capacidad científica que
tengan las agencias: cuando el conflicto es bajo y la capacidad científica alta, se esperaría un mayor uso
del EBP. A continuación, se presenta un diagrama con los cuatro escenarios posibles de conflicto y
capacidad científica.
Tabla 5. Uso esperado de EBP´s por grado de conflicto y grado de capacidad científica (Disponibilidad,
Relevancia y Credibilidad) (p. 17)
Conflicto
Bajo Alto
Capacidad científica Alto Agencia basada en la Agencia basada en
experiencia (óptima evidencia en retos (el
para EBP) conflicto impide el uso
de EBP)
Bajo Agencia vivencial (sin Agencia simbólica (no
ciencia) hay evidencia del
impacto de prácticas)
Fuente: Jennings y Hall. (2011). p. 17

Es preciso agregar que, cualquier instrumento puede ser cuestionado, y este no es la excepción. En efecto,
la aplicación implica beneficios y costes sociales.
Discusión
La importancia que las agencias le dan a cada una de las fuentes de información para la toma de decisiones
es variada. En este sentido, podría hablarse de diferentes etapas del uso de información al interior de las
agencias. La apuesta sería emprender un papel más activo en la creación del conocimiento para usarlo en
los procesos de políticas. La investigación futura debería examinar la forma en la que las políticas integran
la información y las adecuaciones que la información debe tomar a lo largo del tiempo.

3El ambiente interno de una organización se refiere a la cultura de las agencias (modos de comportamiento, valores
centrales, sistemas de creencias que guían las acciones) y al recurso humano.