Capitulo 11

Estableciendo límites y analizando el contexto de Evaluación.

Preguntas de orientación:

¿Quiénes son el público potencial de una evaluación? ¿Cuándo y cómo

deberían estar involucrados en la evaluación?

¿Por qué es importante describir el objeto de la evaluación?

¿Qué herramientas usa el evaluador para describir el objeto de la

evaluación?

¿Cómo se puede presentar más de un presupuesto que sea útil para el

evaluador? ¿Cuáles son algunas maneras en que se pueden reducir los
costos?

¿Qué debe considerar el evaluador para analizar el contexto político en el

que una evaluación se producirá? ¿Qué impacto tienen las consideraciones
políticas sobre la realización del estudio?

Identificar al público destino para una evaluación.

La participación de los interesados durante la etapa de planificación ayuda a

asegurar que la evaluación se enfoque a los fines adecuados de exploración
y ayude al evaluador en la identificación de los posibles usuarios. El
reconocimiento de un público más allá de las partes interesadas inmediatas
puede ayudar al evaluador a considerar futuras divulgaciones de los
resultados.

Identificación de las múltiples audiencias para una evaluación.

El evaluador debe identificar y comunicarse con cada audiencia para

conocer sus percepciones y preocupaciones sobre el programa y la
evaluación.

Miembros de la comunidad y representantes de otros grupos de influencia

son cada vez más contados entre el público de la evaluación.

Aumentar el número y la diversidad de los interesados se pueden agregar a

la complejidad y el costo de la evaluación. La cuestión de quién es el público
y cómo se van a servir es crucial.

Guba y Lincoln (1981) han desarrollado una serie de preguntas para ayudar
al evaluador en la identificación de públicos potenciales.

Ver Tabla.

Es dudoso que cualquier evaluación tuviera todos los públicos que figuran
en la Tabla, pero la viabilidad de cada una de estas audiencias debe ser
considerada durante la etapa de planificación. El evaluador debe revisar
estas audiencias con el cliente para identificar a los representantes de cada
grupo y luego reunirse individualmente con estos representantes para
conocer sus percepciones tanto del programa a ser evaluado y la propia
evaluación. ¿Qué significa cada público percibe como el fin del programa?
¿Qué tan bien creo que funciona? ¿Qué preocupaciones tienen al respecto?
¿Qué les gustaría saber sobre él? ¿Qué han oído hablar de la evaluación?
¿Están de acuerdo con su propósito? ¿Qué esperan aprender de la
evaluación? ¿Qué preocupaciones tienen al respecto? El evaluador debe
tratar de cumplir con las audiencias con las diversas opiniones de que el
programa no sólo para incluir a todos los públicos, sino para dar. Una
imagen completa del programa.

Después de reunirse con representantes de todos los públicos posibles, el

evaluador puede tomar decisiones, posiblemente con el cliente, sobre la
importación y el papel de cada audiencia en la evaluación

La lista de verificación en la Tabla se destina a ayudar a los evaluadores y

los clientes que en términos generales de las audiencias para la evaluación
y la finalidad que puedan ser cumplidas en que participen en el estudio o
proporcionándoles la información de las evaluaciones. Una vez que las
audiencias de evaluación adecuados han sido identificados, la lista deben
revisarse periódicamente a medida que avanza la evaluación porque el
público puede cambiar.
Entity to Be Evaluated (Check all appropriate boxes)
To
Individuals, Groups, or Provide
Agencies To Make Input to
Needing the Evaluation's To Make Operational Evaluati
Findings Policy Decisions on To React
Developer of the program
Funder of the program
Person/agency who
identified the local need
Boards/agencies who
approved delivery of the
program at local level
Local funder
Other providers of
resources (facilities,
supplies, in-kind
contributions)
Top managers of agencies
delivering the program
Program managers
Program deliverers
Sponsor of the evaluation
Direct Clients of the
program
Indirect beneficiaries of the
program (parents, children,
spouses, employers)
Potential adopters of the
program
Groups excluded from the
program
Groups perceiving negative
side effects of the program
or the evaluation
Groups losing power as a
result of use of the program
Groups suffering from lost
opportunities as a result of
the program
Public/community members
Others
Importancia de la identificación y participación de Audiencias de
Evaluación.

La mayoría de los evaluadores en algún momento han sido inducidos a error

(tal vez sin querer) en una empresa de evaluación, sólo para encontrar en
algún momento que su propósito fundamental era muy diferente de lo que
había supuesto.

Tal confusión es mucho más probable el evaluador tiene conversaciones

sólo con una audiencia. Diálogo con múltiples audiencias también aclara las
razones de la evaluación.

Describir lo que se va a evaluar: Establecer los límites.

Establecer límites es un paso fundamental para ganar en un sentido claro

de lo que una evaluación comprenderá. Ninguna evaluación debe llevarse a
cabo sin una descripción detallada del programa que se evalúa. Tal
descripción se establecen los límites de lo que se va a evaluar.

Una descripción del programa es una descripción de los elementos críticos

del programa a ser evaluado. En tal descripción se suele incluir metas y
objetivos componentes críticos y actividades, y las descripciones de la
audiencia objetivo. También puede incluir las características del personal y
presentar el programa, las disposiciones administrativas, el entorno físico y
otros factores contextuales. Las descripciones suelen incluir modelos o
diagramas de flujo que representa la teoría del programa o por qué se
espera lograr los resultados propuestos.

Factores a considerar en la caracterización del objeto de la evaluación.

El evaluador puede delimitar el objeto de la evaluación y el propio estudio

de
respondiendo a una serie de preguntas:

• ¿Qué problema es el programa diseñado para corregir? ¿Qué

necesidad tiene el programa existe para servir? ¿Por qué se inició el
programa? ¿Cuáles son sus metas quién está destinada a servir?

• ¿Qué hace el programa consiste? ¿Cuáles son sus principales

componentes y actividades, su estructura básica y administrativas,
diseño, gestión? ¿Cómo funciona? ¿Qué investigaciones existe para
vincular las actividades del programa y las características de los
clientes con los resultados deseados?

• ¿Cuál es la configuración de programas y el contexto (geográfico,

demográfico, político, de carácter general)?
 • ¿Quién participa en el programa (participantes directos e indirectos,
repartidores programa, los gerentes y administradores, los
responsables políticos)? ¿Quiénes son los otros?

• ¿Cuál es la historia del programa? ¿Cuánto tiempo se supone que

debe continuar? ¿Qué decisiones críticas son las partes interesadas
clave que enfrenta en relación con el programa? ¿Cuál es el plazo
para estas decisiones?

• ¿Cuándo y bajo qué condiciones es que el programa sea

implementado? ¿Cuánto tiempo tiene la intención de tomar? ¿Con
qué frecuencia se va a utilizar?

• ¿Son eventos contextuales o circunstancias únicas (por ejemplo,

negociaciones de contratos, las decisiones presupuestarias, cambios
en la administración, las elecciones) que podrían afectar el programa
de manera que puedan distorsionar la evaluación?

• ¿Qué recursos (humanos, materiales, tiempo) se consumen en el uso

del programa? ¿El programa ha sido evaluado con anterioridad? Es
así que, ¿cuáles fueron los resultados? ¿Cómo se usan?

El evaluador también debe tratar de clarificar lo que no está incluido en el

programa para
ser evaluados.

Uso de la Teoría del Programa para describir el programa

Chen (1990) define la teoría del programa como "una especificación de lo

que debe hacer para alcanzar los objetivos deseados, ¿qué otros impactos
importantes también pueden ser previstos, y cómo estos objetivos y los
impactos que se generarán "(p.43) la teoría del Programa consta de dos
partes: la teoría normativa y la teoría causal.

La teoría Normativa describe el programa como debe ser, sus objetivos y

resultados, sus intervenciones y las razones para estos, desde las
perspectivas de los diversos interesados.

La teoría causal hace uso de las investigaciones existentes para describir los
posibles resultados del programa basado en las características de los
clientes y las acciones del programa. La información obtenida de estas
teorías puede ser utilizada para desarrollar un modelo de programa
plausible.

El modelo de impacto de Rossi (1971) ilustra un método sencillo para

comenzar a desarrollar la teoría del programa.

1. La hipótesis causal vincula el problema a ser resuelto o reducido por el

programa (A) a una supuesta causa
2. La hipótesis de intervención vincula las acciones del programa (C) a la
supuesta causa (B).

3. La hipótesis de la acción une el programa de actividades con la reducción

del problema original.

El evaluador puede trabajar con las partes interesadas para desarrollar un

modelo de impacto que especifica los problemas, las causas y las
actividades del programa y los vínculos entre ellos.
El modelo final del programa a continuación, proporciona el marco para la
evaluación posterior.

La hipótesis de intervención o hipótesis puede ayudar a identificar los

componentes importantes del programa de vigilancia o describir en los
estudios de formación. (La mayoría de los modelos tendrán varias hipótesis
de intervención de conectar las diferentes partes del programa con diversas
causas del problema.)

Los métodos para describir el objeto de la evaluación

El desarrollo de una descripción del programa, modelo o teoría puede

llevarse a cabo en una variedad de maneras. Tres enfoques básicos para la
recogida de los datos necesarios son: (1) Documentos Descriptivos: la
lectura de documentos con información sobre el objeto, (2) Entrevistas:
hablar con varias personas familiares con el objeto, y (3) Observaciones: la
observación del objeto en la acción. Cada uno se discute brevemente.

Una vez descrito el objeto de la evaluación, el evaluador debe asegurarse

de que los interesados de acuerdo en que la descripción precisa que
caracteriza el programa.

El propósito de esta etapa es también de establecer límites para la

evaluación, al aclarar exactamente lo que se va a evaluar.

Si la evaluación se centrará en un pedazo más pequeño de todo el

programa, la aclaración sobre el objeto de la evaluación debe ocurrir en
este momento.

Aclarar lo que se va a evaluar reduce las posibilidades de que el evaluador

más tarde será acusada de evaluar las cosas mal.

Tratar con percepciones diferentes.

El análisis anterior supone que, en consenso general, tanto en el propio

programa y los límites de la evaluación existen. Este no es siempre el caso.

Vroom, Colombo, y Nahan (1994) describen cómo las diferencias de

precepciones de los objetivos y prioridades de los programas entre
gerentes, empleados y patrocinadores pueden llevar a una evaluación muy
problemática.
Cuando los desacuerdos sobre la naturaleza del objeto de evaluación
existentes, el evaluador puede tomar una de dos rutas. Si las diferencias
son relativamente un espejo y refleja los valores o la posición de la parte
interesada, el evaluador puede optar por aprender de estas percepciones
diferentes, pero no empujar hacia el consenso.

Las percepciones diferentes pueden proporcionar el evaluador una

oportunidad para aprender más sobre cada uno de los interesados.

El evaluador puede abordar las necesidades de información de múltiples

audiencias.

Se puede educar al público, ayudándoles a mirar más allá de sus

perspectivas particulares. Sin embargo, si las diferencias de percepción son
importantes y se producen entre las audiencias primarias para el estudio, el
evaluador debe tratar de lograr algún tipo de descripción de un consenso
antes de seguir adelante con la evaluación.

Si el consenso no puede alcanzarse, el evaluador puede concluir que la

evaluación debe retrasarse más.

Los acuerdos pueden ayudar a evitar conflictos posteriores entre las partes
interesadas y el evaluador acerca de si el evaluador ha entendido realmente
el objeto de evaluación.

Re describir el objeto a medida que cambia.

Es importante interpretar el personaje real del objeto no sólo como empieza

sino como se desarrolla. Un punto crítico para los evaluadores a recordar es
que el objeto a ser evaluado con frecuencia sufre cambios durante la
evaluación.

La naturaleza de un programa es variable y esta variación se debe a

muchos factores (McClintock, 1987).

Los cambios pueden deberse en parte a la capacidad de respuesta de los

directores de programas a los comentarios que sugieren mejoras útiles y
modificaciones.

El evaluador debe describir al final de la evaluación lo que se evaluó la

realidad, y que puede ser muy diferente de lo que se planeó originalmente.

Las observaciones de campo del evaluando en uso, de la configuración, ya

que en realidad existe, y de las condiciones que en realidad obtener son
absolutamente esenciales.

Las variaciones en la entidad, el escenario y las condiciones pueden ocurrir

por una variedad de razones.

En algunos casos la renuencia o resistencia de los actores en la situación

produce cambios no deseados.
Por encima de todo, la actividad continua del propio evaluador, si se toma
en serio por los actores y si se produce una información significativa,
contribuirá a un continuo cambio de circunstancias (p. 344).

Un ejemplo de descripción de un objeto de evaluación.

Descripciones de programas o modelos se pueden organizar de muchas

maneras diferentes.

El primer grupo de preguntas es: ¿Qué problema es el programa diseñado

para corregir? ¿Qué necesidad tiene el programa hay que cumplir? ¿Por qué
se inició? ¿Cuáles son sus objetivos? ¿A quién está destinada a servir?

El segundo grupo de preguntas es: ¿Qué hace el programa consiste?

¿Cuáles son sus principales componentes y actividades, su estructura
básica, administrativas y de gestión del diseño?

¿Cómo funciona? ¿Qué investigación existe para vincular las actividades del programa
y las características de los clientes con los resultados deseados?

La teoría en que se basa el tratamiento requiere un fuerte énfasis en los métodos de la

experiencia en lugar de enfoques didácticos para lograr el objetivo de reconocer su
propio programa

Otro componente crítico de la descripción del programa es la caracterización de los

actores.

Para describir el programa, el evaluador puede hacer uso de material

impreso, entrevistas; observaciones del programa, y una revisión de
literatura sobre los programas de tratamiento y soluciones para las
personas involucradas.

Con la información obtenida de responder a las dos primeras cuestiones, un

modelo puede ser desarrollado para el programa. El modelo puede ser
representado con un diagrama de flujo o de forma narrativa

La investigación empírica que tanto apoya y debilita el modelo debe ser

descrita.

Análisis de los recursos y capacidades que se puedan comprometer

a la evaluación.

Los sectores públicos y sin fines de lucro han llegado a reconocer que la
evaluación puede ser muy útil para ellos.

La evaluación podría pagarse por sí mismo. Hodgkinson, Hurst, y Levine

(l975) introdujo por primera vez la doctrina de la evaluación gratuita para
argumentar que la evaluación no es un "añadido en-extra, sino un medio
para la identificación de" ahorro de costes y / o la eficacia, aumentar las
consecuencias para el proyecto "(p. 189).
El propósito es mejorar la productividad y la calidad del producto, ya sea a
través de recomendaciones para mejorar el programa formativo que
conduzca a mejores productos o resultar en costos más bajos o
recomendaciones sumativas que dará como resultado el mantenimiento o la
ampliación de los programas exitosos y rentables o la eliminación de los
fallidos.

Análisis de los recursos financieros necesarios para la Evaluación

"decidir en un nivel adecuado de gastos... Uno de los aspectos más sutiles

de la planificación de la evaluación" (p, 265).

Idealmente, esta decisión debe tomarse en consulta con el evaluador, cuyo

más íntimo conocimiento de los costos de evaluación sería de gran ayuda.

En muchas situaciones en que los evaluadores externos son contratados, el

cliente puede proceder inicialmente de forma independiente para establecer
los límites presupuestarios para el estudio.

Se recomienda que el evaluador proponga dos o tres niveles diferentes de

evaluación que se diferencian por delante su costo y amplitud a fin de
reflejar las distintas alternativas. Los clientes nuevos a la evaluación son a
menudo inconscientes de las posibilidades de diseño de la evaluación, de lo
que la información podría ser capaz de producir, o de los gastos de servicios
de evaluación. Frente a las decisiones sobre las compensaciones y las
limitaciones presupuestarias, el cliente también necesita saber acerca de
las alternativas y sus consecuencias con el fin de tomar una buena decisión.
Presupuesto podría ser el último paso en la planificación de una evaluación.
Por otra parte, si los límites presupuestarios son conocidos al principio, van
a afectar (y normalmente mejoran) las decisiones de planificación que
siguen.

Idealmente, los planes de evaluación y los presupuestos deben ser flexibles.

Las circunstancias cambian durante el estudio. y las nuevas necesidades de

información y oportunidades se desarrollará.

Análisis de disponibilidad y capacidad del personal de evaluación.

El presupuesto es sólo una consideración que afecta el diseño de un estudio

de evaluación. El personal es otra. Tanto los evaluadores internos y
externos puede ser asistido por los empleados cuya responsabilidad
principal es llevar a cabo otras funciones. Repartidores del programa
pueden ser capaces de recoger datos. Auxiliares administrativos pueden
trabajar en la preparación de documentos, búsqueda de registros, hacer los
arreglos para las reuniones, entrevistas, o similares, sin costo alguno para el
presupuesto de la evaluación. Estudiantes de postgrado de las
universidades locales que buscan la experiencia de prácticas o trabajan en
tesis o curso estudios relacionados pueden llevar a cabo tareas especiales a
un costo mínimo para el presupuesto de la evaluación.
Los voluntarios de las asociaciones de vecinos y otros grupos comunitarios,
asociaciones de padres y maestros, grupos religiosos, o grupos de apoyo
relacionados con el proyecto a menudo se pueden realizar tareas no
técnicas de evaluación. Los clientes también pueden ayudarse a sí mismos

Personal que carece de formación especializada o experiencia pertinente

requiere orientación a la naturaleza del estudio, sus propósitos, y el papel
que deberá jugar.

Evaluación ingenua y falta de preparación del personal (voluntarios o de

otra manera) puede causar estragos en una evaluación.

Supervisión y control de terreno puede ser muy útil, sobre todo en las
primeras etapas, para asegurar que el personal entienda sus tareas y
responsabilidades de la evaluación.

Si el personal que no conoce de evaluación se usa como voluntario para

expandir un esfuerzo de evaluación de bajo costo, el riesgo de sesgo está
presente. Consideraciones personales no deben influir en la manera en que
estos voluntarios realizan sus tareas de evaluación.

para proteger la validez del estudio y la credibilidad es esencial que un

evaluador con personal no-ejercicio de evaluación de precaución y el juicio
en la determinación de las tareas que los voluntarios realizan. Si se exponen
a la información confidencial, deben ser cuidadosamente entrenados en el
sentido de la confidencialidad y la importancia de mantener la dignidad y la
privacidad de los clientes u otras personas de la que se recogen datos. Bajo
la supervisión de conciencia, el seguimiento y la auditoría, el personal local
o los voluntarios pueden hacer una contribución valiosa y rentable para una
evaluación.

Empoderamiento de evaluación se basa en el principio de capacitar a otros

para evaluar sus propios programas.

Análisis Tecnológico y de otros recursos y restricciones para

evaluaciones.

La disponibilidad de los datos existentes, incluidos los archivos, registros,

evaluaciones anteriores, documentos u otros esfuerzos de recopilación de
datos a los que la evaluación se puede unir, es una consideración
importante. Cuanta más información se debe generar de nuevo por el
evaluador, es más costosa la evaluación.

La disponibilidad de materiales de apoyo necesarios y servicios también es

importante.

Los avances en la tecnología han proporcionado oportunidades para la

recopilación de información más útil y para reducir los costos. La
comunicación cara a cara, sobre todo con las partes interesadas durante la
nueva etapa de planificación, nunca puede ser sustituida.
El evaluador debe tener en cuenta la importancia de los enfoques de
evaluación existentes y métodos para el estudio específico que se
considera.

Pioneros en la evaluación pueden requerir mucho más tiempo, esfuerzo y

dinero que cualquiera de evaluador o promotor puede darse el lujo de
gastar.

El tiempo debe ser considerado un recurso.

Analizando el contexto político para la Evaluación.

La evaluación es un proceso inherentemente político.

Siempre que se redistribuyen los recursos o se redefinen las prioridades, los

procesos políticos están en el trabajo. Tenga en cuenta la naturaleza política
de las decisiones relativas a cuyos valores son atendidos, la forma en que
se ponderan, las variables que se estudian, cómo se elabora la información
ya quién, cómo los clientes y otras audiencias intención de utilizar la
información de evaluación, lo que se da clase de apoyo a la evaluación y por
quién, lo que potencialmente se oculta información embarazosa.

Las consideraciones políticas permean todos los aspectos de la evaluación

desde la planificación hasta la presentación de informes y uso de resultados
de la evaluación.

Al recibir cualquier nueva solicitud para llevar a cabo una evaluación, el

evaluador puede considerar las siguientes preguntas:

1. ¿Que tendrían mucho que perder / ganar más de la evaluación en

diferentes escenarios? ¿Se han acordado cooperar? ¿Entienden las
consecuencias organizativas de la evaluación?

2. ¿Que los individuos y los grupos tienen el poder en este escenario? ¿Han
acordado sancionar a la evaluación? A cooperar?

3. ¿Cómo se espera que el evaluador se refieren a diferentes individuos o

grupos? ¿Como forastero imparcial? ¿Abogado? ¿Consultor de la
organización? ¿Consultor de futuro o subcontratista? ¿Confidente?
¿Facilitador? ¿Qué implicaciones tiene esto para la evaluación y su
capacidad para dar resultados útiles en una forma ética?

4. ¿Desde que las partes interesadas la cooperación es esencial? ¿Se han

acordado proporcionar plena cooperación? ¿Para permitir el acceso a los
datos necesarios?

5. ¿Qué actores sociales tienen un gran interés en los resultados de la

evaluación? ¿Qué medidas se adoptarán para dar su perspectiva de un
juicio justo sin permitir que se opongan a opiniones alternativas?
6. ¿Quién tendrá que ser informado durante la evaluación de los planes,
procedimientos, avances y resultados?

7. ¿Qué garantías deben ser incorporados en un acuerdo formal para la

evaluación (por ejemplo, los procedimientos de información, derechos de
edición, la protección de los sujetos humanos, el acceso a los datos, meta-
evaluación, los procedimientos para la resolución de conflictos)?

Las respuestas a estas preguntas ayudarán al evaluador determinar si es

factible y productivo para llevar a cabo el estudio de evaluación, una
decisión que se ocupará en breve.

Las variaciones causadas por el Método de evaluación utilizado.

El modelo orientado a los participantes ha tenido una influencia importante

en los evaluadores. Evaluadores, pocos hoy en día realizan una evaluación
sin tener en cuenta las percepciones y necesidades de otros interesados y
el contexto en que la evaluación debe llevarse a cabo.

Los evaluadores entrenados, puede implicar diferentes públicos en la

definición de los objetivos del programa, pero, en su enfoque unilateral
sobre los objetivos, puede no llegar a obtener una descripción adecuada del
programa y la comprensión de una del contexto político en el que opera. Un
enfoque orientado a objetivos tiende a ser relativamente lineal y puede
dejar de reconocer la multiplicidad de puntos de vista sobre el programa, los
clientes que atiende, y el contexto en que opera.

Un enfoque orientado a la gestión a menudo es criticado por su enfoque en

el gestor como el que toma las decisiones principales y en el suministro de
información sólo para identificar las decisiones que se hizo. Mientras que los
usuarios sofisticados de este modelo sin duda identifican y aprenden acerca
de esta inquietud, enfocado de otras audiencias, estas audiencias se ven
como algo secundario.

El evaluador siguiendo este enfoque tiende a verlas (la audiencia) como

carente de la facultad de tomar decisiones que podrían afectar el programa
dramáticamente.

El enfoque orientado al consumidor: El programa desde la perspectiva de los

consumidores, en este caso, otros públicos y otros puntos de vista del
programa o productos pueden ser olvidadas.

El evaluador orientado a la experiencia es probable que sea el más estrecho

en la identificación y teniendo en cuenta el público y sus descripciones y
puntos de vista del programa. El evaluador de orientado a la experiencia es
contratado más por su conocimiento del contenido del programa que por su
experiencia en la evaluación. Este conocimiento, así como los criterios para
la evaluación, por lo general surgen de la formación profesional, formación,
experiencia en el campo, y a menudo, las normas elaboradas por la misma
profesión en la que se educa a los "expertos". El evaluador orientado a la
experiencia podrá, recoger los datos sobre el programa de muchos públicos
diferentes, pero rara vez se considera la información a estas audiencias las
necesidades para la evaluación.

El modelo orientado a los participantes: El evaluador utilizando este modelo

buscaría constantemente las múltiples perspectivas de los diferentes
públicos. Se deben buscar diferentes perspectivas para entender el
programa en su totalidad. Este enfoque, tiende a considerar la mayor parte
del público y el mayor número de descripciones de los programas.

Al involucrar e informar a muchas audiencias, su evaluación, se diría, es

más probable que hacer una diferencia en el largo plazo.

Determinar si se debe proceder con la evaluación.

El evaluador debe hacer una gran determinación para acumular suficiente

información sobre el contexto, el programa, los interesados, y los recursos
disponibles de si se deben continuar la evaluación. Con esta información, el
evaluador debe estudiar de nuevo si se debe proceder.

La visión, el pensamiento y el sentido común son los ingredientes esenciales

para una decisión sensata sobre cuándo ponerse de acuerdo para hacer una
evaluación. Sin embargo, incluso el evaluador más profundo con una
experiencia considerable a veces tomará una decisión imprudente.