You are on page 1of 9

EL MTODO DELPHI Y EL PROCESMIENTO ESTADSTICO DE LOS DATOS OBTENIDOS DE LA CONSULTA A LOS EXPERTOS POR: ARMN GONZLEZ ALMAGUER ISP

Jos de la Luz y Caballero

INTRODUCIN La experimentacin constituye una de las principales formas, si no la principal, para comprobar determinadas hiptesis cientficas; sin embargo, su realizacin tiene una serie de exigencias que, en algunas ocasiones el investigador no pude satisfacer (como por ejemplo, el tiempo para realizar la planeacin y la ejecucin del experimento). Por otro lado, existen investigaciones que no requieren de la realizacin de un experimento y, por tanto, pueden ser validadas mediante el empleo de otros mtodos alternativos que estn cientficamente probados. En este material se expone el MTOD DELPHI, como una alternativa que el investigador puede emplear para someter sus resultados investigativos al anlisis de especialistas competentes y, de este modo, obtener juicios de valor sobre el aporte que propone. Adems, se ofrece un ejemplo de cmo se procesan estadsticamente los datos aportados por los expertos. Tambin se dan las indicaciones para utilizar el software DelfoSoft realizado en EXCEL (y que se complementa a este material) para hacer dicho procesamiento. EL MTODO DELPHI El mtodo Delphi o Delfos fue creado alrededor de los aos 1963-1964 por la Ran Corporation, especficamente por Olaf Helmer y Dalkey Gordon, con el objetivo de elaborar pronsticos a largo plazo: consiste en la utilizacin sistemtica del juicio intuitivo de un grupo de expertos para obtener un consenso de opiniones informadas. De aqu que este mtodo tambin se conozca con el nombre de Criterio de expertos. Es uno de los mtodos subjetivos de pronstico ms confiable (siempre que se aplique siguiendo las indicaciones correspondientes) y constituye un procedimiento para confeccionar un cuadro de la evolucin de situaciones complejas, mediante la elaboracin estadstica de las opiniones de los expertos en el tema de que se trate. El mtodo se basa en la organizacin de un dilogo annimo entre los expertos consultados de modo individual, a partir de la aplicacin de un cuestionario y con el propsito de obtener un consenso general o los motivos discrepantes entre estos. Los expertos, seleccionados previamente, se someten a una serie de interrogantes sucesivas, cuyas respuestas se procesan estadsticamente para conocer la coincidencia o discrepancia que estos tienen en cuanto a lo consultado. Este proceso iterativo, en el que en cada cuestionario se informa los resultados del precedente, posibilita al experto modificar sus respuestas anteriores, en funcin de los elementos aportados por otros expertos. La cantidad de rondas de encuestas se

determina por la evaluacin de las curvas de distribucin de las respuestas, donde a la vez que aparecen uno o varios mximos sin variaciones significativas en el transcurso de algunas iteraciones, se interrumpe el proceso. PRINCIPALES CARACTERSTICAS DEL MTODO DELPHI 1.- Anonimato: los expertos contestan las preguntas sin consultarse mutuamente (por lo que es recomendable que dos expertos no conozcan entre s que estn opinando sobre un mismo tema) . 2.- Retroalimentacin controlada: despus de cada ronda de preguntas, se tabulan las respuestas y se procesan antes de la siguiente ronda, para que los participantes puedan evaluar los resultados de la ronda anterior, as como las razones dadas para cada respuesta y su dispersin del promedio (esto permite que aumente el acuerdo al transcurrir varias rondas del proceso). 3.- Respuesta estadstica del grupo: el procesamiento de cada ronda se realiza con mtodos estadsticos. Esto es la caracterstica ms importante que diferencia a este mtodo de otros subjetivos. El Delphi puede ser aplicado como previsin del comportamiento de variables conocidas o en la determinacin perspectiva de la composicin de un sistema, en cuyo caso los elementos del sistema a estudiar son conocidos y se orienta la encuesta a indagar sobre el comportamiento previsible de los mismos. En cambio, en un Delphi de perspectiva los elementos del sistema a estudiar no son conocidos y se orienta la encuesta a la determinacin de la estructura posible del sistema. La aplicacin del mtodo tiene una secuencia metodolgica adecuada en dos fases: Fase preliminar: se definen los elementos bsicos del trabajo y se realiza la primera ronda de encuestas. Fase de exploracin : se indaga exhaustivamente hasta confeccionar los escenarios (conjunto de elementos vinculados por razones de dependencia, que se diferencian como conjuntos por el carcter homogneo que presentan sus elementos integrantes en toda una serie de cuestiones claves, referidas a un horizonte temporal determinado y que reflejan estados de cosas o situaciones). El primer cuestionario est dirigido a obtener informacin de carcter estadstico; el segundo, informa a cada experto algunas indicaciones sobre la distribucin estadstica de las respuestas, que le permite a estos modificar su juicio (si lo considera) y le exige los argumentos que justifican sus opiniones. El tercero, muestra los argumentos unificados de las opiniones de los expertos en la ronda anterior, para que puedan examinar con ms detalle los aspectos del problema y reconsideren sus criterios. Se podr realizar un cuarto o un quinto cuestionario, hasta que se llegue a un consenso del asunto, pero la mayora de los autores consideran que desde el tercer o cuarto cuestionario los expertos comienzan a mantener sus criterios.

Para la aplicacin prctica del Delphi hay que considerar: La elaboracin del cuestionario. La seleccin de los expertos. Para la elaboracin del cuestionario hay que tener en cuenta los principios de la comunicacin y, adems, crear mecanismos que reduzcan los sesgos de las respuestas. Este se debe iniciar con preguntas abiertas y en los cuestionarios siguientes concentrarse estas, cerrando el entorno de las respuestas a los puntos neurlgicos del problema tratado. Se debe facilitar que el experto valore alternativas a sus respuestas y solicitarle que exprese sus argumentos. Las preguntas que determinan la capacidad de valoracin del tema por el experto, son importantes para derivar posteriormente la encuesta. El parmetro tiempo, si se requiere, se puede hacer intervenir en el encabezamiento de las preguntas o en las respuestas solicitadas; preguntas de este tipo se pueden referir a: Probabilidad de realizacin de un acontecimiento en un horizonte determinado. Estimado del valor ms probable de un parmetro en un horizonte determinado. Fecha de realizacin de un evento. PROCESO DE SELECCIN DE LOS EXPERTOS EXPERTO es una persona en s o un grupo de ellas u organizaciones capaces de ofrecer valoraciones conclusivas de un problema en cuestin y hacer recomendaciones respecto a sus momentos fundamentales con un mximo de competencia. La utilizacin del mtodo de experto est condicionada a la ausencia de cualquier otro procedimiento de obtencin de informacin, digamos la realizacin de un experimento. La determinacin del grupo de expertos debe garantizar la confiabilidad de los resultados con el mnimo de gastos; esta confiabilidad depende del nmero de expertos y de la estructura del grupo de ellos por especialidades y, adems, de las caractersticas particulares de los propios expertos. Desde el punto de vista de la calidad de la solucin del problema, los expertos deben tener las siguientes caractersticas: Competencia: nivel de calificacin en la rama del conocimiento objeto de indagacin; lo cual no est totalmente en lnea con su grado cientfico y tarea, labor o responsabilidad que desempea. Se recurre a la auto evaluacin del propio experto en este sentido (y a la valoracin de otros). Esta competencia se determina por diferentes coeficientes, entre los que se encuentra uno que se denota por K:

K=

1 (K c + K a ) 2

En esta frmula Kc es el coeficiente de conocimiento o informacin que posee la persona acerca del problema (sobre la base de su auto valoracin); sus valores estn en una escala de 0 a 10 que para el clculo se multiplica por 0.1: el cero indica que la persona no posee absolutamente ningn conocimiento de la problemtica en estudio, mientras que el 10 expresa pleno conocimiento. As, la persona solicitada deber marcar la casilla que estime pertinente en la siguiente escala (la cual se entrega a la persona elegida): 0 1 2 3 4 5 6 7 8 9 10

Ka es el coeficiente de argumentacin o fundamentacin de los criterios de la persona y se obtiene del resultado de la suma de los puntos alcanzados a partir de las respuestas obtenidas en el llenado que hace la persona de la siguiente tabla patrn: Grado de influencia de cada una de las fuentes en sus criterios Fuentes de argumentacin Anlisis tericos realizados por usted Su experiencia en el tema Trabajos de autores nacionales consultados Trabajos de consultados autores extranjeros A (Alto) M (Medio) B (Bajo)

Su propio conocimiento del estado del problema en el extranjero Su intuicin A la persona seleccionada se le presenta la tabla anterior y se le pide que marque con una cruz (X) cul de las fuentes l considera que ha influido en su conocimiento de acuerdo con el grado A, M o B (se le debe pedir que responda todas las fuentes). Luego, utilizando los valores para cada casilla dados en la tabla del anexo #1, se calcula el valor de Ka: si este coeficiente es igual a uno el grado de influencia de todas las fuentes es alto; si es 0.8 este grado es medio y 0.5 se considera bajo. A continuacin se determina el valor de K (segn la frmula dada). El coeficiente K, tericamente, se encuentra siempre entre 0.25 y 1. Mientras ms cercano est el valor de K a uno, mayor es el grado de competencia de la persona.

Disposicin de la persona para participar en la encuesta: esto determina si la persona forma parte de los posibles expertos. Conformismo de la persona: es su sometimiento a los criterios u opiniones de otros, fundamentalmente, de los lderes. Esta caracterstica aparece, por lo general, debida a la ausencia de constancia en su propia opinin, lo cual se evita con la aplicacin de mtodos parciales, como el expuesto aqu. Creatividad del experto: capacidad de resolver problemas originales. No existe en la actualidad un procedimiento para medir, cuantitativamente, la creatividad. Capacidad de anlisis y de pensamiento: sobre todo, para la solucin de problemas complejos. Propiedad de colectivismo: su tica en una discusin abierta influye en la creacin de un clima psicolgico positivo y en el xito de la solucin del problema. Espritu auto crtico: se observa en la valoracin de su grado de competencia, en el anlisis del problema. Las principales caractersticas del grupo de experto son: la confiabilidad del peritaje y los gastos de realizacin, lo que determina la cantidad de expertos y la estructura de los distintos especialistas en el grupo. La confiabilidad del peritaje depende de la cantidad y calidad de los expertos. En la solucin de problemas complejos el aumento de la cantidad de expertos en el grupo conduce a un incremento montono de la confiabilidad del peritaje. De igual modo, la confiabilidad del grupo de expertos es una funcin montona creciente de la media de las auto valoraciones dadas por los mismos a su competencia. La estructura o composicin por especialidades se determina por la amplitud del problema. La cantidad de especialistas de distintas profesiones vinculadas con el problema por el peritaje, determina el nmero mnimo de expertos en el grupo. Dado que el procesamiento estadstico de los datos entraa la utilizacin de la distribucin normal de probabilidad, es recomendable la participacin de ms de 30 expertos. PROCEDIMIENTO PARA LA SELECCIN DE LOS EXPERTOS 1.- Determinacin de las personas (especialistas) que son candidatos a expertos (nmero mnimo y mximo). 2.- Confeccin del listado de expertos: parte del anlisis de la calidad de los expertos y posibilidad real de participacin. 3.- Haber obtenido el consentimiento del experto en cuanto a su participacin: despus del listado a cada candidato a experto se le enva una carta invitndolo a participar en el peritaje, por lo cual en ella se explica el objetivo de la encuesta, el plazo y orden de ejecucin, as como el volumen total del trabajo. Aqu se incluye una encuesta sobre la

competencia y algunos datos de inters. A partir de esto, se elabora el listado final de expertos y se informa a cada uno de ellos si fue seleccionado o no para el peritaje y los instrumentos necesarios para contestar las preguntas, con lo cual termina el trabajo de seleccin. EJEMPLO DE PROCESMIENTO ESTADSTICO OBTENIDOS DE LA CONSULTA A LOS EXPERTOS DE LOS DATOS

Un investigador tiene previsto elaborar un nuevo diseo curricular para mejorar el proceso pedaggico profesional en el programa X. Primero realiz un estudio profundo sobre estos aspectos y precis los elementos de su proyecto de investigacin. Despus realiz consultas informales a entendidos en las materias en cuestin y elabor una aproximacin terica de su propuesta, la cual tiene seis aspectos (A1, A2,...,A6, partes o indicadores bien diferenciados y que el investigador quiere someter a la valoracin de los expertos. A continuacin, el investigador decidi aplicar el mtodo emprico Delphi para conocer la opinin de expertos sobre el nuevo diseo elaborado. Para ello realiz el proceso de seleccin de estos y decidi someter al peritaje a 32 expertos (E1, E2, E3,...,E32), cuyos coeficientes de competencia eran los ms altos y cumplan los dems requerimientos. Por ltimo, le hizo llegar a todos esos expertos un cuestionario para que cada uno de ellos, de modo individual, se pronunciara con respecto a los seis aspectos del nuevo diseo. En tal sentido, deban marcar en una escala de cinco categoras la evaluacin que consideraran tena cada aspecto. Las categoras evaluativas empleadas fueron (en orden descendente): muy adecuado (MA), bastante adecuado (BA), adecuado (A), poco adecuado (PA) e inadecuado (I). Los resultados fueron los siguientes:

EXPERTOS E1 E2 E3 E4 E5 E6 E7 E8 E9 E10 E11 E12 E13 E14 E15 E16 E17 E18 E19 E20 E21 E22 E23 E24 E25 E26 E27 E28 E29 E30 E31 E32

A1 MA MA BA BA BA BA BA BA BA PA PA I I I PA PA A A A A BA MA I PA I PA I A BA A A PA

A2 BA MA BA BA A A A MA MA I PA I A I I I PA A A A BA BA I PA I I I A BA A PA PA

ASPECTOS A3 A4 MA MA MA MA MA BA BA BA BA MA A A A BA BA BA MA MA PA PA PA PA I I PA A I I I I I I PA A A A PA PA I A MA BA BA BA I I PA PA I I A PA I I A A MA BA A A PA PA PA PA

A5 MA MA BA BA BA A A BA MA PA PA I A PA PA I PA A A A BA BA I PA I I I A BA A A PA

A6 MA MA BA BA BA A A MA MA PA PA I I PA PA I A A PA A BA MA I PA I A I A MA A PA PA

PROCESAMIENTO ESTADSTICO PARA LOS DATOS ANTERIORES 1.- Confeccionar una distribucin de frecuencia (tabulacin) a partir de los datos originales o primarios para cada uno de los aspectos sometidos a consulta. Para los datos anteriores (Consultar el material de Estadstica): Aspecto 1
CATEGORAS CANTIDAD 3 9 7 7 6 32

MA BA
A PA I Total

(De igual modo se tabula cada aspecto)

2.- Agrupar los resultados anteriores en una sola tabla de doble entrada: en las filas de esta se sitan los aspectos sometidos a consideracin y en las columnas cada una de las categoras evaluativas utilizadas. Estas categoras se ubican de modo descendente (de la mayor categora de evaluacin a la menor).
ASPECTO S A1 A2 A3 A4 A5 A6 MA 3 3 6 4 3 6 CATEGORAS BA A PA 9 6 4 7 7 4 7 9 6 7 9 8 7 5 8 7 7 8 I 6 9 8 7 6 6 TOTAL 32 32 32 32 32 32

3.- Determinar, sobre la base de la tabla anterior, la distribucin de frecuencia acumulativa de cada fila. 4.- Determinar, a partir de la tabla anterior, la distribucin de frecuencias relativas acumulativas de cada fila y eliminar del proceso de anlisis la ltima columna (en la que todas las frecuencias toman el valor de uno). 5.- Calcular, sobre la base de las frecuencias del paso 4, los percentiles de la distribucin normal estndar correspondientes a cada una de las frecuencias relativas acumulativas (que se consideran una aproximacin de la probabilidad acumulativa). 6.- Calcular la suma algebraica de todos los percentiles anteriores y esa suma dividirla por el producto de la cantidad de aspectos sometidos a consulta y la cantidad de categoras evaluativas empleadas. A este valor resultante le llamaremos N. 7.- Determinar la media de los percentiles de cada categora evaluativa (columnas) obtenidos en el paso 5. A estos valores promedio se les llama puntos de corte. 8.- Determinar la media de los percentiles de cada aspecto o indicador sometido a consulta (filas). A este promedio le llamaremos P. 9.- Obtener las diferencias N-P para cada aspecto o indicador analizado (filas). Estos valores (uno por uno) se comparan con los puntos de corte y se determina en qu categora evaluativa se encuentra cada aspecto sometido a consulta de los expertos. (En este ejemplo, despus de realizado el proceso se obtiene que los seis aspectos se evalan de adecuado por los expertos.) 10.- Hacer las conclusiones sobre cada aspecto sometido a criterio de los expertos. Nota: para realizar este anlisis estadstico utilice el software DelfoSoft elaborado en EXCEL por el autor de este material; para ello solo tendr que entrar los siguientes datos:

Cantidad de expertos consultados. Cantidad de aspectos o indicadores sometidos a consulta. Datos obtenidos por usted en el paso uno de esta metodologa: llenar la tabla que se presenta en la hoja (tabla del paso 2 aqu explicada). Realizar las conclusiones sobre cada aspecto, a partir de la evaluacin dada. Bibliografa Oate Martnez, Norma, Lzaro Ramos Morales y Abilio Daz Armesto (?). Utilizacin del mtodo Delphi en la pronosticacin: una experiencia inicial. Material mimiografiado. Siegel, Sidney (1989). Diseo experimental no paramtrico. La Habana. Editorial Pueblo y Educacin.

ANEXO#1: VALORES PARA CALCULAR EL COEFICIENTE Ka Grado de influencia de cada una de las fuentes en sus criterios Fuentes de argumentacin Anlisis tericos realizados por usted Su experiencia en el tema Trabajos de autores nacionales consultados Trabajos de consultados autores extranjeros A (Alto) 0.3 0.5 0.05 0.05 0.05 0.05 M (Medio) 0.2 0.4 0.05 0.05 0.05 0.05 B (Bajo) 0.1 0.2 0.05 0.05 0.05 0.05

Su propio conocimiento del estado del problema en el extranjero Su intuicin