You are on page 1of 108

American Polygraph Association Comit Ad Hoc Mike Gougler, Presidente del Comit

(preparado por) Raymond Nelson, MA, NCC Junio de 2011

Designado por el Presidente de la APA, Nate Gordon en marzo de 2011


Mike Gougler, Past President , Presidente del Comit Raymond Nelson, Miembro de la Junta Directiva, Investigador Principal Don Krapohl, Presidente y Jefe Pam Shaw, President-Elect Elect Mark Handler, miembro de la APA Lenoard Bierman, miembro de la APA

Los Estndares de APA para 2012, requieren el uso de tcnicas poligrficas validadas

El Meta-anlisis pretende constituir una anlisis respuesta cientfica a las preguntas acerca de lo que conocemos? Las decisiones sobre Polticas son mejores cuando estn basadas en ciencia y evidencia Las investigaciones cientficas se requieren para priorizar el conocimiento sobre polticas, egos e intereses financieros El comit ad hoc tiene que tener ms cuidado ms con la credibilidad futura de la profesin que con cualquier individuo o cualquier tcnica

Qu es validacin? Cules tcnicas estn validadas?

Tcnicas de Diagnstico Tcnicas de Exploracin

Exmenes Evidenciarios

>= 90% de exactitud <= 20% de inconclusos


Exmenes Pareados

>= 86% de exactitud <= 20% de inconclusos


Exmenes de Investigacin

>= 80% de exactitud <= 20% de inconclusos

Las tcnicas validadas son una combinacin de Formatos de examen que se ajustan a principios vlidos

Seleccin de Temas Objetivo Formulacin de Preguntas Presentacin en el In In-test de las preguntas estmulo

Modelo Validado para el anlisis de grficas (TDA) Por lo menos dos estudios publicados En la Revista Polygraph o en otras revistas con revisin de pares Publicaciones Gubernamentales Textos acadmicos editados

Desalentar el uso de tcnicas no validadas, inefectivas o experimentales.

Confiabilidad Validez

Confiabilidad Re - Examen

No siempre es una preocupacin en la poligrafa


Confiabilidad Entre - Examinadores

Una preocupacin ms comn

Validez de constructo

Se han verificados como validos los supuestos y mecanismos?


Psicolgicos Fisiolgicos

Validez Incremental

Evaluacin mejorada de riesgo Administracin de riesgo mejorada

Validez de Criterio

La tcnica ubica los casos en la categora correcta?

Se refiere a qu tan efectivamente una tcnica ubica los casos individuales en la categora de criterio adecuada Requisitos mnimos de datos
Sensitividad Especificidad Inconclusos

Deshonestos Honestos

Un Anlisis de otros Anlisis

El objetivo de la investigacin es cuantificar el tamao de efecto con precisin adecuada/incrementada? Qu tan buena es? Todos los estudios producen diferentes tamaos de efecto (excepto aquellos que muestran resultados cercanos a la perfeccin) Los cientficos tiene poca fe en un nico estudio, sin importar qu tan grande sea la muestra o que tan grande y significativo sea el efecto mostrado

Los efectos del Polgrafo son discutidos en trminos de criterios de exactitud o de exactitud de la decisin Criterio de exactitud qu tan efectivamente el polgrafo ubica los casos en la categora de criterio correcta (deshonestos u honestos) Exactitud de la decisin qu tan frecuentemente las decisiones del polgrafo son correctas?

El Meta-anlisis combina los efectos de los anlisis diferentes estudios No es un simple promedio de efectos de estudio

Se puede dar ms peso a los estudios ms precisos


La precisin del resultado del estudio (error estndar) no la precisin del resultado del polgrafo (tamao de efecto)

La precisin del estudio (error estndar) est influenciada por los tamaos de la muestra
Las muestras ms grandes tienen menores errores estndar Las muestras ms grandes proveen estimados ms precisos del tamao del efecto (criterio de exactitud)

Algunos meta - anlisis ponderan o gradan la calidad del estudio

No es el caso de este meta anlisis

Est basado en efectos promedio


Las estimaciones sobre exactitud aplican a grupos no a casos individuales

Refleja nicamente lo que est publicado


El problema File-drawer (estudios realizados drawer pero no publicados) Sesgos de publicacin (los efectos publicados son mayores que los efectos reales) Los resultados reflejan solo estudios seleccionados

Process

Results

Trabaj principalmente a travs de contacto por email y telfono Una larga lista de estudios y tcnicas a los Directores de escuelas certificadas por la APA Una lista corta de estudios y tcnicas a los Directores de Escuelas certificadas por la APA y a desarrolladores de tcnicas Se reunieron en Kentucky durante julio de 2011, para finalizar la seleccin de estudios y hacer la revisin de los resultados analticos iniciales Se finaliz el anlisis Se finaliz el Resumen Ejecutivo Fue aprobado por el Consejo Directivo de la APA, el 9 de septiembre de 2011 El Reporte Final se encuentra en ejecucin ser finalizado antes del final de este ao

Definir las preguntas de investigacin Definir el criterio de seleccin de estudios Reunir y analizar los datos
Buscar resultados atpicos y diferencias significativas

Estudios atpicos? Tcnicas atpicas? Estas diferencias se explican a travs de la evidencia?

Escribir el reporte del estudio (y el resumen ejecutivo)

Qu tan exacto es el polgrafo?


Qu tan exactas son las Tcnicas PDD de Diagnstico? Qu tan exactas son las Tcnicas PDD de Exploracin?

Existen diferencias significativas en los criterios de exactitud de las tcnicas PDD?


Existen casos atpicos que no estn soportados o explicados por evidencia/datos disponibles?

Cules tcnicas PDD cumplen con el Estndar de la APA para 2012?


Cules tcnicas tienen evidencia publicada y replicada de validez generalizable generalizable?

Qu tan exacto sera el polgrafo si cualquier examinador promedio, emplea al asar un formato con un examinado normal, proveniente de cualquier lugar en el planeta?

Estudios publicados en Polygraph u otras revistas con revisin de pares, o publicados en reportes de investigaciones financiadas con becas del gobierno Tamao de la muestra, decisiones correctas e inconclusos de los grupos de sujetos honestos y deshonestos Desviaciones promedio y estndar para puntajes de honestidad y deshonestidad (o datos suficientes como para calcularlas) Puntajes de dos o ms evaluadores fueron preferidos (no obligatorio) os Autores Principales no deban ser participantes del estudio (no obligatorio) no

Estadsticas de Confiabilidad (no eran completamente obligatorias) Descripcin de la instrumentacin empleada Descripcin publicada del mtodo TDA El protocolo de examen deba coincidir con prcticas de campo Deba incluir informacin extra poligrfica de Ground truth (verdad verificable) (no era completamente obligatorio) Los puntajes ciegos tenan prevalencia sobre aquellos de los examinadores originales Los examinados no deban estar sujetos a manipulacin experimental (fatiga, contramedidas programadas, etc.)

Descripcin publicada de distribuciones de la muestra de puntajes para casos de honestidad y deshonestidad O Acceso a los datos crudos Usados para analizar la representatividad y generalizacin de los estudios individuales
Representatividad y generalizacin de los resultados meta analticos de los estudios agregados

Datos inadecuados para calcular el perfil dimensional del criterio de exactitud. Estadsticas no confiables Estudios y textos auto - publicados (no editados, no revisados revisados)

Estudios de campo

Se asume la validez ecolgica No se pueden controlar todas las variables (correlacin no causalidad) Seleccin no al asar
Estudios de laboratorio

Seleccin al asar Control incrementado (causalidad) Son criticados por tener una validez ecolgica incierta

No presentan diferencias estadsticamente significativas en los resultados Ambos son necesarios para el avance del conocimiento Ambos se incluyeron con igual consideracin

Mediciones de la Confiabilidad
Correlacin de Pearson (r) de los puntajes numricos Proporcin (%) de acuerdo en la decisin Se empleo el ndice Kappa (k) para intentar corregir la proporcin de acuerdo que ocurrira debido a la casualidad

Sin preferencia Todos fueron incluidos El requisito no fue aplicado completamente

Meta Anlisis Separados


Para cada tcnica PDD Para Tcnicas PDD para Exmenes de Diagnstico/Evidenciarios Para Tcnicas de Exploracin Para todas las tcnicas PDD validadas

No se hizo ponderacin de los estudios por calidad o metodologa Los estudios fueron ponderados por el tamao de la muestra y por el nmero de evaluadores participantes
Nmero de resultados evaluados Anlisis asinttico con ponderacin por precisin de los resultados del estudio (error estndar)

Representatividad y Generalizacin Las muestras del estudio representan a la poblacin? Las muestras del estudio se representan unas a otras? Esperamos observar una exactitud similar proveniente de examinadores promedio al evaluar al asar a cualquier examinado promedio proveniente de cualquier lugar del mundo? No se puede argumentar que las muestras son representativas de la poblacin si inicialmente no son representativas entre s.

ANOVA de dos vas


Muestra x estatus de criterio

Las distribuciones de las muestras de puntajes de honestidad y deshonestidad no deberan diferir entre s de manera significativa, s:
Los examinados fueron extrados de la misma poblacin Los examinados fueron evaluados empleando el mismo formado PDD Los datos (grficas) del examen fueron analizados empleando el mismo mtodo TDA

Sensitividad Especificidad Falsos-negativos Falsos-positivos Inconclusos-deshonestos deshonestos Inconclusos-honestos Valor Predictivo Positivo (TP / TP + FP) Valor Predictivo Negativo (TN / TN + FN) Correctos-deshonestos (TP / TP + FN) deshonestos Correctos-honestos (TN / TN + FP) honestos

Exactitud No Ponderada
Promedio de Correctos-Deshonestos y CorrectosHonestos

Inconclusos No Ponderados
Promedio de Inconclusos Inconclusos-deshonestos e Inconclusos-honestos

Ligeramente ms conservador que el simple porcentaje de correctos y el simple porcentaje de inconclusos Ligeramente ms robusto para enfrentar diferencias en las tasas de base

Todos los resultados de estudios son estimados estadsticos Se espera que los cientficos calculen el error potencial incluido en sus estimaciones de la exactitud del formato Cul sera el tamao del efecto si pudisemos replicar el experimento 100 veces? Desviacin estndar para cada ndice de exactitud Extrado de publicaciones cuando estaban disponibles. El simple Modelo Monte Carlo se emple, cuando no haban publicaciones

Se verific que las muestras eran representativas de cada una.

Necesario antes de intentar argumentar que una muestra es representativa de la poblacin


ANOVA Multivariado

Efectos de Interaccin
ANOVA de una va

Promedios de la muestra

Los estudios fueron incluidos en el meta anlisis si provean toda la informacin requerida, especificada en los criterios de incorporacin * * Tamao de Muestra Nmero de Evaluadores

A los estudios basados en muestras ms grandes y aquellos que incluan ms evaluadores, recibieron proporcionalmente una mayor ponderacin

Los estudios fueron incluidos si provean informacin suficiente para calcular el perfil dimensional completo del criterio de exactitud y una comparacin ANOVA Multi Variada (de dos vas), acerca de las distribuciones de la muestra Las tcnicas PDD fueron incluidas si estaban soportadas por estudios mltiples que cumplieran los criterios de seleccin e inclusin

37 estudios cumplieron los criterios de inclusin


52 experimentos y estudios

289 evaluadores 12,665 resultados evaluados de 4,283 exmenes confirmados


6,597 resultados evaluados de 2,300 exmenes de sujetos deshonestos confirmados 6,068 resultados evaluados de 1,983 exmenes de sujetos honestos confirmados

Algunos exmenes fueron calificados por mltiples evaluadores y usando diferentes mtodos TDA

Qu tan exacto es el Polgrafo?


Qu tan exactas son las Tcnicas PDD de Diagnstico? Qu tan exactas son las Tcnicas PDD de Exploracin?

Existen diferencias significativas en los criterios de exactitud de las Tcnicas PDD?


Existen casos atpicos que no estn soportados ni explicados por la evidencia/datos disponibles?

Cules tcnicas PDD cumplen el estndar de la APA para 2012?


Cules tcnicas tiene evidencia publicada y replicada acerca de la validez generalizable?

No se tuvieron en cuenta como evidencia disponible


IZCT (.989)

No se incluyeron estadsticas de confiablidad en los estudios Diferencias significativas entre las distribuciones de las muestras de diferentes estudios
Muestras extradas de diferentes poblaciones Exmenes administrados de manera diferente Reglas TDA aplicadas de manera diferente

El Desarrollador y el Investigador Principal eran a la vez participantes del estudio El estudio de replicacin para la tcnica patentada, fue realizado por un socio de negocios

No se tuvieron en cuenta como evidencia disponible


MQTZCT (.994)

No se suministraron los puntajes numricos completos en dos de los tres estudios incluidos: no se suministraron puntajes de aquellos casos que no se haban calificado correctamente. Coeficiente de correlacin reportado de .99
Sugiere que los puntajes numricos de diferentes evaluadores estaban en desacuerdo muy raramente, cuando se empleaban caractersticas complejas, la escala de 7 posiciones y las 23 reglas Este resultado extraordinario requiere replicacin independiente

El Desarrollador y el Investigador Principal, fueron participantes del estudio

La evidencia disponible no apoya esta conclusin No hay evidencia de ejecucin indebida

El Factor de Confusin en la Investigacin


previene la obtencin de conclusiones extraordinarias Una investigacin ms independiente y un anlisis extenso de los datos netos (no solo las calificaciones) son requeridos para apoyar una afirmacin de exactitud cercana a la perfeccin

La evaluacin poligrfica es un proceso de evaluacin del propio examen


El examen PDD es algo dependiente del examinador realmente estamos evaluando al examinador Examinador/Desarrollador/Investigador Principal Escenario del peor caso: permtame decirle qu tan acertado soy con mis casos confirmados por confesin, cuando estoy empleando mi propia tcnica

Le permitimos al examinado administrar y calificar su propio examen?

Los Factores de Confusin son tpicos que interfieren con conclusiones asertivas y presentan una posible alternativa Las conclusiones cientficas se permiten solo cuando no existen otras explicaciones posibles

Los resultados frecuentemente son calculados sin casos atpicos Nosotros calculamos los resultados tanto con como sin casos atpicos

Excluyendo los casos atpicos, no se presentaron diferencias estadsticamente significativas en la exactitud no ponderada de cualquiera de las tcnicas PDD.

Excluyendo casos atpicos Estudios de alta calidad que producen resultados generalizables sustentables, empleando tcnicas PDD comunes y reconocibles, para las cuales existan por lo menos dos publicaciones (originales y replicadas Exactitud No Ponderada = .871 Inconclusos No Ponderados = .127 Exactitud con casos atpicos = .888 Inconclusos con casos atpicos = .116

90/20
Zona Comparacin Federal Fase Usted ESS IZCT MQTZCT ZCT Utah (RCMP -Real Polica Montada de Canad) Real con DLC o PLC ZCT ESS (Federal Utah)

Nelson, Handler, Blalock y Cushman (por publicar)


N = 22

Nelson (por publicar)


Estudio Monte Carlo

Confiabilidad: Acuerdo pareado en la decisin = .897 No se presentaron diferencias significativas en las distribuciones de muestras de los puntajes

Puntajes ESS Promedio de Sujetos Honestos y Deshonestos, en Exmenes Fase Usted Federal

Deshonestos Honestos

Gordon y colaboradores (2000)


N = 11 Las confesiones falsas fueron retiradas del anlisis

Shurani y Chaves (2009)


N = 84

No existen estadsticas de confiabilidad en ningn estudio de la IZCT Se presentaron diferencias significativas en las distribuciones de la muestra

Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes IZCT

Deshonestos Honestos

Matte y Reuss (1989)


N = 122

Mangan, Armitage y Adams (2008)


N = 136

Shurani, Stein y Brand (2009)


N = 57

Confiabilidad: Coeficiente de Correlacin = .99 Los Datos para los estudios de 2008 y 2009 non incluyeron puntajes numricos de los casos que no haban sido calificados correctamente

Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes MQTZCT

Deshonestos Honestos

Honts, Raskin y Kircher (1987)


N = 20

Kircher y Raskin (1988)


N = 100

Confiabilidad: acuerdo en la decisin = .975 (wo INC) No se presentaron diferencias significativas en las muestras

Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes Utah de Mentira Probable

Deshonestos Honestos

Honts y Raskin (1988)


N = 25

Horowitz, Kircher, Honts y Raskin (1997)


N = 30

Confiabilidad: Correlacin de Pearson = .930 No se presentaron diferencias significativas en las distribuciones de la muestra

Puntajes Promedio de Sujetos Deshonestos y Honestos en Estudios Utah de Mentira Dirigida

Deshonestos Honestos

Honts, Hodes y Raskin (1985)


N = 38

Driscoll, Honts y Jones (1987)


N = 40

Honts (1996)
N = 32

Confiabilidad: Correlacin pareada= .94, Acuerdo pareado en la decisin = .883 No se presentaron diferencias significativas en las distribuciones de la muestra

Puntajes Promedio de Sujetos Deshonestos y Honestos en Estudios Utah RCMP

Deshonestos Honestos

No se presentaron diferencias significativas en las versiones PLC, DLC y RCMP de la Tcnica Utah
Puntajes Promedio de Sujetos Deshonestos y Honestos en Estudios Utah RCMP

Deshonestos Honestos

Nelson y colaboradores (2011) resumieron los resultados de otros estudios sobre el ESS
N = 732

Nelson, Handler y Krapohl (2008) Blalock, Cushman y Nelson (2009) Nelson, Blalock, Oelrich y Cushman (In press) Handler, Nelson, Goodson y Hicks (2010) Nelson y Krapohl (2011)

Las muestras incluyeron exmenes con Zona Comparacin, tanto Utah como Federal Confiabilidad: acuerdo pareado en la decisin = .950 No se presentaron diferencias significativas en las distribuciones de la muestra

Otras calificaciones ESS incorporadas en el estudio de Nelson y colaboradores (2011)


Krapohl y Cushman (2006) Krapohl y McManus (1999) Kircher, Kristjiansson, Gardner y Webb (2005) Kircher y Raskin (1988) Blackwell (1999) Contrainteligencia del Ejrcito de Colombia Rumania Universidad de Iasi Panam Polica Nacional Alumnos de la Polica de Ohio

Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes ZCT usando el ESS

Deshonestos Honestos

86/20
Sirven todas las tcnicas para exmenes evidenciarios Fase Usted de Backster Fase Usted Federal con escala de 7 7-posiciones ZCT Federal con escala de 7 7-posiciones para evidenciarios USAF MGQT ESS

Nelson y Blalock (pur publicar)


N = 69

Nelson, Blalock y Handler (por publicar)


N = 22

Nelson y Handler (por publicar)


Estudio Monte Carlo

Confiabilidad: acuerdo pareado de decisin = .930 No se presentaron diferencias significativas en las distribuciones de la muestra

Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes USAF MGQT usando el ESS

Deshonestos Honestos

Nelson (por publicar)


Estudio Monte Carlo Study

Nelson, Handler, Adams y Backster (por publicar)


N = 22

Puntajes Promedio de Sujetos Deshonestos y Honestos en Estudios de Fase Usted de Backster

Deshonestos Honestos

Nelson
Estudio Monte Carlo

Nelson y Handler (por publicar)


N = 22

Confiabilidad: acuerdo pareado en la decisin = .897 No se presentaron diferencias significativas en las distribuciones de la muestra

Puntajes Promedio con 7 posiciones en Sujetos Deshonestos y Honestos en Exmenes Fase Usted Federal

Deshonestos Honestos

Blackwell (1999)
N = 100

Krapohl y Cushman (2006)


N = 100

Honts, Amato y Gordon (2004)


N = 48

Confiabilidad: Fleiss' kappa = .57, acuerdo pareado de decisin = .80 No se presentaron diferencias significativas en las distribuciones de la muestra

Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes ZCT Federal con TDA de Siete Posiciones

Deshonestos Honestos

Krapohl y Cushman (2006)


N = 100

Nelson y Krapohl (2011)


N = 60

Confiabilidad: Acuerdo pareado de decisin = .87

Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes ZCT Federal con TDA de Siete Posiciones y Reglas Evidenciarias

Deshonestos Honestos

80/20
Todas las Tcnicas para exmenes evidenciarios y pareados AF MGQT 7-posiciones posiciones CIT DLST 7-posiciones DLST ESS

Senter Waller y Krapohl (2008)


N = 69

Nelson y Handler (por publicar)


Estudio Monte Carlo

Nelson, Handler, Morgan y O'Burke (por publicar)


N = 22

Confiabilidad: Kappa de Cohen = .75, acuerdo pareado de la decisin= .965

Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes USAF MGQT con TDA de Siete Posiciones

Deshonestos Honestos

Meta-anlisis por MacLaren (2001) anlisis


22 muestras N combinado= 1070

Confiabilidad: no reportada

Personal de la Divisin de Investigacin (1995a)


N = 94

Personal de la Divisin de Investigacin (1995b)


N = 85

Nelson (por publicar)


Estudio Monte Carlo

Nelson, Handler, Blalock y Hernndez (por publicacin)


N = 49

Confiabilidad: Cohen's kappa = .76, acuerdo en la decisin = .806 No se presentaron diferencias significativas en la distribuciones de la muestra

Puntajes Promedio en 7 Posiciones de Sujetos Deshonestos y Honestos en Estudios DLST/TES

Deshonestos Honestos

Nelson y Handler (por publicar)


Estudio Monte Carlo

Nelson, Handler y Morgan (por publicar)


N = 49

Nelson
Estudio Monte Carlo

Confiabilidad: Acuerdo pareado en la decisin = .840 No se presentaron diferencias significativas entre las distribuciones de la muestra

Puntajes Promedio and Truthful Scores Honestos en Estudios Mean Deceptivede Sujetos Deshonestos yfrom DLST/TES ESS DLST/TES ESS Studies

10 8 6 4 2 -2.442 -2 Nelson & Handler -4 -6 -8 -10 0 -1.271 -3.031 Nelson Nelson Handler & Morgan -1.781 Nelson Handler Blalock & Hernndez 2.086
Deshonestos Deceptive Honestos Truthful

4.660

3.265

3.636

TECNICAS PARA EXMENES EVIDENCIARIOS / METODO TDA (Anlisis de grficas) Fase Usted Federal /ESS1 CD=.904(.032){.841 to .966} INC= .192 (.033) {.127 to .256} ZCT Federal o Utah/ESS CD =.921 (.028) {.866 to .977} INC= .098 (.030) {.039 to .157} IZCT /Horizontal2 CD= .989 (.010) {.969 to .999} INC= .066 (.026) {.015 to .116} MQTZCT /Matte 3 CD= .994 (.013) {.968 to .999} INC=.029 (.015) {.001 to .058} ZCT Utah DLC / Utah CD = .902 (.031) {.841 to .962} INC= .073 (.025) {.023 to .122} ZCT Utah PLC /Utah CD=.931 (.026) {.879 to .983} INC= .077 (.028) {.022 to .133] ZCT Utah Combinada /Utah CD= .930 (.026) {875 to .984} INC= .107 (.028) {.048 to .165} ZCT Utah RCMP / Utah CD= .939 (.038) {.864 to .999} INC= .185 (.041) {.104 to .266}

TECNICAS PARA EXAMENES PAREADOS / TECNICAS PARA EXAMENES METODO TDA (Anlisis de grficas) INVESTIGATIVOS / METODO TDA (Anlisis de grficas) 4,8 /ESS5 AFMGQT6,8 / 7 posiciones AFMGQT CD=.817 (.042) {.734 to .900} CD=.875 (.039) {.798 to .953} 798 INC= .170 (.036) {.100 to .241} 100 INC=.197 (.030) {138 to .255} CIT7 /Calificacin de Lykken Fase Usted de Backster /Backster CD=.823 (.041) {.744 to .903} CD=.862 (.037) {.787 to .932} 787 INC= .196 (.040) {.117 to .275} 117 INC=N/A Fase Usted Federal / 7 Posiciones CD=.883 (.035) {.813 to .952} 813 096 INC=.168 (.037) {.096 to .241} ZCT Federal / 7 posiciones CD=.860 (.037) {.801 to .945} 801 INC= .171 (.040) {.113 to .269} 113 ZCT Federal / 7 posiciones evidenciarios CD=.880 (.029) {.028 to .948} 028 INC=.085 (.029) {.028 to .141} 028 DLST (TES)8 / 7 posiciones CD=.844 (.039) {.768 to .920} INC= .088 (.028) {.034 to .142} DLST (TES)8 /ESS CD= .858 (.037) {.786 to .142]

Los estudios de alta calidad que produzcan resultados de generalizacin sustentable, empleando tcnicas PDD de uso comn y reconocible, para las cuales existan al menos dos publicaciones (original y replicacin) Exactitud No ponderada = .921 Inconclusos No Ponderados = .088 Exactitud con resultados atpicos= .925 Inconclusos con resultado atpicos = .085

La exactitud en la decisin para tcnicas de 3 3posiciones no fue significativamente diferente de la de 7-posiciones


Algunas veces excedi la exactitud de la escala de 7 7posiciones

Las tasas de inconclusos fueron excesivas y sobrepasaron los lmites permitidos por los estndares de la APA de 2012 Valida? SI Satisface los estndares APA del 2012? NO Podra ser aceptable si los resultados inconclusos fueran re evaluados usando otro modelo TDA
7-posiciones

No tiene investigacin publicada Estructuralmente es casi idntico a la AF MGQT Cualquier hiptesis que diga que la validez o el criterio de exactitud de la AF MGQT y el LEPET son diferentes, requiere evidencia de investigacin
Las tcnicas son tan similares que esto no debera pasar

Los datos de validacin de la AFMGQT deberan ser generalizados al LEPET

No tiene investigacin publicada Estructuralmente es casi idntico a la AF MGQT Cualquier hiptesis que diga que la validez o el criterio de exactitud de la AF MGQT y el LEPET son diferentes, requiere evidencia de investigacin
Las tcnicas son tan similares que esto no debera pasar

Los datos de validacin de la AFMGQT deberan ser generalizados al LEPET

sobre la decisin

Independencia es la preocupacin terica

Las reacciones a los estmulos (preguntas) varan independientemente o no independientemente? La varianza de reaccin al estmulo individual afecta la varianza de reaccin al otro estmulo? La varianza de reaccin a las preguntas individuales se ve afectada por la varianza de reaccin a otras preguntas?

Todas las reacciones son tanto similares como diferentes La varianza en las reacciones puede ser

Explicada Tenida en Cuenta Controlada No Explicada No Tenida en cuenta No Controlada

Si la varianza de reaccin para las preguntas individuales resulta afectada por o afecta la varianza de reaccin a las otras preguntas

Entonces las preguntas no son independientes Es un examen de un solo tema El criterio de exactitud ser ms alto con reglas de decisin de un solo tema

Si la varianza de reaccin a las preguntas individuales no se ve afectada por la varianza de reaccin a otras preguntas

Entonces el criterio de exactitud puede ser ms alto empleando reglas de decisin que evalen las preguntas individualmente

No permita que la lgica semntica del lenguaje de la pregunta y la seleccin de temas objetivo interfiera con el tpico de la teora de la decisin Se asume que los exmenes multi tema son construidos con temas objetivo independientes

Estudios de alta calidad que producen resultados generalizables que se pueden sustentar, empleando tcnicas PDD comunes y reconocibles, para las cuales existan por lo menos dos publicaciones (original y replicacin) Exactitud No Ponderada = .850 Inconclusos No Ponderados = .125

AFMGQT / 7-posiciones posiciones AFMGQT / ESS DLST (TES) / 7-posiciones posiciones DLST (TES) / ESS

Una tcnica no tiene evidencia publicada sobre su confiabilidad Una tcnica est soportada en una distribucin de muestras que difieren significativamente Algunos estudios fueron incluidos sin acceso a los datos en bruto Una tcnica est soportada por estudios para los cuales estaba disponible una muestra de datos incompleta Dos estudios fueron incluidos sin acceso a los datos en bruto y sin ninguna descripcin de las distribuciones de la muestra Los desarrolladores de una tcnica han recomendado que sta no debe ser aprendida a travs de los materiales publicados (generalizacin) Algunos de los investigadores principales fueron tambin sujetos participantes del estudio

Posibles deficiencias en la seleccin de la muestra Confianza excesiva en la confirmacin por confesin


Exclusin sistemtica potencial de errores de Falsos Negativos o Falsos Positivos Ausencia de independencia entre los investigadores principales, los desarrolladores de la tcnica y los participantes del estudio, en algunos de los estudios incluidos

Deficiencias en la validez ecolgica de las metodologas experimental y de sondeo

Revisin Crtica Evidencia basada en prcticas profesionales Aceptacin general en las comunidades cientficas Retos legales Retos Legislativos

You might also like