Professional Documents
Culture Documents
Los Estndares de APA para 2012, requieren el uso de tcnicas poligrficas validadas
El Meta-anlisis pretende constituir una anlisis respuesta cientfica a las preguntas acerca de lo que conocemos? Las decisiones sobre Polticas son mejores cuando estn basadas en ciencia y evidencia Las investigaciones cientficas se requieren para priorizar el conocimiento sobre polticas, egos e intereses financieros El comit ad hoc tiene que tener ms cuidado ms con la credibilidad futura de la profesin que con cualquier individuo o cualquier tcnica
Exmenes Evidenciarios
Las tcnicas validadas son una combinacin de Formatos de examen que se ajustan a principios vlidos
Seleccin de Temas Objetivo Formulacin de Preguntas Presentacin en el In In-test de las preguntas estmulo
Modelo Validado para el anlisis de grficas (TDA) Por lo menos dos estudios publicados En la Revista Polygraph o en otras revistas con revisin de pares Publicaciones Gubernamentales Textos acadmicos editados
Confiabilidad Validez
Confiabilidad Re - Examen
Validez de constructo
Psicolgicos Fisiolgicos
Validez Incremental
Validez de Criterio
Se refiere a qu tan efectivamente una tcnica ubica los casos individuales en la categora de criterio adecuada Requisitos mnimos de datos
Sensitividad Especificidad Inconclusos
Deshonestos Honestos
El objetivo de la investigacin es cuantificar el tamao de efecto con precisin adecuada/incrementada? Qu tan buena es? Todos los estudios producen diferentes tamaos de efecto (excepto aquellos que muestran resultados cercanos a la perfeccin) Los cientficos tiene poca fe en un nico estudio, sin importar qu tan grande sea la muestra o que tan grande y significativo sea el efecto mostrado
Los efectos del Polgrafo son discutidos en trminos de criterios de exactitud o de exactitud de la decisin Criterio de exactitud qu tan efectivamente el polgrafo ubica los casos en la categora de criterio correcta (deshonestos u honestos) Exactitud de la decisin qu tan frecuentemente las decisiones del polgrafo son correctas?
El Meta-anlisis combina los efectos de los anlisis diferentes estudios No es un simple promedio de efectos de estudio
La precisin del estudio (error estndar) est influenciada por los tamaos de la muestra
Las muestras ms grandes tienen menores errores estndar Las muestras ms grandes proveen estimados ms precisos del tamao del efecto (criterio de exactitud)
Process
Results
Trabaj principalmente a travs de contacto por email y telfono Una larga lista de estudios y tcnicas a los Directores de escuelas certificadas por la APA Una lista corta de estudios y tcnicas a los Directores de Escuelas certificadas por la APA y a desarrolladores de tcnicas Se reunieron en Kentucky durante julio de 2011, para finalizar la seleccin de estudios y hacer la revisin de los resultados analticos iniciales Se finaliz el anlisis Se finaliz el Resumen Ejecutivo Fue aprobado por el Consejo Directivo de la APA, el 9 de septiembre de 2011 El Reporte Final se encuentra en ejecucin ser finalizado antes del final de este ao
Definir las preguntas de investigacin Definir el criterio de seleccin de estudios Reunir y analizar los datos
Buscar resultados atpicos y diferencias significativas
Qu tan exacto sera el polgrafo si cualquier examinador promedio, emplea al asar un formato con un examinado normal, proveniente de cualquier lugar en el planeta?
Estudios publicados en Polygraph u otras revistas con revisin de pares, o publicados en reportes de investigaciones financiadas con becas del gobierno Tamao de la muestra, decisiones correctas e inconclusos de los grupos de sujetos honestos y deshonestos Desviaciones promedio y estndar para puntajes de honestidad y deshonestidad (o datos suficientes como para calcularlas) Puntajes de dos o ms evaluadores fueron preferidos (no obligatorio) os Autores Principales no deban ser participantes del estudio (no obligatorio) no
Estadsticas de Confiabilidad (no eran completamente obligatorias) Descripcin de la instrumentacin empleada Descripcin publicada del mtodo TDA El protocolo de examen deba coincidir con prcticas de campo Deba incluir informacin extra poligrfica de Ground truth (verdad verificable) (no era completamente obligatorio) Los puntajes ciegos tenan prevalencia sobre aquellos de los examinadores originales Los examinados no deban estar sujetos a manipulacin experimental (fatiga, contramedidas programadas, etc.)
Descripcin publicada de distribuciones de la muestra de puntajes para casos de honestidad y deshonestidad O Acceso a los datos crudos Usados para analizar la representatividad y generalizacin de los estudios individuales
Representatividad y generalizacin de los resultados meta analticos de los estudios agregados
Datos inadecuados para calcular el perfil dimensional del criterio de exactitud. Estadsticas no confiables Estudios y textos auto - publicados (no editados, no revisados revisados)
Estudios de campo
Se asume la validez ecolgica No se pueden controlar todas las variables (correlacin no causalidad) Seleccin no al asar
Estudios de laboratorio
Seleccin al asar Control incrementado (causalidad) Son criticados por tener una validez ecolgica incierta
No presentan diferencias estadsticamente significativas en los resultados Ambos son necesarios para el avance del conocimiento Ambos se incluyeron con igual consideracin
Mediciones de la Confiabilidad
Correlacin de Pearson (r) de los puntajes numricos Proporcin (%) de acuerdo en la decisin Se empleo el ndice Kappa (k) para intentar corregir la proporcin de acuerdo que ocurrira debido a la casualidad
No se hizo ponderacin de los estudios por calidad o metodologa Los estudios fueron ponderados por el tamao de la muestra y por el nmero de evaluadores participantes
Nmero de resultados evaluados Anlisis asinttico con ponderacin por precisin de los resultados del estudio (error estndar)
Representatividad y Generalizacin Las muestras del estudio representan a la poblacin? Las muestras del estudio se representan unas a otras? Esperamos observar una exactitud similar proveniente de examinadores promedio al evaluar al asar a cualquier examinado promedio proveniente de cualquier lugar del mundo? No se puede argumentar que las muestras son representativas de la poblacin si inicialmente no son representativas entre s.
Las distribuciones de las muestras de puntajes de honestidad y deshonestidad no deberan diferir entre s de manera significativa, s:
Los examinados fueron extrados de la misma poblacin Los examinados fueron evaluados empleando el mismo formado PDD Los datos (grficas) del examen fueron analizados empleando el mismo mtodo TDA
Sensitividad Especificidad Falsos-negativos Falsos-positivos Inconclusos-deshonestos deshonestos Inconclusos-honestos Valor Predictivo Positivo (TP / TP + FP) Valor Predictivo Negativo (TN / TN + FN) Correctos-deshonestos (TP / TP + FN) deshonestos Correctos-honestos (TN / TN + FP) honestos
Exactitud No Ponderada
Promedio de Correctos-Deshonestos y CorrectosHonestos
Inconclusos No Ponderados
Promedio de Inconclusos Inconclusos-deshonestos e Inconclusos-honestos
Ligeramente ms conservador que el simple porcentaje de correctos y el simple porcentaje de inconclusos Ligeramente ms robusto para enfrentar diferencias en las tasas de base
Todos los resultados de estudios son estimados estadsticos Se espera que los cientficos calculen el error potencial incluido en sus estimaciones de la exactitud del formato Cul sera el tamao del efecto si pudisemos replicar el experimento 100 veces? Desviacin estndar para cada ndice de exactitud Extrado de publicaciones cuando estaban disponibles. El simple Modelo Monte Carlo se emple, cuando no haban publicaciones
Efectos de Interaccin
ANOVA de una va
Promedios de la muestra
Los estudios fueron incluidos en el meta anlisis si provean toda la informacin requerida, especificada en los criterios de incorporacin * * Tamao de Muestra Nmero de Evaluadores
A los estudios basados en muestras ms grandes y aquellos que incluan ms evaluadores, recibieron proporcionalmente una mayor ponderacin
Los estudios fueron incluidos si provean informacin suficiente para calcular el perfil dimensional completo del criterio de exactitud y una comparacin ANOVA Multi Variada (de dos vas), acerca de las distribuciones de la muestra Las tcnicas PDD fueron incluidas si estaban soportadas por estudios mltiples que cumplieran los criterios de seleccin e inclusin
Algunos exmenes fueron calificados por mltiples evaluadores y usando diferentes mtodos TDA
No se incluyeron estadsticas de confiablidad en los estudios Diferencias significativas entre las distribuciones de las muestras de diferentes estudios
Muestras extradas de diferentes poblaciones Exmenes administrados de manera diferente Reglas TDA aplicadas de manera diferente
El Desarrollador y el Investigador Principal eran a la vez participantes del estudio El estudio de replicacin para la tcnica patentada, fue realizado por un socio de negocios
No se suministraron los puntajes numricos completos en dos de los tres estudios incluidos: no se suministraron puntajes de aquellos casos que no se haban calificado correctamente. Coeficiente de correlacin reportado de .99
Sugiere que los puntajes numricos de diferentes evaluadores estaban en desacuerdo muy raramente, cuando se empleaban caractersticas complejas, la escala de 7 posiciones y las 23 reglas Este resultado extraordinario requiere replicacin independiente
Los Factores de Confusin son tpicos que interfieren con conclusiones asertivas y presentan una posible alternativa Las conclusiones cientficas se permiten solo cuando no existen otras explicaciones posibles
Los resultados frecuentemente son calculados sin casos atpicos Nosotros calculamos los resultados tanto con como sin casos atpicos
Excluyendo los casos atpicos, no se presentaron diferencias estadsticamente significativas en la exactitud no ponderada de cualquiera de las tcnicas PDD.
Excluyendo casos atpicos Estudios de alta calidad que producen resultados generalizables sustentables, empleando tcnicas PDD comunes y reconocibles, para las cuales existan por lo menos dos publicaciones (originales y replicadas Exactitud No Ponderada = .871 Inconclusos No Ponderados = .127 Exactitud con casos atpicos = .888 Inconclusos con casos atpicos = .116
90/20
Zona Comparacin Federal Fase Usted ESS IZCT MQTZCT ZCT Utah (RCMP -Real Polica Montada de Canad) Real con DLC o PLC ZCT ESS (Federal Utah)
Confiabilidad: Acuerdo pareado en la decisin = .897 No se presentaron diferencias significativas en las distribuciones de muestras de los puntajes
Puntajes ESS Promedio de Sujetos Honestos y Deshonestos, en Exmenes Fase Usted Federal
Deshonestos Honestos
No existen estadsticas de confiabilidad en ningn estudio de la IZCT Se presentaron diferencias significativas en las distribuciones de la muestra
Deshonestos Honestos
Confiabilidad: Coeficiente de Correlacin = .99 Los Datos para los estudios de 2008 y 2009 non incluyeron puntajes numricos de los casos que no haban sido calificados correctamente
Deshonestos Honestos
Confiabilidad: acuerdo en la decisin = .975 (wo INC) No se presentaron diferencias significativas en las muestras
Deshonestos Honestos
Confiabilidad: Correlacin de Pearson = .930 No se presentaron diferencias significativas en las distribuciones de la muestra
Deshonestos Honestos
Honts (1996)
N = 32
Confiabilidad: Correlacin pareada= .94, Acuerdo pareado en la decisin = .883 No se presentaron diferencias significativas en las distribuciones de la muestra
Deshonestos Honestos
No se presentaron diferencias significativas en las versiones PLC, DLC y RCMP de la Tcnica Utah
Puntajes Promedio de Sujetos Deshonestos y Honestos en Estudios Utah RCMP
Deshonestos Honestos
Nelson y colaboradores (2011) resumieron los resultados de otros estudios sobre el ESS
N = 732
Nelson, Handler y Krapohl (2008) Blalock, Cushman y Nelson (2009) Nelson, Blalock, Oelrich y Cushman (In press) Handler, Nelson, Goodson y Hicks (2010) Nelson y Krapohl (2011)
Las muestras incluyeron exmenes con Zona Comparacin, tanto Utah como Federal Confiabilidad: acuerdo pareado en la decisin = .950 No se presentaron diferencias significativas en las distribuciones de la muestra
Deshonestos Honestos
86/20
Sirven todas las tcnicas para exmenes evidenciarios Fase Usted de Backster Fase Usted Federal con escala de 7 7-posiciones ZCT Federal con escala de 7 7-posiciones para evidenciarios USAF MGQT ESS
Confiabilidad: acuerdo pareado de decisin = .930 No se presentaron diferencias significativas en las distribuciones de la muestra
Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes USAF MGQT usando el ESS
Deshonestos Honestos
Deshonestos Honestos
Nelson
Estudio Monte Carlo
Confiabilidad: acuerdo pareado en la decisin = .897 No se presentaron diferencias significativas en las distribuciones de la muestra
Puntajes Promedio con 7 posiciones en Sujetos Deshonestos y Honestos en Exmenes Fase Usted Federal
Deshonestos Honestos
Blackwell (1999)
N = 100
Confiabilidad: Fleiss' kappa = .57, acuerdo pareado de decisin = .80 No se presentaron diferencias significativas en las distribuciones de la muestra
Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes ZCT Federal con TDA de Siete Posiciones
Deshonestos Honestos
Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes ZCT Federal con TDA de Siete Posiciones y Reglas Evidenciarias
Deshonestos Honestos
80/20
Todas las Tcnicas para exmenes evidenciarios y pareados AF MGQT 7-posiciones posiciones CIT DLST 7-posiciones DLST ESS
Puntajes Promedio de Sujetos Deshonestos y Honestos en Exmenes USAF MGQT con TDA de Siete Posiciones
Deshonestos Honestos
Confiabilidad: no reportada
Confiabilidad: Cohen's kappa = .76, acuerdo en la decisin = .806 No se presentaron diferencias significativas en la distribuciones de la muestra
Deshonestos Honestos
Nelson
Estudio Monte Carlo
Confiabilidad: Acuerdo pareado en la decisin = .840 No se presentaron diferencias significativas entre las distribuciones de la muestra
Puntajes Promedio and Truthful Scores Honestos en Estudios Mean Deceptivede Sujetos Deshonestos yfrom DLST/TES ESS DLST/TES ESS Studies
10 8 6 4 2 -2.442 -2 Nelson & Handler -4 -6 -8 -10 0 -1.271 -3.031 Nelson Nelson Handler & Morgan -1.781 Nelson Handler Blalock & Hernndez 2.086
Deshonestos Deceptive Honestos Truthful
4.660
3.265
3.636
TECNICAS PARA EXMENES EVIDENCIARIOS / METODO TDA (Anlisis de grficas) Fase Usted Federal /ESS1 CD=.904(.032){.841 to .966} INC= .192 (.033) {.127 to .256} ZCT Federal o Utah/ESS CD =.921 (.028) {.866 to .977} INC= .098 (.030) {.039 to .157} IZCT /Horizontal2 CD= .989 (.010) {.969 to .999} INC= .066 (.026) {.015 to .116} MQTZCT /Matte 3 CD= .994 (.013) {.968 to .999} INC=.029 (.015) {.001 to .058} ZCT Utah DLC / Utah CD = .902 (.031) {.841 to .962} INC= .073 (.025) {.023 to .122} ZCT Utah PLC /Utah CD=.931 (.026) {.879 to .983} INC= .077 (.028) {.022 to .133] ZCT Utah Combinada /Utah CD= .930 (.026) {875 to .984} INC= .107 (.028) {.048 to .165} ZCT Utah RCMP / Utah CD= .939 (.038) {.864 to .999} INC= .185 (.041) {.104 to .266}
TECNICAS PARA EXAMENES PAREADOS / TECNICAS PARA EXAMENES METODO TDA (Anlisis de grficas) INVESTIGATIVOS / METODO TDA (Anlisis de grficas) 4,8 /ESS5 AFMGQT6,8 / 7 posiciones AFMGQT CD=.817 (.042) {.734 to .900} CD=.875 (.039) {.798 to .953} 798 INC= .170 (.036) {.100 to .241} 100 INC=.197 (.030) {138 to .255} CIT7 /Calificacin de Lykken Fase Usted de Backster /Backster CD=.823 (.041) {.744 to .903} CD=.862 (.037) {.787 to .932} 787 INC= .196 (.040) {.117 to .275} 117 INC=N/A Fase Usted Federal / 7 Posiciones CD=.883 (.035) {.813 to .952} 813 096 INC=.168 (.037) {.096 to .241} ZCT Federal / 7 posiciones CD=.860 (.037) {.801 to .945} 801 INC= .171 (.040) {.113 to .269} 113 ZCT Federal / 7 posiciones evidenciarios CD=.880 (.029) {.028 to .948} 028 INC=.085 (.029) {.028 to .141} 028 DLST (TES)8 / 7 posiciones CD=.844 (.039) {.768 to .920} INC= .088 (.028) {.034 to .142} DLST (TES)8 /ESS CD= .858 (.037) {.786 to .142]
Los estudios de alta calidad que produzcan resultados de generalizacin sustentable, empleando tcnicas PDD de uso comn y reconocible, para las cuales existan al menos dos publicaciones (original y replicacin) Exactitud No ponderada = .921 Inconclusos No Ponderados = .088 Exactitud con resultados atpicos= .925 Inconclusos con resultado atpicos = .085
Las tasas de inconclusos fueron excesivas y sobrepasaron los lmites permitidos por los estndares de la APA de 2012 Valida? SI Satisface los estndares APA del 2012? NO Podra ser aceptable si los resultados inconclusos fueran re evaluados usando otro modelo TDA
7-posiciones
No tiene investigacin publicada Estructuralmente es casi idntico a la AF MGQT Cualquier hiptesis que diga que la validez o el criterio de exactitud de la AF MGQT y el LEPET son diferentes, requiere evidencia de investigacin
Las tcnicas son tan similares que esto no debera pasar
No tiene investigacin publicada Estructuralmente es casi idntico a la AF MGQT Cualquier hiptesis que diga que la validez o el criterio de exactitud de la AF MGQT y el LEPET son diferentes, requiere evidencia de investigacin
Las tcnicas son tan similares que esto no debera pasar
sobre la decisin
Las reacciones a los estmulos (preguntas) varan independientemente o no independientemente? La varianza de reaccin al estmulo individual afecta la varianza de reaccin al otro estmulo? La varianza de reaccin a las preguntas individuales se ve afectada por la varianza de reaccin a otras preguntas?
Todas las reacciones son tanto similares como diferentes La varianza en las reacciones puede ser
Si la varianza de reaccin para las preguntas individuales resulta afectada por o afecta la varianza de reaccin a las otras preguntas
Entonces las preguntas no son independientes Es un examen de un solo tema El criterio de exactitud ser ms alto con reglas de decisin de un solo tema
Si la varianza de reaccin a las preguntas individuales no se ve afectada por la varianza de reaccin a otras preguntas
Entonces el criterio de exactitud puede ser ms alto empleando reglas de decisin que evalen las preguntas individualmente
No permita que la lgica semntica del lenguaje de la pregunta y la seleccin de temas objetivo interfiera con el tpico de la teora de la decisin Se asume que los exmenes multi tema son construidos con temas objetivo independientes
Estudios de alta calidad que producen resultados generalizables que se pueden sustentar, empleando tcnicas PDD comunes y reconocibles, para las cuales existan por lo menos dos publicaciones (original y replicacin) Exactitud No Ponderada = .850 Inconclusos No Ponderados = .125
AFMGQT / 7-posiciones posiciones AFMGQT / ESS DLST (TES) / 7-posiciones posiciones DLST (TES) / ESS
Una tcnica no tiene evidencia publicada sobre su confiabilidad Una tcnica est soportada en una distribucin de muestras que difieren significativamente Algunos estudios fueron incluidos sin acceso a los datos en bruto Una tcnica est soportada por estudios para los cuales estaba disponible una muestra de datos incompleta Dos estudios fueron incluidos sin acceso a los datos en bruto y sin ninguna descripcin de las distribuciones de la muestra Los desarrolladores de una tcnica han recomendado que sta no debe ser aprendida a travs de los materiales publicados (generalizacin) Algunos de los investigadores principales fueron tambin sujetos participantes del estudio
Revisin Crtica Evidencia basada en prcticas profesionales Aceptacin general en las comunidades cientficas Retos legales Retos Legislativos