Professional Documents
Culture Documents
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Contenido
I.
INTRODUCCIN ................................................................................................................................ 4
II.
CONCEPTOS Y DEFINICIONES REFERIDOS A LA METADATA EN ENCUESTAS
LONGITUDINALES ......................................................................................................................................... 6
III.
RECOMENDACIONES PARA EL PROTOCOLO DE GENERACIN DE BASES DE DATOS Y
METADATA ELPS ........................................................................................................................................... 9
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
IV.
RECOMENDACIONES PARA EVALUAR LA CALIDAD DE DATOS USANDO LA
INFORMACIN DE METADATA ELPS ...................................................................................................... 30
Etapa Crtica 1: Aplicacin de la Tabla de Kish para seleccionar a la persona ....................................... 30
Etapa Crtica 2: Saltos incorrectos en flujo de las preguntas ................................................................... 32
Etapa Crtica 3: Missing y outliers en los datos ....................................................................................... 32
Etapa Crtica 4: Incosistencias de respuestas entre variables al interior del cuestionario ........................ 34
Etapa Crtica 5: Respuestas No sabe y No responde con alta frecuencia en mltiples variables ............. 36
Etapa Crtica 6: Digitacin de las hojas de rutas y de las encuestas ....................................................... 37
V.
REFERENCIAS .................................................................................................................................. 39
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
I.
INTRODUCCIN
Los datos generados por las encuestas longitudinales permiten analizar y describir
fenmenos que cambian en el tiempo, permitiendo una mejor comprensin de los procesos
socioeconmicos y comportamientos de las personas y, de esta manera, disponer de una mejor
informacin para el diseo de instrumentos de poltica social (Jenkins; 2011; Prieto; 2015).
Como seala la Gua prctica para usar los datos de la ELPS 2015 (Prieto; 2015), las encuestas
longitudinales tienen, al menos, cuatro ventajas sobre las de corte transversal: i) al seguir a las
mismas unidades en el tiempo, es posible medir los cambios de los individuos, y as estudiar las
transiciones entre estados; ii) permite analizar el efecto de determinadas intervenciones de polticas
sociales; iii) implementar modelos de comportamientos a travs de tcnicas de historias de vida, y
iv) controlar el efecto de las variables no observadas a travs del tiempo y entre las propias
unidades (Rose, 2000).
La Encuesta Longitudinal de Proteccin Social (ELPS) est diseada para monitorear y evaluar los
sistemas de proteccin social, y su interrelacin con el mercado del trabajo (BID, 2015)2 entregando
informacin para medir el impacto de los programas de previsin y seguridad social. En tanto una
encuesta longitudinal, permite construir una base de datos que recoge a lo largo del tiempo, y en
un mismo instrumento, la historia laboral y previsional de los encuestados profundizando en reas
como educacin, salud, seguridad social, capacitacin laboral, patrimonio y activos, historia
familiar e informacin del hogar (Prieto; 2015). Y en cuanto esfuerzo regional, permite comparar
los distintos sistemas latinoamericanos y sus cambios en el tiempo, permitiendo al conjunto de
pases aprender de las lecciones de las polticas implementadas en la Regin.
Como seala la literatura (Prieto, Madrigal, Bravo, Gallegos; 2015), las caractersticas del diseo
del trabajo de campo van de la mano de condiciones de aseguramiento de la calidad de la
produccin de informacin y, por cierto, de sus metadatos.
Qu es la Metadata? Se entender por tal a la produccin de toda aquella informacin asociada a la
Encuesta Longitudinal de Proteccin Social, adems de aquella recogida en los cuestionarios. Se
considera como Metadata: (1) la muestra, seleccin, ubicacin y datos de contacto (2)
caracterizacin del trabajo de campo y el personal que lo implement, (3) los procesos de
supervisin, control y seguimiento de los casos, (4) procesamiento, digitacin, validacin y chequeo
de consistencia, (5) documentos para el analista e investigador que acompaan la base de datos,
entre otro tipo de informacin.
Una vez culminado el trabajo de campo de las rondas de ELPS se presenta el desafo de documentar
y entregar la informacin necesaria y suficiente para que los usuarios de la base de datos conozcan
las condiciones de produccin y uso de la misma. Este documento entrega un conjunto de
recomendaciones orientadas a la definicin de los productos y actividades asociados a la metadata
del estudio, considerando adems una propuesta de protocolo de generacin de bases de datos.
2 Presentacin del Proyecto Encuesta Longitudinal de Proteccin Social disponible en: {HYPERLINK:
http://www.observatorioregional.net/download/bid-presentacion-proyecto-regional-elps/} Ultima visita: 30 de
mayo 2015.
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
II.
3 Cabe sealar que la ELPS entrega informacin valiosa sobre otras materias de relevancia para las polticas
pblicas. Sin embargo, se destaca su aporte sustantivo en el reporte sobre informacin referida a la seguridad
social en trminos de acceso, calidad, cobertura, oportunidad y otras dimensiones del sistema. Dada la
extensiva batera de preguntas se instala como un instrumento de gran valor para la evaluacin de los sistemas
de proteccin y seguridad social que, por un lado, puede ser monitoreado en el tiempo y, por otro, puede ser
analizado comparando informacin de los registros administrativos de cada pas. Se destaca, por ejemplo, el
rol fundamental que tuvo la informacin de la ELPS en Chile, la cual entreg informacin sobre los niveles de
desproteccin de la poblacin jubilada y conllev a una reforma en el sistema de Previsin Social en el ao
2007.
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Y, por otro lado, la metadata permite contar con toda la informacin y documentacin posible para
el desarrollo de las rondas de seguimiento de una encuesta panel en cuanto entrega los datos de los
datos. La literatura en estos aspectos indica que el gran desafo de las encuestas longitudinales es
asegurar el levantamiento de informacin en el tiempo que asegure minimizar la atricin y posibilite
la comparabilidad entre rondas (Jenkins; 2011). En la medida en que la informacin del proceso de
trabajo sea completa, detallada y rigurosamente procesada ser posible que los equipos de
investigacin cuenten con la mayor cantidad de informacin posible al enfrentarse a los desafos
que este estudio impone.
De este modo, permite (1) describir en detalle los procesos de diseo e implementacin de la
muestra, (2) las condiciones desarrollo del trabajo de campo en trminos de la calidad del trabajo
realizado por personal que particip en ello y (3) un anlisis de los resultados de las actividades de
supervisin, control y seguimiento de los casos. Por tanto, la metadata ELPS corresponde a la
informacin digital contenida en el conjunto de bases de datos ELPS y la documentacin que
acompaa el procesamiento de dicha informacin que informa sobre las caractersticas de los datos
levantados (Kreuter, 2013).
A partir de esta breve aclaracin conceptual, se sugiere que el equipo de investigacin que
desarrolle la generacin de la metadata considere entregar datos de los datos en lo referido a:
Informacin respecto de los errores de estimacin del diseo muestral utilizando las
variables ms relevantes en poblaciones de inters de la ELPS.
Informacin sobre el error de seleccin a partir del anlisis de la calidad de seleccin de la
muestra de entrevistados en la vivienda4. Ejemplo de ellos es el reporte de un chequeo de
validacin de la seleccin aleatoria usando la composicin del hogar para la seleccin con
la tabla kish.
Informacin sobre los errores de medicin referidos al anlisis de informacin recolectada
en los procesos de supervisin y control de las encuestas, adems de aquella informacin
cualitativa que puede entregar el personal del trabajo de campo5.
Informacin sobre los errores de procesamiento a partir del anlisis de la calidad mediante
la construccin de una rplica a la malla de captura de datos en el mtodo CAPI o
digitacin en el mtodo PAPI y que analice estadsticas descriptivas sobre la cantidad de
preguntas no contestadas, los errores de dominio, los errores de consistencia o los errores de
4 Considrese que esta es la ltima etapa de seleccin muestral, siendo antecedida por la seleccin de sectores
censales y viviendas. Sin embargo, podra considerarse tambin como parte del proceso de anlisis del error
de seleccin la eleccin de una muestra aleatoria de manzanas en las cuales se seleccion viviendas que
formaran parte de la muestra y realizar un anlisis comparado con la seleccin original.
5La informacin recopilada en el acompaamiento de la aplicacin de las encuestas realizadas en los procesos
de supervisin resulta sustantiva para la realizacin de estos tipos de anlisis, entendiendo que un error de
medicin puede referir a los problemas de comprensin por parte del entrevistado, al hecho que stos no
quieran entregar una respuesta verdadera o a errores de registro por parte del encuestador.
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
ruta (skip pattern errors). Asimismo, se puede considerar los procesos de doble digitacin
de muestras aleatorias que permitan comparar la cantidad de errores generados en el
procesamiento.
Informacin sobre el error de falta de cobertura referidos a la caracterizacin y descripcin
de los marcos muestrales utilizados, considerando sealar la fecha de actualizacin de las
fuentes utilizadas, las debilidades y fortalezas en trminos de cobertura y, por cierto,
referencias a los posibles crecimientos urbanos que hayan sido considerados en el marco
utilizado6.
Informacin sobre el error de la no respuesta a partir del anlisis de las tasas de
rendimiento de la muestra7 y una descripcin del perfil de las viviendas que no participaron
del estudio a partir del anlisis de las hojas de ruta e historia de contacto8 y de los
entrevistados seleccionados que, habiendo contestado la hoja de composicin del hogar
para la seleccin con la tabla de kish, no participaron de la encuesta9.
Por ltimo, cabe sealar que se conoce como edicin de datos a la deteccin y correccin de los
errores de medicin y procesamiento, adems de algunos errores de seleccin. No obstante, la
evaluacin y correccin de los errores de cobertura y no respuesta refieren al diseo y uso de pesos
ajustados en el clculo de las estimaciones. Tanto la informacin sobre la edicin de los datos como
la descripcin de la construccin de los pesos forman parte de la metadata de un estudio.
6 Existen factores externos a las agencias encargadas de los levantamientos de informacin que impiden el
uso del mejor marco muestral para la seleccin de la muestra. Ejemplo de ello es la situacin de Chile, pas en
el que el CENSO de poblacin y vivienda disponible es del ao 2002, producto de la evaluacin tcnica que
descarta el uso de la versin levantada durante el ao 2012.
7 Corresponden a las tasas de respuesta establecidas por la AAPOR y referidas a las Tasas de respuesta,
contacto, rechazo, cooperacin y no elegibilidad.
8 Por ejemplo, refiere al anlisis de ubicacin territorial y concentracin por cada una de las unidades de
seleccin muestral como barrios o manzanas. Asimismo considera un anlisis detallado los motivos de no
respuesta describiendo correctamente las razones de no contacto o rechazo y el esfuerzo realizado para su
concrecin.
9 Por ejemplo, refiere al anlisis de variables sociodemogrficas del entrevistado que finalmente no particip
de la encuesta (sexo, edad, nivel educativo, situacin ocupacional, tamao del hogar, entre otras variables
disponibles).
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
III.
RECOMENDACIONES
PARA
EL
PROTOCOLO
GENERACIN DE BASES DE DATOS Y METADATA ELPS
DE
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
informacin de contacto de las personas participantes y ser la institucin que custodiar los datos
de contacto de la muestra para las rondas sucesivas.
Se sugiere que la comunidad investigativa acceda a la base de datos del cuestionario de la ELPS con
toda la informacin innominada sea a travs de los protocolos establecidos para estos efectos o
mediante la descarga de la web oficiales, siempre que esta segunda opcin est disponible.
Asimismo, se considera como recomendacin tcnica que los profesionales o asesores que no
pertenezcan a las instituciones custodios de las bases de datos y que hayan participado del proceso
de revisin de la base de datos firmen un acta en que aseguren la no difusin ni divulgacin de la
base de datos, resguardando el uso exclusivamente dentro del marco del estudio y bajo la
autorizacin de la institucin encargada.
En el caso de la experiencia paraguaya se consider tambin la inclusin del consentimiento
informado, documento que era firmado por el encuestador y el entrevistado estableciendo los
contenidos de la encuesta y las condiciones de aseguramiento de la informacin. Esta experiencia
fue indita en Paraguay y result positiva, destacndose que ms del 90% de los entrevistados
aceptaron firmar dicho documento10.
10
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
11
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Figura n1: Definicin de fase de bases de datos segn flujo de trabajo y usuario para la 1era.
Ronda ELPS Paraguay
13
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
El xito de esta etapa en el caso de Paraguay fue posible a travs de la revisin sucesiva de la
documentacin de la muestra, la informacin auxiliar del trabajo de campo y un anlisis descriptivo
de variables territoriales de los casos logrados y no logrados (ver anexo). Como resultado de esto se
cuenta con la informacin del estado final del trabajo de campo con cuadratura para los 21.600
casos que conforman la muestra de esta primera ronda.
Como se observa en la figura existe un proceso de iteracin en la revisin de los datos en que se
busca documentar y conocer en profundidad la magnitud y decisiones de correccin de los
problemas de procesamiento y evitar errores sistemticos que disminuyan la calidad de la encuesta.
A continuacin se presentan tres ejemplos de acciones que se implementaron para el desarrollo de
este proceso en Parguay y que resultaron de la implementacin de los diferentes tipos de bases de
datos.
Ejemplo 1: Do file de variables que aseguran que la base est innominada en la 1era Ronda de
ELPS Paraguay. En el caso de Paraguay se considera la eliminacin de la informacin de la
cartula del cuestionario, los datos de contacto e identificacin de la hoja de ruta y la informacin
de otros contactos en caso de cambiar de domicilio.
14
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
N base versin 1
21600
389
129
Observacin 1.2
Glosa
Lista de folios de la muestra
Muestra que no est en la base de Hoja de ruta
Folios duplicados en base de encuestados logrados o no
Folios logrados que estn en la base de HR como logrados y
no en cuestionario, o viceversa.
87
Observacin 1.10
211
Categoras
FOLIO
1=no est en la base de datos de hoja de ruta
"Folio"=est duplicado en la base de datos
1=Tiene estado inconsistente de logrado entre
bases de datos de hoja de ruta y cuestionario
1=UPM de base HR es diferente de Base
Cuestionario
15
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
c) Tabla de Kish: la unidad de anlisis es cada integrante del hogar del entrevistado
seleccionado, independiente si contest o no contesto la encuesta. En el caso de la 1era.
Ronda de la ELPS Paraguay estar conformada por cada uno de los integrantes de los
18.312 hogares cuya informacin fue pesquisada al momento de aplicar la tabla de
composicin del hogar para realizar el sorteo Kish. Esta base de datos es relevante pues
entrega la composicin del hogar y cantidad de integrantes, informacin necesaria para
el clculo de los ajustes estadsticos y, adems, permite caracterizar la no respuesta.
d) Entrevistados ELPS: la unidad de anlisis es el entrevistado que contest la encuesta.
En el caso de la 1era. Ronda de la ELPS Paraguay estar conformada por los 15.178
entrevistados con el cuestionario completo y validado. Se considera la informacin del
mdulo A: Caracterizacin Sociodemogrfica del entrevistado; mdulo B: Educacin;
mdulo C: Mercado del trabajo e Historia Laboral; mdulo D: Sistema de Pensiones y
Proteccin Social Conocimiento Financiero; mdulo E: Salud; mdulo F: Ingresos y
mdulo G: Patrimonio. Esta base de datos es el producto principal del proyecto con la
cual se podrn realizar todos los anlisis del proyecto a nivel de entrevistados.
e) Integrantes del hogar Entrevistados ELPS: la unidad de anlisis es cada uno de los
integrantes del hogar de los entrevistados que contestaron de encuesta de manera
completa y vlida. En el caso de la 1era. Ronda de la ELPS Paraguay estar
conformada por 60.712 integrantes del hogar. Esta base de datos es el producto
principal del proyecto con la cual se podrn realizar todos los anlisis del proyecto a
nivel de hogar.
f) Reentrevistas ELPS: se sugiere tener los casos logrados y no logrados que fueron
asignados para la aplicacin del cuestionario abreviado de control. Esta base de datos
contiene la informacin de las entrevistas aplicadas para controlar la calidad del
levantamiento. Su anlisis permite identificar la magnitud de errores en la aplicacin o
digitacin.
g) Equipo de trabajo de campo ELPS: se sugiere contener el listado de cada uno de los
integrantes del equipo de trabajo de campo, incluyendo (1) cdigo que sirve de llave
para la unin con las otras bases; (2) sexo; (3) edad; (4) nivel educativo; (5)
experiencia. Esta base de datos contiene informacin del personal del trabajo de campo
informacin relevante para las rondas de seguimiento y para la evaluacin de las
condiciones de aplicacin de las encuestas.
17
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
11 Entre esos estudios se destaca la aplicacin de la Ficha Social instrumento de uso oficial para la
identificacin y caracterizacin de pobreza en Paraguay, la cual se aplica anualmente.
18
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Tabla n1: Tipo de bases y archivos de datos segn instrumento utilizado en cada fase de
trabajo de campo de la 1era. Ronda ELPS Paraguay
Fase del trabajo de campo
Instrumentos asociados
Marco muestral
Cartografa muestral
Ficha de inscripcin
evaluaciones
Cuestionarios - Hoja de
ruta
Hoja de ruta
Cuestionarios
Pautas de supervisin
Resumen de kilometraje
Planillas de supervisin de
visitas
Registro de digitacin
Planilla de UPMs a
supervisores antes de salir
a campo
Hoja de ruta
Hoja de ruta
Cuestionarios
Cuestionarios - mdulo I
Cuestionarios de
reentrevistas
Planilla de actualizacin de
viviendas
19
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Base de datos ELPS de cuestionario con informacin de los entrevistados la cual incluye
toda la informacin de las encuestas logradas y validadas para cada uno de los mdulos.
Base de datos ELPS de cuestionario con informacin de los integrantes del hogar la cual
incluye toda la informacin de las encuestas logradas y validadas para el mdulo de
composicin del hogar.
Base de datos hoja de ruta la cual incluye la informacin de la disposicin final de casos12
para la totalidad de la muestra.
Sin embargo, el procesamiento de dichas bases puedo ser complementado con la valiosa
informacin disponible en las bases auxiliares de implementacin del trabajo de campo. En este
sentido, la experiencia de la forma de trabajar en las encuestas transversales de Paraguay permiti
generar insumos adicionales para (1) un mayor control del trabajo de campo, (2) una mayor
completitud de las bases de datos principales, (3) una mayor exactitud en la construccin de
indicadores de calidad del proceso de trabajo.
Ejemplos de esta situacin fueron los siguientes:
-
casos en que los encuestadores no completaron la hoja de ruta, la informacin pudo ser
nutrida de las planillas de registro diario de visita.
cuadratura de encuestas logradas entre trabajo de campo y digitacin pudo ser realizada
durante el trabajo de campo a partir del anlisis de la Bases de datos de produccin semanal
de supervisores (.xls) con Base de datos de avance de digitacin (.xls).
12 Se entiende como disposicin final de casos a los resultados de las visitas de cada uno de los folios de la
muestra. Con esa informacin es posible construir las tasas de respuesta para el caso paraguayo y construir
indicadores de logro y rendimiento de la muestra.
20
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
EJEMPLO 1:
21
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
EJEMPLO 2:
Corresponde a la persona de la encuesta 12300 que ingres a la ELPS en la 1era. Ronda 2015 y est
en el orden 2 del mdulo I de composicin del hogar del cuestionario.
EJEMPLO 3:
Corresponde a la persona de la encuesta 12300 que ingres a la ELPS en la 3era. Ronda 2019 y est
en el orden 6 del mdulo I de composicin del hogar del cuestionario.
Por qu se tom esta decisin en 1era. Ronda ELPS Paraguay y es una decisin acertada?
1. No considera la ubicacin de la tabla de kish porque sta solo incluye los mayores de 15
aos y no tiene fija la ubicacin del entrevistado.
2. Considera la extensin de 5 dgitos del folio asignado a la muestra por los 21600 casos que
la componen, as permite asegurar la individualizacin de todos los casos ELPS - Paraguay.
3. No considera informacin territorial porque sera muy extensa y sera fuente de errores.
4. Incluye la informacin de la ronda de ingreso de la persona, por tanto, puede considerar la
inclusin de muestra de refrescos en el futuro.
5. Es de fcil socializacin entre los equipos de trabajo de campo.
Sin perjuicio de lo anterior, se han generado variables auxiliares de (1) nmero de historia laboral
como 4to tipo de digito del folio, (2) nmero de capacitacin 5to tipo de digito del folio y (3)
22
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
nmero de carreras 6to tipo de digito del folio que le permitir a cualquier investigador poder
separar las bases de datos y generar identificadores nicos en esta y futuras rondas de este tipo de
informacin del entrevistado. Por ejemplo, cada historia laboral est identificada con un nmero
correlativo desde la ms antigua (Enero del 2013 hasta la fecha de aplicacin de la encuesta).
EJEMPLO 4:
Corresponde a la historia laboral 2 del entrevistado 12300 que ingres a la ELPS en la 1era. Ronda
2015 y es el orden 1.
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Objetivos: Se sintetiza una descripcin de las operaciones del do file orientadas en un formato de
entradas y salidas.
Bases de insumo y path de ubicacin: Aqu se indica el nombre de las bases de insumo con el
respectivo formato y path de ubicacin desde donde son llamadas al interior del do file
Bases y archivos de salida con path de ubicacin. Aqu se indica el nombre de las bases y archivos
de salida con el respectivo formato y path de ubicacin hacia donde son dirigidos luego de ser
creados o modificados al interior del do file.
Autores: Aqu se indica el nombre del equipo o personas autoras del do file.
Fecha de autora o creacin: Aqu se indica la la fecha AAMMDD de trmino de creacin o autora
del do file.
En relacin a los cambios o modificaciones de un do file ya ejecutado al menos una vez en el
proyecto, es importante indicar lo siguiente:
a) Toda modificacin o ajuste implican un cambio en el sufijo _aammdd v1 de nombre del do
file.
El cumplimiento de este punto se logra cambiando el sufijo del nombre inicial del do file
antes del cambio y reemplazarlo por el ajustado a la fecha del cambio.
b)
Esto cobra relevancia cuando se observan ajustes durante el proceso que requieren posteriormente
una explicacin detallada de su justificacin para informar o fundamentar cambios en resultados de
anlisis.
b1) Resumido en encabezado o inicio del do file.
Al inicio del do file y a continuacin de la fecha de autora inicial se irn agregando en filas
separadas todas las modificaciones resumidas indicando bajo el ttulo de Modificaciones:
24
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Lo anterior tiene por objetivo tener al inicio del do file un resumen de su contenido y de los
cambios o ajustes que le han afectado.
13 Cabe sealar que se debe cuidar que las diferencias radican en la forma de definir hogar que para el caso
de la ELPS es la persona o conjunto de personas, sean o no parientes que residen habitualmente en una misma
vivienda particular, ocupndola total o parcialmente y que atienden en comn sus necesidades alimenticias
(comparten los gastos para la olla) o de otra ndole.
25
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
3.8.3 Documento de Libro de cdigos: Este documento es una herramienta de apoyo a los
investigadores para facilitar el uso de Base de datos ELPS entregando de forma detallada los
resultados de las preguntas formato Excel. Especficamente, se espera que presente cada una de las
bases de datos y sus contenidos, el diccionario de variables y cdigos de respuesta, la presentacin
de las variables de identificacin y factores de expansin (incluyendo una referencia a su uso) y el
libro de cdigos (tabla de frecuencia para cada una de las variables e indicadores de la base de
datos).
Ejemplo 1:
Base Entrevistado
Esta base de datos contiene la mayora de las preguntas presentes en el cuestionario de la ELPS.
Esta base de datos incluye preguntas de caracterizacin del entrevistado en trminos demogrficos y
socioeconmicos, de conocimiento y uso de las polticas de proteccin social, historia de la
previsin social, ingreso y patrimonio, entre otras.
Detalle de la base de datos de entrevistado:
entrevistado
1207
15.567
STATA y SPSS
20,23 Megabytes
27
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Ejemplo 2: El ejemplo presenta la identificacin del ndice de cada uno de los mdulos para los
cuales se presenta todas sus variables.
ndice del Libro de cdigos ELPS
Ejemplo 3
El ejemplo presenta la identificacin de la variable denominada en la base de datos como a5 con
su descripcin y categoras. Asimismo se presenta la cantidad de observaciones para cada categora.
3.8.4 Documento de anlisis de los niveles de error de no respuesta: este documento busca
apoyar a los investigadores usuarios en el conocimiento de la no respuesta de la ELPS.
Especficamente, se espera que este documento presente, al menos, los siguientes contenidos:
Presentacin del estudio: descripcin del estudio, poblacin de inters, caractersticas del
estudio.
Tasas de rendimiento de la muestra: respuesta, rechazo, contacto, cooperacin y
elegibilidad.
28
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
29
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
IV.
Las etapas crticas del trabajo de campo de la ELPS pueden agruparse segn el tipo de error que
pueden provocar en la produccin de los diferentes estimadores estadsticos. Segn menciona
Grooves (2004) los errores convergen en el deterioro de la informacin a travs de la medicin de
los datos y su representatividad.
Lo importante de esta sistematizacin es que permite identificar de una manera comprensible las
etapas crticas de una encuesta compleja cuyos datos fueron recolectados en modo PAPI como la
1era. Ronda ELPS - Paraguay. En ese sentido al relacionar los errores de una encuesta con las
etapas crticas o situaciones que tienen la probabilidad de agregar algn error al Error Total de la
Encuesta permiten levantar recomendaciones para el trabajo de campo y generacin de metadata a
partir de la experiencia paraguaya.
A continuacin se describen 6 etapas crticas para minimizar los errores que vincularan el trabajo de
campo y generacin de metadata, relevando recomendaciones para futuras experiencias ELPS15.
Cada una de ellas est asociada a un tipo de error y describe detalladamente algunas actividades
implementadas en la experiencia de la 1era. Ronda ELPS Paraguay para abordarlas.
Mal registro del total de personas del hogar mayores de 15 aos: Esto ocurre en muchos
casos por una mala informacin hacia el entrevistado para que informe sobre la totalidad
de personas mayores de 15 aos que efectivamente forman parte del hogar y en
consecuencia entrega un nmero mayor (incluye personas que no corresponden) o uno
menor (omite personas). Este punto es importante de resaltar ya que es muy probable que si
la persona que sobra o falta no es la sorteada el entrevistador slo se dara cuenta
(probablemente) de ello cuando est en el mdulo Composicin del hogar.
14 Las recomendaciones contenidas en este apartado se basan en el captulo 3 del documento Prieto, J.J;
Madrigal L.; Gallegos F.; Bravo E. (2015) Recomendaciones Metodolgicas para las Rondas de Seguimiento
de la Encuesta Longitudinal de Proteccin Social (ELPS) con la aplicacin al caso paraguayo.
15 Cabe sealar que en el documento Prieto, J.J; et al. (2015) Recomendaciones Metodolgicas para las
Rondas de Seguimiento de la Encuesta Longitudinal de Proteccin Social (ELPS) se mencionan 13 etapas
crticas, asociadas a cada una de las fuentes de error. Ac se identificaron aquellas ms sensibles a partir de la
experiencia paraguaya, destacando recomendaciones puntuales para su implementacin.
30
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Aqu la experiencia tambin indica que en algunos casos el entrevistador hace caso omiso
de este error, y contina completando la entrevista considerando el costo que tiene para l
reformular el cuestionario a otra persona, de la cual probablemente reciba un rechazo dado
lo extenso del cuestionario que ya fue aplicado parcialmente a la persona incorrecta del
hogar.
Registro errado de la edad de los integrantes del hogar: Ocurre cuando el registro de
edades no corresponde al real y el mal registro puede provenir de un informante no
calificado para haber dado la informacin de los componentes del hogar como tambin de
un manejo fraudulento de parte del entrevistador para entrevistar a una determinada persona
(generalmente presente) y no a otra (generalmente ausente). En el caso de Paraguay ocurri
que al llegar a la pregunta A7a.Cuntos aos tiene? [el entrevistado] la respuesta no
coincida con la reportada en la tabla de kish y, por tanto, era necesario suspender la
encuesta y realizar el sorteo de nuevo. Esto se pesquis tanto durante el trabajo de campo
como durante la fase de crtica de las encuestas.
Registro errado del sexo de la persona: Este error tambin se presenta con cierta
frecuencia y que generalmente viene dado por descuido en el registro de la persona ya sea
en la captura del nombre que al entrevistador lo hace registrar el sexo de la persona sin
preguntar e inferirlo del nombre; o bien al descuido en registrar el cdigo de sexo. Este
efecto se ve minimizado al ordenar primero el grupo de hombres y luego el grupo de
mujeres. Se sugiere en este estudio no aplicar el ordenamiento por sexo, registrando
hombres y luego mujeres del hogar.
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
33
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
cruz esta informacin con la identificacin de los supervisores para observar si existan
concentraciones de esta situacin en el personal de trabajo de campo. Efectivamente se constat que
5 equipos concentraron el 25% de problemas y se revisaron el 100% de sus encuestas.
34
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Tabla n2: Variables relevantes del mdulo C: Mercado del trabajo e historia Laboral
Mdulo
Variable BBDD
C.
C1MI_01
MERCADO
C1AI_01
DEL
TRABAJO
C1MT_01
E
HISTORIA
C1AT_01
LABORAL
C2_01
C5_01
C8_01
C9_01
C10_01
C12_01
C20_01
C24_01
C24A_01
C26B_01
C26D_01
C27_01
C27B_01
C38A
C44A
C46
C48
Nombre de la etiqueta
Describa, cronolgicamente, las act. que ha realizado de Enero de 2012 a la fecha
Describa, cronolgicamente, todos las actividades que usted ha realizado desde
Enero de 2012 a la fecha
Describa, cronolgicamente (empezar de la ms antigua), todos las actividades que
usted ha realizado desde Enero de 2012 a la fecha
Describa, cronolgicamente (empezar de la ms antigua), todos las actividades que
usted ha realizado desde Enero de 2012 a la fecha
En ese perodo, en cul de las siguientes situaciones se encontraba?
Cul era su ocupacin u oficio?
En esta ocupacin, usted trabajaba como:
En este trabajo, firm contrato de trabajo?
Qu tipo de horario tena en este trabajo?
Cul era el ingreso bruto mensual promedio en este trabajo?
Se encontraba aportando en el IPS?
Cul es el motivo por el que dej este trabajo?
Ha trabajado alguna vez en su vida?
Cmo busc (est buscando) trabajo?
Cmo se mantuvo durante este tiempo?
Cul fue la razn de su inactividad?
Se encontraba aportando en el IPS?
Su primer trabajo remunerado ocurri antes de Enero de 2013?
Desde su primer trabajo y hasta la fecha, cuntos meses ha trabajado de manera
remunerada?
Desde su primer trabajo y hasta la fecha aport al IPS (Salud y/o jubilacin)?
En los aos en que estuvo trabajando, por qu nunca aport al IPS?
En total esas 100 preguntas se tradujeron en 970 variables de la base de datos entre la cartula al
mdulo I. Una vez identificadas se procedi a generar una variable que identifique si tiene valores
perdidos o fuera del rango y consistencias entre mdulos. Los cuestionarios que tenan ms de un
5% de problemas en esas variables se enviaron a una revisin completa por parte de los
subcoordinadores (ejemplo n=491 con inconsistencias de historia de ocupacin con oficio e
ingresos). Al igual que en el caso anterior, se cruz esta informacin con la identificacin de los
supervisores para observar si existan concentraciones de esta situacin en el personal de trabajo de
campo. Efectivamente se constat que 3 equipos concentraron el 50% de problemas y se revisaron
el 100% de sus encuestas.
Esta es una revisin que permite ir controlando la calidad del trabajo de campo y la digitacin, por
lo que de ninguna forma reemplaza procesos de validacin de consistencia o depuracin de bases de
datos.
35
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
Etapa Crtica 5: Respuestas No sabe y No responde con alta frecuencia en mltiples variables
Esta etapa debe estar regulada en forma precisa antes de las capacitaciones de los entrevistadores de
tal forma de prevenir su uso desmedido y procurar obtener de parte del entrevistado una respuesta
con valor significativo para los estimadores estadsticos que se desean concluir.
Debe existir una tabulacin permanente de las tasas de uso de estas alternativas de respuesta que
son utilizadas como verdaderas puertas escape para terminar prontamente la entrevista y que son
recursos utilizados tanto por algunos entrevistados como por algunos entrevistadores incorrectos o
capacitados en forma deficiente.
En este grupo de tabulaciones tambin deben estar contenidas y en forma separada las respuestas
No responde.
Los resultados de estas tabulaciones deben ser analizadas con prontitud realizando en ellas una
comparacin entre entrevistadores, con el objetivo de recapacitar o reforzar instrucciones que
disminuyan la frecuencia de estas alternativas de respuesta.
El entrevistador debe tener presente en todo instante que una respuesta No sabe o No responde
puede obedecer a que el informante puede ser proxy en relacin a la pregunta, y no es calificado
para responderla en forma adecuada y debe en consecuencia procurar que el informante sea la
persona referida en la pregunta, si estuviera presente en el hogar mientras realiza la entrevista.
Las preguntas consultantes de ingresos monetarios generalmente tienen una mayor tasa de
respuestas del tipo No sabe/ No responde que deben ser disminuidas a partir de una capacitacin
adecuada de los entrevistadores para evitar recibir este tipo de respuestas. Igualmente estas tasas
deben ser monitoreadas para detectar aquellas malas prcticas de algunos entrevistadores que
ofrecen la alternativa No sabe/No responde antes de obtener las respuestas espontneas de ingresos
por parte de los entrevistados con el objetivo de atenuar un posible rechazo en la continuidad de la
entrevista.
36
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
La digitacin es una etapa que en muchos estudios de modalidad PAPI suele postergarse ms
tiempo del programado inicialmente. Estos retrasos de su puesta en marcha producen una detencin
masiva del conjunto de datos que requiere prontamente ser analizados va aplicacin de una malla
de validacin inicial que acuse las fallas de revisin bsicas en las etapas previas. Una de los
objetivos de una digitacin temprana es decrecer al mnimo la puesta en marcha de esta etapa de
digitacin y obtener pronto una base de datos que sea analizada luego con la mxima rigurosidad.
La digitacin de los cuestionarios y hojas de ruta debe ser realizada en un ambiente protegido, con
condiciones de luminosidad y espacios adecuados para mantener el orden imprescindible en el
movimiento fsico de la documentacin que est siendo digitalizada.
El equipamiento computacional y programa de digitacin deben ser aptos para estar configurados
en la plataforma general que se exigir a este proyecto para mantener en todo instante un alto nivel
de seguridad en el manejo de datos.
Todo el proceso de digitacin estar normado en documentacin de respaldo, que entregue
informacin de la ubicacin exacta de cada cuestionario y la persona que est siendo responsable de
ste en esa etapa de ubicacin.
Esta etapa es delicada porque en ella se realiza una transcripcin de la informacin desde la fuente
manuscrita hacia una digitalizada en una operacin realizada por personas que deben saber
interpretar correctamente las respuestas.
La interpretacin correcta exige en primera instancia que la fuente tenga una descripcin clara y
legible de la informacin. Es por tanto necesario mantener la exigencia de una escritura de buena
caligrafa y ortografa a los entrevistadores, como tambin el registro de las respuestas en los
lugares establecidos para ello. Tambin en este punto incide nuevamente el diagramado y diseo del
cuestionario en disponer de aquellos espacios adecuados para registrar las respuestas.
Los digitadores deben formar parte de una capacitacin mnima acerca de los contenidos del
Cuestionario ELPS, Hojas de ruta y Consentimientos informados antes de la digitalizacin de la
informacin. Esto permitir obtener solucin por parte de ellos a problemas de interpretacin de
datos que vienen defectuosos en su registro.
Sin duda la interpretacin en la lectura es una fuente de potencial error del digitador pero a ello se
suma la correcta escritura de lo que interpret o debiera interpretar, es decir lo que finalmente
digita. En esta escritura pueden incorporarse errores involuntarios al digitar mal en el teclado del
dispositivo de entrada de datos.
Visto lo anterior es imprescindible someter esta etapa a una estrategia de control de la digitacin
que reduzca los errores en esta etapa a una mnima, idealmente nula existencia.
La estrategia de control debe establecer rpidas correcciones en el proceso de digitacin para
eliminar la ocurrencia repetitiva de esos errores de digitacin detectados.
37
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
La labor de control debe estar aplicada a todo el trabajo de digitacin, en este aspecto la doble
digitacin al 100% de las entrevistas es sin duda una de los mtodos ms seguros para obtener un
alto estndar de confiabilidad y calidad en una transcripcin correcta. Sin embargo, sus costos
limitan su aplicacin en forma completa optndose muchas veces por disminuir ese porcentaje con
seleccin aleatoria de porcentajes inferiores al 100%, bajo criterios de cotas mnimas de diferencia
aceptables entre digitaciones de un mismo instrumento realizada entre dos digitadores.
La importancia adicional de tener confirmada una correcta digitacin radica en la posibilidad que
sean digitados valores vlidos para las mallas de validacin pero que no representan la respuesta
escrita dada por el entrevistado. Estos errores si no se detectan en esta etapa pasan inadvertidos y
pueden provocar sesgos no cuantificados en los estadsticos que se generen con esos datos errneos.
Es importante establecer frmulas adecuadas de cancelacin de honorarios a los digitadores que no
slo incorporen la cantidad de trabajo realizado (digitado) sino tambin la calidad de dicho trabajo y
que sea ponderado por sus resultados segn los controles calidad.
38
Recomendaciones Tcnicas para la generacin de la Metadata de la Encuesta Longitudinal de Proteccin Social - ELPS
V.
REFERENCIAS
Jenkins, S. P. (2011). Changing fortunes: income mobility and poverty dynamics in Britain:
OUP Oxford.
Kreuter, F. (2013). Improving surveys with paradata: Analytic uses of process information.
John Wiley & Sons, Inc., Hoboken, New Jersey. Disponible en
http://www.wiley.com/WileyCDA/WileyTitle/productCd-0470905417.html
Kreuter, F., & Casas-Cordero, C. (2010). Paradata. Working paper series of the German
Council for Social and Economic Data 136, German Council for Social and Economic Data
(RatSWD). Disponible en
http://www.ratswd.de/download/RatSWD_WP_2010/RatSWD_WP_136.pdf
Kreuter, F., Couper, M., & Lyberg, L. (2010). The use of paradata to monitor and manage
survey data collection. Paper presented at the Proceedings of the Joint Statistical Meetings,
American Statistical Association. Disponible en
http://www.amstat.org/Sections/Srms/Proceedings/y2010/Files/306107_55863.pdf
Kreuter, F., & Kohler, U. (2009). Analyzing contact sequences in call record data. Potential
and limitations of sequence indicators for nonresponse adjustments in the European social
survey. Journal of Official Statistics, 25(2), 203. Disponible en
http://www.jos.nu/Articles/abstract.asp?article=252203
Prieto, J.J. (2015). Gua prctica para usar datos de la Encuesta Longitudinal de Proteccin
Social (ELPS). Observatorio de Seguridad Social de Amrica Latina y el Caribe.
Prieto, J.J; Madrigal L.; Gallegos F.; Bravo E. (2015) Recomendaciones Metodolgicas
para las Rondas de Seguimiento de la Encuesta Longitudinal de Proteccin Social (ELPS)
Rose, D. (2000). Household panel studies In D. Rose (Ed.), Researching Social and
Economic Change: the uses of household panel studies (pp. 3-35). London and New York:
Routledge.
SPS Gobierno de Chile (2012). Libro de cdigos de EPS 2009. Santiago de Chile.
Disponible en: http://www.previsionsocial.gob.cl/subprev/?page_id=7518
39