You are on page 1of 10

ERROR DE MEDICIN ALREDEDOR DE LOS PUNTOS DE CORTE EN EL MBI-GS 209

ERROR DE MEDICIN ALREDEDOR DE LOS PUNTOS DE CORTE EN EL MBI-GS


MEASURING ERROR AROUND THE CUTTING POINTS IN THE MBI-GS

Manuel Fernndez Arata* y Csar Merino Soto**


Universidad de San Martn de Porres, Per

Recibido: 04 de agosto de 2014 Aceptado: 26 de septiembre de 2014

RESUMEN
En la calificacin de los resultados del MBI-GS (Maslach Burnout Inventory - General Survey) como de sus antecesores,
se usan interpretaciones dimensionales, pero tambin puntos de corte para clasificar a los sujetos y diferenciarlos con
respecto a la presencia del sndrome de burnout. Sin embargo, este uso est orientado al tipo de tests referidos a criterios,
por lo que la estimacin de la confiabilidad debe converger con este tipo de uso. El objetivo del presente estudio fue
estimar la confiabilidad alrededor de varios puntos de corte en el MBI-GS (agotamiento emocional, eficacia profesional y
cinismo), mediante el coeficiente K2 de Livingston. Los participantes fueron 741 sujetos de varias ocupaciones,
provenientes de instituciones pblicas y privadas de Lima y de otras ciudades. Previo a la obtencin de la confiabilidad
criterial, se verific la unidimensionalidad, el modelo equivalente tau, la distribucin y la bimodalidad de los puntajes. Se
hall que los puntos de corte ms extremos muestran mayor confiabilidad; que la confiabilidad se incrementa en relacin
al grado de extremidad de los puntajes; que el puntaje de agotamiento emocional obtiene mayor confiabilidad criterial y
que cinismo obtiene la menor, pero todos los puntajes generalmente muestran buenas confiabilidades. Se discute el uso
de los puntos de corte en relacin a su validez y confiabilidad.

Palabras clave: Puntos de corte, burnout, MBI-GS, confiabilidad, diagnstico, prueba referida a criterios.

ABSTRACT
In the rating of the MBI-GS results (Maslach Burnout Inventory - General Survey) as its predecessors, we used
dimensional interpretations, but also cut-off points for classifying and differentiating the subjects with respect to the
presence of the burnout syndrome. However, this use is oriented to the type of tests relating to criteria so that the
estimate of the reliability must converge with this type of use. The objective of this study was to estimate the reliability
around various cutting points in the MBI-GS (emotional exhaustion, professional effectiveness and cynicism), through
Livingstons K2 coefficient. The participants were 741 subjects of various occupations, from public and private institutions
in Lima and other cities. Prior to obtaining the reliability criterion, the unidimensionality was verified, the equivalent
model tau, distribution and bimodality of the scores. It was found that the most extreme cut-off points show greater
reliability; that the reliability increases in relation to the degree of extremity of the scores; the scores of emotional exhaustion
get greater reliability criterion and that cynicism gets the lowest, but all the scores generally show good reliability. This
paper discusses the use of the cut-off points in relation to their validity and reliability.

Key words: Cut-off points, burnout, MBI-GS, reliability, diagnosis, criterion-referenced tests

* mfernandeza1@usmp.pe
* * sikayax@yahoo.com.ar ISSN: 1729-4827 (Impresa)
LIBERABIT: Lima (Per) 20(2): 209-218, 2014 ISSN: 2233-7666 (Digital)
210 MANUEL FERNNDEZ ARATA

Los puntos de corte utilizados para interpretar los estudios con el MBI han aplicado cuartiles para la
puntajes de una escala de medicin psicolgica, aunque identificacin de los niveles del burnout (Brenninkmeijer &
permiten categorizar a los sujetos, pero pueden resultar con Van Yperen, 2003; Lindblom, Linton, Fedeli & Bryngelsson,
frecuencia poco confiables e imprecisos. Si bien los 2006; Schaufeli, Bakker, Schaap, Kladler & Hoogduin, 2001),
manuales de algunas escalas estn acompaados de los mientras que otros han usado la mediana como criterio de
baremos correspondientes, estos pueden presentar diferenciacin (Maslach & Leiter, 2008; Golembiewski,
dificultades cuando se los utiliza para realizar Munzenrider & Carter, 1983). Estos criterios pueden ser
interpretaciones en poblaciones con caractersticas convenientes debido a que la mediana es menos afectada
culturales distintas. Debido a que los puntos de corte se por datos extremos. En nuestro medio, Fernndez (2002,
construyen sobre los estadsticos descriptivos de muestras 2008, 2010), reporta niveles de burnout en maestros de
de referencia, estos presentan tambin el mismo problema educacin primaria y secundaria, clasificando a los
de posible invalidez intercultural. Estos problemas son an investigados en tres tercios pero sin utilizar un criterio
ms crticos en instrumentos que se usan en el trabajo adicional externo que justifique el mtodo utilizado.
clnico y en la investigacin para definir grupos de sujetos
caracterizados por aspectos desadaptativos. Uno de estos Un mtodo poco reportado an es el uso de la
instrumentos es el Maslach Burnout Inventory - MBI desviacin estndar, en el que se separa a los grupos de
(Maslach, Jackson & Leiter, 1996), que adems de su gran acuerdo con el grado de desviacin respecto a la media
expansin intercultural (Schaufeli, Leiter & Maslach, 2009), de la muestra de estudio; tpicamente se aplica 2 DE
se utiliza para identificar sujetos con elevados sntomas de como criterio del grado de alejamiento del puntaje (Llaja,
agotamiento emocional e indiferencia, as como disminuida Sarria & Garca, 2007; Peters, Jelicic, Heij & Merckelbach,
eficacia profesional y compromiso con el trabajo realizado. 2006). Este criterio podra suponer una mejor deteccin de
verdaderos positivos y, consecuentemente, el decremento
El MBI adolece tambin de este problema prctico de falsos positivos (Schaufeli & Enzmann, 1998), ya que
cuando se requiere realizar un diagnstico con fines de los grupos con puntajes mayores (o menores) a dos
intervencin. La misma autora de la escala manifiesta su desviaciones de la media representan al 2.5% de una
disconformidad con el uso de los puntos de corte en la poblacin normalmente distribuida. Sin embargo, dada la
calificacin e interpretacin del MBI, dado que sus naturaleza del burnout, es probable que la forma que asume
puntajes se interpretan esencialmente de manera la distribucin no sea normal sino asimtrica, lo que puede
dimensional (Schaufeli et al., 2009). Sin embargo, al igual crear un lmite en la aplicacin de este criterio.
que cualquier otro instrumento que pretende describir
alguna caracterstica psicolgica de un grupo poblacional, Otro mtodo que podra mejorar la sensibilidad clnica
el MBI requiere de un mecanismo vlido y confiable para del MBI-GS es el propuesto por Gil-Monte, Carretero,
identificar los niveles de burnout que experimentan los Desamparados y Nez-Romn (2005) para el Cuestionario
trabajadores de una organizacin (Schaufeli, et al. 2009); de Evaluacin del Sndrome de Quemarse por el Trabajo
este requerimiento es ms urgente al considerar los altos (Gil-Monte, 2004), que usa los percentiles 10, 25, 75, 90.
niveles de burnout en trabajadores, as como su En cualquiera de los mtodos aplicables, la obtencin de
globalizacin progresiva alrededor del mundo. valores de referencia propios de la muestra de estudio y
la validez clnica de los mismos, sern la piedra angular
Maslach et al. (1996) sugieren que la identificacin de para el uso efectivo de un mtodo de clasificacin e
los grupos con diferentes niveles de burnout se puede identificacin de los niveles de burnout (Gil-Monte et al.,
efectuar en tres agrupaciones de similar tamao, lo que 2005; Schaufeli & Van Dierendonk, 1995).
bsicamente divide a una muestra de sujetos en tercios
correspondientes a los percentiles 33 y 66. Esto producira Si bien es cierto que reportar la caracterizacin
un nmero mayor de sujetos identificados cuando se los categrica del burnout puede facilitar la comprensin de
compara con otros mtodos que usan puntajes ms alejados la intensidad del mismo en un grupo de sujetos, sta
de la media, por ejemplo, el uso de cuartiles. Algunos requiere no solo simplicidad de su comunicacin sino

* mfernandeza1@usmp.pe
* * sikayax@yahoo.com.ar ISSN: 1729-4827 (Impresa)
LIBERABIT: Lima (Per) 20(2): 209-218, 2014 ISSN: 2233-7666 (Digital)
ERROR DE MEDICIN ALREDEDOR DE LOS PUNTOS DE CORTE EN EL MBI-GS 211

tambin un buen respaldo de validez. En este sentido, sntomas de burnout y los que s padecan el burnout no
algunos investigadores han resaltado las dificultades para eran claras, especialmente en los puntajes extremos. Por otro
establecer estrategias diagnsticas bien fundamentadas lado, respecto al error de medicin, este parece haber sido
para identificar el burnout (Dyrbye, West & Shanafelt, considerado de manera habitual (usando coeficientes de
2009; Olivares & Gil-Monte, 2009; Schaufeli, et al, 2009; consistencia interna) pero sin tomar en cuenta su impacto
Schaufeli & Van Dierendonk, 1995), principalmente porque sobre los puntos de corte. El presente estudio abord la
(a) los puntos de corte elegidos en el MBI no tienen un obtencin de los puntos de corte incluyendo la informacin
suficiente respaldo en la evidencia acumulativa que referida al error de medicin y su comparabilidad con las
combine criterios clnicos y estadsticos, (b) el diagnstico obtenidas de manera tradicional. Este error de medicin se
es menos aceptado cuando este se basa en un solo criterio estima directamente desde un coeficiente de confiabilidad,
(los puntajes de un solo test) y (c) los puntos de corte y como los que se obtienen al calcular la consistencia interna
las normas tienden a obtenerse de muestras no (Nunnally & Bernstein, 1995).
representativas y arbitrarias (Olivares & Gil-Monte, 2009;
Schaufeli et al., 2009). Esto ltimo no permite identificar El reporte de la consistencia interna del MBI es una
con seguridad el error muestral de los estadsticos de prctica estndar para presentar el grado de confiabilidad
referencia (por ejemplo, la media y la desviacin estndar) de sus puntajes, y el coeficiente (Cronbach, 1951), es el
ni asegurar la generalizacin. Tambin es posible reconocer mtodo comnmente elegido (Feldt & Brennan, 1989). Este
coeficiente provee una representacin esttica de la
que los puntos de corte no se acompaan muchas veces
confiabilidad, y se le asume como constante en cada nivel
de una suficiente racionalidad del autor para elegirlos, por
de puntuacin (Feldt & Brennan, 1989). Tambin es la
ejemplo entre elegir cuartiles, la mediana, terciles o 2 DE.
eleccin ms frecuente entre los investigadores cuando
Tomando en cuenta las limitaciones de los usan puntajes de pruebas referidas a normas (PRN) en
procedimientos anteriores en la construccin de normas el que se ubica el nivel de desempeo de un sujeto
y puntos de corte con el MBI, hay una clara comparado con un grupo normativo.
recomendacin por usar normas locales y puntos de corte
validados clnicamente como la mejor opcin para llevar La interpretacin normativa de los puntajes del MBI
corresponde a la naturaleza dimensional de sus
al MBI a la evaluacin con propsitos individuales
constructos, pero con la construccin de puntos de corte,
(Shaufeli et al., 2009). Uno de los pocos puntos de corte
el uso del MBI tiene un diferente propsito y
con un buen respaldo de validez clnica lo ha reportado
aparentemente, muchos de sus usuarios lo han preferido
Schaufeli et al. (2001) para la estandarizacin de la escala
por dcadas. La clasificacin y distincin de sujetos con
en Holanda, en la que usaron criterios de la Clasificacin
alto o bajo burnout sugiere que los puntajes del MBI se
Internacional de Enfermedades (ICD-10, 1994). Sin
usan en el marco de las pruebas referidas a criterios
embargo, la eficiencia diagnstica mediante puntos de
(PRC), en los que el objetivo bsico es separar dos grupos
corte del MBI no parece replicarse de manera efectiva en
de sujetos: los que aprueban (pasan) o desaprueban (no
recientes estudios (Kleijweg, Verbraak & Van Dijk, 2013).
pasan) un test (Woolfolk, 2010). Esta distincin se practica
Esta inconsistencia parece deberse al criterio del DSM con
frecuentemente con el MBI, pero no se ha reconocido su
el cual se podra comparar la clasificacin del MBI.
rol como instrumento referido a un criterio. Dentro de este
Efectivamente, las limitaciones referidas en los prrafos tipo de uso del MBI, la estimacin de la confiabilidad debe
anteriores no son las nicas; ya que otros aspectos enfocarse en la correcta identificacin de los sujetos en el
crticos asociados a los puntos de corte, no han sido punto de corte elegido, y por lo tanto el coeficiente ya
tratados a profundidad. Uno de ellos es el fingimiento de no es el mejor estimador del mismo. Hay varios modelos
los sntomas de burnout en relacin a los puntajes creados para estimar la confiabilidad en una prueba de
extremos (Peters, et al. 2006) y otro, es el error de medicin. criterio, basados en la consistencia de las desviaciones,
de las decisiones o de las estimaciones de dominio (Mateo,
Sobre el primero, Peters et al. (2006) hallaron que las 1992), pero hasta la fecha no se dispone de ninguna
diferencias entre examinados instruidos para exagerar evidencia de que hayan sido aplicados al MBI.

* mfernandeza1@usmp.pe
* * sikayax@yahoo.com.ar ISSN: 1729-4827 (Impresa)
LIBERABIT: Lima (Per) 20(2): 209-218, 2014 ISSN: 2233-7666 (Digital)
212 MANUEL FERNNDEZ ARATA

El uso de coeficientes de confiabilidad para pruebas relacionadas con el trabajo y est conformada por 16 tems
referidas a criterios derivadas de la teora clsica de los y tres subescalas: Agotamiento emocional (cinco tems, p.
tests para pruebas referidas a normas (PRN), ha sido ej., Me siento desgastado al final de la jornada laboral);
demostrado y estimulado desde hace varios aos atrs cinismo (cinco tems, p. ej., Dudo de la relevancia que
(Lopez, Mostafavi, Nibut & Smith, 2005; Lopez, Perez, tiene mi trabajo); y eficacia profesional (seis tems, p. ej.,
Smith & Castillo, 2007; Lopez, Quan & Carvajal, 2010). En mi opinin, soy bueno en mi trabajo). Todos los
Tambin, recientemente en la literatura de habla hispana tems obtienen un puntaje en una escala de frecuencia de
ha sido valorado como un mtodo complementario tan rango entre 0 (nunca) y 6 (diariamente).
importante como los coeficientes de confiabilidad para
PRN (Gempp & Saiz, 2014), cuando un instrumento permite El tem 13 no fue incluido en el puntaje de cinismo por
tambin una interpretacin criterial de sus puntajes. dos motivos: primero, porque los resultados previos en
poblacin nacional (Fernndez, Merino & Guimet, en
El objetivo del presente estudio es aplicar la metodologa prensa) e internacional (Bakker, Demerouti & Schaufeli,
de la confiabilidad de PRC en el MBI-GS (Maslach et al., 2002; Gil-Monte, 2002; Oramas, Gonzlez & Vergara, 2007;
1996), en el que se evaluar la precisin de la clasificacin Salanova & Schaufeli, 2000; Schutte, Toppinnen, Kalimo
relativa a los puntos de corte (Haertel, 2006), un aspecto & Schaufeli, 2000), consistentemente recomiendan no
relevante al MBI-GS cuando la interpretacin de sus usarlo porque no se ajusta empricamente a su dimensin;
puntajes sea criterial. Se utiliz el MBI-GS porque es una y, segundo, porque la correlacin tem-test en el presente
escala que permite evaluar el burnout en diversos grupos estudio fue cerca de cero.
ocupacionales, adems de ser breve comparada con sus
otras versiones, y parece ser de uso creciente en la Procedimiento
literatura cientfica y prctica profesional. La informacin recogida incluy tres grupos de
trabajadores: un grupo de 344 docentes de educacin
Mtodo
bsica y secundaria de 18 escuelas pblicas de Lima,
Participantes quienes fueron encuestados en sus propias instituciones
educativas; un segundo grupo de 254 trabajadores de nivel
El diseo para la eleccin de la muestra fue no
operativo de una Municipalidad limea, quienes
probabilstico pero se trat de obtener la mayor
respondieron la encuesta en su lugar de trabajo; y, un
heterogeneidad respecto a las ocupaciones. Est
tercer grupo de 143 trabajadores de un empresa
conformada por 741 trabajadores, 57.2% del sexo masculino
agroindustrial del norte del pas conformado por empleados
y 42.5% femenino (dos sujetos no respondieron). El 76%
administrativos y profesionales, quienes tambin
laboraba en instituciones pblicas y el resto en
respondieron el instrumento en su centro laboral. En los
instituciones privadas; en cuanto al estado civil, el 39%
tres casos se solicit permiso a los responsables de los
son solteros, el 43% casados, el 12.4% practica la unin
centros laborales para poder realizar el recojo de
libre, el 3.6% son divorciados y el 1.2% estn viudos (5
informacin en un lugar y horario apropiado. Tambin, se
sujetos no reportaron esta informacin). Con respecto al
les inform del propsito de la investigacin, as como de
tipo de ocupacin el 46.4% son docentes, el 34.3%
su participacin voluntaria en el estudio.
empleados manuales, 8.4% empleados administrativos, el
10.1% supervisores o jefes y el .8% directivos. La edad Se probaron cuatro presupuestos estadsticos
vari entre 18 y 69 aos (M = 39.31, DE = 11.13). univariados y de medicin relacionados con las escalas
del MBI-GS, antes de realizar el anlisis principal. En primer
Instrumento lugar, como los procedimientos matemticos para lograr el
La evaluacin del sndrome de burnout se realiz objetivo principal del presente estudio intentan extraer
mediante el Maslach Burnout Inventory General Survey conclusiones usando la media y la varianza, se tuvo
(MBI-GS; Maslach, et al., 1996), en su traduccin espaola especial cuidado en la deteccin de datos extremos
(Jurez et al., 2011). El MBI-GS mide respuestas (outliers). Por lo tanto, se aplic un procedimiento basado

* mfernandeza1@usmp.pe
* * sikayax@yahoo.com.ar ISSN: 1729-4827 (Impresa)
LIBERABIT: Lima (Per) 20(2): 209-218, 2014 ISSN: 2233-7666 (Digital)
ERROR DE MEDICIN ALREDEDOR DE LOS PUNTOS DE CORTE EN EL MBI-GS 213

en la desviacin absoluta de la mediana (Leys, Ley, Klein, puntaje que sirve como punto de corte. Se estimaron los
Bernard & Licata, 2013), dado que el mtodo usual del puntos de corte en niveles de puntuacin basados en
puntaje z es generalmente menos eficiente (Leys et al., cuartiles (25%, 50%, 75%), terciles (33% y 66%) y unidades
2013), especialmente en distribuciones altamente de desviacin estndar ( 1 DE, 2 DE).
asimtricas (Leys et al., 2013; Thompson, 2006).
Resultados
En segundo lugar, se model individualmente cada
escala del MBI-GS, mediante el anlisis de ecuaciones Anlisis preliminar
estructurales, aplicando el mtodo de Satorra y Bentler En esta seccin se verific la ausencia de puntajes
(1994), SB-2, y complementndolo con ndices de ajuste extremos, la unidimensionalidad, el modelo de medicin
(CFI 0.95 y SRM 0.08). No se us como indicador del subyacente y la ausencia de bimodalidad. En la
ajuste a RMSEA debido a que el pequeo grado de libertad identificacin de puntajes extremos, se detectaron 24
de cada modelo producira estimaciones artificialmente sujetos con ZMAD extremos en algunos de los puntajes del
RMSEA altas (Kenny, Kaniskan & McCoach, en prensa; MBI-GS; considerando que el efecto de removerlos es
Quintana & Maxwell, 1999). En tercer lugar, se prob el estadsticamente ms conveniente que retenerlos
modelo de medicin (paralelo y equivalente tau) en cada (Osborne & Overbay, 2004), estos sujetos fueron
subescala para asegurar la estimacin de confiabilidad ms separados de los datos. Respecto al modelamiento de las
apropiada, es decir, si era apropiado usar (Cronbach, subescalas, el resultado del ajuste de la dimensionalidad
1951) o el coeficiente Gilmer-Feldt, rgf (Gilmer & Feldt, 1983); se presenta en la Tabla 1. Exceptuando CIN, AE y EP
este ltimo es recomendado para modelos congenricos presentaron ajuste satisfactorio sin hacer re-
(Lopez et al., 2005; Lopez et al., 2007; Lopez et al., 2010). especificaciones. De acuerdo a los ndices de modificacin
En ltimo lugar, considerando que las distribuciones de Lagrange y la inspeccin de residuales, la subescala
bimodales son problemticas para obtener un punto medio CIN requiri modelar el trmino de error entre los tems 8
vlido y su efecto es directo sobre la exactitud del K2 y 9, lo que producira sustancial mejora al ajuste: SB-2
(Subkoviak, 1976), se examin el grado de bimodalidad (gl: 1) = 7.202, p < 0.01, CFI = 0.99, SRMR = 0.014. Sin
mediante la observacin de grficos de histogramas embargo, se omiti esta re-especificacin pues la
aplicndose un mtodo formal mediante el coeficiente de estimacin de la confiabilidad congenrica no inclua este
bimodalidad - CB (SAS Institute, 1989). trmino del error correlacionado en su definicin
matemtica.
Para la estimacin de la confiabilidad en el punto de
corte, se us el coeficiente K2 (Livingston, 1972), Por otro lado, en la misma Tabla 1 se presenta la
recomendado para aplicaciones como la del presente comparacin entre el modelo congenrico y equivalente
estudio (Gempp & Saiz, 2014; Lopez et al., 2005; Lopez et tau, estimado mediante la diferencia escalada de SB-2
al., 2007; Lopez et al., 2010). Adems de las ventajas de su (Satorra & Bentler, 2001). El modelo congenrico produce
clculo sencillo (Gempp & Saiz, 2014), parece estar una mejora estadsticamente significativa en todos los
dbilmente relacionado con la forma distribucional de los factores del MBI-GS, por lo tanto, parece representar mejor
puntajes (Rim & Bresler, 1974) y se deriva directamente el modelo de medicin subyacente al MBI-GS. En la Tabla
del modelo clsico de los tests (Gempp & Saiz, 2014; 2 se muestran los coeficientes de confiabilidad y se puede
Livingston, 1972, 1973). La ecuacin es la siguiente: ver que no hay una diferencia prctica entre los
coeficientes, an cuando las diferencias entre los modelos

2
rxx DE 2 X C evaluados fueron estadsticamente significativas.
K2 Adicionalmente, se observa que la remocin del tem 13

2
DE 2 X C produce una importante mejora en los coeficientes de
confiabilidad de CIN. Para tener consistencia con el
En la ecuacin, rxx es el coeficiente de consistencia modelamiento previo se us el coeficiente Gilmer-Feldt
interna, DE la desviacin estndar, X la media y C el (rgf).

* mfernandeza1@usmp.pe
* * sikayax@yahoo.com.ar ISSN: 1729-4827 (Impresa)
LIBERABIT: Lima (Per) 20(2): 209-218, 2014 ISSN: 2233-7666 (Digital)
214 MANUEL FERNNDEZ ARATA

Tabla 1
Resultados del ajuste de los modelos de medicin de cada subescala del MBI-GS
SB-2 (gl) CFI SRMR M DE
Agotamiento Emocional (AE) 8.25 5.70
Congenrico 60.124 (5) 0.97 0.043
Equivalente tau 73.465 (8) 0.97 0.054
Diferenciaa 17.247 (3)*** - -

Eficacia Profesional (EP) 29.88 5.348


Congenrico 28.49 (9)** 0.98 0.031
Equivalente tau 49.33 (13)** 0.96 0.060
Diferenciaa 17.861 (4)** - -

Cinismo (CIN) 3.66 4.156


Congenrico 81.205 (2)** 0.893 0.091
Equivalente tau 139.309 (4)** 0.817 0.107
Diferenciaa 62.600 (2)*** - -
a
Diferencia escalada (Satorra & Bentler, 2001). M: media. DE: desviacin estndar.

Tabla 2
Estimaciones de consistencia interna para los puntajes del MBI-GS
N tems M (DE) rii (mn, mx) r gf

Agotamiento emocional (AE) 5 8.25 (5.70) 0.513(0.383, 0.647) 0.841 0.841 0.843
Eficacia professional (EP) 6 29.88 (5.34) 0.355(0.241, 0.555) 0.768 0.771 0.754
Cinimos (CIN) con 13 5 - 0.296(0.090, 0.709) 0.678 0.692 0.633
Cinismo (CIN) sin tem 13 4 3.66 (1.15) 0.422(0.280, 0.709) 0.745 0.746 0.731
rii: correlacion inter-tem promedio. : coeficiente alfa. : coeficiente omega. rgf: coeficiente GIlmer-Feldt.

Confiabilidad en los puntos de corte


Para identificar si se construiran puntos de corte de edad covari bajo con AE (r = - 0.127, p < 0.01) y EP
acuerdo a alguna diferencia muestral importante, se (r = - 0.115, p < 0.01). Aunque estos resultados dan
examin y compar la funcin de distribucin emprica evidencias para no aceptar la hiptesis nula, son de
(prueba Kolmogorov-Smirnov, ZKS) de las escalas MBI-GS pequea magnitud, y por lo tanto, el anlisis principal se
respecto al sexo y tipo de profesin (profesores vs. no har considerando toda la muestra de estudio.
profesores); tambin, se examin la relacin entre la edad
y los puntajes del MBI-GS. Los resultados indican que Los coeficientes de confiabilidad criterial alrededor de
respecto al gnero se detectaron diferencias sistemticas los puntos de corte se presentan en la Tabla 3. Se observa
en las distribuciones de AE (ZKS = 2.067, p < 0.001, r = que, como era de esperar, los puntos de corte ms
0.15), IN (ZKS = 1.371, p < 0.05, r = 0.10) y EP (ZKS = 1.464, extremos obtienen menor error de medicin alrededor de
p < 0.01, r = 0.10). Sobre el tipo de profesin, nicamente ellos. En los mismos niveles de corte, el puntaje de CIN
se detectaron diferencias en CIN (ZKS = 1.896, p < 0.01, r = generalmente obtiene los coeficientes ms bajos
0.13) y EP (ZKS = 2.411, p < 0.01, r = 0.17). Asimismo, la comparados con AE y EP.

* mfernandeza1@usmp.pe
* * sikayax@yahoo.com.ar ISSN: 1729-4827 (Impresa)
LIBERABIT: Lima (Per) 20(2): 209-218, 2014 ISSN: 2233-7666 (Digital)
ERROR DE MEDICIN ALREDEDOR DE LOS PUNTOS DE CORTE EN EL MBI-GS 215

Tabla 3
Confiabilidad criterial en el nvel de los puntos de corte

Agotamiento emocional Eficacia Profesional Cinismo


(AE) (EP) (CIN)
Puntaje K2 Puntaje K2 Puntaje K2
PC Percentiles
5 1 0.939 19 0.955 0 0.857
25 4 0.898 27 0.822 0 0.857
33 5 0.880 29 0.777 1 0.820
50 7 0.848 31 0.781 2 0.781
66 10 0.855 33 0.829 5 0.770
75 12 0.889 34 0.856 6 0.807
95 15 0.934 36 0.901 12 0.949
PC DE
-1DE 2 (12%) 0.928 24 (13%) 0.896 0 (16%) 0.857
+1DE 14 (84%) 0.921 36 (93) 0.901 8 (85%) 0.879
Desviacin estndar. PC: puntos de corte. K2: coeficiente de Livington.

AE es la escala que muestra mejor confiabilidad. Las pruebas referidas a criterios, pues el uso de puntos de corte
escalas del MBI-GS, aunque generalmente producen que identifica a este tipo de pruebas puede servir para
elevadas confiabilidades criteriales alrededor de los puntos interpretar el MBI.
de corte, exhiben alguna variabilidad y en consecuencia
el error de medicin tambin tiende a ser variable. Los resultados indican que los puntos de corte ms
extremos obtienen confiabilidades ms altas, satisfaciendo
Discusin el criterio de > 0.90 indicado por Nunnally y Bernstein
(1995) cuando se refieren a la intolerancia de los errores
Las advertencias declaradas en el manual sobre los de medicin en aplicaciones clnicas, en las decisiones
puntos de corte (Maslach et al., 1996) parece que no han sobre los sujetos evaluados. Efectivamente, las
evitado que un nmero de investigadores (p. ej., en Per, clasificaciones ms extremas pueden proveer no solo de
Arias & Jimnez, 2013; Dueas, Merma & Ucharico, 2003; estimaciones ms confiables en trminos del mtodo K2,
Fernndez, 2002; Gamonal, Garca & Silva, 2008; Ponce, sino tambin covariaciones ms altas con criterios
Bulnes, Aliaga, Atalaya & Huertas, 2005) los usen para desadaptativos; por ejemplo, los cuartiles ms extremos
identificar los casos que padecen burnout entre aquellos de despersonalizacin en el MBI-HSS (Maslach et al., 1996)
que no lo experimentan, y para establecer la posicin del se relacionan fuertemente con la frecuencia de prcticas
sujeto relativo a la distribucin de la muestra de subptimas de cuidado a pacientes (Shanafelt, Bradley,
estandarizacin para propsitos diagnsticos. El mismo Wipf & Back, 2002). Por lo tanto, una adecuada
manual tambin no aconseja el uso del puntaje combinacin de evidencias sobre la confiabilidad en el
transformado en categoras para identificar los niveles de punto de corte elegido y su efectividad para clasificar
burnout como usualmente se realiza en la prctica, y en sujetos daran el respaldo que se requiere para usar un
general, el uso de los puntajes del MBI para propsitos especfico punto de corte en el MBI-GS.
diagnsticos. Sin embargo, esta recomendacin contra el
uso de puntos de corte es razonable en ausencia de La obtencin de la confiabilidad alrededor de los puntos
evidencias de validez y de error de medicin. El objetivo de corte demuestra que un apropiado enfoque para modelar
del presente trabajo fue obtener una apropiada estimacin el error de medicin debe ser incluido con el MBI-GS cuando
de la confiabilidad en el MBI-GS, dentro del marco de las se requiera usar, clasificar o diferenciar grupos. Sin embargo,

* mfernandeza1@usmp.pe
* * sikayax@yahoo.com.ar ISSN: 1729-4827 (Impresa)
LIBERABIT: Lima (Per) 20(2): 209-218, 2014 ISSN: 2233-7666 (Digital)
216 MANUEL FERNNDEZ ARATA

esto no resuelve el problema de la validez externa de los En segundo lugar, debido a la sensibilidad de K2 a los
puntos de corte elegidos, pues en ausencia de resultados cambios en la relacin media-PC (Marshall & Haertel, 1975),
diagnsticos externos, habra poco respaldo para usarlos. las confiabilidades criteriales obtenidas no podran ser
Esto significa que ambas informaciones psicomtricas, la generalizables a otros grupos a menos que se compruebe
confiabilidad y la validez, no son intercambiables para que las diferencias de media entre grupos sean de poca
valorar el uso de puntos de corte en el MBI-GS. importancia prctica. Esto tambin se aplica a las diferencias
entre los coeficientes de consistencia interna obtenidas en
Del mismo modo en que las propiedades psicomtricas las mismas muestras de estudio, que pueden ser evaluados
no son necesariamente transferibles entre estudios, las mediante pruebas inferenciales (p. ej., Feldt & Brennan,
propiedades entre las escalas del MBI-GS tampoco lo son. 1989; Haertel, 2006). Por otro lado, hay otros mtodos
Esto se resalta por la relativa baja confiabilidad criterial y potentes de estimacin como los modelos basados en
normativa de CIN frente a AE y EP. Esto no parece una conocidas propiedades distribucionales, provenientes de la
limitacin de considerable magnitud si se toma el valor teora fuerte del puntaje verdadero, como beta-binomial o
absoluto de sus coeficientes que son mayores o iguales a beta-binomial de 4 parmetros, pero requieren
0.85 en los puntos de corte ms extremos; sin embargo, aproximaciones de alguno de sus parmetros que no son
seala el efecto acumulativo de la confiabilidad normativa apropiados para tems politmicos como el uso del
y el grado de ajuste estructural. Por lo tanto, CIN tender coeficiente KR-21 para el modelo beta-binomial de 4
a producir un mayor rango de variacin en las parmetros. Por lo tanto, los coeficientes derivados de
clasificaciones basadas en los puntos de corte comparado condiciones similares (p. ej., Subkokiav, 1976; Huynh, 1976),
con AE, que puede parecer un pequeo aumento en el error parecen inapropiados para los puntajes de este estudio.
de medicin pero que sera de especial cuidado cuando
se clasifique a los sujetos para decisiones crticas, como Un estudio ha reportado que K2 parece integrar las dos
recomendar intervencin recuperativa. tradiciones de medicin (criterial y normativa), y puede
ser ms til que otros tipos de estimacin (Downing &
En el proceso de establecer la confiabilidad criterial se Mehrens, 1978), por lo tanto, este mtodo parece la opcin
deben considerar dos aspectos metodolgicos: uno sobre ms apropiada para estimar la confiabilidad y construir
el modelamiento de medicin de cada subescala y otro bandas de error de medicin alrededor de los puntos de
sobre K2. En primer lugar, en la evaluacin del ajuste de corte del MBI-GS.
los modelos de medicin, se toler un tipo de
especificacin que puede ser comn en los resultados
SEM. Aunque la potencial re-especificacin era ptima de Referencias
acuerdo a los ndices de ajuste, la decisin de retenerlo Arias, W. & Jimnez, B. (2013). Sndrome de burnout en
estuvo de acuerdo con Chen, Curran, Bollen, Kirby y docentes de educacin bsica regular de Arequipa. Educacin,
22(42), 53-76.
Paxton (2008), en que algn grado de especificacin
impropia puede ser tolerado, y se evit capitalizar el Bakker, A. B., Demerouti, E. & Schaufeli, W. B. (2002). Validation
of the Maslach Burnout Inventory - General Survey: An
pequeo nmero de variables en cada modelamiento. Sin Internet study. Anxiety, Stress, and Coping, 15, 245-260.
embargo, esto puede aumentar espuriamente los
Brenninkmeijer, V. & Van Yperen, N. (2003). How to conduct
coeficientes de confiabilidad como (Komaroff, 1997; research on burnout: advantages and disadvantages of a
Zimmerman, Zumbo & Lalonde, 1993) y razonablemente, unidimensional approach in burnout research. Occupational
tambin al coeficiente rgf o disminuirlos, como ocurrira con and Environmental Medicine, 60, 16-20.
los coeficientes basados en el anlisis factorial (Lucke, Chen, F., Curran, P. J., Bollen, K. A., Kirby, J. & Paxton, P. (2008).
2005). En el futuro se requerir una modificacin al rgf para An empirical evaluation of the use of fixed cutoff points in
RMSEA Test Statistic in Structural Equation Models.
incluir en su formulacin matemtica el trmino
Sociological Methods and Resesarch, 36(4), 462-494.
correspondiente a la covariacin de los errores, tal como
Cronbach, L. J. (1951). Coefficient alpha and the internal
ocurre con la modificacin del coeficiente en Komaroff structure of tests. Psychometrika, 16(3), 297-334.
(1997) o Rae (2006).

* mfernandeza1@usmp.pe
* * sikayax@yahoo.com.ar ISSN: 1729-4827 (Impresa)
LIBERABIT: Lima (Per) 20(2): 209-218, 2014 ISSN: 2233-7666 (Digital)
ERROR DE MEDICIN ALREDEDOR DE LOS PUNTOS DE CORTE EN EL MBI-GS 217

Downing, S. M. & Mehrens, W. A. (marzo,1978). Six single- Golembiewski, R. T., Munzenrider, R. F. & Carter, D. (1983).
administration reliability coefficients for criterion-referenced Phases of progressive burnout and their work site covariants:
tests: A comparative study. Paper presented at the Annual Critical issues in OD research and praxis. Journal of Applied
Meeting of the American Educational Research Association, Behavioral Science, 19(4), 461-481.
62nd, Toronto, Ontario, Canada. Haertel, E. H. (2006). Reliability. In R. L. Brennan (Ed.),
Dueas, M., Merma, L. & Ucharico, R. (2003). Prevalencia de Educational measurement (4th ed., pp. 65-110). Westport,
Burnout en mdicos de la ciudad de Tacna. Ciencia e CT: American Council on Education/Praeger.
Investigacin Mdica Estudiantil Latinoamericana, 8(1), 33-37. Huynh, H. (1976). On the reliability of decisions in domain-
Dyrbye, L. N., West, C. P. & Shanafelt, T. D. (2009). Defining referenced testing. Journal of Educational Measurement, 13,
burnout as a dichotomous variable. Journal of General 253-264
Internal Medicine, 24(3), 440. ICD-10 (1994). International classification of diseases. Ginebra:
Feldt, L. S. & Brennan, R. (1989). Reliability. En R. L. Linn World Health Organization.
(Ed.), Educational measurement (3rd ed., pp. 105-146). New Jurez-Garca, A., Garca, J., Camacho, A., Gmez, V., Vera, A.,
York: Macmillan. Fernndez, M. & Garca, I. (2011). Traduccin y adaptacin
Fernndez, M. (2002). Desgaste psquico en profesores de del MBI GS en poblacin latina. Documento no publicado.
primaria de Lima Metropolitana. Persona, 5, 27-66. Kenny, D. A., Kaniskan, B. & McCoach, D. B. (en prensa). The
Fernndez, M. (2002). Realidad psicosocial del maestro de primaria. performance of RMSEA in models with small degrees of
Lima: Universidad de Lima, Fondo de Desarrollo Editorial. freedom. Sociological Methods & Research.
Fernndez, M. (2008). Burnout, autoeficacia y estrs en Kleijweg, J. H., Verbraak, M. J. & Van Dijk, M. K. (2013). The
Maestros Peruanos: Tres Estudios Fcticos. Ciencia & clinical utility of the Maslach Burnout Inventory in a clinical
Trabajo, 10(30), 120-125. population. Psychological Assessment, 25(2), 435-441.
Fernndez, M. (2010). El estrs laboral en los peruanos: hallazgos Komaroff, E. (1997). Effect of simultaneous violations of
recientes. Teora e investigacin en Psicologa, 19, 37-59. essential tau equivalence and uncorrelated errors on
Fernndez, M., Merino, C. & Guimet, M. (en prensa). coefficient alpha. Applied Psychological Measurement, 21,
Propiedades psicomtricas del Maslach Burnout Inventory- 337-348.
General Survey en una muestra de docentes de Lima, Per. Leys, C., Ley, C., Klein, O., Bernard, P. & Licata, L. (2013).
En R. Len (Ed.), Libro en Homenaje al Dr. Reynaldo Detecting outliers: Do not use standard deviation around the
Alarcn. Lima: Universidad Ricardo Palma. mean, use absolute deviation around the median. Journal of
Gamonal, Y., Garca, C. & Silva, Z. (2008). Sndrome de Burnout Experimental Social Psychology, 49(4), 764-766.
en el profesional de enfermera que labora en reas crticas. Lindblom, K. M., Linton, S. J., Fedeli, C. & Bryngelsson, I. L.
Revista de Enfermera Herediana, 10(1), 33-39. (2006). Burnout in the working population: Relations to
Gempp, R. & Saiz, J. L. (2014). El coeficiente K2 de Livingston psychosocial work factors. International Journal of
y la fiabilidad de una decisin dicotmica en un test Behavioral Medicine, 13(1), 51-59.
psicolgico. Universitas Psychologica, 13(1), 217-226. Livingston, S. A. (1972). Criterion-referenced applications of
Gilmer, J. S. & Feldt, L. S. (1983). Reliability estimations for a test classical test theory. Journal of Educational Measurement,
with parts of unknown lengths. Psychometrika, 48, 99-111. 9(1), 13-26.
Gil-Monte, P. R. (2002). Validez factorial de la adaptacin al Livingston, S. A. (1973). A note on the interpretation of the
espaol del Maslach Burnout Inventory-General Survey. criterion-referenced reliability coefficient. Journal of
Salud pblica de Mxico, 44(1), 36. Educational Measurement, 10(4), 311.
Gil-Monte, P. R. (2004). La evaluacin del sndrome de Llaja, V., Sarria, C. & Garca, P. (2007). Manual Inventario
quemarse por el trabajo (burnout) en centros para Burnout-Muestra Peruana. Lima: Pinedo.
personas con discapacidad: Construccin y validacin test- Lopez, M. C., Mostafavi, B., Nibut, L. P. & Smith, W. E. (2005).
restest del Cuestionario para la Evaluacin del Sndrome Psychometric properties of the folstein mini-mental state
de Quemarse por el Trabajo (CESQT-versin PD). examination. Assessment, 12(2), 137-144.
Memoria anual no publicada del Proyecto de Investigacin Lopez, M. N., Perez, J. J., Smith, W. E. & Castillo, W. (2007).
Sd. Tc./226.04 FA/cm. Psychometric properties of the Bender Gestalt Test using
Gil-Monte, P., Carretero, N., Desamparados, M. & Nez- Lacks version of the Hutt-Briskin Scoring System. Applied
Romn, E. (2005). Prevalencia del sndrome de quemarse por Neuropsychology, 14(4), 284-290.
el trabajo (burnout) en monitores de taller para personas con Lopez, M. N., Quan, N. M. & Carvajal, P. M. (2010). A
discapacidad. Revista de Psicologa del Trabajo y de las psychometric study of the Geriatric Depression Scale.
Organizaciones, 21(1-2), 107-123. European Journal of Psychological Assessment, 26(1), 55-60.

* mfernandeza1@usmp.pe
* * sikayax@yahoo.com.ar ISSN: 1729-4827 (Impresa)
LIBERABIT: Lima (Per) 20(2): 209-218, 2014 ISSN: 2233-7666 (Digital)
218 MANUEL FERNNDEZ ARATA

Lucke, J. F. (2005). Rassling the Hog: the influence of Salanova, M. & Schaufeli, W. B. (2000). Exposure to information
correlated item error on internal consistency, classical technologies and its relation to burnout. Behavior &
reliability, and congeneric reliability. Applied Psychological Information Technology, 19, 385-392.
Measurement, 29(2), 106-125. SAS Institute Inc. (1989). SAS/STAT users guide. Cary, NC:
Marshall, J. L. & Haertel, E. H. (abril, 1975). A single- Author.
administration reliability index for criterion-referenced tests: Satorra, A. & Bentler, P. M. (1994). Corrections to test statistics
The mean split-half coefficient of agreement. Reporte and standard errors in covariance structure analysis. En A.
presentado at the Annual Meeting of the American von Eye & C. C. Clogg (Eds.), Latent variables analysis:
Educational Research Association, Washington, DC. Applications for developmental research (pp. 399-419).
Maslach, C., Jackson, S. E. & Leiter, M. P. (1996). Maslach Thousand Oaks.
Burnout Inventory Manual, 3rd ed. Palo Alto, CA: Consulting Satorra, A. & Bentler, P. M. (2001). A scaled difference chi-
Psychologists Press. square test statistic for moment structure analysis.
Maslach, C. & Leiter, M. P. (2008). Early predictors of job burnout Psychometrika, 66(4), 507-514.
and engagement. Journal of Applied Psychology, 93, 498-512. Schaufeli, W. B. & Van Dierendonk, D. (1995). A cautionary note
Mateo, J. (1992). La fiabilidad y la validez desde la perspectiva about the cross-national and clinical validity of cut-off points
criterial. En E. Abalde & J. Muoz (Coord.), Metodologa for the Maslach Burnout Inventory. Psychological Reports,
educativa I. Xornadas de Metodoloxa de Investigacin 76, 1083-1090.
Educativa (pp. 77-86). A Corua: Universidade da Corua. Schaufeli, W. B. & Enzmann, D. (1998). The burnout companion
Nunnally, J. C. & Bernstein, I. J. (1995). Teora psicomtrica to study and practice: A critical analysis. Londres: Taylos &
(3 ed). Mxico, DF: McGraw-Hill Latinomericana. Francis.
Olivares, V. & Gil-Monte, P. (2009). Anlisis de las principales Schaufeli, W. B., Bakker, A., Schaap, C., Kladler, A. & Hoogduin,
fortalezas y debilidades del Maslach Burnout Inventory C. A. L. (2001). On the clinical validity of the Maslach
(MBI). Ciencia & Trabajo, 11(33), 160-167. Burnout Inventory and the Burnout Measure. Psychology
Oramas, A., Gonzlez, A. & Vergara, A. (2007). El desgaste & Health, 16, 565-82.
profesional. Evaluacin y factorializacin del MBI-GS. Schaufeli, W. B., Leiter, M. P. & Maslach, C. (2009). Burnout:
Revista Cubana de Salud y Trabajo, 8(1), 37-45. 35 years of research and practice. Career Development
Osborne, J. W. & Overbay, A. (2004). The power of outliers International, 14(3), 204-220.
(and why researchers should always check for them). Schutte, N., Toppinnen, S., Kalimo, R. & Schaufeli, W. B. (2000).
Practical Assessment, Research & Evaluation, 9(6). The factorial validity of the Maslach Burnout Inventory
Recuperado de http://PAREonline.net/getvn.asp?v=9&n=6 General Survey across occupational groups and nations.
Peters, M. J. V., Jelicic, M., Heij, C. D. H. & Merckelbach, H. Journal of Occupational and Organizational Psychology, 73,
(2006). Detection of feigned burnout symptoms using 53-66.
standard clinical questionnaires. The German Journal of Shanafelt, T. D., Bradley, K. A., Wipf, J. E. & Back, A. L. (2002).
Psychiatry, 9(1), 10-16. Recuperado de http://www.gjpsy.uni- Burnout and self-reported patient care in an Internal
goettingen.de/gjp-article-peters.pdf Medicine Residency Program. Annals of Internal Medicine,
Ponce, C., Bulnes, M., Aliaga, J., Atalaya, M. & Huertas, R. 136(5), 358-367.
(2005). El sndrome del quemado por estrs laboral asistencial Subkoviak, M. J. (1976). Estimating reliability from single
en grupos de docentes universitarios. Revista del Instituto administration of a criterio-referenced test. Journal of
de Investigaciones Psicolgicas, 8(2), 87-112. Educational Measurement, 13, 265-276.
Quintana, S. M. & Maxwell, S. E. (1999). Implications of recent Thompson, G. L. (2006). An SPSS implementation of the
developments in structural equation modeling for counseling nonrecursive outlier deletion procedure with shifting z score
psychology. The Counseling Psychologist, 27, 485-527. criterion (Van Selst & Jolicoeur, 1994). Journal Behavior
Rae, G. (2006). Correcting coefficient alpha for correlated errors: Research Methods, 38(2), 344-352.
Is Ka Lower Bound to Reliability? Applied Psychological Woolfolk, A. (2010). Psicologa Educativa (11 ed.). Mxico:
Measurement, 30, 56-59. Pearson Educacin.
Rim, E. & Bresler, S. (abril, 1974). Index of efficiency: An empirical Zimmerman, D. W., Zumbo, B. D. & Lalonde, C. (1993).
study of the two reliability coefficients for criterion-referenced Coefficient alpha as an estimate of reliability under violation
tests. Reporte presentado at a Joint Session of the American of two assumptions. Educational and Psychological
Educational Research Association and the National Council Measurement, 53, 33-49.
on Measurement in Education, Chicago, Illinois.
* Instituto de Investigacin de la Escuela Profesional de Psicologa, Universidad de San Martn de Porres, Per.

* mfernandeza1@usmp.pe
* * sikayax@yahoo.com.ar ISSN: 1729-4827 (Impresa)
LIBERABIT: Lima (Per) 20(2): 209-218, 2014 ISSN: 2233-7666 (Digital)