+Model

ARTICLE IN PRESS

GINE-374; No. of Pages 5

Clin Invest Gin Obst. 2013;xxx(xx):xxx---xxx

clnica e investigacin en

ginecologa y obstetricia
www.elsevier.es/gine

ORIGINAL

Creatinina en ujo vaginal para el diagnstico

de rotura prematura de membranas
A. Urdaneta-Garca, E. Reyna-Villasmil , D. Torres-Cepeda, J. Santos-Bolvar,
J. Mejia-Montilla y N. Reyna-Villasmil.
Servicio de Obstetricia y Ginecologa, Maternidad Dr. Nerio Belloso, Hospital Central Dr. Urquinaona,
Maracaibo, Estado Zulia, Venezuela
Recibido el 26 de febrero de 2013; aceptado el 31 de julio de 2013

PALABRAS CLAVE
Creatinina;
Rotura prematura
de membranas;
Lquido amnitico

Resumen
Objetivo: Establecer la ecacia diagnstica de la determinacin de creatinina en ujo vaginal
para el diagnstico de la rotura prematura de membranas.
Mtodos: Se realiz una investigacin de tipo prospectivo en una muestra de 270 embarazadas
que asistieron al Hospital Central Dr. Urquinaona. Los grupos consistieron en pacientes con
rotura prematura de membranas (grupo A: n = 135) y embarazadas con membranas ntegras
(grupo B: n = 135), consideradas como controles. Se evaluaron las caractersticas generales,
valores de creatinina en ujo vaginal y efectividad diagnstica.
Resultados: La edad gestacional al momento de la determinacin de las concentraciones de
creatinina en ujo vaginal fue de 32,9 1,6 semanas para el grupo A y 33,1 1,9 semanas para
el grupo B (p = ns). No se encontraron diferencias estadsticamente signicativas en la edad
materna ni en la frecuencia de paridad entre ambos grupos de tratamiento (p = ns). Las pacientes
del grupo A presentaron concentraciones signicativamente ms altas de creatinina en ujo
vaginal (1,09 0,35 mg/dl) comparadas con las embarazadas del grupo B (0,36 0,17 mg/dl, p
< 0,05). Un valor de corte de 0,45 mg/dl present un valor por debajo de la curva de 0,87 con
una sensibilidad del 78,3%, especicidad del 78,7%, valor predictivo positivo del 80,6% y valor
predictivo negativo del 76,4%.
Conclusin: La determinacin de las concentraciones de creatinina en el ujo vaginal es una
tcnica diagnstica til para la rotura prematura de membranas.
2013 Elsevier Espa
na, S.L. Todos los derechos reservados.

KEYWORDS

Creatinine in vaginal uid for the diagnosis of premature rupture of membranes

Creatinine;
Premature rupture
of membranes;
Amniotic uid

Abstract
Objective: To establish the diagnostic efcacy of determining creatinine concentrations in
vaginal uid for the diagnosis of premature rupture of membranes.

Autor para correspondencia.

Correo electrnico: sippenbauch@gmail.com (E. Reyna-Villasmil).

0210-573X/$ see front matter 2013 Elsevier Espa

na, S.L. Todos los derechos reservados.
http://dx.doi.org/10.1016/j.gine.2013.10.003

Cmo citar este artculo: Urdaneta-Garca A, et al. Creatinina en ujo vaginal para el diagnstico de rotura prematura
de membranas. Clin Invest Gin Obst. 2013. http://dx.doi.org/10.1016/j.gine.2013.10.003

+Model
GINE-374; No. of Pages 5

ARTICLE IN PRESS

A. Urdaneta-Garca et al
Methods: A prospective study was performed in a sample of 270 pregnant women attending
the Dr. Urquinaona Central Hospital. Group A consisted of patients with premature rupture of
membranes (n = 135) and group B of pregnant women with intact membranes (n = 135), considered as controls. We evaluated general characteristics, creatinine values in vaginal uid, and
diagnostic efcacy.
Results: Gestational age at creatinine determination in vaginal uid was 32.9 1.6 weeks in
group A and 33.1 1.9 weeks in group B (p = ns). There were no signicant differences in
maternal age or the frequency of parity between the 2 groups (p = ns). Creatinine concentrations in vaginal uid were signicantly higher in group A (1.09 0.35 mg/dl) than in group B
(0.36 0.17 mg/dl; P<.05). A cut-off point of 0.45 mg/dl showed an under the curve value of
0.87, with a sensitivity of 78.3%, a specicity of 78.7%, a positive predictive value of 80.6%,
and a negative predictive value of 76.4%.
Conclusions: Determination of creatinine concentrations in vaginal uid is a useful diagnostic
tool for premature rupture of membranes.
2013 Elsevier Espa
na, S.L. All rights reserved.

Introduccin
La rotura prematura de membranas (RPM) es denida como
la salida de lquido amnitico (LA) que comienza por lo
menos una hora antes de la aparicin del trabajo de parto a
cualquier edad gestacional1 . La forma de presentacin ms
comn es la presencia de LA en la vagina, seguida por la
prdida persistente e incontrolada, pero algunas pacientes
reportan prdida de peque
nas cantidades en forma intermitente o solo la sensacin de hmedad de la vulva2 .
En la actualidad se acepta que aproximadamente el 10%
de todos los embarazos estn complicados con la RPM y el
25% de ellas ocurren en embarazos pretrmino, los cuales
son responsables del 30% de los nacimientos prematuros2 .
Puede llevar a serias complicaciones para la madre, el feto y
el neonato (por ejemplo, infecciones, sea la causa o el resultado de la rotura). Tambin, existe un alto riesgo de parto
pretrmino, prolapso del cordn, nacimiento por cesrea y
desprendimiento prematuro de placenta1,2 .
La incapacidad de identicar a las pacientes con RPM
puede producir dicultades para la implementacin de
medidas obsttricas. El diagnstico de falsos positivos puede
llevar a intervenciones inadecuadas como hospitalizacin o
induccin del parto. Por lo tanto, es necesario establecer un
diagnstico denitivo sin retrasos en los casos inciertos. Sin
embargo, los mtodos y pruebas diagnsticas tradicionales
tienen limitaciones y no pueden ser aplicadas a todas las
pacientes con 100% de precisin3,4 .
La ausencia de una prueba no invasiva ideal para el
diagnstico de la RPM ha llevado a la bsqueda de procedimientos diagnsticos alternativos. En este contexto, existen
estudios relacionados con la deteccin de algunos marcadores bioqumicos en el uido vaginal, los cuales tienen
altas concentraciones en el LA pero bajas en los lquidos
vaginales. Esto incluye la gonadotropina corinica humana,
prolactina, bronectina fetal, alfafetoprotena, diaminooxidasa y protena I de unin del factor de crecimiento
similar a la insulina5,6 . La creatinina est presente en el LA
al igual que en la sangre y la orina tanto de la madre como
del feto. Sin embargo, estudios previos7---10 han reportado
diferentes valores de precisin diagnstica. En la literatura

existen pocos datos sobre la utilidad de la creatinina en el

diagnstico de RPM.
El objetivo de la investigacin fue establecer la ecacia diagnstica de la determinacin de creatinina en ujo
vaginal para el diagnstico de la RPM.

Materiales y mtodos
Esta investigacin fue de tipo prospectivo en el Hospital Central Dr. Urquinaona entre enero del 2010 y diciembre del
2012. La muestra fue probabilstica intencional de pacientes en las que se recolect la secrecin vaginal despus de
obtener la aprobacin del Comit de tica del hospital y el
consentimiento por escrito de las mujeres con embarazos
de 20 a 36 semanas. La edad gestacional fue establecida
por la fecha de ltima regla y conrmada por la evaluacin ecogrca antes de las 14 semanas. Todas las mujeres
seleccionadas presentaban embarazos simples.
Se excluy a las embarazadas con menos de 20 semanas
de embarazo, restriccin del crecimiento intrauterino del
feto, polihidramnios, alteraciones de la frecuencia cardiaca
fetal, anomalas fetales o embarazo postrmino, enfermedades crnicas (diabetes, hipertensin arterial crnica o
gestacional), diagnstico de parto pretrmino, presencia
de infeccin intrauterina (por ejemplo, corioamnionitis) o
materna activa, neoplasias, enfermedades inmunolgicas,
obesidad o que se negasen a participar en la investigacin.
As mismo, fueron excluidas las embarazadas con sangrado
y ujo vaginal patolgico y aquellas que se negaron a participar en el estudio.
Las pacientes fueron divididas en 2 grupos: grupo A o de
estudio, pacientes con RPM conrmada por acmulo de LA,
prueba de helecho y papel de nitrazina positiva y grupo B o
controles, pacientes sin RPM que fueron seleccionadas por
tener la misma edad gestacional, evaluadas en el Servicio
de Obstetricia y que asistieron a la consulta prenatal, sin
enfermedad ni complicaciones. Una vez seleccionadas las
pacientes para el estudio, se llen una cha de recoleccin
de datos que incluy: identicacin de la paciente, antecedentes personales y ginecoobsttricos, control prenatal,
edad de gestacin (por fecha de ltima regla o ecografa

Cmo citar este artculo: Urdaneta-Garca A, et al. Creatinina en ujo vaginal para el diagnstico de rotura prematura
de membranas. Clin Invest Gin Obst. 2013. http://dx.doi.org/10.1016/j.gine.2013.10.003

+Model
GINE-374; No. of Pages 5

ARTICLE IN PRESS

Creatinina en ujo vaginal para el diagnstico de rotura prematura de membranas

Tabla 1

Caractersticas generales
Grupo A (casos) n = 135

Grupo B (controles) n = 135

Edad materna (a
nos)
Edad gestacional al momento del examen (semanas)

25,6 7,6
32,9 1,6

26,5 6,7
33,1 1,9

ns
ns

Paridad, n (%)
0
1
2

42 (31,1)
57 (42,2)
36 (26,7)

51 (37,7)
61 (45,2)
23 (17,0)

ns

Resultados
Se seleccion a un total de 270 embarazadas de las cuales
en el grupo A se coloc a las pacientes con RPM o casos
(grupo A: n = 135) y las embarazadas que fueron seleccionadas como controles (grupo B: n = 135). Las caractersticas de
ambos grupos se muestran en la tabla 1. La edad gestacional
al momento de la determinacin de las concentraciones de
creatinina en ujo vaginal fue de 32,9 1,6 semanas para el
grupo A y 33,1 1,9 semanas para el grupo B (p = ns). No se
encontraron diferencias estadsticamente signicativas en
la edad materna ni en la frecuencia de paridad entre ambos
grupos de tratamiento (p = ns).
En la tabla 2 se muestran los parmetros de laboratorio
en ambos grupos. No se encontraron diferencias estadsticamente signicativas en los valores de cuenta blanca
ni en las concentraciones de creatinina srica materna
(p = ns). Las pacientes del grupo A presentaron concentraciones signicativamente ms altas de creatinina en ujo

1,0

0,8

Sensibilidad

del primer trimestre) y concentraciones de creatinina en

ujo vaginal. Todos los procedimientos y las evaluaciones
ecogrcas fueron realizados por un nico investigador para
eliminar las diferencias interobservador.
Para la obtencin de la muestra de ujo vaginal, despus
de conrmar la ausencia de sangre en la vagina, esta fue
limpiada con una gasa estril y se coloc un espculo estril
en vagina. Se procedi a irrigar el fondo de saco vaginal
posterior con 3 ml de solucin siolgica estril usando una
jeringa de 10 ml; inmediatamente, con la misma jeringa,
se aspir todo el lquido, el cual se deposit en un tubo de
ensayo estril tapado. La muestra fue centrifugada de inmediato a 1.750 g por 5 min y fue almacenada a ---20 C hasta
que se determin la concentracin de creatinina en forma
cuantitativa. Los resultados obtenidos se expresaron en
mg/dl. Todas las muestras de LA fueron estudiadas
en un mismo laboratorio usando la misma tcnica.
Los valores obtenidos se presentaron como promedio desviacin estndar. Se utiliz la prueba de la U de
Mann-Whitney para comparar las variables continuas. Los
coecientes de correlacin entre las concentraciones de
creatinina vaginal y los valores de cuenta blanca y creatinina srica se evaluaron usando la prueba de Spearman.
La precisin de la creatinina vaginal para el diagnstico
de preeclampsia se presenta en funcin de la sensibilidad, la especicidad, el valor predictivo positivo, el valor
predictivo negativo y la precisin. Se utiliz el anlisis
operador-receptor para determinar el mejor valor de corte.
Se consider p < 0,05 como estadsticamente signicativa.

0,6

0,4
ABC = 0,87
0,2

0,0
0,0

0,2

0,4

0,6

0,8

1,0

1 - Especificidad

Figura 1 Curva operador-receptor para las concentraciones

de creatinina en ujo vaginal en el diagnstico de rotura prematura de membranas.

vaginal (1,09 0,35 mg/dl) comparadas con las embarazadas del grupo B (0,36 0,17 mg/dl; p < 0,05). No se
encontraron correlaciones entre las concentraciones de
creatinina srica materna y creatinina en el ujo vaginal
en ambos grupos (r = 0,050; p = ns), ni en las pacientes en el
grupo A (r = ---0,103; p = ns).
En la gura 1 se muestra la curva operador receptor
para la precisin diagnstica de la creatinina en el ujo
vaginal para el diagnstico de RPM. Un valor de corte de
0,45 mg/dl present un valor por debajo de la curva de 0,87
con una sensibilidad del 78,3% (intervalo de conanza [IC]
del 95%; 61,8-90,8%), especicidad del 78,7% (IC del 95%;
61,3-91,0%), valor predictivo positivo del 80,6% (IC del 95%;
63,9-91,8%) y valor predictivo negativo del 76,4% (IC del 95%;
58,8-89,2%).

Discusin
La RPM es un problema obsttrico que complica aproximadamente el 10% de todos los embarazos. Puede llevar a serias
consecuencias a la madre y al feto. Por lo tanto, el correcto
y rpido diagnstico tiene gran importancia. La RPM no es un
diagnstico que pueda ser realizado de forma causal y nunca
debe ser completamente excluido en cualquier paciente con
oligohidramnios o sensacin permanente de prdida de LA2 .
Las manifestaciones clnicas de la paciente son tiles
pero no conables. La visualizacin de LA en la vagina
durante la especuloscopia es diagnstica con un 100% de

Cmo citar este artculo: Urdaneta-Garca A, et al. Creatinina en ujo vaginal para el diagnstico de rotura prematura
de membranas. Clin Invest Gin Obst. 2013. http://dx.doi.org/10.1016/j.gine.2013.10.003

+Model
GINE-374; No. of Pages 5

ARTICLE IN PRESS

A. Urdaneta-Garca et al
Tabla 2

Parmetros de laboratorio

Cuenta blanca (x mm )
Creatinina srica materna (mg/dl)
Creatinina en ujo vaginal (mg/dl)

Grupo A casos (n = 135)

Grupo B controles (n = 135)

9.072 1.937
0,71 0,12
1,09 0,35

8.729 1.696
0,67 0,11
0,36 0,17

ns
ns
< 0,05

precisin, pero la ausencia de visualizacin no excluye el

diagnstico3 . En casos de rotura prolongada u oligohidramnios, el LA no se observa en la vagina en todos los casos. Por
lo tanto, la tasa de falsos positivos de este mtodo es alta.
El patrn de cristalizacin del LA como prueba diagnstica de la RPM tiene una tasa de falsos positivos superior al
30%, debido a que la cristalizacin del moco cervical puede
interferir con el patrn del LA4 .
La determinacin ecogrca del ndice de LA es til pero
no conable, debido a que el oligohidramnios de cualquier
origen no puede ser diferenciado fcilmente de la disminucin del volumen secundario a la RPM. Tambin, en casos de
roturas peque
nas o fuga de LA, el volumen puede ser normal. Por lo tanto, la tasa de falsos positivos y falsos negativos
puede ser alta1 .
Las tcnicas de coloracin citolgicas para la identicacin del lanugo fetal, glbulos de grasa y clulas escamosas
son pruebas diagnsticas que ya casi no se usan debido a
que toman tiempo, son tcnicamente difciles, requieren
de elementos como colorantes y microscopios que no se
encuentran en todos los centros clnicos y la tasa de falsos
negativos es alta11 . En forma similar, la inyeccin de agentes colorantes para el diagnstico de RPM no es un mtodo
de eleccin, debido a que toma tiempo y algunos agentes
pueden tener efectos adversos sobre el feto12 .
La ausencia de una prueba ideal no invasiva para el
diagnstico de la RPM ha llevado a la bsqueda de mtodos alternativos. En este contexto, se han multiplicado los
estudios relacionados con la deteccin de marcadores bioqumicos en el ujo vaginal pero con baja concentracin
en la vagina, como por ejemplo bronectina fetal, alfafetoprotena, interleucina 6, protena I de unin del factor
de crecimiento similar a la insulina, prolactina, gonadotropina corinica y creatinina13 . Desafortunadamente, la
bronectina fetal estaba presente en las secreciones vaginales en cerca del 50% de las mujeres con parto pretrmino
y membranas intactas6 . Por otra parte, se encontr que
la protena I de unin del factor de crecimiento similar
a la insulina en las secreciones vaginales tena baja sensibilidad y valor predictivo negativo en la deteccin de
la RPM5 . Todos los otros marcadores tienen ventajas y
desventajas5,6 .
Una prueba de laboratorio ideal debe ser aceptable para
la paciente y el mdico. La velocidad en la obtencin de
los resultados de la prueba tambin es de gran importancia. Existen mltiples publicaciones relacionadas con las
concentraciones de prolactina, gonadotropina corinica y
alfafetoprotena en el ujo vaginal en casos de RPM. A pesar
de las mejoras en los valores diagnsticos, estos no son utilizados en forma rutinaria debido a que ambos mtodos de
deteccin (ELISA y radioinmunoensayo) descritos en estos
estudios, generalmente, son procesos que lleva bastante
tiempo realizar14 .

En la literatura existen pocos estudios relacionados con

la deteccin de creatinina en el ujo vaginal en pacientes con RPM. El anlisis de la creatinina en el LA permite
una evaluacin de la maduracin y la funcin renal. Se ha
reportado que las embarazadas en el primer trimestre tienen concentraciones promedios de creatinina en LA y suero
similares15 . Las concentraciones de creatinina en el LA se
incrementan gradualmente entre las 20 y las 32 semanas
y ms rpidamente despus de ese punto, cuando alcanza
concentraciones de 2 a 4 veces ms altas que en el suero
materno14 . Las concentraciones de creatinina en el LA que
mejor representan la madurez fetal son de 1,5 a 2,0 mg/dl.
Una concentracin de creatinina de 1,75 mg/dl o ms se
correlaciona signicativamente con una edad gestacional de
37 semanas o ms16 . Por lo que se puede proponer que la
determinacin de la concentracin de creatinina no solo
sea usada en el diagnstico de RPM sino tambin como
una prueba de madurez fetal en casos de parto pretrmino.
La determinacin de creatinina en el ujo vaginal ha sido
utilizada en estudios clnicos para diagnosticar la RPM7---10 .
Li et al.7 demostraron que la determinacin de creatinina
era ms econmica y fcil de medir que la gonadotropina
corinica y la alfafetoprotena y pareca ser ms precisa
que la gonadotropina corinica. Gurbuz et al.8 reportaron
que la sensibilidad, especicidad, valor predictivo positivo
y negativo eran del 100% para la deteccin de la RPM con
un valor de corte de 0,12 mg/dl. Kafaliet al.9 encontraron
que la determinacin de creatinina tiene una sensibilidad,
especicidad, valor predictivo positivo y valor predictivo
negativo del 100% en la deteccin de RPM con un valor de
corte de 0,6 mg/dl. Zanjani et al.10 reportaron que un punto
de corte ptimo de 0,5 mg/dl tiene una sensibilidad, especicidad, valor predictivo positivo y negativo superior al 96%
y propusieron que las mediciones de creatinina vaginal era
un mtodo ms rpido y econmico y que tena unas ms
altas sensibilidad y especicidad para establecer un diagnstico preciso. En la presente investigacin, se determin
que un valor de corte para la creatinina en ujo vaginal es
0,45 mg/dl. La precisin diagnstica de este punto de corte
es similar al de estudios previos8---10 .
Este mtodo de diagnstico de RPM con la determinacin
de creatinina vaginal ofrece varias ventajas. El procedimiento se puede realizar fcilmente en cualquier ambiente
apropiado sin instrumentos especializados cuando se tienen
elementos para la determinacin de creatinina srica. Esto
da una tasa de deteccin conable y un costo razonable. Por
lo tanto, esta prueba puede reducir los tratamientos innecesarios cuando existan diagnsticos equivocados basados en
otros mtodos17 .
Se concluye que la determinacin de las concentraciones
de creatinina en el ujo vaginal es una tcnica diagnstica
til para la RPM.

Cmo citar este artculo: Urdaneta-Garca A, et al. Creatinina en ujo vaginal para el diagnstico de rotura prematura
de membranas. Clin Invest Gin Obst. 2013. http://dx.doi.org/10.1016/j.gine.2013.10.003

+Model
GINE-374; No. of Pages 5

ARTICLE IN PRESS

Creatinina en ujo vaginal para el diagnstico de rotura prematura de membranas

Conicto de intereses
Los autores declaran no tener ningn conicto de intereses.

Bibliografa
1. Marcellin L, Gofnet F. Are biological markers relevant for the
diagnosis and the prognosis of preterm premature rupture of
membranes (PPROM)? Clin Chem Lab Med. 2012;50:1015---9.
2. Mercer BM. Preterm premature rupture of the membranes: Diagnosis and management. Clin Perinatol. 2004;31:765---82.
3. Dickinson F, Soltani H. Nitrazine yellow and pre-labour rupture
of membranes. Pract Midwife. 2008;11:48---52.
4. Waters TP, Mercer B, Preterm. PROM: Prediction, prevention,
principles. Clin Obstet Gynecol. 2011;54:307---12.
5. Leitich H, Kaider A. Fetal bronectinhow useful is it in the
prediction of preterm birth? BJOG. 2003;110(Supp l 20):66---70.
6. Ni CY, Jia WX, Yi WM, Feng LH, Yu LZ. Practicability of using vaginal uid markers in detecting premature rupture of membranes.
Ann Clin Biochem. 2003;40 Pt 5:542---5.
7. Li HY, Chang TS. Vaginal uid creatinine, human chorionic
gonadotropin and alpha-fetoprotein levels for detecting premature rupture of membranes. Zhonghua Yi Xue Za Zhi (Taipei).
2000;63:686---90.
8. Gurbuz A, Karateke A, Kabaca C. Vaginal uid creatinine in
premature rupture of membranes. Int J Gynaecol Obstet.
2004;85:270---1.
9. Kafali H, Okszler C. Vaginal uid urea and creatinine in diagnosis of premature rupture of membranes. Arch Gynecol Obstet.
2007;275:157---60.

10. Zanjani MS, Haghighi L. Vaginal uid creatinine for the detection
of premature rupture of membranes. J Obstet Gynaecol Res.
2012;38:505---8.
11. Kishida T, Hirao A, Matsuura T, Katamine T, Yamada H, Sagawa T,
et al. Diagnosis of premature rupture of membranes with
an improved alpha-fetoprotein monoclonal antibody kit. Clin
Chem. 1995;41:1500---3.
12. Erdemoglu E, Mungan T. Signicance of detecting insulin-like
growth factor binding protein-1 in cervicovaginal secretions: Comparison with nitrazine test and amniotic uid
volume assessment. Acta Obstet Gynecol Scand. 2004;83:
622---6.
13. Cooper AL, Vermillion ST, Soper DE. Qualitative human chorionicgonadotropin testing of cervicovaginal washings for the
detection of preterm premature rupture of membranes. Am J
Obstet Gynecol. 2004;191:593---6.
14. Shahin M, Raslan H. Comparative study of three amniotic
uid markers in premature rupture of membranes: Prolactin,
beta subunit of human chorionic gonadotropin, and alphafetoprotein. GynecolObstet Invest. 2007;63:195---9.
15. Tydn O, Eriksson U, Agren H, Berne C. Estimation of
fetal maturity by amniotic uid cytology, creatinine, lecithin/sphingomyelin ratio and phosphatidylglycerol. Gynecol
Obstet Invest. 1983;16:317---26.
16. Oliveira FR, Barros EG, Magalhes JA. Biochemical prole of
amniotic uid for the assessment of fetal and renal development. Braz J Med Biol Res. 2002;35:215---22.
17. Kim YH, Park YW, Kwon HS, Kwon JY, Kim BJ. Vaginal uid
beta-human chorionic gonadotropin level in the diagnosis of
premature rupture of membranes. Acta Obstet Gynecol Scand.
2005;84:802---5.

Cmo citar este artculo: Urdaneta-Garca A, et al. Creatinina en ujo vaginal para el diagnstico de rotura prematura
de membranas. Clin Invest Gin Obst. 2013. http://dx.doi.org/10.1016/j.gine.2013.10.003