You are on page 1of 11

revisión

Modelo de funciones ejecutivas basado en análisis


factoriales en población infantil y escolar: metaanálisis
Javier Tirapu-Ustárroz, Esperanza Bausela-Herreras, Patricia Cordero-Andrés

Introducción. Las funciones ejecutivas se definen como un conjunto de habilidades implicadas en diversas actividades que Fundación Argibide (J. Tirapu-
Ustárroz). Área de Psicología Evolutiva
son novedosas para el individuo y que precisan una solución creativa. No es fácil su conceptualización ni la identificación y de la Educación; Departamento
de los factores que las configuran en la población infantil y escolar. de Ciencias de la Salud; Universidad
Pública de Navarra; Pamplona,
Objetivo. Analizar la estructura y los componentes de la función ejecutiva en población preescolar y escolar. Navarra (E. Bausela-Herreras).
Servicio de Psiquiatría; Hospital
Desarrollo. Se revisaron 35 artículos que utilizan diferentes enfoques de análisis factoriales para la extracción de los facto- Universitario Marqués de Valdecilla;
res. La probabilidad de ocurrencia de un estudio con tres factores en la etapa de 0 a 12 años es 1,44 veces superior a la de Santander, Cantabria, España
los estudios que se centran en otra estructura. La probabilidad de ocurrencia de un estudio que se centra en la dimensión (P. Cordero-Andrés).

de flexibilidad en la etapa de 0 a 12 años es 1,45 veces superior a la presencia de un estudio que se centra en cualquier Correspondencia:
otra dimensión. La asociación entre las diferentes estructuras y dimensiones analizadas con la edad con tau-b de Kendall Dr. Javier Tirapu Ustárroz.
Fundación Argibide. Iturrama, 7.
indica una asociación estadísticamente significativa entre estudios con tres factores y edad (tau = 0,29; p = 0,044) y flexi- E-31007 Pamplona (Navarra).
bilidad con la edad (tau = 0,37; p = 0,012).
E-mail:
Conclusiones. La diversidad de resultados obtenidos puede atribuirse y está en consonancia con la pluralidad de concep- javitirapu@ono.com
tualizaciones teóricas, pruebas empleadas y análisis estadísticos efectuados. Se puede concluir que actualización/memo-
Aceptado tras revisión externa:
ria de trabajo, inhibición y flexibilidad son los procesos ejecutivos más comúnmente encontrados en los modelos factoria- 16.05.18.
les de control ejecutivo en niños de preescolar y escolar.
Cómo citar este artículo:
Palabras clave. Flexibilidad. Funciones ejecutivas. Inhibición. Memoria de trabajo. Modelos factoriales. Tirapu-Ustárroz J, Bausela-Herreras E,
Cordero-Andrés P. Modelo de
funciones ejecutivas basado en
análisis factoriales en población
infantil y escolar: metaanálisis.
Introducción Uno de los problemas fundamentales en la eva- Rev Neurol 2018; 67: 215-25.

luación del funcionamiento ejecutivo se conoce con © 2018 Revista de Neurología


Las funciones ejecutivas se definen como un con- el nombre de ‘problema de las medidas impuras’
junto de habilidades que se hallan implicadas en la [9], al implicar la participación de otras funciones
generación, la supervisión, la regulación, la ejecu- cognitivas no ejecutivas, como las habilidades ver-
ción y el reajuste de conductas adecuadas para al- bales y visuoespaciales o la velocidad motora.
canzar objetivos complejos, especialmente los que Miyake et al [10] presentaron una forma de abor-
son novedosos para el individuo y que precisan una dar el problema de la impureza de la tarea consis-
solución creativa [1]. Sin embargo, a pesar de las tente en utilizar múltiples tareas para medir cada
múltiples definiciones y modelos teóricos [2,3] que componente de funcionamiento ejecutivo y adop-
tratan de clarificar su naturaleza, el concepto de tar un enfoque de variables latentes para extraer la
funciones ejecutivas continúa siendo vago [4] e in- varianza común a esas tareas.
cluso uno de los ‘misterios de la mente sin resolver’ El análisis factorial es un modelo estadístico que
[5]. Si atendemos a la naturaleza del constructo fun- representa las relaciones entre un conjunto de varia-
ciones ejecutivas, se pueden diferenciar dos postu- bles, y plantea que dichas relaciones pueden expli-
ras. Por un lado, los que defienden la existencia de carse a partir de una serie de variables no observa-
un constructo único adaptable a las demandas cam- bles (latentes) denominadas factores, con un núme-
biantes del medio ambiente, comparable al concep- ro de factores sustancialmente menor que el de varia-
to de factor de inteligencia general o factor g [6]. bles [11]. En el análisis factorial exploratorio (AFE),
Por otro lado, está la visión de las funciones ejecuti- el investigador analiza un conjunto de datos sin te-
vas como un sistema compuesto por múltiples pro- ner ninguna hipótesis previa acerca de su estructura,
cesos independientes, pero interrelacionados ínti- por lo que serán los resultados del análisis los que
mamente entre sí [7,8]. ofrezcan información al respecto. Sin embargo, el

www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225 215


J. Tirapu-Ustárroz, et al

Tabla I. Desarrollo funcional y estructural de los lóbulos frontales de 0 a 12 años [3].

Desarrollo neurológico Funciones ejecutivas frías Funciones ejecutivas cálidas

7-8 meses Sinaptogenia Primeras señales de memoria Es capaz de distinguir entre


Mielinización de trabajo e inhibición objetos animados e inanimados

12 meses Sinaptogenia – Atención focalizada


Mielinización

14 meses Sinaptogenia – Referencias sociales


Mielinización

2 años El cerebro pesa el 80% Mejoras en la inhibición Entendimiento de las


del cerebro adulto y memoria de trabajo situaciones de simulación

3 años Incremento del volumen Mejoras en el control inhibitorio Mejoras en la toma de


de la sustancia gris y blanca y en la atención hasta los 5 años decisiones afectivas en este año
Incremento del metabolismo

4 años Incremento del volumen Mejoras en la flexibilidad cognitiva Desarrolla con éxito las
de la sustancia gris y blanca tareas de la ‘falsa creencia’
Incremento del metabolismo

5 años Incremento del volumen Se producen ganancias en la memoria Tiene conciencia de que las creencias
de la sustancia gris y blanca de trabajo y en el desarrollo de estrategias pueden sostenerse sobre otras creencias
Incremento del metabolismo Empieza a planificar y a dirigir el
comportamiento hacia un objetivo

6 años Incremento del metabolismo – La teoría de la mente es tan


sofisticada como la del adulto

7 años Incremento del metabolismo – Entiende los conflictos


de los estados mentales

8 años Se produce un incremento de la Maduración de las habilidades Entiende las metáforas


sustancia blanca en áreas frontales de flexibilidad cognitiva y la decepción social
Mejoras en la inhibición, vigilancia
y atención sostenida hasta los 11 años

9 años Se produce un incremento de la Mejoras en la memoria y en Entiende las ‘meteduras de pata’


sustancia blanca en áreas frontales las estrategias de planificación que se desarrollan hasta los 11 años

10 años Se produce un incremento de la – –


sustancia blanca en áreas frontales

11 años Segunda oleada de desarrollo – –


cortical en las niñas

12 años Segunda oleada de desarrollo Incremento significativo de la capacidad de –


cortical en los niños dirigir el comportamiento hacia un objetivo

AFE no arroja luz sobre las importantes cuestiones prueba evaluando el ajuste de un modelo [12]. Este
conceptuales y de medición relativas a las funciones último se ha convertido en una de las herramientas
ejecutivas, porque no puede determinar el grado de más empleadas para tratar de solventar el problema
mejora en el ajuste del modelo que podría resultar de las medidas impuras, ya que permite identificar
de la inclusión de un factor adicional. En el análisis la estructura latente que subyace a la ejecución ob-
factorial confirmatorio (AFC) se plantean hipótesis servada en una prueba cognitiva [13]. Entre las ven-
bien especificadas (respecto al número de factores, tajas de esta aproximación destaca la posibilidad de
patrón de relaciones entre las variables y los facto- comparar varios modelos factoriales (por ejemplo,
res, y relaciones entre los factores) que se pondrán a unitario frente a multi­dimensional) y elaborar un

216 www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225


Modelo de funciones ejecutivas basado en análisis factoriales

Tabla II. Variables descriptivas de los estudios analizados. Figura. Diagrama de flujo de estudios incluidos en el análisis.

n %

ACP 3 8,6

AFC 25 71,4
Tipo de
análisis factorial
AFE 6 17,1

AFE + AFC 1 2,9

1 año 1 2,9

2 años 3 8,6

3 años 6 17,1

4 años 3 8,6

5 años 5 14,3
Edad de los
6 años 3 8,6
participantes
7 años 4 11,4

8 años 7 20,0

9 años 1 2,9 modelo previo sobre las demandas ejecutivas reque-


11 años 1 2,9
ridas por distintas pruebas que posteriormente será
sometido a análisis, así como analizar si un mismo
12 años 1 2,9 modelo factorial es aplicable a distintos sub­grupos,
por ejemplo, en función del sexo, la edad o el nivel
Un factor 13 37,1
socioeconómico [14].
Dos factores a 13 37,1 La estructura o configuración de las funciones
Número
de factores ejecutivas va cambiado a lo largo del ciclo vital [15,
Tres factores 4 11,4
16]. De Luca y Leventer [17] analizan el desarrollo
Cuatro factores 2 5,7 de las funciones ejecutivas en paralelismo al desa-
rrollo neurológico del sistema nervioso central, y
Inhibición 20 57,1 diferencian funciones ejecutivas hot (memoria de
Memoria de trabajo 18 51,4 trabajo e inhibición, por ejemplo) y cool (toma de de-
cisiones afectivas o demora de la gratificación) [18].
Flexibilidad 13 37,1 En términos generales, O’Toole et al [19] concluyen
Velocidad de procesamiento 2 5,7
que el rendimiento en las tareas ejecutivas frías
muestra unos incrementos significativos en la niñez
Planificación 2 5,7 más temprana, pero ese incremento no se produce
de igual forma en las tareas ejecutivas cálidas. En la
Dimensiones Fluidez 2 5,7
tabla I se presenta el desarrollo estructural y fun-
Atención 2 5,7 cional de los lóbulos frontales de 0 a 12 años según
el modelo propuesto por Zelazo et al [3].
Denominación 1 2,9
Pérez et al [20] realizan un análisis de cómo inte-
Conceptualización 1 2,9 ractúan y cambian sus relaciones durante el desa-
rrollo las tres dimensiones propuestas por Miyake
Supervisión 1 2,9 et al [10] (inhibición, flexibilidad y memoria de tra-
Monitorización 1 2,9 bajo), junto con otras dimensiones (planificación y
organización). El primer pico de incremento en la
ACP: análisis de componentes principales; AFC: análisis factorial confirmato- actividad prefrontal se produce a los 12 meses. El
rio; AFE: análisis factorial exploratorio. a Brydges [23] y Li et al [24] presen-
tan en sus estudios dos propuestas de estructuras factoriales.
segundo pico se produce a partir de los 4 años, ob-
servándose un aumento en el metabolismo del ló-

www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225 217


J. Tirapu-Ustárroz, et al

Tabla III. Características de los estudios incluidos en el metaanálisis.

Refs. Muestra Método Factores

2 años Gandolfi et al [29] 130 niños (60 de 24-32 meses; 70 de 36-48 meses) AFC Factor único: inhibición (respuesta y supresión de la interferencia)

Wiebe et al [49] 243 niños de 2,4-6 años AFC Factor único. Sin diferencias en la estructura factorial
en función del sexo ni en el nivel de educación materna

Bull et al [45] 186 niños de 2,4-6 años AFC Factor único común de control ejecutivo
(submuestra del estudio de Wiebe et al [49])

Caughy et al [30] 400 niños de 2 años y 6 meses AFC Modelo de cuatro factores: memoria de trabajo,
afroamericanos y latinos control inhibitorio, inhibición compleja de R, flexibilidad

3 años Wiebe et al [50] 228 niños de 3 años AFC Factor único común de control ejecutivo.
(un 42% en riesgo socioeconómico) Sin diferencias en función del sexo

Willoughby et al [52] 1.292 niños de 3 años (misma muestra que en el AFC Factor único común de control ejecutivo,
estudio de 2010 [51]). Estudio longitudinal de 3-5 años invariable a lo largo del tiempo

Lerner y Lonigan [59] 289 niños de 45-63 meses AFC Modelo de dos factores: memoria de trabajo y control inhibitorio.
(85% de la muestra de 4-5 años) Sin diferencias en estructura factorial en función del sexo o la edad

Carlson et al [63] 104 niños de 39-60 meses AFC Modelo de dos factores: tareas basadas
en el conflicto y tareas basadas en la demora

Loningan et al [26] 241 niños de 3-6 años AFC Modelo de dos factores: control inhibitorio y memoria de trabajo.
Este modelo se confirma para ambos grupos de niños: español e inglés

Welsh et al [40] 100 niños de 3-12 años ACP Modelo de tres factores: respuesta rápida y fluida,
ensayo y control de la impulsividad, y planificación

4 años Hughes et al [47] 191 niños evaluados con 4 y 6 años AFC Modelo unitario de funciones ejecutivas en ambos
momentos de evaluación. Invariable en función del sexo

Fuhs y Day [46] 132 niños de 43-63 meses evaluados en otoño AFC Factor único común de control ejecutivo
y primavera durante el curso académico en ambos momentos de la evaluación

Shing et al [27] Total: 263 niños de 4-14 años. n1: 4-6,7 años; AFC Modelo de dos factores: memoria
n2: 6,8-9,45 años; n3: 9,5-14,6 años de mantenimiento y control inhibitorio

5 años Willoughby et al [52] 1.036 niños de 5 años (misma muestra AFC Factor único común de control ejecutivo
que en el estudio de 2010 [51])

Monette et al [28] 275 niños de 5-7 años AFC Modelo de dos factores: inhibición, y flexibilidad y
memoria de trabajo. Sin diferencias en función del sexo

Van der Ven et al [60] 211 niños de 5,9-7,7 años AFC Modelo de dos factores: actualización e inhibición/alternancia.
Dos factores de velocidad (verbal y motora)

Van des Sluis et al [58] 172 niños de 4.º y 5.º grado AFC Modelo de dos factores: actualización y flexibilidad.
(edad media: 128 meses) Factor de denominación en el que se incluyen todas las pruebas utilizadas

Viterbori et al [61] 175 niños de 63-75 meses AFC Modelo de dos factores: inhibición y memoria de trabajo/flexibilidad cognitiva

bulo frontal en este período. El tercer período álgi- El presente estudio tiene como objetivo examinar
do se produce en torno a los 8 años y dura hasta los las estructuras subyacentes a la configuración de las
11-12 años. Los niños de 12 años ya tienen una or- funciones ejecutivas en los primeros momentos del
ganización cognitiva muy cercana a la de los adul- desarrollo (0-12 años) y conocer qué dimensión o
tos; sin embargo, el desarrollo completo de la fun- dimensiones están frecuentemente presentes en este
ción se alcanzaría entre los 20 y 29 años. rango de edad. En este estudio se desarrollará un aná­

218 www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225


Modelo de funciones ejecutivas basado en análisis factoriales

Tabla III. Características de los estudios incluidos en el metaanálisis (cont.).

Refs. Muestra Método Factores

6 años Clark y Woodward [31] n1: cohorte de 110 niños pretérmino (< 33 semanas) AFC Modelo de factor único para la muestra global y para los dos grupos
evaluados con 6 años; n2: cohorte de 113 niños
a término evaluados con 6 años

Lee et al [32] 163 niños de 6 años (nivel socioeconómico bajo-medio) AFC Modelo de dos factores: actualización e inhibición/alternancia

Brocki y Bohlin [41] 92 niños de 6-13 años ACP Modelo de tres factores: desinhibición, velocidad/arousal
y memoria de trabajo/fluidez

7 años Huizinga et al [57] Cuatro grupos según edad: n1: 71 niños de AFC Modelo de dos factores: memoria de trabajo y flexibilidad.
7 años; n2: 108 niños de 11 años; n3: 111 niños Un factor que incluye velocidad de procesamiento y tres variables
de 15 años; n4: 94 adultos de 21 años manifiestas de inhibición que no pueden agruparse bajo un mismo factor

Wu et al [33] 185 niños de 7-14 años AFC Modelo de tres factores: memoria de trabajo, inhibición y flexibilidad

Levin et al [42] 52 niños de 7-15 años ACP Modelo de tres factores: asociación semántica/formación de conceptos,
perseveración/desinhibición, y planificación y formulación de una estrategia

Klenberg et al [34] 202 niños de 7-12 años (estandarización de la NEPSY) AFE Modelo de cuatro factores: inhibición, atención auditiva, atención visual y fluidez

8 años Brydges et al [23] 135 niños de 8:3 años (T1) y 10:3 años (T2) AFC T1: modelo de un factor. T2: modelo de dos factores
(inhibición y flexibilidad, y memoria de trabajo)

Prencipe et al [35] 102 niños de 8-15 años AFE Modelo de factor único para la muestra general
y para subgrupos de edad (8-11 años y 12-15 años)

Mäntylä et al [36] n1: 51 niños de 8-12 años; AFE Modelo de dos factores: supervisión (incluye pruebas de actualización e
n2: 62 adultos de 20-29 años inhibición) y flexibilidad. Misma estructura factorial en ambos grupos muestrales

Cassidy et al [56] n1: 155 niños de 8 años; n2: 139 niños de 16 años. AFC Modelo de dos factores: flexibilidad cognitiva
Boston Circulatory Arrest Study (BCAS): cohorte y memoria de trabajo/control inhibitorio
de niños con enfermedad cardíaca congénita

Lehto et al [37] 108 niños de 8-13 años AFE, AFC Modelo de tres factores: memoria de trabajo, inhibición y flexibilidad

Filippetti y Richaud [55] 118 niños de 8-12 años AFC Modelo de tres factores: memoria de trabajo, inhibición y flexibilidad

Latzman y Markon [38] n1: 1.750 niños de 8-9 años (muestra no clínica; muestra AFE Modelo de tres factores: flexibilidad conceptual, monitorización
de estandarización de la prueba). n2: 174 adolescentes e inhibición. Sin diferencias en función del grupo de edad.
varones de 11-16 años (muestra comunitaria) Misma estructura factorial en ambas muestras

9 años Reyes et al [48] 101 niños de 9 años y 6 meses AFC Modelo unifactorial: fluidez fonológica y semántica,
(media: 101 ± 3,75 meses) atención sostenida y selectiva, planificación, memoria de trabajo.
En este factor no se incluiría el control inhibitorio

11 años St Clair-Thompson 51 niños de 11 años AFE Modelo de dos factores: actualización e inhibición
y Gathercole [39]

12 años Li et al [24] 142 adolescentes de 12-15 años AFE Un factor de orden superior: funciones ejecutivas.
Tres subfactores: flexibilidad conceptual, fluidez e inhibición

ACP: análisis de componentes principales; AFC: análisis factorial confirmatorio; AFE: análisis factorial exploratorio; NEPSY: Neuropsychological Assessment.

lisis cuantitativo (metaanálisis) y uno cualitativo [21, tes que puedan beneficiar a los niños con dificulta-
22]. Una conceptualización apropiada de la estruc- des tempranas, orientar la posterior intervención, y
tura de las funciones ejecutivas es clave para el dise- evitar el bajo rendimiento académico y las dificulta-
ño de intervenciones preventivas eficaces y eficien- des en la interacción social durante la etapa escolar.

www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225 219


J. Tirapu-Ustárroz, et al

Tabla IV. Odds ratio (OR) e intervalo de confianza al 99% (IC 99%). Tabla V. Odds ratio (OR) e intervalo de confianza al 95% (IC 95%).

N.º de factores n OR IC 99% n OR IC 95%

1 13 0,90 0,69-1,18 Inhibición 20 1,15 0,88-1,50

2 13 1,00 0,77-1,30 Memoria de trabajo 18 1,15 0,88-1,50

3 4 1,44 0,93-2,23 Flexibilidad a 13 1,45 1,05-2,00

4 2 0,83 0,45-1,52 Velocidad de procesamiento


2 0,83 0,45-1,52
de la información

Planificación 2 0,91 0,51-1,61

Fluidez 2 1,14 0,67-1,94


Desarrollo
Atención 2 1,33 0,77-2,29
Métodos de búsqueda de información
Denominación 1 0,91 0,41-2,02
En este trabajo se ha realizado una revisión biblio-
gráfica no sistemática del siglo xxi (2001-2016), a la Conceptualización 1 1,22 0,59-2,54
que se han incluido por su relevancia dos publica-
ciones de 1991. Las publicaciones fueron obtenidas, Supervisión 1 1,41 0,66-3,02
fundamentalmente, de PubMed.
Monitorización 1 1,41 0,66-3,02
Se utilizaron distintas palabras claves (función
ejecutiva, estructura factorial, infantes y niños), que a p < 0,05.
se combinaron con los operadores booleanos, se-
gún fuera la búsqueda más precisa, selectiva o re-
ducida. Los trabajos empíricos son fundamentalmen- En total se han incluido 35 estudios. En la figura se
te en inglés. presentan los estudios: identificados, filtrados, ele-
gibles e incluidos. En la tabla II se presentan las ca-
Selección de estudios racterísticas descriptivas de los 35 estudios analiza-
dos, en relación con: año de publicación, tipo de
Criterios de inclusión análisis factorial desarrollado, edad de los partici-
– Estudios empíricos. pantes, número de factores obtenidos [23,24] y di-
– Participantes con desarrollo típico. mensiones analizadas.
– Edad de los participantes: 1 mes a 12 años.
– Técnicas de recogidas de datos: pruebas y tests Análisis de datos
de funciones ejecutivas.
– Técnica de análisis de datos: AFC, análisis de los Junto con la codificación y el registro de las caracte-
componentes principales (ACP), AFE. rísticas del estudio (Tabla III) se realizó un análisis
– Disponible a texto completo (pdf o html). cuantitativo del tamaño del efecto a través de la odds
ratio (tamaño del efecto) y un estudio de la asocia-
Criterios de exclusión ción entre la edad y las características principales
– Estudios de revisión teóricos. de los estudios analizados (correlación de rangos
– Edad de los participantes superior a 12 años. tau-b de Kendall), con el objeto de conocer la fuer-
– Participantes con trastornos del neurodesarrollo za de la asociación.
(trastorno por déficit de atención/hiperactividad,
trastorno del espectro autista, trastornos del apren-
dizaje...) y niños prematuros. Resultados
– Técnicas de recogidas de datos: aplicación exclu-
siva de cuestionarios de funciones ejecutivas. Para el análisis de los datos se emplearon las odds
– Técnicas de análisis de datos: modelos de ecua- ratio y sus intervalos de confianza del 95-99%, ran-
ciones estructurales. go en el que estamos seguros de que existe el verda-
– No disponible a texto completo. dero efecto evaluado (Tabla IV).

220 www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225


Modelo de funciones ejecutivas basado en análisis factoriales

En este estudio puntual, en relación con el nú-


mero de factores considerados en los diferentes es- Tabla VI. Valores de los coeficientes de correlación tau-b de Kendall (fac-
tores de funciones ejecutivas y edad).
tudios, se obtiene que no hay diferencias estadísti-
camente significativas entre los diferentes estudios
Factores
en función del número de factores que se evalúan,
ya que tiene un intervalo de confianza con un 95% 1 2 3 4
de certeza que pasa por el 1. En el caso de los estu-
dios con tres factores, las diferencias no significati- Coeficiente de correlación –0,133 0,000 0,299 a –0,101
vas podrían explicarse por la amplitud del inter­valo,
y podría pensarse que el bajo tamaño de la muestra Sig. (bilateral) 0,370 1,000 0,044 0,496

es el resultado de la conclusión. ap < 0,05.


Los resultados que se ubican a la derecha indican
que la estructura con dos y tres factores se presenta
con mayor frecuencia, mientras que los resultados
que se ubican a la izquierda (estudios con uno y cua- Conclusiones
tro factores) se presentan con menor frecuencia.
La probabilidad de ocurrencia de un estudio con Son diversos los modelos y teorías explicativas so-
tres factores en la etapa de 0 a 12 años es 1,44 veces bre las funciones ejecutivas [25], entre ellos, los mo-
superior a la de los estudios que se centran en otra delos basados en el análisis factorial, que ha sido el
estructura, mientras que la probabilidad de presen- objeto de este estudio. Nuestros referentes en este
cia de un estudio con cuatro factores es de 0,83 veces. estudio han sido el modelo de Miyake et al [10],
En el estudio de las dimensiones ejecutivas se centrado en el análisis factorial, por ser uno de los
obtuvieron diferencias estadísticamente significati- que más impacto han tenido en la bibliografía en la
vas en relación con la dimensión de flexibilidad (β = población adulta, y el modelo propuesto por Zelazo
1,45; p = 0,025), junto con estudios que optaban por et al [3], en relación con el desarrollo estructural y
considerar las funciones ejecutivas como un factor funcional de los lóbulos frontales de niños 0 a 12
único (β = 0,60; p = 0,027). En el resto de las dimen- años, en consonancia con la clasificación de las fun-
siones analizadas no se hallaron diferencias estadís- ciones ejecutivas en cálidas frente a frías.
ticamente significativas, al incluir el intervalo de La mayoría de los estudios de control ejecutivo
confianza el valor nulo. Por la amplitud del interva- analizados en niños de edad infantil y escolar han
lo en las dimensiones supervisión y monitorización, utilizado la técnica de AFC para abordar la configu-
podría pensarse que el bajo tamaño maestral es el ración de las funciones ejecutivas. Loningan et al
responsable de esta conclusión (Tabla V). [26] obtienen un modelo configurado por dos fac-
Los resultados que se ubican a la derecha (moni- tores (control inhibitorio y memoria de trabajo).
torización, supervisión, conceptualización, denomi- Shing et al [27] extraen, igualmente, una estructura
nación, atención, fluidez, flexibilidad, memoria de configurada por dos factores: memoria de manteni-
trabajo e inhibición) indican que se presentan con miento y control inhibitorio. Mientras, Monette et
mayor frecuencia; los resultados que se ubican a la al [28] obtienen también dos dimensiones, que co-
izquierda (denominación, planificación y velocidad de inciden básicamente con las propuestas de Lonin-
procesamiento) se presentan con menor frecuencia. gan et al [26] y de Shing et al [27], a las que se inclu-
La probabilidad de ocurrencia de un estudio que ye la dimensión de flexibilidad.
se centra en la dimensión de flexibilidad en la etapa Aplicando esta misma técnica se observan, ade-
de 0 a 12 años es 1,45 veces superior a la presencia más, diferencias en los resultados en función de la
de un estudio que se centra en cualquier otra di- edad de los participantes. En los primeros momen-
mensión, mientras que la probabilidad de presencia tos del desarrollo, Gandolfi et al [29] identifican –en
de un estudio que se centra en la dimensión de de- niños de 2 a 4 años– un factor único relacionado
nominación es de 0,91 veces. con la inhibición de respuestas automáticas. Caughy
Se analizó la asociación entre las diferentes es- et al [30], por su parte, obtienen para niños de la
tructuras y dimensiones ejecutivas analizadas con misma edad un modelo configurado por cuatro di-
la edad. Los resultados tau-b de Kendall (no para- mensiones: memoria de trabajo, control inhibitorio,
métrica) indican una asociación estadísticamente inhibición compleja de respuesta y flexibilidad.
significativa en estudios con tres factores y la edad Su aplicación (AFC) es más habitual por parte de
(tau = 0,29; p = 0,044; Tabla VI) y en la flexibilidad y los investigadores en los primeros momentos del
la edad (tau = 0,37; p = 0,012; Tabla VII). desarrollo de 2 a 6 años. Gandolfi et al [29], con par-

www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225 221


J. Tirapu-Ustárroz, et al

Tabla VII. Valores de los coeficientes de correlación tau-b de Kendall (dimensiones de funciones ejecutivas y edad).

Dimensiones

1 2 3 4 5 6 7 8 9 10 11

Coeficiente de correlación 0,178 0,137 0,374 a –0,091 –0,053 –0,030 0,080 0,082 0,176 0,163 0,163

Sig. (bilateral) 0,230 0,355 0,012 0,542 0,720 0,842 0,591 0,583 0,237 0,272 0,272

1: memoria de trabajo; 2: inhibición; 3: flexibilidad; 4: velocidad de procesamiento de la información; 5: planificación; 6: denominación; 7: fluidez; 8: con-
ceptualización; 9: atención; 10: supervisión; 11: monitorización. a p < 0,05.

ticipantes de 24-48 meses, obtienen un factor úni- delo de tres factores), pero difieren en las dimensio-
co. Clark y Woodward [31], con participantes de 6 nes que los integran y en la edad de los participan-
años, también obtienen una estructura configurada tes, 3, 6 y 7 años, respectivamente. Con el ACP se
igualmente por un único factor, mientras que Lee puede reducir la dimensionalidad de un grupo de da-
et al [32], con niños de 6 años con nivel socioeco- tos, reteniendo las características del conjunto de
nómico bajo, obtienen un modelo configurado por datos que contribuyen más a su varianza.
dos factores (actualización e inhibición/alternan- En este estudio se han analizado 35 estudios en
cia). Wu et al [33], por su parte, en niños de 7 años, relación con la estructura factorial de las funciones
obtienen tres factores: memoria de trabajo, inhibi- ejecutivas en edad preescolar y escolar. Los resulta-
ción y flexibilidad. dos obtenidos indican que la probabilidad de ocu-
Emplear esta técnica (AFC) en los primeros mo- rrencia de un estudio con tres factores en la etapa
mentos del desarrollo puede deberse a que en esta de 0 a 12 años es superior a la de estudios que se
fase del ciclo vital hay mayor consenso en los estu- centran en otras estructuras, y la probabilidad de
dios respecto al número de factores que configuran ocurrencia de un estudio que se centra en la dimen-
las funciones ejecutivas, lo que coincide básicamen- sión de flexibilidad en la etapa de 0 a 12 años es su-
te con los factores propuestos por Miyake et al [10]. perior a la presencia de un estudio que se centra en
En el AFC se introduce previamente el factor laten- cualquier otra dimensión.
te subyacente al constructo objeto de análisis. Los cambios estructurales, funcionales y neuro-
Podemos concluir señalando que las soluciones lógicos que se producen en la corteza prefrontal se
factoriales reportadas por el AFC difieren en núme- acompañan de cambios en las funciones ejecutivas
ro de factores, interpretación y dimensiones inclui- [43,44], así como de la diferenciación de las funcio-
das en ellos en participantes de diferentes edades. nes ejecutivas a través del ciclo vital, siguiendo cada
En relación con el AFE, el número de estudios dimensión una trayectoria. En los primeros mo-
que lo han aplicado es significativamente inferior mentos del ciclo vital, los estudios constatan la evi-
en comparación con la técnica mencionada en los dencia de un factor único [23,29,31,35,45-52]. A los
párrafos precedentes. Los resultados obtenidos en 12 años esta estructura unitaria no se conserva. Li
los diferentes estudios [24,34-39] son variados res- et al [24] obtienen una estructura múltiple configu-
pecto al número de factores y dimensiones que rada por un factor de orden superior y tres subfac-
configuran las funciones ejecutivas. Se evidencia tores de segundo orden (flexibilidad conceptual, flui-
que es una técnica que se aplica en edades superio- dez e inhibición).
res del desarrollo, en comparación con el AFC, que Estos resultados confirman los obtenidos por
se aplica en sus primeros momentos. Podemos jus- Ze­lazo et al [53] y Romine y Reynolds [54], quienes
tificar la elección de una técnica u otra en función analizan la maduración neurológica del lóbulo fron-
del nivel de desarrollo de los participantes y aplicar tal a través de diferentes pruebas. Concluyen que el
el AFE en participantes con edades comprendidas desarrollo de las funciones ejecutivas empieza en
entre 7 y 12 años [24,34]. los primeros momentos del desarrollo con la madu-
Esta diversidad de resultados también se observa ración del funcionamiento frontal. Identifican el
cuando la técnica empleada es el ACP. Así, Welsh et período de mayor desarrollo entre los 6 y 8 años, se
al [40], Brocki y Bohlin [41] y Levin et al [42] coin- produce un incremento moderado entre los 9 y 12
ciden en el número de factores que obtienen (mo- años, y se alcanza un rendimiento aproximado al

222 www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225


Modelo de funciones ejecutivas basado en análisis factoriales

del adulto entre la adolescencia y los 20 años, depen- Handbook of developmental cognitive neuroscience. 2 ed.
diendo de las demandas de las diferentes pruebas. Cambridge: MIT Press; 2008.
4. Burgess PW. Theory and methodology of in executive function
En el presente estudio se confirma la asociación research. In Rabbitt P, ed. Theory and methodology of frontal
entre las diferentes estructuras factoriales y la edad, and executive function. Hove UK: Psychology Press; 1997.
que arroja una asociación estadísticamente signifi- p. 81-116.
5. Monsell S Control of mental processes. In Bruce V, ed.
cativa entre la edad y los estudios con tres factores Unsolved mysteries of the mind: tutorial essays in cognition.
[33,37,38,40-42,55]; tres de ellos son coincidentes Hove, UK: Erlbaum, Taylor & Francis; 1996. p. 93-148.
con el modelo propuesto por Miyake et al [10] en par- 6. Duncan J, Emslie H, Williams P, Johnson R, Freer C.
Intelligence and the frontal lobe: the organization of
ticipantes de diferentes edades: Wu et al [33] en niños goal-directed behavior. J Cogn Psychol 1996; 30: 257-303.
de 7 años, y Lehto et al [37] y Filippetti y Richaud 7. Shallice T, Burgess P. The domain of supervisory processes
and the temporal organization of behaviour. In Roberts AC,
[55] en niños de 8 años. En los primeros momentos Robbins TW, Weiskrantz L, eds. The prefrontal cortex. Oxford:
del ciclo de vida, los tres componentes propuestos Oxford University Press; 1998. p. 22-35.
por Miyake et al [10] parecen estar estrechamente 8. Stuss DT. Functions of the frontal lobes: relation to executive
functions. J Int Neuropsychol Soc 2011; 17: 759-65.
entrelazados y es difícil evaluarlos de forma aislada, 9. Rabbitt P. Introduction: methodologies and models in the
por lo que se puede afirmar que es a partir de los 7 study of executive function. In Rabbitt P, ed. Methodology of
años cuando se observa su diferenciación. frontal and executive function. Hove, UK: Psychology Press;
1997. p. 1-38.
La asociación entre las diferentes dimensiones 10. Miyake A, Friedman NP, Emerson MJ, Witzki AH, Howerter A.
ejecutivas y la edad arroja una asociación estadísti- The unity and diversity of executive functions and their
camente significativa entre la edad y la dimensión contributions to complex ‘frontal lobe’ tasks: a latent variable
analysis. J Cogn Psychol 2000; 41: 49-100.
de flexibilidad [24,28,30,33,36-38,55-58]. Junto con 11. Friedman NP, Miyake A, Corley RP, Young SE, DeFries JC,
la flexibilidad, existen otras dos dimensiones pre- Hewitt JK. Not all executive functions are related to intelligence.
dominantes en los estudios analizados (inhibición y Psychol Sci 2006; 17: 172-9.
12. Ferrando PJ, Anguiano-Carrasco, C. El análisis factorial como
memoria de trabajo) [26,32,59-61]. El interés por el técnica de investigación en psicología. Papeles del Psicólogo
estudio de estas tres dimensiones (inhibición, me- 2010; 31: 18-33.
moria de trabajo y flexibilidad) en estos primeros 13. Gorsuch RL. Factor analysis. 2 ed. Hillsdale, NJ: Lawrence
Erlbaum; 1983.
momentos del ciclo vital está en consonancia con el 14. Lerner MD, Lonigan CJ. Executive function among preschool
estudio desarrollado por Best y Miller [62]. children: unitary versus distinct abilities. J Psychopathol Behav
Assess 2014; 36: 626-39.
Ante la diversidad de resultados obtenidos [63] 15. Huizinga M, Dolan CV, Van der Molen MW. Age-related
en los 35 estudios analizados, es necesario conside- change in executive function: developmental trends and a
rar algunas estrategias para clasificar las distintas latent variable analysis. Neuropsychologia 2006; 44: 2017-36.
16. Lee K, Bull R, Ho RM. Developmental changes in executive
dimensiones ejecutivas, siguiendo una metodología functioning. Child Dev 2013; 84: 1933-53.
común y previa en todos los estudios, por ejemplo, 17. De Luca CR, Leventer RJ. Developmental trajectories of
las propuestas realizadas por Rabbitt [9]. Junto con executive function across the lifespan. In Jacobs V, Anderson PJ,
eds. Executive functions and the frontal lobes: a lifespan
estos aspectos de índole metodológico, es necesario perspective. New York: Psychology Press; 2010. p. 23-56.
considerar además una conceptualización apropia- 18. Zelazo PD, Müller U. Executive function in typical and atypical
da de la estructura de las funciones ejecutivas en development. In Goswami U, ed. Handbook of childhood
cognitive development. Oxford: Blackwell Publishing; 2002.
los años preescolares y escolares. p. 445-70.
La superación de estas limitaciones conceptua- 19. O’Toole S, Monks C, Tsermentseli S. Associations between
les y metodológicas es clave para el diseño de inter- and development of cool and hot executive functions across
early childhood. Br J Dev Psychol 2017; 36: 142-8.
venciones preventivas que puedan beneficiar a los 20. Pérez E, Carnoni A, Capill A. Desarrollo anatómico y funcional
niños con dificultades tempranas [64], para consi- de la corteza prefrontal. In Tirapu J, García A, Ríos M,
derar la visión de las funciones ejecutivas desde una Ardila A, eds. Neuropsicología de la corteza prefrontal y las
funciones ejecutivas. Barcelona: Viguera; 2012. p. 175-96.
perspectiva de proceso [65], así como para mejorar 21. Baggetta P, Alexander P. Conceptualization and
las intervenciones dirigidas directamente a las fun- operationalization of executive function. Mind Brain Educ
2016; 10: 10-33.
ciones ejecutivas (recuperación cognitiva asistida 22. Tirapu J, Cordero P, Luna P, Hernández P. Propuesta de un
por ordenador [66] y neurofeedback [67]). modelo de funciones ejecutivas basado en análisis factoriales.
Rev Neurol 2017; 64: 75-84.
23. Brydges C, Fox AM, Reid CL, Anderson M. The differentiation of
Bibliografía executive functions in middle and late childhood: a longitudinal
latent-variable analysis. Intelligence 2014; 47: 34-43.
1. Gilbert SJ, Burgess PW. Executive function. Curr Biol 2008; 24. Li JJ, Chung TA, Vanyukov MM, Scott Wood D, Ferrell R,
18: R110-4. Clark DB. A hierarchical factor model of executive functions
2. Diamond A. The early development of executive functions. in adolescents: evidence of gene-environment interplay. J Int
In Bialystock E, Craig FI, eds. Lifespan cognition: mechanism Neuropsychol Soc 2015; 21: 62-73.
of change. New York: Oxford University Press; 2006. p. 70-95. 25. Tirapu J, García A, Luna P, Verdejo A, Ríos M. Corteza prefrontal,
3. Zelazo PD, Carlson SM, Kesek A. The development of funciones ejecutivas y regulación de la conducta. In Tirapu J,
executive function in childhood. In Nelson C, Luciana M, eds. García A, Ríos M, Ardila A, eds. Neuropsicología de la corteza

www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225 223


J. Tirapu-Ustárroz, et al

prefrontal y las funciones ejecutivas. Barcelona: Viguera; 2012. development in preschoolers at head start. Dev Psychol 2011;
p. 89-120. 47: 404-16.
26. Loningan CJ, Lerner MD, Goodrich JM, Farrington AL, 47. Hughes C, Ensor R, Wilson A, Graham, A. Tracking executive
Allan DM. Executive function of Spanish language minority function across the transition to school: a latent variable
preschoolers: structure and relations with early literacy skills approach. Dev Neuropsychol 2009; 35: 20-36.
and behavioral outcomes. J Exp Child Psychol 2016; 144: 46-65. 48. Reyes S, Barreyno JP, Injoque I. Assessing executive function
27. Shing YL, Lindenberger U, Diamond A, Li SC, Davidson MC. components in 9 years old children. Cuadernos de Neuro-
Memory maintenance and inhibitory control differentiate from psicología 2014; 8: 44-59.
early childhood to adolescence. Dev Neuropsychol 2010; 35: 49. Wiebe SA, Espy KA, Charak D. Using confirmatory factor
679-97. analysis to understand executive control in preschool children:
28. Monette S, Bigras M, Lafrenière MA. Structure of executive I. Latent structure. Dev Psychol 2008; 44: 575-87.
functions in typically developing kindergarteners. J Exp Child 50. Wiebe SA, Sheffield T, Nelson JM, Clark CA, Chevalier N,
Psychol 2015; 140: 120-39. Espy KA. The structure of executive function in 3-year-olds.
29. Gandolfi E, Viterboni P, Travesco L, Usai MC. Inhibitory J Exp Child Psychol 2011; 108: 436-52.
processes in toddlers: a latent-variable approach. Front Psychol 51. Willoughby MT, Blair CB, Wirth RJ, Greenberg M.
2014; 5: 1-11. The measurement of executive function at age 3 years: psycho-
30. Caughy MO, Mills B, Owen MT, Hurst JR. Emergent self- metric properties and criterion validity of a new battery of
regulation skills among very young ethnic minority children: tasks. Psychol Assess 2010; 22: 306-17.
a confirmatory factor model. J Exp Child Psychol 2013; 116: 52. Willoughby MT, Blair CB, Wirth RJ, Greenberg M; Family
839-55. Life Project Investigators. The measurement of executive
31. Clark CA, Woodward LJ. Relation of perinatal risk and early function at age 5: psychometric properties and relationship
parenting to executive control at the transition to school. to academic achievement. Psychol Assess 2012; 24: 226-39.
Dev Sci 2015; 18: 525-42. 53. Zelazo PD, Craik FI, Booth L. Executive function across the
32. Lee K, Ng SF, Pe ML, Ang SY, Hasshim MN, Bull R. The life span. Acta Psychol (Amst) 2004; 115: 167-83.
cognitive underpinnings of emerging mathematical skills: 54. Romine CB, Reynolds CR. A model of the development
executive functioning, patterns, numeracy, and arithmetic. of frontal lobe function: findings from a meta-analysis.
Br J Educ Psychol 2012; 82: 82-99. Appl Neuropsychol 2005: 12; 190-201.
33. Wu KK, Chan KS, Leung PW, Liu WS, Leung FL, Ng R. 55. Filippetti VA, Richaud MC. A structural equation modeling
Components and developmental differences of executive of executive functions, IQ and mathematical skills in primary
functioning for school-aged children. Dev Neuropsychol 2011; students: differential effects on number production, mental
36: 319-37. calculus and arithmetical problems. Child Neuropsychol 2017;
34. Klenberg L, Korkman M, Lahti-Nuuttila P. Differential 23: 864-88.
development of attention and executive functions in 3- to 12- 56. Cassidy AR, White MT, DeMaso DR, Newburger JW,
year-old Finnish children. Dev Neuropsychol 2001; 20: 407-28. Bellinger DC. Processing speed, executive function, and
35. Prencipe A, Kesek A, Cohen J, Lamm C, Lewis MD, Zelazo PD. academic achievement in children with dextro-transposition
Development of hot and cool executive function during the of the great arteries: testing a longitudinal developmental
transition to adolescence. J Exp Child Psychol 2011; 108: 621-37. cascade model. Neuropsychologia 2016; 30: 874-85.
36. Mäntylä T, Carelli MG, Forman H. Time monitoring and 57. Huizinga M, Dolan CV, Van der Molen MW. Age-related
executive functioning in children and adults. J Exp Child Psychol change in executive function: developmental trends and a
2007; 96: 1-19. latent variable analysis. Neuropsychologia 2006; 44: 2017-36.
37. Lehto JE, Juujarvi P, Kooistra L, Pulkkinen L. Dimensions of 58. Van der Sluis S, De Jong PF, Van der Leij A. Executive
executive functioning: evidence from children. Br J Dev Psychol functioning in children, and its relations with reasoning,
2003; 21: 59-80. reading, and arithmetic. Intelligence 2007; 35: 427-49.
38. Latzman RD, Markon KE. The factor structure and age-related 59. Lerner MD, Lonigan CJ. Executive function among preschool
factorial invariance of the Delis-Kaplan Executive Function children: unitary versus distinct abilities. J Psychopathol Behav
System (D-KEFS). Assessment 2010; 17: 172-84. Assess 2014; 36: 626-39.
39. St Clair-Thompson HL, Gathercole SE. Executive functions 60. Van der Ven SH, Kroesbergen EH, Boom J, Leseman PP. The
and achievements in school: shifting, updating, inhibition, and development of executive functions and early mathematics:
working memory. Q J Exp Psychol 2006; 59: 745-59. a dynamic relationship. Br J Educ Psychol 2012; 82: 100-19.
40. Welsh MC, Pennington BF, Groisser DB. A normative- 61. Viterbori P, Usai MC, Traverso L, De Franchis V. How
developmental study of executive function: a window on preschool executive functioning predicts several aspects
prefrontal function in children. Dev Neuropsychol 1991; 7: of math achievement in grades 1 and 3: a longitudinal study.
131-49. J Exp Child Psychol 2015; 140: 38-55.
41. Brocki KC, Bohlin G. Executive functions in children aged 6 to 62. Best JR, Miller PH. A developmental perspective on executive
13: a dimensional and developmental study. Dev Neuropsychol function. Child Dev 2010; 81: 1641-60.
2004; 26: 571-93. 63. Carlson SM, White RE, Davis-Unger A. Evidence for a relation
42. Levin HS, Culhane KA, Hartmann J, Evankovich K, Mattson AJ, between executive function and pretense representation in
Harward H, et al. Developmental changes in performance on preschool children. Cogn Dev 2014; 29. doi: 10.1016/j.cogdev.
tests of purported frontal lobe functioning. Dev Neuropsychol 2013.09.001.
1991; 7: 377-95. 64. Diamond A, Barnett WS, Thomas J, Munro S. Preschool
43. Casey BJ, Tottenham N, Liston C, Durston S. Imaging the program improves cognitive control. Science 2007; 318: 1387-8.
developing brain: what have we learned about cognitive 65. Gioia GA, Isquith PK, Retzlaff PD, Espy KA. Confirmatory
development? Trends Cogn Sci 2005; 9: 104-10. factor analysis of the Behavior Rating Inventory of Executive
44. Dumontheil I, Burgess PW, Blakemore SJ. Development of Function (BRIEF) in a clinical sample. Child Neuropsychol
rostral prefrontal cortex and cognitive and behavioural 2002; 8: 249-57.
disorders. Dev Med Child Neurol 2008; 50: 168-81. 66. Thorell LB, Lindqvist S, Bergman N, Bohlin G, Klingberg T.
45. Bull R, Espy KA, Wiebe SA, Sheffield TD, Nelson JM. Using Training and transfer effects of executive functions in preschool
confirmatory factor analysis to understand executive control in children. Dev Sci 2008; 12: 106-13.
preschool children: sources of variation in emergent mathematic 67. Riccio CA, Gomes H. Interventions for executive function
achievement. Dev Sci 2011; 14: 679-92. deficits in children and adolescents. Appl Neuropsychol Child
46. Fuhs MW, Day JD. Verbal ability and executive functioning 2013; 2: 133-40.

224 www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225


Modelo de funciones ejecutivas basado en análisis factoriales

Model of executive functions based on factorial analyses in child and school populations: a meta-analysis

Introduction. Executive functions are defined as a set of skills that are involved in various activities which are novel to the
individual and which require a creative solution. It is not easy or straight forward to conceptualise or identify the factors
that make up a population of young children.
Aim. To analyse the components of executive function due to the clinical implications in different neurodevelopmental
disorders in a population-based sample of young children.
Development. From the body of literature, 35 published papers that used different factor analysis approaches for factor
extraction were reviewed. The probability of a study with three factors being undertaken in the stage between 0 to 12
years is 1.44 times higher than studies being undertaken with some focus on another structure. The probability of a study
being undertaken that focuses on the Flexibility dimension in the stage between 0 to 12 years is 1.45 times higher than a
study being undertaken that focuses on any other dimension. The association between the different structures and
dimensions that are analysed with respect to age using the Kendall tau-b indicates a statistically significant association
between: studies with three factors and age (tau = 0.29; p = 0.044) and flexibility with age (tau = 0.37; p = 0.012).
Conclusions. The diversity of the obtained results can be attributed to, and is in line with, the plurality of theoretical
conceptualisations, tests used and statistical analyzes carried out. It can be concluded that working memory, inhibition
and flexibility are the executive processes most commonly found in the factorial models of executive control in young
children and adolescents.
Key words. Executive function. Factorial models. Flexibility. Inhibition. Working memory.

www.neurologia.com  Rev Neurol 2018; 67 (6): 215-225 225

You might also like