Conclusin

Los siete pilares son el principal soporte de la sabidura estadstica; no constituyen la sabidura
por s mismos. Se pueden rastrear al menos a la primera mitad del siglo XX, algunos hasta la
antigedad; se han probado a s mismos con el largo uso y sin embargo se adaptan a nuevos usos
cuando se necesita. Son la base de la ciencia de la estadstica, la original y an preeminente
ciencia de los datos; pueden entenderse como una taxonoma intelectual de dicha ciencia. Pueden
asociarse bien con otras ciencias de la informacin, tales como las ciencias de la computacin y
otras con nuevos nombres que an no han obtenido una identidad completa. Y sin embargo, estos
pilares son ideas radicales, peligrosas si se usan mal y capaces de despertar una respuesta
antagnica cuando invaden territorios desconocidos. Ninguno de ellos est pasado de moda, pero
an podemos preguntarnos si se requiere ms en la poca actual. Deberamos labrarnos un
octavo pilar? Y de ser as, con qu objetivo? Como una aproximacin estadstica a esta
pregunta, revisemos los datos, los siete pilares, para ver si nos sugieren una respuesta.

El primero, la Agregacin, inherentemente involucra descartar informacin, un acto de

destruccin creativa, por usar el trmico con que Joseph Schumpeter describi a una forma de
reorganizacin econmica, que es otra forma de ver este acto. Como ocurre con muchos otros
usos, debe hacerse por principios, al descartar la informacin que no ayuda al objetivo cientfico
ltimo, o incluso puede alejarnos de l. An as, se le puede acusar de invisibilizar las
caractersticas individuales que desde otras perspectivas pueden ser parte del objetivo. Cmo
puede un sistema de informacin mdica personal desarrollarse sin caractersticas individuales?
En algunos problemas estadsticos, se puede emplear una nocin de estadstica suficiente un
resumen de datos que no pierde informacin relevante, sin embargo, en la era de los datos
masivos, frecuentemente eso no es posible o las suposiciones detrs son insostenibles. Balancear
estas preocupaciones es una parte necesaria del apoyo a la sabidura estadstica.

El segundo, la Informacin y su medicin, tiene un significado diferente en estadstica del que

se puede hallar en el procesamiento de seales. Colabora con la agregacin para ayudar a
reconocer cmo la decreciente tasa de ganancia en la informacin se relaciona con el uso
previsto, cmo ello puede ayudar a planear tanto el experimento como la forma de agregacin. En
el procesamiento de seales, la informacin pasada puede permanecer en una tasa constante
indefinidamente; en estadstica, la tasa de acumulacin de la informacin debe declinar desde la
seal. La comprensin de que bloques de informacin equivalentes aparentemente equivalentes
no son igualmente valiosos en un anlisis estadstico sigue siendo paradjica.

El tercero, la Verosimilitud, el uso de la probabilidad para calibrar las inferencias y darle una
escala a la medicin de la incertidumbre es a la vez especialmente peligroso y especialmente
valioso. Requiere mucho cuidado y entendimiento para su uso positivo, pero las recompensas son
igualmente grandes. El ms simple de tales usos es la prueba de significacin, donde los usos
engaosos han sido presentados como si fueran evidencia para condenar a toda la empresa en vez
de al uso particular. Su uso creciente durante el siglo pasado es testimonio de la necesidad de un
resumen calibrado de la evidencia a favor o en contra de una proposicin. El mal uso del sumario
puede confundir, pero eso no nos debe cegar a la mucho mayor a confundir con sumarios
verbales que carecen de siquiera una pequea inclinacin hacia un intento de calibracin con
respecto a un estndar generalmente aceptado. La verosimilitud puede no slo proveer una
medicin de nuestras conclusiones, puede ser una gua para los anlisis, para el mtodo de
agregacin y para la tasa con la que la informacin se acumula.

El cuarto, la Intercomparacin, nos entrega estndares internos y una forma de juzgar los
efectos y su significacin puramente al interior de los datos a mano. Es una espada de doble filo,
pues la falta de referencia a un estndar externo puede alejar a nuestras conclusiones de cualquier
relevancia. Cuando se emplea con cuidado e inteligencia, puede, junto con los diseos del sexto
pilar, entregar una ruta casi mgica al entendimiento en algunos entornos de muchas
dimensiones.

El quinto pilar, la Regresin, es extremadamente sutil. Es un principio de relatividad para el

anlisis estadstico, la idea de que plantear una pregunta desde diferentes puntos de vista lleva no
slo a entendimientos inesperados sino tambin a una forma de estructurar los anlisis. La
sutileza es atestiguada por lo tardo de su fecha de descubrimiento, en la dcada de 1880. La idea
no es simplemente la construccin de objetos multivariantes; es la forma en que son usados,
desbaratados y rearmados en un anlisis multivariante genuino. La probabilidad inversa en sus
formas rudimentarias es relativamente vieja, pero antes de la dcada de 1880 no haba mecanismo
alguno para describir la inferencia en general, y la inferencia bayesiana en particular. Los
primeros intentos se pueden comparar con el vuelo en planeador: en el mejor de los casos, va
cayendo lentamente pero da la ilusin de vuelo en terrenos limitados y bajo circunstancias
ideales. Con los avances en la dcada de 1880, hemos motorizado el vuelo para elevarse en
principio en cualquier circunstancia, y para evitar los contratiempos e imposibilidades han
resultado fatales para los exploradores anteriores. Ya ms elaborados en el siglo XX, los mtodos
que fluyeron de este entendimiento pudieron dar potencia a viajes a mayores altitudes e incluso a
mayores dimensiones, un truco que an no han logrado otros mtodos de transporte ms
mundanos.

El sexto pilar, el Diseo, tambin involucr grandes sutilezas: la habilidad de estructurar

modelos para la exploracin de datos de muchas dimensiones con la consideracin simultnea de
mltiples factores, y la creacin por medio de la aleatorizacin de una base para la inferencia que
descansa slo mnimamente en el modelado.

El pilar ltimo, el Residuo, es la comparacin lgica de modelos complejos como una ruta a la
exploracin de datos de muchas dimensiones, y el uso de la misma lgica cientfica en el anlisis
grfico. Es aqu que hoy en da encaramos la mayor necesidad, al encarar las cuestiones para las
que nosotros, despus de todos estos siglos, permanecemos menos capaces de proveer respuestas
amplias. Es aqu que podemos ver la necesidad potencial de un octavo pilar.

Con paquetes de datos cada vez ms grandes vienen ms preguntas que deben ser resueltas y
ms preocupacin respecto a que la flexibilidad inherente a la computacin moderna sobrepase
nuestra capacidad de calibrar, de juzgar la certeza de nuestras respuestas. Cuando podemos
limitar la atencin a pocas alternativas o a modelos paramtricos bien estructurados, nos sentimos
como en casa. Pero en muchas situaciones falta ese confort, o es ilusorio. Considrese, por
ejemplo, estos tres tipos de problemas: (1) la formulacin de predicciones o clasificadores datos
masivos, datos de muchos casos individuales con muchas medidas dimensionales en cada caso;
(2) problemas de grandes comparaciones mltiples, y (3) anlisis en casos donde las preguntas
enfocadas vienen como la etapa final de un estudio cientfico que era, al menos en parte,
exploratorio.

En el primero de ellos, encaramos problemas inherentes a cualquier exploracin de muchas

dimensiones. Supongamos que estamos construyendo una prediccin de alguna respuesta medida
en trminos de 20 caractersticas: los predictores estn en un espacio de 20 dimensiones, algo
comn en el aprendizaje de mquina. Qu tan grande es el espacio de 20 dimensiones? Si
dividimos el rango de cada predictor en cuartiles, el espacio de 20 dimensiones se divide en 420
secciones diferentes. Si se tiene un millardo de casos individuales, en promedio habr slo un
caso en cada mil secciones. Difcilmente una base emprica sobre la que construir confianza! Y
as cualquier anlisis razonable debe (y lo hace, aunque sea slo implcitamente) hacer
suposiciones altamente restrictivas, quiz por medio de un modelo paramtrico de pocas
dimensiones, o al menos al asumir que los datos estn cerca de algn subespacio de pocas
dimensiones. Con muchas suposiciones, se han diseado muchos excelentes algoritmos en el rea
del aprendizaje de mquina. Generalmente esa excelencia tiene el apoyo limitado de aplicaciones
exitosas para algunos casos, con escasa evidencia de aplicabilidad general. En un caso, las
llamadas mquinas de soporte de vectores, la estadstica Grace Wahba ha mostrado que pueden
verse como procedimientos bayesianos particulares que se aproximan, aadiendo as en gran
medida a nuestro conocimiento sobre cmo pueden extenderse al arrojar luz sobre por qu y
cundo funcionan tan bien. Pero el problema general permanece bastante dificultoso.

En el segundo tipo de problema, las comparaciones mltiples, nos enfrentamos con el

prospecto de potencialmente hacer un nmero muy grande de pruebas. En el anlisis de varianza
esto podra ser el anlisis de los efectos de muchos factores va intervalos de confianza para
cantidades muy grandes de comparaciones pareadas. En los estudios genmicos, miles de
diferentes sitios pueden someterse a pruebas significativas separadas que no son independientes
unas de otras. La calibracin probabilstica intervalos de confianza o pruebas de
significacin que es apropiada cuando slo se dispone de un par o un caso, no es til si el par o
el caso fue seleccionado como entre el ms extremo de medio milln de casos. Ya en los sesenta
se saba que los procedimientos diseados entonces por John W. Tukey y Henry Scheff para
compensar tal seleccin al debilitar los planteamientos resultantes, como con intervalos de
confianza ms grandes, no eran la respuesta completa. David Cox vio una parte de la dificultad
en 1965: El hecho de que una probabilidad se pueda calcular para las exactitudes simultneas de
un nmero grande de planteamientos habitualmente no hace a esa probabilidad relevante para la
medicin de la incertidumbre de uno de los planteamientos.1 Cox estaba sealando que las
correcciones generales (como las de Tukey o Scheff) no condicionan las peculiaridades de los
datos a mano y pueden ser demasiado conservadoras. Se estn elaborando conceptos ms
modernos, como las tasas de falsos descubrimientos, pero el problema permanece difcil.
 El tercer tipo de problema, en el cual las preguntas enfocadas surgen tarde en el anlisis, se
relaciona con los primeros dos pero es ms general. Incluso en problemas de datos pequeos, las
rutas tomadas pueden ser muchas, tantas que desde cierto punto de vista se convierte en un
dilema de datos efectivamente grandes. Alfred Marshall se dio cuenta de ello ya en 1885, cuando
escribi que el ms insensato y traicionero de los tericos es aqul que presume de dejar a los
hechos y cifras hablar por s mismos, que mantiene en el fondo el papel que ha jugado, quiz
inconscientemente, en su seleccin y agrupamiento, y en sugerir el argumento post hoc ergo
propter hoc.2 Andrew Gelman ha tomado del ttulo de un cuento de Jorge Luis Borges en 1941
un trmino apropiado para describir el problema: El jardn de senderos que se bifurcan, cuando
una conclusin ha sido juzgada razonablemente cierta tras un viaje tortuoso que involucr
muchas decisiones (de datos, de direccin, de tipo de pregunta) que no son tomados en cuenta en
la valoracin final de la significancia.3 Los datos masivos son con frecuencia un jardn as.
Nuestras calibraciones todava son tiles en la pregunta enfocada en cada bifurcacin dentro del
jardn, pero, se transferirn exitosamente a la vista desde el exterior?

He identificado un lugar para el octavo pilar, pero no he dicho qu es. Es un rea donde un
nmero muy grande de procedimientos ha sido elaborado con respuestas parciales para algunas
preguntas especficas. El pilar puede existir, pero ninguna estructura general ha atrado an en
consenso general necesario para su reconocimiento. La historia sugiere que no aparecer con
facilidad ni en un paso. Cada ciencia viva tiene sus misterios: la astronoma, su energa oscura y
su materia oscura; la fsica, sus cuerdas y su teora cuntica; las ciencias de la computacin, su
acertijo P-NP; las matemticas, su hiptesis de Riemann. Los siete pilares existentes pueden
sostener al menos respuestas parciales incluso para los casos ms difciles. La estadstica es una
ciencia viva; el soporte de los siete es fuerte. Entramos a una era desafiante con aliados fuertes en
otros campos y grandes esperanzas de estar al nivel del reto.

Conclusin
1
Cox (1965).
2
Marshall (1885), pp. 167-168.
3
Borges ([1941] 1998), pp. 119-128.