Democratización de datos en Airbnb

Al igual que muchas nuevas empresas, la cantidad de empleados en Airbnb ha crecido

significativamente en los últimos años. Paralelamente, hemos visto un crecimiento explosivo
tanto en la cantidad de datos como en el número de recursos de datos internos: tablas de
datos, paneles, informes, definiciones de métricas, etc. Por un lado, el crecimiento en los
recursos de datos es saludable y refleja nuestra fuerte inversión en herramientas de datos para
promover la toma de decisiones informada. Sin embargo, también crea un nuevo desafío:
navegar de manera efectiva un mar de recursos de datos de calidad variable, complejidad,
relevancia y confiabilidad. En este post describimos nuestra observación de este problema y el
Dataportal, una nueva herramienta de búsqueda y descubrimiento de recursos de datos que
aborda este problema.

El objetivo general del Dataportal es democratizar los datos y facultar a los empleados de
Airbnb para que estén informados sobre los datos ayudando con la exploración, el
descubrimiento y la confianza en los datos.

¿Quienes somos?

Nuestro equipo consiste en una colección de inadaptados de datos: científicos de datos en

recuperación que entienden los numerosos puntos de dolor asociados con los datos, e
ingenieros de visualización que se especializan en la comunicación de datos. Hemos pasado
tiempo en las trincheras, a menudo trabajando en un espacio reaccionario y de tiempo crítico.
Queríamos diseñar y construir soluciones proactivas que ayudaran a aliviar problemas de datos
comunes y bien definidos.

Diseñado para todos en mente

Nuestra visión del panorama de los datos es simplemente una de muchas. Para asegurarnos de
que desarrollamos un producto de datos que proporciona un valor universal, hablamos con los
empleados de todos los departamentos, roles, tenencia y niveles de alfabetización de datos,
para comprender mejor sus puntos débiles y preocupaciones sobre los datos.

Apareció un tema constante: los usuarios a menudo tenían que preguntar a otros dónde
encontrar el recurso apropiado, ya que era difícil navegar por el panorama de los datos.
Además, la falta de metadatos y contexto dificultaba la confiabilidad de los datos. Esta falta de
confianza impidió que los empleados utilizaran recursos fuera de su esfera de conocimiento, lo
que les hizo temer accidentalmente el uso de información obsoleta o incorrecta. Esto dio lugar
a que las personas crearan recursos adicionales, ensucien aún más el paisaje.

Complejidades de un paisaje de datos fragmentado

A medida que Airbnb crece, también lo hacen los desafíos en torno al volumen, la complejidad
y la oscuridad de los datos. La información y las personas se convierten en silos que necesitan
navegar por un paisaje invisible de conocimiento tribal. Este es un uso de tiempo ineficiente
para las personas en el viaje y para quienes proporcionan direcciones.
Dejando a un lado la escala, los datos a menudo se aíslan por herramienta o equipo, cada uno
proporciona una vista localizada miope del espacio de datos mientras carece de contexto
global. Por ejemplo, un panel de control es ingenuo con respecto a donde se originaron los
datos, y una tabla de datos carece de contexto de su relevancia para las herramientas de
visualización aguas abajo. Además, muchas herramientas de datos tienen reglas de permisos
complejas que fragmentan aún más el intercambio y la comprensión.

La comprensión de todo el ecosistema de datos, desde la producción de un registro de eventos

hasta su consumo en una visualización, proporciona más valor que la suma de sus partes.

Definir un camino hacia adelante

Era evidente que necesitábamos desarrollar un sistema que permitiera un cambio en el

pensamiento. Confiar únicamente en el conocimiento tribal impide el descubrimiento de datos
y, por lo tanto, buscamos desarrollar un sistema de autoservicio que brinde transparencia a
nuestro complejo y a menudo oscuro panorama de datos.

Esperamos que las personas pasen de pensar en un origen de datos individual al concepto de
un espacio de datos integrado; el espacio de datos presenta una visión holística de los datos y,
por lo tanto, proporciona el contexto necesario para que las personas estén informadas.

El Dataportal proporciona un marco para las mejores prácticas con datos, proporcionando
rieles de protección donde sea necesario. Esperamos que cualquier empleado,
independientemente de su rol, pueda encontrar o descubrir datos fácilmente y sentirse
confiado acerca de su confiabilidad y relevancia.

Desde una perspectiva de transparencia, partimos con la intención de tener una sola lente en
nuestro espacio de datos al proporcionar la mayor cantidad de contexto posible mientras
observamos los controles de acceso por herramienta a los datos subyacentes.

Modelando el Ecosistema

Nuestro ecosistema se representa mejor como un gráfico, que aprovechamos en el Dataportal

como se describe a continuación. Los nodos son los diversos recursos: tablas de datos, paneles,
informes, usuarios, equipos, resultados de negocios, etc. Su conectividad refleja sus relaciones:
consumo, producción, asociación, etc.

Un ejemplo de una sub-gráfica hipotética que consiste en bases de datos, tablas, Tableau y
nodos de usuarios con posibles relaciones.

En nuestro modelo, las relaciones son tan pertinentes como los nodos. Saber quién produjo o
consumió un recurso es tan valioso como el recurso en sí mismo. Las relaciones proporcionan
los enlaces necesarios entre nuestros componentes de datos en silos y la capacidad de
comprender todo el espacio de datos.

Las personas también son recursos de datos. Encontrar empleados que hayan utilizado o
posean un recurso de datos determinado puede aumentar la eficacia del intercambio de
conocimientos.