🥇Comment rechercher des données simplement et rapidement avec Whale

Cet article présente un outil de découverte de données simple et rapide, dont vous pouvez voir le fonctionnement sur KDVP. Fait intéressant, whale est conçu pour être hébergé sur un serveur git distant. Les détails sont sous le pli.

Comment l'outil de découverte de données d'Airbnb a changé ma vie

Dans ma carrière, j'ai eu la chance de travailler sur certains problèmes intéressants : j'ai étudié la théorie des flux pendant que je poursuivais mon diplôme au MIT, travaillé sur des modèles incrémentaux et sur un projet open source. pylift chez Wayfair, ainsi que mis en œuvre de nouveaux modèles de ciblage sur la page d'accueil et amélioré le CUPED chez Airbnb. Mais tout ce travail n'a jamais été glamour — en réalité, je passais souvent la plupart de mon temps à rechercher, analyser et vérifier des données. Bien que cela ait été un état constant au travail, je n'avais jamais pensé que c'était un problème jusqu'à ce que j'arrive chez Airbnb, où il a été résolu grâce à un outil de découverte de données — Dataportal.

Où puis-je trouver {{data}} ? Dataportal.
Que signifie cette colonne ? Dataportal.
Comment se porte {{metric}} aujourd'hui ? Dataportal.
Quel est le sens de la vie ? Dans Dataportal, probablement.

D'accord, vous avez planté le décor. Trouver des données et comprendre ce qu'elles signifient, comment elles ont été créées et comment les utiliser ne prend que quelques minutes, et non des heures. Je pourrais consacrer mon temps à tirer des conclusions simples, ou à de nouveaux algorithmes, (… ou à des réponses à des questions aléatoires sur les données), plutôt que de fouiller dans des notes, de rédiger des requêtes SQL répétitives et de mentionner des collègues sur Slack pour essayer de recréer le contexte que quelqu'un d'autre avait déjà.

Quel est le problème ?

J'ai réalisé que la plupart de mes amis n'avaient pas accès à un tel outil. Peu d'entreprises souhaitent consacrer d'énormes ressources à la création et au maintien d'un tel outil-plateforme que Dataportal. Et bien qu'il existe plusieurs solutions open source, elles sont généralement conçues pour l'échelle, ce qui rend leur configuration et leur maintenance difficiles sans un ingénieur DevOps dédié. C'est pourquoi j'ai décidé de créer quelque chose de nouveau.

Whale : un outil de découverte de données simpliste

Et oui, par simpliste, je veux dire véritablement simple. Whale ne compte que deux composants :

Une bibliothèque Python qui collecte des métadonnées et les formate en MarkDown.
Interface de ligne de commande en Rust pour la recherche de ces données.

Du point de vue de l'infrastructure interne pour la maintenance, il n'y a qu'une multitude de fichiers texte et un programme de mise à jour de texte. C'est tout, donc le déploiement sur un serveur git, comme Github, est trivial. Pas de nouveau langage de requête à apprendre, pas d'infrastructure de gestion, pas de sauvegardes. Git est connu de tous, donc la synchronisation et la collaboration sont incluses gratuitement. Examinons de plus près les fonctionnalités. Whale v1.0.

Interface graphique complète basée sur git.

Whale a été créé pour naviguer dans l'océan d'un serveur git distant. Il est très facile à configurer : définissez quelques connexions, copiez le script Github Actions (ou écrivez-le pour votre plateforme CI/CD choisie) — et vous disposerez instantanément d'un outil web pour découvrir des données. Vous pourrez rechercher, visualiser, documenter et partager vos tableaux directement sur Github.

Exemple d'un tableau de remplissage généré avec Github Actions. Pour une démonstration complète et fonctionnelle, voir cette section.

Recherche ultra-rapide depuis la CLI dans votre dépôt.

Whale vit et respire dans la ligne de commande, offrant une recherche fonctionnelle, milliseconde par milliseconde, dans vos tableaux. Même avec des millions de tableaux, nous avons réussi à rendre Whale incroyablement performant en utilisant des mécanismes de mise en cache astucieux, ainsi qu'en reconstruisant le backend en Rust. Vous ne remarquerez aucun délai de recherche [bonjour, Google DS].

Démonstration de Whale, recherche à travers un million de tableaux.

Calcul automatique des métriques [en beta]

Une de mes choses les moins préférées en tant que chercheur de données est d'exécuter les mêmes requêtes encore et encore juste pour vérifier la qualité des données utilisées. Whale prend en charge la définition des métriques en SQL simple, qui seront exécutées selon un calendrier avec vos pipelines de nettoyage de métadonnées. Définissez un bloc metrics au format YAML dans le tableau de remplissage, et Whale sera automatiquement exécuté selon un calendrier et lancera les requêtes imbriquées dans metrics.

```metrics
metric-name:
  sql: |
    select count(*) from table
```

Associé à Github, cette approche signifie que whale peut servir de source centrale facile pour les définitions de métriques. Whale conserve même les valeurs avec un horodatage dans le répertoire «~/whale/metrics», si vous souhaitez réaliser un graphique ou une recherche plus approfondie.

L'avenir

Après avoir parlé avec les utilisateurs de nos versions préliminaires de whale, nous avons compris que les gens avaient besoin de fonctionnalités plus larges. Pourquoi un outil de recherche tabulaire, par exemple ? Pourquoi pas un outil de recherche de métriques ? Pourquoi pas de surveillance ? Pourquoi pas un outil d'exécution de requêtes SQL ? Bien que whale v1 ait été initialement conçu comme un simple outil compagnon CLI, Dataportal/Amundsen, il s'est déjà transformé en une plateforme autonome à part entière, et nous espérons qu'il deviendra un élément essentiel de l'arsenal des data scientists.

Si vous avez quelque chose que vous souhaitez voir dans le processus de développement, rejoignez notre communauté Slack, ouvrez des Issues sur Github, ou même contactez directement LinkedIn. Nous avons déjà toute une série de fonctionnalités intéressantes — modèles Jinja, signets, filtres de recherche, alertes Slack, intégration avec Jupyter, et même une interface CLI pour les métriques — mais nous serions heureux de votre contribution.

Conclusion

Whale est développé et maintenu par Dataframe, une startup que j'ai récemment eu le plaisir de fonder avec d'autres personnes. Alors que whale est conçu pour les spécialistes du traitement des données, Dataframe s'adresse aux équipes de traitement des données. Pour ceux d'entre vous qui souhaitent collaborer de plus près — n'hésitez pas à contacter, nous vous ajouterons à la liste d'attente.

Et avec le code promo HABR, vous pouvez bénéficier d'une remise supplémentaire de 10 % sur celle indiquée sur la bannière.

Autres cours

Articles recommandés

Source : habr.com

Comment rechercher des données facilement et rapidement avec Whale