Expérience d'installation d'Apache Airflow sur Windows 10

Préambule: par un coup du sort, je suis passée du monde de la science académique (médecine) au monde des technologies de l'information, où je dois utiliser mes connaissances sur la méthodologie de construction d'expériences et les stratégies d'analyse des données expérimentales, tout en appliquant une nouvelle pile technologique pour moi. Dans le processus d'acquisition de ces technologies, je fais face à une série de difficultés que, heureusement, je parviens pour l'instant à surmonter. Peut-être que ce post sera utile à ceux qui commencent également à travailler sur des projets Apache.

Alors, au cœur du sujet. Inspirée par article Yuri Emelyanov sur les possibilités d'Apache Airflow dans le domaine de l'automatisation des procédures analytiques, j'ai eu envie de commencer à utiliser le jeu de bibliothèques proposé dans mon travail. Pour ceux qui ne connaissent pas encore Apache Airflow, une petite présentation peut être intéressante. article sur le site de la Bibliothèque nationale N.E. Bauman.

Comme les instructions habituelles pour démarrer Airflow ne semblent pas s'appliquer dans un environnement Windows, et utiliser pour résoudre cette tâche Docker serait excessif dans mon cas, j'ai commencé à chercher d'autres solutions. Heureusement pour moi, je ne suis pas la première sur ce chemin, donc j'ai pu trouver un excellent tutoriel vidéo pour installer Apache Airflow sur Windows 10 sans utiliser Docker. Mais, comme souvent, lors de l'exécution des étapes recommandées, des difficultés survenaient, et je pense que cela n'arrivait pas qu'à moi. C'est pourquoi je voudrais partager mon expérience d'installation d'Apache Airflow, cela pourrait faire gagner un peu de temps à quelqu'un.

Parlons des étapes de l'instruction (spoiler - tout se passait bien jusqu'à la cinquième étape) :

1. Installation du sous-système Windows pour Linux pour l'installation ultérieure de distributions Linux

C'est un moindre mal, comme on dit :

Panneau de configuration → Programmes → Programmes et fonctionnalités → Activer ou désactiver des fonctionnalités Windows → Sous-système Windows pour Linux

2. Installation d'une distribution Linux au choix

J'ai utilisé l'application Ubuntu.

3. Installation et mise à jour de pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Installation d'Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Initialisation de la base de données

Et c'est précisément ici que mes petites difficultés ont commencé. Les instructions prévoient de taper la commande airflow initdb et de passer à l'étape suivante. Cependant, je recevais invariablement une réponse airflow : commande introuvable. Il est logique de supposer qu'il y a eu des difficultés lors de l'installation d'Apache Airflow et qu'il manque simplement des fichiers nécessaires. Après m'être assurée que tout était à sa place, j'ai décidé d'essayer de spécifier le chemin complet vers le fichier airflow (cela devrait ressembler à : chemin/complet/vers/le/fichier/airflow initdb). Mais le miracle ne s'est pas produit et la réponse était la même airflow : commande introuvable. J'ai essayé d'utiliser un chemin relatif vers le fichier (./.local/bin/airflow initdb), ce qui a entraîné l'apparition d'une nouvelle erreur ModuleNotFoundError: Aucun module nommé 'json', que l'on peut surmonter en mettant à jour la bibliothèque werkzeug (dans mon cas jusqu'à la version 0.15.4) :

pip install werkzeug==0.15.4

Pour en savoir plus sur werkzeug, vous pouvez lire ici.

Après cette simple manipulation, la commande ./.local/bin/airflow initdb a été exécutée avec succès.

6. Démarrer le serveur Airflow

Cependant, les difficultés d'accès à airflow ne s'arrêtent pas là. L'exécution de la commande ./.local/bin/airflow webserver -p 8080 a conduit à l'erreur Aucun fichier ou répertoire de ce type. Probablement, un utilisateur expérimenté d'Ubuntu aurait immédiatement tenté de surmonter de telles difficultés d'accès au fichier en utilisant la commande export PATH=$PATH:~/.local/bin/ (c'est-à-dire en ajoutant au chemin d'accès existant des fichiers exécutables défini par la variable PATH le répertoire /.local/bin/), mais ce post est destiné à ceux qui travaillent principalement sous Windows et qui ne considèrent peut-être pas cette solution comme évidente.

Après la manipulation décrite ci-dessus, la commande ./.local/bin/airflow webserver -p 8080 a été exécutée avec succès.

7. URL : localhost:8080/

Si tout s'est bien passé aux étapes précédentes, vous êtes prêt à conquérir de nouveaux sommets analytiques.

J'espère que l'expérience d'installation d'Apache Airflow sur Windows 10 décrite ci-dessus sera utile aux utilisateurs débutants et accélérera leur immersion dans l'univers des outils d'analyse modernes.

La prochaine fois, j'aimerais continuer ce sujet et parler de l'utilisation d'Apache Airflow dans l'analyse du comportement des utilisateurs d'applications mobiles.

Source : habr.com