Skúsenosť s inštaláciou Apache Airflow na Windows 10

Preámbula: osudom som sa z akademickej sféry (medicíny) dostala do sveta informačných technológií, kde musím využívať svoje vedomosti o metodológii experimentovania a stratégiách analýzy experimentálnych dát, no aplikovať nový pre mňa technologický stack. Pri osvojovaní týchto technológií sa stretávam s radom ťažkostí, ktoré sa, našťastie, zatiaľ darí prekonávať. Možno bude tento príspevok užitočný tým, ktorí tiež len začínajú pracovať na projektoch Apache.

Takže k podstate. Inšpirovaná článkom Juriom Emeľjanovom o možnostiach Apache Airflow v oblasti automatizácie analytických procedúr som mala túžbu začať používať ponúkaný súbor knižníc vo svojej práci. Tým, ktorí ešte nie sú s Apache Airflow vôbec oboznámení, môže byť zaujímavý malý prehľadný článok na stránke Národnej knižnice im. N. E. Bauman.

Pretože bežné pokyny na spustenie Airflow, zdá sa, nie sú použiteľné v prostredí Windows, a používať na tento problém docker by v mojom prípade bolo zbytočné, začala som hľadať iné riešenia. Na moju radosť, nebola som prvá na tejto ceste, preto som dokázala nájsť skvelý video návod na inštaláciu Apache Airflow v Windows 10 bez použitia dockera. Avšak, ako to často býva, pri vykonávaní odporúčaných krokov sa objavujú ťažkosti, a predpokladám, že nie len u mňa. Preto by som sa chcela podeliť o svoje skúsenosti s inštaláciou Apache Airflow, možno to niekomu ušetrí trochu času.

Prejdime si jednotlivé kroky pokynov (spojler - piaty krok išiel bez problémov):

1. Inštalácia subsystému Windows pre Linux pre následnú inštaláciu distribúcií Linuxu

Toto je menší problém, ako sa hovorí:

Ovládací panel → Programy → Programy a funkcie → Zapnúť alebo vypnúť komponenty Windows → Subsystem Windows pre Linux

2. Inštalácia distribúcie Linux podľa výberu

Ja som využila aplikáciu Ubuntu.

3. Inštalácia a aktualizácia pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Inštalácia Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inicializácia databázy

A práve tu sa začali moje malé ťažkosti. Pokyn predpisuje zadať príkaz airflow initdb a prejsť k nasledujúcemu kroku. Avšak neustále som dostávala odpoveď airflow: command not found. Je logické predpokladať, že nastali ťažkosti počas inštalácie Apache Airflow a jednoducho chýbajú potrebné súbory. Po overení, že všetko je tak, ako má byť, som sa rozhodla skúsiť zadať úplnú cestu k súboru airflow (malo by to vyzerať tak: Úplná/cesta/k/súboru/airflow initdb). Ale zázrak sa nestal a odpoveď bola rovnaká airflow: command not found. Skúsila som použiť relatívnu cestu k súboru (./.local/bin/airflow initdb), čo viedlo k objaveniu novej chyby ModuleNotFoundError: No module named json', ktorú je možné prekonávať aktualizáciou knižnice werkzeug (v mojom prípade na verziu 0.15.4):

pip install werkzeug==0.15.4

Viac o werkzeug si môžete prečítať tu.

Po tejto jednoduché manipulácii bol príkaz ./.local/bin/airflow initdb vykonaný úspešne.

6. Spustenie servera Airflow

Na tomto mieste komplikácie s prístupom k airflow ešte neskončili. Spustenie príkazu ./.local/bin/airflow webserver -p 8080 viedlo k chybe No such file or directory. Pravdepodobne by skúsený používateľ Ubuntu okamžite skúsil prekonať takéto ťažkosti s prístupom k súboru použitím príkazu export PATH=$PATH:~/.local/bin/ (teda pridaním k existujúcej ceste vyhľadávania spustiteľných súborov, určovanej premennou PATH, adresár /.local/bin/), ale tento príspevok je určený pre tých, ktorí predovšetkým pracujú s Windows a možno nepovažujú takéto riešenie za očividné.

Po opísanej manipulácii bol príkaz ./.local/bin/airflow webserver -p 8080 úspešne vykonaný.

7. URL: localhost:8080/

Ak všetko prebehlo úspešne v predchádzajúcich krokoch, ste pripravení dobývať analytické vrcholy.

Dúfam, že vyššie opísaný zážitok z inštalácie Apache Airflow na Windows 10 bude nápomocný začínajúcim používateľom a urýchli ich vstup do sveta moderných analytických nástrojov.

Na budúce by som chcela pokračovať v téme a porozprávať o skúsenostiach s používaním Apache Airflow v oblasti analýzy správania používateľov mobilných aplikácií.

Zdroj: habr.com