Skúsenosti s inštaláciou Apache Airflow na Windows 10

preambuly: vôľou osudu som sa zo sveta akademickej vedy (medicíny) ocitol vo svete informačných technológií, kde musím využiť svoje znalosti z metodológie konštrukcie experimentu a stratégií analýzy experimentálnych dát, avšak aplikovať technologický balík, ktorý je pre mňa nový. V procese osvojovania si týchto technológií sa stretávam s množstvom ťažkostí, ktoré sú, našťastie, zatiaľ prekonané. Možno bude tento príspevok užitočný pre tých, ktorí tiež len začínajú pracovať s projektmi Apache.

Takže k veci. Inšpirovaný článok Yuri Emelyanov o schopnostiach Apache Airflow v oblasti automatizácie analytických postupov, chcel som vo svojej práci začať používať navrhovanú sadu knižníc. Tých, ktorí ešte Apache Airflow vôbec nepoznajú, môže zaujať krátky prehľad článok na stránke Národnej knižnice. N. E. Bauman.

Keďže sa zdá, že obvyklé pokyny na spustenie Airflow neplatia v prostredí Windows, použite na vyriešenie tohto problému toto doker v mojom prípade by to bolo nadbytočné, začal som hľadať iné riešenia. Našťastie pre mňa, nebol som na tejto ceste prvý, a tak sa mi podarilo nájsť nádhernú video návod Ako nainštalovať Apache Airflow na Windows 10 bez použitia Docker. Ale, ako sa to často stáva, pri dodržiavaní odporúčaných krokov nastanú ťažkosti, a verím, že nielen mne. Preto by som rád porozprával o mojich skúsenostiach s inštaláciou Apache Airflow, možno to niekomu ušetrí trochu času.

Poďme si prejsť kroky pokynov (spoiler - v 5. kroku všetko prebehlo v poriadku):

1. Inštalácia podsystému Windows pre Linux pre následnú inštaláciu distribúcií Linuxu

Toto je najmenší z problémov, ako sa hovorí:

Ovládací panel → Programy → Programy a funkcie → Zapnutie alebo vypnutie funkcií systému Windows → Podsystém Windows pre Linux

2. Nainštalujte distribúciu Linuxu podľa vášho výberu

Použil som aplikáciu ubuntu.

3. Inštalácia a aktualizácia pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Inštalácia Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inicializácia databázy

A tu začali moje malé ťažkosti. Pokyny vyžadujú zadanie príkazu airflow initdb a prejdite na ďalší krok. Vždy som však dostal odpoveď airflow: command not found. Je logické predpokladať, že počas inštalácie Apache Airflow sa vyskytli ťažkosti a potrebné súbory jednoducho nie sú k dispozícii. Keď som sa uistil, že je všetko tam, kde má byť, rozhodol som sa pokúsiť zadať úplnú cestu k súboru prúdenia vzduchu (malo by to vyzerať takto: Полный/путь/до/файла/airflow initdb). Ale zázrak sa nestal a odpoveď bola rovnaká airflow: command not found. Skúsil som použiť relatívnu cestu k súboru (./.local/bin/airflow initdb), čo viedlo k novej chybe ModuleNotFoundError: No module named json'ktoré možno prekonať aktualizáciou knižnice nástroj (v mojom prípade do verzie 0.15.4):

pip install werkzeug==0.15.4

Môžete si prečítať viac o werkzeug tu.

Po tejto jednoduchej manipulácii príkaz ./.local/bin/airflow initdb bola úspešne dokončená.

6. Spustenie servera Airflow

Týmto sa ťažkosti s prístupom k prúdeniu vzduchu nekončia. Spustenie príkazu ./.local/bin/airflow webserver -p 8080 viedlo k chybe No such file or directory. Skúsený používateľ Ubuntu by sa pravdepodobne okamžite pokúsil prekonať takéto ťažkosti s prístupom k súboru pomocou príkazu export PATH=$PATH:~/.local/bin/ (t. j. pridanie /.local/bin/ do existujúcej cesty vyhľadávania spustiteľného súboru PATH), ale tento príspevok je určený pre tých, ktorí primárne pracujú s Windows a možno si nemyslia, že toto riešenie je samozrejmé.

Po vyššie opísanej manipulácii príkaz ./.local/bin/airflow webserver -p 8080 bola úspešne ukončená.

7.URL: localhost: 8080 /

Ak v predchádzajúcich fázach všetko išlo dobre, ste pripravení dobyť analytické vrcholy.

Dúfam, že skúsenosti opísané vyššie pri inštalácii Apache Airflow na Windows 10 budú užitočné pre začínajúcich používateľov a urýchlia ich vstup do vesmíru moderných analytických nástrojov.

Nabudúce by som rád pokračoval v téme a porozprával o skúsenostiach s používaním Apache Airflow v oblasti analýzy používateľského správania mobilných aplikácií.

Zdroj: hab.com