Izkušnje z namestitvijo Apache Airflow na Windows 10

Uvod: po naključju sem iz sveta akademske znanosti (medicine) prišla v svet informacijske tehnologije, kjer moram uporabljati svoje znanje o metodologiji postavljanja eksperimentov in strategijah analize eksperimentalnih podatkov, vendar pa uporabljam nov sklop tehnologij, ki je nov zame. Med učenjem teh tehnologij se srečujem s številnimi izzivi, ki jih zaenkrat, hvala bogu, uspešno premagujem. Morda bo ta objava koristna tistim, ki prav tako šele začenjajo delo na projektih Apache.

Torej, k bistvu. Navdihnjena članek z Yurovimi Emeljanovimi možnostmi Apache Airflow na področju avtomatizacije analitičnih postopkov, sem si želela začeti uporabljati ponujeni nabor knjižnic v svojem delu. Tistim, ki še sploh niso seznanjeni z Apache Airflow, je lahko zanimiv kratek pregled članek na spletni strani Nacionalne knjižnice N. E. Baumana.

Ker običajna navodila za zagon Airflow, kot se zdi, niso uporabna v okolju Windows, in bi bilo v mojem primeru docker prekomerno, sem začela iskati druge rešitve. Na srečo zame, nisem bila prva na tej poti, zato sem uspela najti odličen video vodič za namestitev Apache Airflow v Windows 10 brez uporabe dockerja. Toda, kot se pogosto zgodi, so se pri izvajanju priporočeni korakov pojavili izzivi, in verjamem, da ne samo pri meni. Zato bi želela deliti svoje izkušnje z namestitvijo Apache Airflow, morda bo to nekomu prihranilo malo časa.

Poglejmo korake navodila (spoiler — pri 5. koraku je vse šlo odlično):

1. Namestitev Windows podsystema za Linux za naknadno namestitev Linux distribucij

To je manjši problem, kot pravijo:

Nadzorna plošča → Programi → Programi in funkcije → Aktivacija in deaktivacija funkcij sistema Windows → Windows podsystema za Linux

2. Namestitev distribucije Linux po izbiri

Uporabila sem aplikacijo Ubuntu.

3. Namestitev in posodobitev pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Namestitev Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inicializacija baze podatkov

In prav tukaj so se začeli moji majhni izzivi. Navodila predpisujejo, da vnesem ukaz airflow initdb in preidem na naslednji korak. Vendar sem nenehno dobivala odgovor airflow: command not found. Logično je pretpostaviti da su se pojavile poteškoće tokom instalacije Apache Airflow-a i da jednostavno nema potrebnih datoteka. Uverivši se da je sve gde treba da bude, odlučila sam da probam da navedem pun put do datoteke airflow (trebalo bi da izgleda ovako: Pun/put/do/datoteke/airflow initdb). Ali čuda nije bilo i odgovor je bio isti airflow: command not found. Pokušala sam da koristim relativni put do datoteke (./.local/bin/airflow initdb), što je dovelo do nove greške ModuleNotFoundError: Nema modula pod nazivom 'json', koju se može prevazići ažuriranjem biblioteke werkzeug (u mom slučaju na verziju 0.15.4):

pip install werkzeug==0.15.4

O werkzeug-u se može pročitati više ovde.

Nakon ove jednostavne manipulacije komanda ./.local/bin/airflow initdb je uspešno izvršena.

6. Pokretanje Airflow servera

Time problemi sa pristupanjem airflow-u još nisu završeni. Pokretanje komande ./.local/bin/airflow webserver -p 8080 dovelo je do greške Nema takve datoteke ili direktorijuma. Verovatno bi iskusan korisnik Ubuntua odmah pokušao da prevaziđe takve poteškoće sa pristupanjem datoteci koristeći komandu export PATH=$PATH:~/.local/bin/ (tj. dodajući postojećem putu za pretragu izvršnih datoteka, koji definiše promenljiva PATH, direktorijum /.local/bin/), ali ova objava je namenjena onima koji pretežno rade na Windows-u i možda ne smatraju to rešenje očiglednim.

Nakon navedene manipulacije komanda ./.local/bin/airflow webserver -p 8080 je uspešno izvršena.

7. URL: localhost:8080/

Ako je sve prošlo dobro na prethodnim koracima, spremni ste da osvojite analitičke vrhove.

Nadam se da će gore opisano iskustvo instalacije Apache Airflow-a na Windows 10 biti korisno početnicima i ubrzati njihovo uključivanje u svet savremenih analitičkih alata.

Sledeći put želim da nastavim temu i pričam o iskustvu korišćenja Apache Airflow-a u analizi ponašanja korisnika mobilnih aplikacija.

Izvor: habr.com