Iskustvo instalacije Apache Airflow-a na Windows 10

Preamvula: sudbinom sudbine iz sveta akademske nauke (medicine) u svet informacionih tehnologija, gde moram koristiti svoje znanje o metodologiji izvođenja eksperimenata i strategijama analize eksperimentalnih podataka, međutim, primenjujući novi za mene stek tehnologija. Tokom usvajanja ovih tehnologija suočavam se sa nizom teškoća, koje za sada, srećom, uspevam da prevaziđem. Možda će ovaj post biti koristan onima koji takođe tek počinju da rade na Apache projektima.

Dakle, prelazimo na suštinu. Inspirisana članak Jurija Emeljanova o mogućnostima Apache Airflow u oblasti automatizacije analitičkih procedura, poželela sam da počnem koristiti ponuđeni set biblioteka u svom radu. Onima koji se još uvek nisu upoznali sa Apache Airflow, možda će biti interesantna mala pregledna članak na sajtu Nacionalne biblioteke im. N. E. Baumana.

Budući da obična uputstva za pokretanje Airflowa, sudeći po svemu, nisu primenjena u Windows okruženju, a korišćenje dockera u mom slučaju bi bilo suvišno, započela sam potragu za drugim rešenjima. Na sreću za mene, nisam bila prva na ovom putu, tako da sam uspela pronaći divnu video-uputstvo za instalaciju Apache Airflowa u Windows 10 bez korišćenja dockera. No, kao što to obično biva, prilikom izvođenja preporučenih koraka, javljaju se teškoće, i verujem ne samo kod mene. Zato bih želela da podelim svoje iskustvo instalacije Apache Airflowa, možda će nekome ovo uštedeti malo vremena.

Proći ćemo kroz korake uputstva (spoiler — 5. korak je prošao bez problema):

1. Instalacija Windows podsystema za Linux za naknadnu instalaciju Linux distribucija

Ovo je manji problem, kako se kaže:

Kontrolna tabla → Programi → Programi i funkcije → Uključivanje i isključivanje Windows funkcija → Windows podsystem za Linux

2. Instalacija Linux distribucije po izboru

Korzila sam aplikaciju Ubuntu.

3. Instalacija i ažuriranje pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Instalacija Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inicijalizacija baze podataka

I upravo ovde su počele moje male teškoće. Uputstvo zahteva da se unese komanda airflow initdb i pređe na sledeći korak. Međutim, neuspešno sam dobijala odgovor airflow: command not found. Logično je pretpostaviti da su se pojavili problemi tijekom instalacije Apache Airflow i jednostavno nedostaju potrebni datoteci. Provjerivši da je sve tamo gdje bi trebalo biti, odlučila sam pokušati navesti punu putanju do datoteke airflow (trebalo bi izgledati ovako: Puna/putanja/do/datoteke/airflow initdb). No, čuda nije bilo i odgovor je bio isti. airflow: command not found. Pokušala sam koristiti relativnu putanju do datoteke (./.local/bin/airflow initdb), što je rezultiralo pojavom nove greške ModuleNotFoundError: Nema modula pod nazivom 'json', koju se može prevladati ažuriranjem knjižnice werkzeug (u mom slučaju na verziju 0.15.4):

pip install werkzeug==0.15.4

Više o werkzeugu možete pročitati ovdje.

Nakon ove jednostavne manipulacije, naredba ./.local/bin/airflow initdb je uspješno izvršena.

6. Pokretanje Airflow poslužitelja

Na tome poteškoće s pristupom airflowu još nisu završene. Pokretanje naredbe ./.local/bin/airflow webserver -p 8080 dovelo je do greške Nema takve datoteke ili direktorija. Vjerojatno bi iskusni korisnik Ubuntua odmah pokušao prevladati takve poteškoće s pristupom datoteci koristeći naredbu export PATH=$PATH:~/.local/bin/ (tj. dodajući postojećem putu za pretraživanje izvršnih datoteka, definiranom varijablom PATH, katalog /.local/bin/), ali ovaj članak namijenjen je onima koji prvenstveno rade na Windowsu i možda ne smatraju to rješenje očiglednim.

Nakon opisane gore manipulacije, naredba ./.local/bin/airflow webserver -p 8080 je uspješno izvršena.

7. URL: localhost:8080/

Ako je sve prošlo uspješno u prethodnim koracima, spremni ste osvojiti analitičke visine.

Nadam se da će gornje iskustvo instalacije Apache Airflow na Windows 10 biti od pomoći početnicima i ubrzati njihovo uključivanje u svemir modernih analitičkih alata.

Sljedeći put bih željela nastaviti temu i pričati o iskustvu korištenja Apache Airflow u analizi ponašanja korisnika mobilnih aplikacija.

Izvor: habr.com