Doživite instaliranje Apache Airflow na Windows 10

uvod: voljom sudbine, iz svijeta akademske znanosti (medicine) našao sam se u svijetu informacijske tehnologije, gdje moram iskoristiti svoje znanje o metodologiji konstruiranja eksperimenta i strategijama za analizu eksperimentalnih podataka, međutim, primijeniti tehnološki skup koji je za mene nov. U procesu ovladavanja ovim tehnologijama susrećem se s brojnim poteškoćama koje sam, srećom, do sada prevladao. Možda će ovaj post biti koristan onima koji također tek počinju raditi s Apache projektima.

Dakle, na stvar. Nadahnuto članaka Yuri Emelyanov o mogućnostima Apache Airflowa u području automatizacije analitičkih postupaka, želio sam početi koristiti predloženi skup knjižnica u svom radu. One koji još nisu uopće upoznati s Apache Airflowom možda će zanimati kratki pregled članak na web stranici Nacionalne knjižnice. N. E. Bauman.

Budući da se uobičajene upute za pokretanje Airflowa ne čine primjenjivim u Windows okruženju, upotrijebite ovo za rješavanje ovog problema lučki radnik u mom slučaju to bi bilo suvišno, počeo sam tražiti druga rješenja. Na moju sreću, nisam bio prvi na tom putu, pa sam uspio pronaći divnog video upute Kako instalirati Apache Airflow na Windows 10 bez korištenja Dockera. Ali, kao što se često događa, pri praćenju preporučenih koraka nastaju poteškoće, i vjerujem ne samo za mene. Stoga bih želio govoriti o svom iskustvu instaliranja Apache Airflowa, možda nekome uštedi malo vremena.

Idemo kroz korake uputa (spoiler - sve je prošlo u redu na 5. koraku):

1. Instalacija podsustava Windows za Linux za naknadnu instalaciju distribucija Linuxa

To je najmanji problem, kako kažu:

Upravljačka ploča → Programi → Programi i značajke → Uključivanje ili isključivanje Windows značajki → Windows podsustav za Linux

2. Instalirajte distribuciju Linuxa po svom izboru

Koristio sam aplikaciju Ubuntu.

3. Instalacija i ažuriranje pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Instaliranje Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inicijalizacija baze podataka

I tu su počele moje male poteškoće. Upute zahtijevaju unos naredbe airflow initdb i prijeđite na sljedeći korak. Međutim, uvijek sam dobivala odgovor airflow: command not found. Logično je pretpostaviti da su se poteškoće pojavile tijekom instalacije Apache Airflowa i potrebne datoteke jednostavno nisu dostupne. Nakon što sam se uvjerio da je sve tamo gdje treba biti, odlučio sam pokušati navesti puni put do datoteke protoka zraka (trebala bi izgledati ovako: Полный/путь/до/файла/airflow initdb). Ali čudo se nije dogodilo i odgovor je bio isti airflow: command not found. Pokušao sam koristiti relativni put do datoteke (./.local/bin/airflow initdb), što je dovelo do nove pogreške ModuleNotFoundError: No module named json'što se može prevladati ažuriranjem knjižnice alat (u mom slučaju do verzije 0.15.4):

pip install werkzeug==0.15.4

Možete pročitati više o werkzeugu здесь.

Nakon ove jednostavne manipulacije naredba ./.local/bin/airflow initdb je uspješno završen.

6. Pokretanje Airflow poslužitelja

Tu nije kraj poteškoćama s pristupom protoku zraka. Izvođenje naredbe ./.local/bin/airflow webserver -p 8080 rezultiralo je pogreškom No such file or directory. Vjerojatno bi iskusni korisnik Ubuntua odmah pokušao prevladati takve poteškoće s pristupom datoteci pomoću naredbe export PATH=$PATH:~/.local/bin/ (tj. dodavanje /.local/bin/ postojećem PATH izvršnom putu pretraživanja), ali ovaj je post namijenjen onima koji prvenstveno rade sa sustavom Windows i možda ne misle da je ovo rješenje očito.

Nakon gore opisane manipulacije, naredba ./.local/bin/airflow webserver -p 8080 je uspješno završena.

7.URL: localhost: 8080 /

Ako je sve bilo dobro u prethodnim fazama, onda ste spremni za osvajanje analitičkih vrhova.

Nadam se da će gore opisano iskustvo instaliranja Apache Airflowa na Windows 10 biti korisno korisnicima početnicima i da će ubrzati njihov ulazak u svemir modernih analitičkih alata.

Sljedeći put bih želio nastaviti temu i govoriti o iskustvu korištenja Apache Airflowa u području analize ponašanja korisnika mobilnih aplikacija.

Izvor: www.habr.com