Iskustvo instaliranja Apache Airflow-a na Windows 10

Preambula: voljom sudbine, iz sveta akademske nauke (medicine) našao sam se u svetu informacionih tehnologija, gde moram da koristim svoja znanja o metodologiji konstruisanja eksperimenta i strategijama za analizu eksperimentalnih podataka, međutim, primenim tehnološka grupa koja je za mene nova. U procesu savladavanja ovih tehnologija susrećem se sa nizom poteškoća, koje su, na sreću, do sada prevaziđene. Možda će ovaj post biti koristan onima koji tek počinju raditi s Apache projektima.

Dakle, na stvar. Inspirisan članak Yuri Emelyanov o mogućnostima Apache Airflow-a u oblasti automatizacije analitičkih procedura, želeo sam da počnem da koristim predloženi skup biblioteka u svom radu. Oni koji još nisu upoznati sa Apache Airflow-om mogli bi biti zainteresirani za kratak pregled članak na sajtu Narodne biblioteke. N. E. Bauman.

Budući da se čini da se uobičajena uputstva za pokretanje Airflow-a ne primjenjuju u Windows okruženju, koristite ovo da riješite ovaj problem docker u mom slučaju to bi bilo suvišno, počeo sam tražiti druga rješenja. Na moju sreću, nisam bio prvi na ovom putu, pa sam uspeo da pronađem divno video uputstvo Kako instalirati Apache Airflow na Windows 10 bez korištenja Dockera. Ali, kao što se često dešava, kada slijedite preporučene korake, nastaju poteškoće, i to, vjerujem, ne samo kod mene. Stoga bih želio govoriti o svom iskustvu instaliranja Apache Airflow-a, možda će nekome uštedjeti malo vremena.

Idemo kroz korake uputstava (spojler - sve je prošlo u redu na 5. koraku):

1. Instaliranje Windows podsistema za Linux za naknadnu instalaciju Linux distribucija

Ovo je najmanji problem, kako kažu:

Kontrolna tabla → Programi → Programi i funkcije → Uključite ili isključite Windows funkcije → Windows podsistem za Linux

2. Instalirajte distribuciju Linuxa po vašem izboru

Koristio sam aplikaciju Ubuntu.

3. Instalacija i ažuriranje pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Instaliranje Apache Airflow-a

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inicijalizacija baze podataka

I tu su počele moje male poteškoće. Uputstva zahtijevaju da unesete naredbu airflow initdb i pređite na sljedeći korak. Međutim, uvijek sam dobijao odgovor airflow: command not found. Logično je pretpostaviti da su se poteškoće pojavile tokom instalacije Apache Airflow-a i da potrebne datoteke jednostavno nisu dostupne. Nakon što sam se uverio da je sve tamo gde treba da bude, odlučio sam da pokušam da navedem punu putanju do fajla protoka vazduha (trebalo bi da izgleda ovako: Полный/путь/до/файла/airflow initdb). Ali čudo se nije dogodilo i odgovor je bio isti airflow: command not found. Pokušao sam koristiti relativnu putanju do datoteke (./.local/bin/airflow initdb), što je dovelo do nove greške ModuleNotFoundError: No module named json'što se može prevazići ažuriranjem biblioteke Alat (u mom slučaju do verzije 0.15.4):

pip install werkzeug==0.15.4

Možete pročitati više o werkzeugu ovdje.

Nakon ove jednostavne manipulacije naredba ./.local/bin/airflow initdb je uspješno završen.

6. Pokretanje Airflow servera

Ovo nije kraj poteškoćama sa pristupom protoku vazduha. Izvođenje naredbe ./.local/bin/airflow webserver -p 8080 rezultiralo greškom No such file or directory. Verovatno bi iskusni Ubuntu korisnik odmah pokušao da prevaziđe takve poteškoće sa pristupom datoteci koristeći naredbu export PATH=$PATH:~/.local/bin/ (odnosno dodavanje /.local/bin/ postojećoj putanji za pretragu izvršne PATH), ali ovaj post je namenjen onima koji prvenstveno rade sa Windows-om i možda ne misle da je ovo rešenje očigledno.

Nakon gore opisane manipulacije, naredba ./.local/bin/airflow webserver -p 8080 je uspješno završen.

7.URL: localhost8080 /

Ako je sve prošlo dobro u prethodnim fazama, onda ste spremni za osvajanje analitičkih vrhova.

Nadam se da će gore opisano iskustvo u instalaciji Apache Airflow-a na Windows 10 biti korisno korisnicima početnicima i da će ubrzati njihov ulazak u svemir modernih analitičkih alata.

Sljedeći put bih želio da nastavim temu i pričam o iskustvu korištenja Apache Airflow-a u polju analize ponašanja korisnika mobilnih aplikacija.

izvor: www.habr.com