Erfaring med å installere Apache Airflow på Windows 10

Forord: ved skjebnens innflytelse fra den akademiske verden (medisin) kom jeg inn i verden av informasjonsteknologi, hvor jeg må bruke min kunnskap om eksperimentell metode og strategier for analyse av eksperimentelle data, men anvende en ny teknologistack for meg. I prosessen med å mestre disse teknologiene møter jeg flere utfordringer som jeg så langt, heldigvis, har klart å overvinne. Kanskje dette innlegget vil være nyttig for de som også nettopp begynner å jobbe med Apache-prosjekter.

Så, til saken. Inspirert av artikkelen Yuri Emelyanovs tanker om mulighetene med Apache Airflow innen automatisering av analytiske prosesser, ønsket jeg å begynne å bruke det anbefalte biblioteket i arbeidet mitt. For de som ikke er kjent med Apache Airflow, kan det være interessant med en kort oversikt. article på nettstedet til Nasjonalbiblioteket etter N.E. Baumana.

Siden vanlige instruksjoner for å kjøre Airflow, tilsynelatende, ikke brukes i Windows-miljøet, og å bruke Docker i mitt tilfelle ville vært overflødig, begynte jeg å se etter andre løsninger. Heldigvis for meg var jeg ikke den første på denne veien, så jeg fant en fantastisk video-guide for installasjon av Apache Airflow på Windows 10 uten bruk av Docker. Men, som det ofte skjer, oppsto det utfordringer når jeg fulgte de anbefalte trinnene, og jeg antar at det ikke bare er meg. Derfor ønsker jeg å dele min erfaring med installasjonen av Apache Airflow, kanskje dette vil spare noen for litt tid.

La oss gå gjennom trinnene i instruksjonen (spoiler - alt gikk fint frem til femte trinn):

1. Installering av Windows Subsystem for Linux for senere installasjon av Linux-distribusjoner

Dette er den minste av problemene, som man sier:

Kontrollpanel → Programmer → Programmer og funksjoner → Slå Windows-funksjoner på eller av → Windows Subsystem for Linux

2. Installering av valgt Linux-distribusjon

Jeg brukte applikasjonen Ubuntu.

3. Installering og oppdatering av pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Installering av Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Initialisering av databasen

Og det er her mine små utfordringer begynte. Instruksjonen foreskriver at du skal skrive kommandoen airflow initdb og gå videre til neste trinn. Men jeg fikk alltid til svar airflow: kommando ikke funnet. Det er logisk å anta at det oppstod problemer under installasjonen av Apache Airflow, og at de nødvendige filene bare ikke er tilgjengelige. Etter å ha bekreftet at alt er der de skal være, bestemte jeg meg for å prøve å angi den fullstendige stien til airflow-filen (det bør se slik ut: Full/PATH/til/fila/airflow initdb). Men det skjedde ikke noe mirakel, og svaret var det samme airflow: kommando ikke funnet. Jeg prøvde å bruke den relative stien til fila (./.local/bin/airflow initdb), noe som førte til en ny feil ModuleNotFoundError: No module named json', som kan overkommes ved å oppdatere biblioteket werkzeug (i mitt tilfelle til versjon 0.15.4):

pip install werkzeug==0.15.4

Du kan lese mer om werkzeug her.

Etter denne enkle manipulasjonen ble kommandoen ./.local/bin/airflow initdb utført med hell.

6. Start av Airflow-server

Men problemene med å få tilgang til airflow var ikke over. Å kjøre kommandoen ./.local/bin/airflow webserver -p 8080 førte til en feil No such file or directory. Sannsynligvis ville en erfaren Ubuntu-bruker straks ha prøvd å overvinne slike problemer med å få tilgang til fila ved å bruke kommandoen export PATH=$PATH:~/local/bin/ (det vil si, ved å legge til katalogen /.local/bin/ til den eksisterende stien for eksekverbare filer, som er definert av variabelen PATH), men dette innlegget er ment for de som hovedsakelig jobber med Windows og kanskje ikke anser en slik løsning som åpenbar.

Etter den beskrevne manipulasjonen ble kommandoen ./.local/bin/airflow webserver -p 8080 utført med hell.

7. URL: localhost:8080/

Hvis alt gikk bra i de forrige trinnene, er du klar til å erobre analytiske høyder.

Jeg håper erfaringen ovenfor med å installere Apache Airflow på Windows 10 vil være nyttig for nybegynnere og fremskynde deres introduksjon til universet av moderne analyseverktøy.

Neste gang ønsker jeg å fortsette temaet og dele erfaringene mine med å bruke Apache Airflow i analyser av brukeradferd i mobilapplikasjoner.

Kilde: habr.com