Erfarenhet av att installera Apache Airflow på Windows 10

Inledning: genom ödet från den akademiska världen (medicin) hamnade jag i IT-världen, där jag måste använda min kunskap om metodologin för experimentuppbyggnad och strategier för analys av experimentdata, men tillämpa en ny teknikstack för mig. Under processen av att lära mig dessa teknologier stöter jag på en rad svårigheter, som jag än så länge lyckas övervinna. Kanske kommer detta inlägg att vara användbart för dem som också just börjar arbeta med Apache-projekt.

Så, till saken. Inspirerad av artikeln Yuri Emelyanovs insikter om möjligheterna med Apache Airflow inom automatisering av analytiska procedurer, ville jag börja använda det föreslagna biblioteket i mitt arbete. För dem som är helt nya på Apache Airflow kan en liten översikt vara intressant artikeln på webbplatsen för Nationalbiblioteket. N.E. Bauman.

Eftersom vanliga instruktioner för att starta Airflow, tydligen inte tillämpas i Windows-miljö, och att använda Docker i mitt fall skulle vara överflödigt, började jag söka efter andra lösningar. Lyckligtvis för mig, jag var inte först på den här vägen, så jag lyckades hitta en fantastisk videoguide för att installera Apache Airflow i Windows 10 utan att använda Docker. Men, som det ofta är, när jag följde de rekommenderade stegen uppstod svårigheter, och jag tror inte att jag är den enda. Därför skulle jag vilja berätta om min erfarenhet av att installera Apache Airflow, kanske kan det spara någon lite tid.

Låt oss gå igenom stegen i instruktionen (spoiler - vid steg 5 gick allt bra):

1. Installation av Windows Subsystem for Linux för senare installation av Linux-distributioner

Detta är det mindre problemet, som man säger:

Kontrollpanelen → Program → Program och funktioner → Aktivera eller inaktivera Windows-funktioner → Windows Subsystem for Linux

2. Installation av vald Linux-distribution

Jag använde applikationen Ubuntu.

3. Installation och uppdatering av pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Installation av Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Initiering av databasen

Och just här började mina små svårigheter. Instruktionen föreskriver att jag ska skriva kommandot airflow initdb och gå vidare till nästa steg. Men jag fick ständigt svaret airflow: command not found. Det är rimligt att anta att det har uppstått problem under installationen av Apache Airflow och att de nödvändiga filerna helt enkelt saknas. Efter att ha säkerställt att allt är där det ska vara, bestämde jag mig för att försöka ange den fullständiga sökvägen till filen airflow (det bör se ut så här: full/path/to/file/airflow initdb). Men miraklet inträffade inte och svaret var detsamma. airflow: command not found. Jag försökte använda den relativa sökvägen till filen (./.local/bin/airflow initdb), vilket ledde till att ett nytt fel dök upp ModuleNotFoundError: No module named json', vilket kan övervinnas genom att uppdatera biblioteket werkzeug (i mitt fall till version 0.15.4):

pip install werkzeug==0.15.4

Mer om werkzeug kan läsas här.

Efter denna enkla manipulation genomfördes kommandot ./.local/bin/airflow initdb framgångsrikt.

6. Starta Airflow-servern

Här tar problemen med att få åtkomst till airflow inte slut. Att köra kommandot ./.local/bin/airflow webserver -p 8080 resulterade i ett fel No such file or directory. En erfaren Ubuntu-användare skulle troligtvis genast ha försökt övervinna sådana problem med filåtkomst genom att använda kommandot export PATH=$PATH:~/.local/bin/ (det vill säga att lägga till katalogen /.local/bin/ till den befintliga sökvägen för körbara filer som definieras av variabeln PATH), men detta inlägg är avsett för dem som främst arbetar med Windows och kanske inte anser att en sådan lösning är uppenbar.

Efter den ovan beskrivna manipulationen genomfördes kommandot ./.local/bin/airflow webserver -p 8080 framgångsrikt.

7. URL: localhost:8080/

Om allt gick bra på de tidigare stegen, är du redo att erövra analytiska höjder.

Jag hoppas att den beskrivna erfarenheten av att installera Apache Airflow på Windows 10 kommer att vara till hjälp för nybörjare och påskynda deras inträde i universum av moderna analytiska verktyg.

Nästa gång skulle jag vilja fortsätta ämnet och berätta om erfarenheterna av att använda Apache Airflow inom analys av användarbeteende i mobilapplikationer.

Källa: habr.com