Upplev att installera Apache Airflow på Windows 10

ingressen: av ödets vilja, från den akademiska vetenskapens (medicinens) värld befann jag mig i informationsteknologins värld, där jag måste använda mina kunskaper om metodiken för att konstruera ett experiment och strategier för att analysera experimentella data, dock gäller en teknikstack som är ny för mig. I processen att bemästra dessa tekniker stöter jag på ett antal svårigheter, som lyckligtvis hittills har övervunnits. Kanske det här inlägget kommer att vara användbart för dem som också precis börjat arbeta med Apache-projekt.

Så, till saken. Inspirerad artiklar Yuri Emelyanov om kapaciteten hos Apache Airflow inom området för automatisering av analytiska procedurer, jag ville börja använda den föreslagna uppsättningen av bibliotek i mitt arbete. De som ännu inte alls är bekanta med Apache Airflow kan vara intresserade av en kort översikt artikel på Nationalbibliotekets hemsida. N. E. Bauman.

Eftersom de vanliga instruktionerna för att köra Airflow inte verkar gälla i en Windows-miljö, använd detta för att lösa det här problemet hamnarbetare i mitt fall skulle det vara överflödigt, jag började leta efter andra lösningar. Lyckligtvis för mig var jag inte först på den här vägen, så jag lyckades hitta en underbar videoinstruktioner Hur man installerar Apache Airflow på Windows 10 utan att använda Docker. Men som ofta händer, när man följer de rekommenderade stegen, uppstår svårigheter, och, tror jag, inte bara för mig. Därför skulle jag vilja prata om min erfarenhet av att installera Apache Airflow, kanske kommer det att spara någon lite tid.

Låt oss gå igenom stegen i instruktionerna (spoiler - allt gick bra på det 5:e steget):

1. Installera Windows Subsystem för Linux för efterföljande installation av Linux-distributioner

Detta är det minsta av problemen, som de säger:

Kontrollpanelen → Program → Program och funktioner → Slå på eller av Windows-funktioner → Windows Subsystem för Linux

2. Installera den Linux-distribution du väljer

Jag använde applikationen ubuntu.

3. Installation och uppdatering pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Installera Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Databasinitiering

Och det var här mina små svårigheter började. Instruktionerna kräver att du matar in kommandot airflow initdb och gå vidare till nästa steg. Däremot fick jag alltid svar airflow: command not found. Det är logiskt att anta att svårigheter uppstod under installationen av Apache Airflow och att de nödvändiga filerna helt enkelt inte är tillgängliga. Efter att ha sett till att allt var där det skulle vara, bestämde jag mig för att försöka specificera hela sökvägen till luftflödesfilen (den ska se ut så här: Полный/путь/до/файла/airflow initdb). Men miraklet hände inte och svaret var detsamma airflow: command not found. Jag försökte använda en relativ sökväg till filen (./.local/bin/airflow initdb), vilket ledde till ett nytt fel ModuleNotFoundError: No module named json'vilket kan övervinnas genom att uppdatera biblioteket verktyg (i mitt fall upp till version 0.15.4):

pip install werkzeug==0.15.4

Du kan läsa mer om werkzeug här.

Efter denna enkla manipulation kommandot ./.local/bin/airflow initdb slutfördes framgångsrikt.

6. Starta Airflow-servern

Detta är inte slutet på svårigheterna med att komma åt luftflödet. Kör ett kommando ./.local/bin/airflow webserver -p 8080 resulterade i ett fel No such file or directory. Förmodligen skulle en erfaren Ubuntu-användare omedelbart försöka övervinna sådana svårigheter med att komma åt filen genom att använda kommandot export PATH=$PATH:~/.local/bin/ (det vill säga att lägga till /.local/bin/ till den existerande körbara sökvägen för PATH), men det här inlägget är avsett för dem som i första hand arbetar med Windows och kanske inte tycker att den här lösningen är självklar.

Efter manipulationen som beskrivs ovan, kommandot ./.local/bin/airflow webserver -p 8080 slutfördes framgångsrikt.

7. URL: lokalvärd: 8080 /

Om allt gick bra i de tidigare stadierna, är du redo att erövra analytiska toppar.

Jag hoppas att upplevelsen som beskrivs ovan med att installera Apache Airflow på Windows 10 kommer att vara användbar för nybörjare och kommer att påskynda deras inträde i universum av moderna analysverktyg.

Nästa gång skulle jag vilja fortsätta ämnet och prata om upplevelsen av att använda Apache Airflow inom området för att analysera användarbeteende för mobilapplikationer.

Källa: will.com