Oplev at installere Apache Airflow på Windows 10

præambel: efter skæbnens vilje, fra den akademiske videnskabs (medicinske) verden befandt jeg mig i informationsteknologiens verden, hvor jeg skal bruge min viden om metoden til at konstruere et eksperiment og strategier til at analysere eksperimentelle data, dog gælder en teknologistak, der er ny for mig. I processen med at mestre disse teknologier støder jeg på en række vanskeligheder, som heldigvis indtil videre er overvundet. Måske vil dette indlæg være nyttigt for dem, der også lige er begyndt at arbejde med Apache-projekter.

Så til sagen. Inspireret artikel Yuri Emelyanov om Apache Airflows muligheder inden for automatisering af analytiske procedurer, jeg ønskede at begynde at bruge det foreslåede sæt af biblioteker i mit arbejde. Dem, der endnu slet ikke er bekendt med Apache Airflow, kan være interesseret i en kort oversigt artiklen på Nationalbibliotekets hjemmeside. N. E. Bauman.

Da de sædvanlige instruktioner til at køre Airflow ikke ser ud til at gælde i et Windows-miljø, skal du bruge denne til at løse dette problem havnearbejder i mit tilfælde ville det være overflødigt, jeg begyndte at lede efter andre løsninger. Heldigvis for mig var jeg ikke den første på denne vej, så det lykkedes mig at finde en vidunderlig video instruktioner Sådan installeres Apache Airflow på Windows 10 uden at bruge Docker. Men som det ofte sker, når man følger de anbefalede trin, opstår der vanskeligheder, og det tror jeg ikke kun for mig. Derfor vil jeg gerne fortælle om min erfaring med at installere Apache Airflow, måske vil det spare nogen lidt tid.

Lad os gennemgå trinnene i instruktionerne (spoiler - alt gik fint på 5. trin):

1. Installation af Windows-undersystemet til Linux til efterfølgende installation af Linux-distributioner

Dette er det mindste af problemerne, som de siger:

Kontrolpanel → Programmer → Programmer og funktioner → Slå Windows-funktioner til eller fra → Windows Subsystem til Linux

2. Installer Linux-distributionen efter eget valg

Jeg brugte applikationen Ubuntu.

3. Installation og opdatering af pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Installation af Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Databaseinitialisering

Og det var her, mine små vanskeligheder begyndte. Instruktionerne kræver, at du indtaster kommandoen airflow initdb og gå videre til næste trin. Jeg fik dog altid svar airflow: command not found. Det er logisk at antage, at der opstod vanskeligheder under installationen af ​​Apache Airflow, og at de nødvendige filer simpelthen ikke er tilgængelige. Efter at have sikret mig, at alt var, hvor det skulle være, besluttede jeg at prøve at angive den fulde sti til luftstrømsfilen (den skulle se sådan ud: Полный/путь/до/файла/airflow initdb). Men miraklet skete ikke, og svaret var det samme airflow: command not found. Jeg prøvede at bruge en relativ sti til filen (./.local/bin/airflow initdb), hvilket førte til en ny fejl ModuleNotFoundError: No module named json'som kan overvindes ved at opdatere biblioteket værktøj (i mit tilfælde op til version 0.15.4):

pip install werkzeug==0.15.4

Du kan læse mere om werkzeug her.

Efter denne simple manipulation kommandoen ./.local/bin/airflow initdb blev gennemført med succes.

6. Start af Airflow-serveren

Dette er ikke slutningen på vanskelighederne med at få adgang til luftstrømmen. Kører en kommando ./.local/bin/airflow webserver -p 8080 resulterede i en fejl No such file or directory. Sandsynligvis ville en erfaren Ubuntu-bruger straks forsøge at overvinde sådanne vanskeligheder med at få adgang til filen ved at bruge kommandoen export PATH=$PATH:~/.local/bin/ (dvs. tilføje /.local/bin/ til den eksisterende PATH eksekverbare søgesti), men dette indlæg er beregnet til dem, der primært arbejder med Windows og måske ikke synes, at denne løsning er indlysende.

Efter manipulationen beskrevet ovenfor, kommandoen ./.local/bin/airflow webserver -p 8080 blev gennemført med succes.

7. URL: localhost: 8080 /

Hvis alt gik godt i de foregående faser, så er du klar til at erobre analytiske toppe.

Jeg håber, at oplevelsen beskrevet ovenfor med at installere Apache Airflow på Windows 10 vil være nyttig for nybegyndere og vil fremskynde deres indtræden i universet af moderne analyseværktøjer.

Næste gang vil jeg gerne fortsætte emnet og fortælle om oplevelsen af ​​at bruge Apache Airflow inden for analyse af brugeradfærd i mobilapplikationer.

Kilde: www.habr.com