Opplev å installere Apache Airflow på Windows 10

innledning: etter skjebnens vilje, fra verden av akademisk vitenskap (medisin) befant jeg meg i en verden av informasjonsteknologi, hvor jeg må bruke min kunnskap om metodikken for å konstruere et eksperiment og strategier for å analysere eksperimentelle data, men gjelder en teknologistabel som er ny for meg. I prosessen med å mestre disse teknologiene møter jeg en rekke vanskeligheter, som heldigvis så langt er overvunnet. Kanskje dette innlegget vil være nyttig for de som også akkurat har begynt å jobbe med Apache-prosjekter.

Så, til poenget. Inspirert artikler Yuri Emelyanov om evnene til Apache Airflow innen automatisering av analytiske prosedyrer, jeg ønsket å begynne å bruke det foreslåtte settet med biblioteker i arbeidet mitt. De som ennå ikke er kjent med Apache Airflow kan være interessert i en kort oversikt artikkel på nettsiden til Nasjonalbiblioteket. N. E. Bauman.

Siden de vanlige instruksjonene for å kjøre Airflow ikke ser ut til å gjelde i et Windows-miljø, bruk denne til å løse dette problemet havnearbeider i mitt tilfelle ville det være overflødig, jeg begynte å se etter andre løsninger. Heldigvis for meg var jeg ikke den første på denne stien, så jeg klarte å finne en fantastisk videoinstruksjoner Slik installerer du Apache Airflow på Windows 10 uten å bruke Docker. Men, som ofte skjer, når du følger de anbefalte trinnene, oppstår det vanskeligheter, og, tror jeg, ikke bare for meg. Derfor vil jeg gjerne snakke om min erfaring med å installere Apache Airflow, kanskje det vil spare noen for litt tid.

La oss gå gjennom trinnene i instruksjonene (spoiler - alt gikk bra på det 5. trinnet):

1. Installere Windows-undersystemet for Linux for påfølgende installasjon av Linux-distribusjoner

Dette er det minste av problemene, som de sier:

Kontrollpanel → Programmer → Programmer og funksjoner → Slå Windows-funksjoner på eller av → Windows Subsystem for Linux

2. Installer Linux-distribusjonen du ønsker

Jeg brukte applikasjonen Ubuntu.

3. Installasjon og oppdatering pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Installere Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Databaseinitialisering

Og det var her mine små vanskeligheter begynte. Instruksjonene krever at du skriver inn kommandoen airflow initdb og gå videre til neste trinn. Men jeg fikk alltid svar airflow: command not found. Det er logisk å anta at det oppsto vanskeligheter under installasjonen av Apache Airflow og at de nødvendige filene rett og slett ikke er tilgjengelige. Etter å ha forsikret meg om at alt var der det skulle være, bestemte jeg meg for å prøve å spesifisere hele banen til luftstrømfilen (den skulle se slik ut: Полный/путь/до/файла/airflow initdb). Men miraklet skjedde ikke, og svaret var det samme airflow: command not found. Jeg prøvde å bruke en relativ bane til filen (./.local/bin/airflow initdb), som førte til en ny feil ModuleNotFoundError: No module named json'som kan overvinnes ved å oppdatere biblioteket verktøy (i mitt tilfelle opp til versjon 0.15.4):

pip install werkzeug==0.15.4

Du kan lese mer om werkzeug her.

Etter denne enkle manipulasjonen kommandoen ./.local/bin/airflow initdb ble fullført.

6. Starte Airflow-serveren

Dette er ikke slutten på vanskelighetene med å få tilgang til luftstrømmen. Kjøre en kommando ./.local/bin/airflow webserver -p 8080 resulterte i en feil No such file or directory. Sannsynligvis vil en erfaren Ubuntu-bruker umiddelbart prøve å overvinne slike problemer med å få tilgang til filen ved å bruke kommandoen export PATH=$PATH:~/.local/bin/ (det vil si å legge til /.local/bin/ til den eksisterende PATH kjørbare søkebanen), men dette innlegget er ment for de som primært jobber med Windows og kanskje ikke synes denne løsningen er åpenbar.

Etter manipulasjonen beskrevet ovenfor, kommandoen ./.local/bin/airflow webserver -p 8080 ble fullført.

7. URL: localhost: 8080 /

Hvis alt gikk bra i de foregående stadiene, er du klar til å erobre analytiske topper.

Jeg håper at opplevelsen beskrevet ovenfor med å installere Apache Airflow på Windows 10 vil være nyttig for nybegynnere og vil fremskynde deres inntreden i universet av moderne analyseverktøy.

Neste gang vil jeg fortsette med temaet og snakke om opplevelsen av å bruke Apache Airflow innen analyse av brukeratferd til mobilapplikasjoner.

Kilde: www.habr.com