Preambula: po volji usode sem se iz sveta akademske znanosti (medicine) znašel v svetu informacijske tehnologije, kjer moram uporabiti svoje znanje o metodologiji izdelave eksperimenta in strategijah za analizo eksperimentalnih podatkov, vendar veljajo tehnološki sklop, ki je zame nov. V procesu obvladovanja teh tehnologij se srečujem s številnimi težavami, ki pa so jih na srečo zaenkrat premagale. Morda bo ta objava uporabna tudi za tiste, ki se šele začenjajo ukvarjati s projekti Apache.
Torej, k bistvu. Navdihnjen Yuri Emelyanov o zmožnostih Apache Airflow na področju avtomatizacije analitskih postopkov, želel sem začeti uporabljati predlagani nabor knjižnic pri svojem delu. Tiste, ki Apache Airflow še sploh ne poznate, bo morda zanimal kratek pregled na spletni strani Narodne knjižnice. N. E. Bauman.
Ker se zdi, da običajna navodila za zagon Airflow ne veljajo v okolju Windows, uporabite to za rešitev te težave v mojem primeru bi bilo to odveč, sem začel iskati druge rešitve. Na mojo srečo nisem bil prvi na tej poti, zato mi je uspelo najti čudovitega Kako namestiti Apache Airflow v Windows 10 brez uporabe Dockerja. Toda, kot se pogosto zgodi, se ob upoštevanju priporočenih korakov pojavijo težave, in verjamem, da ne samo zame. Zato bi rad spregovoril o svojih izkušnjah z namestitvijo Apache Airflow, mogoče bo komu prihranilo malo časa.
Pojdimo skozi korake navodil (spojler - v 5. koraku je šlo vse v redu):
1. Namestitev podsistema Windows za Linux za poznejšo namestitev distribucij Linuxa
To je še najmanjši problem, kot pravijo:
Nadzorna plošča → Programi → Programi in funkcije → Vklop ali izklop funkcij sistema Windows → Podsistem Windows za Linux
2. Namestite distribucijo Linuxa po vaši izbiri
Uporabil sem aplikacijo .
3. Namestitev in posodobitev pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Namestitev Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Inicializacija baze podatkov
In tu so se začele moje majhne težave. Navodila zahtevajo, da vnesete ukaz airflow initdb in nadaljujte z naslednjim korakom. Vendar sem vedno prejel odgovor airflow: command not found. Logično je domnevati, da so se med namestitvijo Apache Airflow pojavile težave in potrebne datoteke preprosto niso na voljo. Ko sem se prepričal, da je vse tam, kjer mora biti, sem se odločil poskusiti določiti celotno pot do datoteke airflow (izgledati bi moralo takole: Полный/путь/до/файла/airflow initdb). Toda čudež se ni zgodil in odgovor je bil enak airflow: command not found. Poskušal sem uporabiti relativno pot do datoteke (./.local/bin/airflow initdb), kar je povzročilo novo napako ModuleNotFoundError: No module named json'kar je mogoče premagati s posodobitvijo knjižnice orodje (v mojem primeru do različice 0.15.4):
pip install werkzeug==0.15.4Več o werkzeugu lahko preberete .
Po tej preprosti manipulaciji ukaz ./.local/bin/airflow initdb je bil uspešno zaključen.
6. Zagon strežnika Airflow
To pa še ni konec težav z dostopom do zraka. Izvajanje ukaza ./.local/bin/airflow webserver -p 8080 povzročilo napako No such file or directory. Verjetno bi izkušen uporabnik Ubuntuja takšne težave pri dostopu do datoteke takoj poskusil premagati z ukazom export PATH=$PATH:~/.local/bin/ (tj. dodajanje /.local/bin/ v obstoječo pot iskanja izvršljive datoteke PATH), vendar je ta objava namenjena tistim, ki delajo predvsem z operacijskim sistemom Windows in morda ne mislijo, da je ta rešitev očitna.
Po zgoraj opisani manipulaciji ukaz ./.local/bin/airflow webserver -p 8080 je bil uspešno zaključen.
7.URL: : 8080 /
Če je šlo vse dobro v prejšnjih fazah, potem ste pripravljeni na osvajanje analitičnih vrhov.
Upam, da bo zgoraj opisana izkušnja pri namestitvi Apache Airflow v Windows 10 koristna za uporabnike začetnike in bo pospešila njihov vstop v vesolje sodobnih analitičnih orodij.
Naslednjič bi rad nadaljeval temo in spregovoril o izkušnjah uporabe Apache Airflow na področju analize uporabniškega obnašanja mobilnih aplikacij.
Vir: www.habr.com