Eesliide: saatuse pöördel, kadudes akadeemilisest teadusest (meditsiinist) infotehnoloogia maailma, kus pean kasutama oma teadmisi katsete läbiviimise metoodikast ja katseandmete analüüsi strateegiatest, samas uue tehnoloogiakomplekti kasutuselevõtmisel. Nende tehnoloogiate omandamisel olen silmitsi seismas mitmete raskustega, millest õnneks olen suutnud üle saada. Võib-olla on see postitus kasulik neile, kes samuti alles alustavad Apache projektidega.
Nii, asja juurde. Inspiratsiooni saades Juri Jemeljano sõnumitest Apache Airflowi võimalustest analüütiliste protseduuride automatiseerimise osas, soovisin hakata seda raamatukogude paketti oma töös kasutama. Neile, kes ei tunne veel Apache Airflow'i, võib olla huvitav väike ülevaade Rahvusraamatukogu kodulehelt N. E. Baumani nimel.
Kuna tavainstruktsioonid Airflow'i käivitamiseks ei paista sobivat Windowsi keskkonda, ja kasutada selle ülesande lahendamiseks minu puhul oleks üleliigne, alustasin ma teiste lahenduste otsimist. Õnneks ei olnud ma selles teel esimene, seega leidsin suurepärase Apache Airflowi paigaldamisest Windows 10-s ilma dockeri kasutamiseta. Kuid nagu sageli juhtub, ilmnevad soovitatud samme järgides raskused, ja arvan, et mitte ainult mina. Seetõttu sooviksin jagada oma kogemust Apache Airflowi paigaldamisest, võib-olla aitab see kellelgi aega kokku hoida.
Vaatame juhendit samm-sammult (spoiler — 5. sammus läks kõik suurepäraselt):
1. Windowsi alamsüsteemi installimine Linuxi järgneva Linuxi distributsiooni paigaldamiseks
See on väike probleem, nagu öeldakse:
Juhtpaneel → Programmid → Programmid ja komponendid → Windowsi komponentide sisse ja välja lülitamine → Windowsi alamsüsteem Linuxi jaoks
2. Valitud Linuxi distributsiooni paigaldamine
Kasutasin rakendust .
3. pip-i installimine ja uuendus
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Apache Airflowi paigaldamine
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Andmebaasi initsialiseerimine
Ja just siin algasid mu väikesed raskused. Juhend käsib sisestada käsk airflow initdb ja minna järgmisele sammu. Kuid ma sain pidevalt vastuse airflow: käsku ei leitud. On loogiline eeldada, et Apache Airflow installimise etapis tekkisid raskused ja lihtsalt ei olnud vajalikke faile. Uurides, et kõik on seal, kus see olema peab, otsustasin proovida määrata airflow faili täieliku tee (see peaks välja nägema nii: Täielik/tee/faili/airflow initdb). Kuid imet ei juhtunud ja vastus oli sama airflow: käsku ei leitud. Proovisin kasutada faili suhtelist teed (./.local/bin/airflow initdb), mis tõi esile uue vea ModuleNotFoundError: No module named json', mille saab ületada, värskendades teeki werkzeug (minu juhul versioonini 0.15.4):
pip install werkzeug==0.15.4Täpsemat teavet werkzeug'i kohta saab lugeda .
Pärast seda lihtsat toimingut käsk ./.local/bin/airflow initdb täideti edukalt.
6. Airflow serveri käivitamine
Sellega ei olnud raskused airflow'ga ühenduse loomisega veel lõppenud. Käsk ./.local/bin/airflow webserver -p 8080 tookse kaasa vea Ei ole sellist faili või katalooge. Tõenäoliselt oleks kogenud Ubuntu kasutaja kohe proovinud selliseid raskusi faili poolega ületada, kasutades käsku export PATH=$PATH:~/.local/bin/ (see tähendab, et lisades olemasolevale täidetavate failide otsinguteele, mille määrab PATH muutuja, katalooge .local/bin/), kuid see postitus on mõeldud neile, kes peamiselt töötavad Windowsiga ega pruugi sellist lahendust ilmseks pidada.
Pärast eespool kirjeldatud toimingut käsk ./.local/bin/airflow webserver -p 8080 täideti edukalt.
7. URL: :8080/
Kui kõik läks eelmistel etappidel hästi, siis olete valmis vallutama analüütilisi tõusude.
Loodan, et eespool kirjeldatud Apache Airflow'i installimise kogemus Windows 10-l on kasulik algajatele ja kiirendab nende sisenemist kaasaegsete analüüsitööde universumisse.
Järgmine kord sooviksin jätkata teemat ja rääkida Apache Airflow'i kasutamise kogemusest mobiilirakenduste kasutajate käitumise analüüsil.
Allikas: habr.com
