Apache Airflowi paigaldamise kogemus Windows 10-s

Eesliide: saatuse pöördel, kadudes akadeemilisest teadusest (meditsiinist) infotehnoloogia maailma, kus pean kasutama oma teadmisi katsete läbiviimise metoodikast ja katseandmete analüüsi strateegiatest, samas uue tehnoloogiakomplekti kasutuselevõtmisel. Nende tehnoloogiate omandamisel olen silmitsi seismas mitmete raskustega, millest õnneks olen suutnud üle saada. Võib-olla on see postitus kasulik neile, kes samuti alles alustavad Apache projektidega.

Nii, asja juurde. Inspiratsiooni saades artikkel Juri Jemeljano sõnumitest Apache Airflowi võimalustest analüütiliste protseduuride automatiseerimise osas, soovisin hakata seda raamatukogude paketti oma töös kasutama. Neile, kes ei tunne veel Apache Airflow'i, võib olla huvitav väike ülevaade artikkel Rahvusraamatukogu kodulehelt N. E. Baumani nimel.

Kuna tavainstruktsioonid Airflow'i käivitamiseks ei paista sobivat Windowsi keskkonda, ja kasutada selle ülesande lahendamiseks docker minu puhul oleks üleliigne, alustasin ma teiste lahenduste otsimist. Õnneks ei olnud ma selles teel esimene, seega leidsin suurepärase videoinstruktsiooni Apache Airflowi paigaldamisest Windows 10-s ilma dockeri kasutamiseta. Kuid nagu sageli juhtub, ilmnevad soovitatud samme järgides raskused, ja arvan, et mitte ainult mina. Seetõttu sooviksin jagada oma kogemust Apache Airflowi paigaldamisest, võib-olla aitab see kellelgi aega kokku hoida.

Vaatame juhendit samm-sammult (spoiler — 5. sammus läks kõik suurepäraselt):

1. Windowsi alamsüsteemi installimine Linuxi järgneva Linuxi distributsiooni paigaldamiseks

See on väike probleem, nagu öeldakse:

Juhtpaneel → Programmid → Programmid ja komponendid → Windowsi komponentide sisse ja välja lülitamine → Windowsi alamsüsteem Linuxi jaoks

2. Valitud Linuxi distributsiooni paigaldamine

Kasutasin rakendust Ubuntu.

3. pip-i installimine ja uuendus

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflowi paigaldamine

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Andmebaasi initsialiseerimine

Ja just siin algasid mu väikesed raskused. Juhend käsib sisestada käsk airflow initdb ja minna järgmisele sammu. Kuid ma sain pidevalt vastuse airflow: käsku ei leitud. On loogiline eeldada, et Apache Airflow installimise etapis tekkisid raskused ja lihtsalt ei olnud vajalikke faile. Uurides, et kõik on seal, kus see olema peab, otsustasin proovida määrata airflow faili täieliku tee (see peaks välja nägema nii: Täielik/tee/faili/airflow initdb). Kuid imet ei juhtunud ja vastus oli sama airflow: käsku ei leitud. Proovisin kasutada faili suhtelist teed (./.local/bin/airflow initdb), mis tõi esile uue vea ModuleNotFoundError: No module named json', mille saab ületada, värskendades teeki werkzeug (minu juhul versioonini 0.15.4):

pip install werkzeug==0.15.4

Täpsemat teavet werkzeug'i kohta saab lugeda siin.

Pärast seda lihtsat toimingut käsk ./.local/bin/airflow initdb täideti edukalt.

6. Airflow serveri käivitamine

Sellega ei olnud raskused airflow'ga ühenduse loomisega veel lõppenud. Käsk ./.local/bin/airflow webserver -p 8080 tookse kaasa vea Ei ole sellist faili või katalooge. Tõenäoliselt oleks kogenud Ubuntu kasutaja kohe proovinud selliseid raskusi faili poolega ületada, kasutades käsku export PATH=$PATH:~/.local/bin/ (see tähendab, et lisades olemasolevale täidetavate failide otsinguteele, mille määrab PATH muutuja, katalooge .local/bin/), kuid see postitus on mõeldud neile, kes peamiselt töötavad Windowsiga ega pruugi sellist lahendust ilmseks pidada.

Pärast eespool kirjeldatud toimingut käsk ./.local/bin/airflow webserver -p 8080 täideti edukalt.

7. URL: localhost:8080/

Kui kõik läks eelmistel etappidel hästi, siis olete valmis vallutama analüütilisi tõusude.

Loodan, et eespool kirjeldatud Apache Airflow'i installimise kogemus Windows 10-l on kasulik algajatele ja kiirendab nende sisenemist kaasaegsete analüüsitööde universumisse.

Järgmine kord sooviksin jätkata teemat ja rääkida Apache Airflow'i kasutamise kogemusest mobiilirakenduste kasutajate käitumise analüüsil.

Allikas: habr.com