Preambul: saatuse tahtel sattusin akadeemilise teaduse (meditsiini) maailmast infotehnoloogia maailma, kus pean kasutama oma teadmisi eksperimendi konstrueerimise metoodikast ja katseandmete analüüsimise strateegiatest, aga rakendada minu jaoks uut tehnoloogiapakki. Nende tehnoloogiate omandamise käigus puutun kokku mitmete raskustega, millest on siiani õnneks üle saadud. Võib-olla on see postitus kasulik neile, kes alles alustavad Apache projektidega töötamist.
Niisiis, asja juurde. Inspireeritud Juri Emelyanovi kohta Apache Airflow võimaluste kohta analüütiliste protseduuride automatiseerimise valdkonnas tahtsin hakata oma töös kasutama pakutud teekide komplekti. Kes pole veel Apache Airflow’ga kursis, võib olla huvitatud lühikesest ülevaatest Rahvusraamatukogu kodulehel. N. E. Bauman.
Kuna tavalised juhised Airflow käitamiseks ei tundu Windowsi keskkonnas kehtivat, kasutage seda probleemi lahendamiseks minu puhul oleks see üleliigne, hakkasin otsima muid lahendusi. Minu õnneks ei olnud ma sellel teel esimene, nii et mul õnnestus leida imeline Kuidas installida Apache Airflow opsüsteemi Windows 10 ilma Dockerit kasutamata. Kuid nagu sageli juhtub, tekivad soovitatud sammude järgimisel raskused ja usun, et mitte ainult minu jaoks. Seetõttu tahaksin rääkida oma kogemusest Apache Airflow installimisel, ehk säästab see kellegi aega veidi.
Vaatame läbi juhiste etapid (spoiler - 5. etapis läks kõik hästi):
1. Windowsi alamsüsteemi installimine Linuxi jaoks Linuxi distributsioonide hilisemaks installimiseks
See on väikseim probleemidest, nagu öeldakse:
Juhtpaneel → Programmid → Programmid ja funktsioonid → Lülitage Windowsi funktsioonid sisse või välja → Windowsi alamsüsteem Linuxile
2. Installige oma valitud Linuxi distributsioon
Kasutasin rakendust .
3. Pip installimine ja värskendamine
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Apache Airflow installimine
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Andmebaasi initsialiseerimine
Ja siit said alguse minu väikesed raskused. Juhised nõuavad käsu sisestamist airflow initdb ja liikuge järgmise sammu juurde. Siiski sain alati vastuse airflow: command not found. On loogiline eeldada, et Apache Airflow installimisel tekkisid raskused ja vajalikud failid pole lihtsalt saadaval. Olles veendunud, et kõik on seal, kus see olema peaks, otsustasin proovida määrata õhuvoolu faili täieliku tee (see peaks välja nägema järgmine: Полный/путь/до/файла/airflow initdb). Kuid imet ei juhtunud ja vastus oli sama airflow: command not found. Proovisin kasutada faili suhtelist teed (./.local/bin/airflow initdb), mis tõi kaasa uue vea ModuleNotFoundError: No module named json'millest saab üle raamatukogu uuendamisega tööriist (minu puhul kuni versioonini 0.15.4):
pip install werkzeug==0.15.4Werkzeugi kohta saate rohkem lugeda .
Pärast seda lihtsat manipuleerimist käsk ./.local/bin/airflow initdb lõpetati edukalt.
6. Airflow serveri käivitamine
Sellega pole õhuvoolu juurdepääsuga seotud raskused lõppenud. Käsu käivitamine ./.local/bin/airflow webserver -p 8080 tulemuseks oli viga No such file or directory. Tõenäoliselt prooviks kogenud Ubuntu kasutaja selliseid raskusi failile juurdepääsul käsuga kohe ületada export PATH=$PATH:~/.local/bin/ (st /.local/bin/ lisamine olemasolevale PATH käivitatavale otsinguteele), kuid see postitus on mõeldud neile, kes töötavad peamiselt Windowsiga ja ei pruugi seda lahendust ilmselgeks pidada.
Pärast ülalkirjeldatud manipuleerimist käsk ./.local/bin/airflow webserver -p 8080 viidi edukalt lõpule.
7. URL: : 8080 /
Kui eelmistes etappides läks kõik hästi, siis olete valmis analüütilisi tippe vallutama.
Loodan, et ülalkirjeldatud kogemus Apache Airflow installimisel opsüsteemi Windows 10 on kasulik algajatele kasutajatele ja kiirendab nende sisenemist kaasaegsete analüüsitööriistade universumisse.
Järgmisel korral soovin teemat jätkata ja rääkida Apache Airflow kasutamise kogemusest mobiilirakenduste kasutajakäitumise analüüsimise vallas.
Allikas: www.habr.com