Apache Airflow telepítési tapasztalat Windows 10-en

Előszó: a sorsfordítása révén az akadémiai tudomány (orvostudomány) világából az informatikai világba kerültem, ahol a kísérleti tervezés módszertanával és a kísérleti adatok elemzésének stratégiáival kapcsolatos ismereteimet kell használnom, ugyanakkor egy új technológiai stacket kell alkalmaznom. Ezeknek a technológiáknak a megismerése során számos nehézséggel találkozom, amelyeket egyelőre, hála istennek, sikerül leküzdenem. Lehet, hogy ez a poszt hasznos lesz azok számára, akik szintén most kezdik az Apache projektek világát.

Most pedig a lényegre térve. Inspirálva cikket Juri Jemeljanov Apache Airflow lehetőségeiről a analitikai folyamatok automatizálásában, szerettem volna elkezdeni a javasolt könyvtárak használatát a munkámban. Azok számára, akik még nem ismerik az Apache Airflow-t, érdekes lehet egy rövid áttekintő cikk a N. E. Baumann Nemzeti Könyvtára weboldalán.

Mivel a szokásos utasítások airfow elindítására úgy tűnik, hogy nem alkalmazhatók Windows környezetben, és az adott feladat megoldásához docker az én esetemben túlzás lett volna, más megoldásokat kezdtem keresni. Szerencsére nem én voltam az első ezen az úton, így sikerült találnom egy csodálatos videó utasítást az Apache Airflow Windows 10 alatti telepítéséről docker használata nélkül. De, mint gyakran lenni szokott, a javasolt lépések végrehajtása során nehézségek merültek fel, és úgy gondolom, nem csak nálam. Ezért szeretném megosztani az Apache Airflow telepítési tapasztalataimat, hátha valamelyikőtöknek ez időt takarít meg.

Nézzük meg az utasítás lépéseit (spoiler — az 5. lépésig minden rendben ment):

1. A Windows Linux-alrendszer telepítése a Linux disztribúciók későbbi telepítéséhez

Ez a legkisebb probléma, ahogy mondani szokták:

Vezérlőpult → Programok → Programok és szolgáltatások → Windows-szolgáltatások bekapcsolása és kikapcsolása → Windows Linux-alrendszer

2. A kiválasztott Linux disztribúció telepítése

Én a következő alkalmazást használtam Ubuntu.

3. pip telepítése és frissítése

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow telepítése

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Az adatbázis inicializálása

Itt kezdődtek a kis nehézségeim. Az utasítás azt írja elő, hogy be kell vezetni a parancsot airflow initdb majd lépjünk a következő lépéshez. Azonban én mindvégig azt a választ kaptam, hogy airflow: parancs nem találhatóLogikus feltételezni, hogy problémák merültek fel az Apache Airflow telepítése során, és egyszerűen nincsenek a szükséges fájlok. Miután megbizonyosodtam arról, hogy minden a helyén van, úgy döntöttem, hogy megpróbálom megadni a fájl, az airflow teljes elérési útját (ilyennek kell lennie: Teljes/pálya/az/fájlhoz/airflow initdb). De csoda nem történt, és a válasz ugyanaz volt. airflow: parancs nem találhatóMegpróbáltam használni a fájl relatív elérési útját (./.local/bin/airflow initdb), ami egy új hiba megjelenését eredményezte. ModuleNotFoundError: No module named json', amelyet át lehet hidalni a könyvtár frissítésével. werkzeug (az én esetemben 0.15.4 verzióra):

pip install werkzeug==0.15.4

További információt a werkzegről olvashatsz. itt.

Ezek után a egyszerű művelet után a parancs ./.local/bin/airflow initdb sikeresen végrehajtódott.

6. Az Airflow szerver indítása

Ezzel még nem értek véget az Airflow használatával kapcsolatos nehézségek. A parancs indítása ./.local/bin/airflow webserver -p 8080 hibát okozott, No such file or directory. Valószínűleg egy tapasztalt Ubuntu felhasználó azonnal megpróbálta volna megoldani ezeket a fájlhozzáférési problémákat azzal, hogy alkalmazza a parancsot, export PATH=$PATH:~/.local/bin/ (azaz hozzátette a PATH változó által definiált végrehajtható fájlok keresési útjához a /.local/bin/ könyvtárat), de ez a poszt azok számára készült, akik főként Windows rendszerrel dolgoznak, és esetleg nem tartják nyilvánvalónak ezt a megoldást.

A fent említett művelet végrehajtása után a parancs ./.local/bin/airflow webserver -p 8080 sikeresen végrehajtódott.

7. URL: localhost:8080/

Ha a korábbi lépések sikeresen zajlottak, készen állsz, hogy meghódítsd az analitikai csúcsokat.

Remélem, hogy a fenti tapasztalat az Apache Airflow Windows 10-en való telepítéséről hasznos lesz a kezdő felhasználók számára, és felgyorsítja belépésüket a modern analitikai eszközök univerzuméba.

A következő alkalommal szeretném folytatni a témát, és beszélni az Apache Airflow használatának tapasztalatairól a mobilalkalmazások felhasználói viselkedésének elemzése terén.

Forrás: habr.com