bevezetés: a sors akaratából az akadémiai tudomány (orvostudomány) világából az információs technológia világába kerültem, ahol a kísérletkészítés módszertanára és a kísérleti adatok elemzésére vonatkozó stratégiákra vonatkozó ismereteimet kamatoztatnom kell, de alkalmaznom kell egy technológiai halom, ami új számomra. Ezeknek a technológiáknak az elsajátítása során számos nehézségbe ütközöm, amelyeket szerencsére eddig sikerült leküzdeni. Talán ez a bejegyzés hasznos lesz azoknak, akik szintén csak most kezdenek dolgozni Apache projektekkel.
Szóval a lényegre. Ihletett Jurij Emelyanov az Apache Airflow képességeiről az analitikai eljárások automatizálása terén, el akartam kezdeni a javasolt könyvtárkészlet használatát a munkámban. Aki még egyáltalán nem ismeri az Apache Airflow-t, annak egy rövid áttekintése lehet érdekes a Nemzeti Könyvtár honlapján. N. E. Bauman.
Mivel úgy tűnik, hogy az Airflow futtatására vonatkozó szokásos utasítások nem érvényesek Windows környezetben, használja ezt a probléma megoldására az én esetemben felesleges lenne, elkezdtem más megoldásokat keresni. Szerencsére nem én voltam az első ezen az úton, így sikerült egy csodálatosat találnom Az Apache Airflow telepítése Windows 10 rendszeren a Docker használata nélkül. De ahogy az gyakran megesik, az ajánlott lépések követése során nehézségek adódnak, és úgy gondolom, nem csak nekem. Ezért az Apache Airflow telepítésével kapcsolatos tapasztalataimról szeretnék beszélni, hátha valakinek megspórol egy kis időt.
Végezzük el az utasítások lépéseit (spoiler - az 5. lépésnél minden rendben ment):
1. A Windows alrendszer telepítése Linuxhoz a Linux disztribúciók későbbi telepítéséhez
Ez a legkisebb probléma, ahogy mondani szokták:
Vezérlőpult → Programok → Programok és szolgáltatások → Windows-szolgáltatások be- és kikapcsolása → Windows alrendszer Linuxhoz
2. Telepítse a választott Linux disztribúciót
Az alkalmazást használtam .
3. Pip telepítése és frissítése
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Az Apache Airflow telepítése
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Adatbázis inicializálása
És itt kezdődtek az én kis nehézségeim. Az utasításokhoz meg kell adni a parancsot airflow initdb és lépjen tovább a következő lépésre. Választ azonban mindig kaptam airflow: command not found. Logikus feltételezni, hogy az Apache Airflow telepítése során nehézségek merültek fel, és a szükséges fájlok egyszerűen nem állnak rendelkezésre. Miután megbizonyosodtam arról, hogy minden ott van, ahol lennie kell, úgy döntöttem, hogy megpróbálom megadni az airflow fájl teljes elérési útját (így kell kinéznie: Полный/путь/до/файла/airflow initdb). De a csoda nem történt meg, és a válasz ugyanaz volt airflow: command not found. Megpróbáltam egy relatív elérési utat használni a fájlhoz (./.local/bin/airflow initdb), ami új hibához vezetett ModuleNotFoundError: No module named json'amely a könyvtár frissítésével leküzdhető szerszám (az én esetemben a 0.15.4-es verzióig):
pip install werkzeug==0.15.4A werkzeugról bővebben olvashat .
Ezen egyszerű manipuláció után a parancs ./.local/bin/airflow initdb sikeresen befejeződött.
6. Az Airflow szerver indítása
Ezzel még nem értek véget a légáramláshoz való hozzáférés nehézségei. Parancs futtatása ./.local/bin/airflow webserver -p 8080 hibát eredményezett No such file or directory. Valószínűleg egy tapasztalt Ubuntu-felhasználó azonnal megpróbálná leküzdeni ezeket a nehézségeket a fájl elérésekor a parancs használatával. export PATH=$PATH:~/.local/bin/ (azaz a /.local/bin/ hozzáadása a meglévő PATH futtatható keresési útvonalhoz), de ez a bejegyzés azoknak szól, akik elsősorban Windows rendszerrel dolgoznak, és nem biztos, hogy ezt a megoldást kézenfekvőnek tartják.
A fent leírt manipuláció után a parancs ./.local/bin/airflow webserver -p 8080 sikeresen befejeződött.
7. URL: 8080 /
Ha minden jól ment az előző szakaszokban, akkor készen áll az analitikai csúcsok meghódítására.
Remélem, hogy az Apache Airflow Windows 10 rendszerre történő telepítésével kapcsolatos fent leírt tapasztalat hasznos lesz a kezdő felhasználók számára, és felgyorsítja a belépést a modern elemzőeszközök világába.
Legközelebb folytatnám a témát, és az Apache Airflow használatának tapasztalatairól beszélnék a mobil alkalmazások felhasználói viselkedésének elemzése terén.
Forrás: will.com