Úvod: osudem jsem se z akademického světa (medicíny) dostala do světa informačních technologií, kde musím využívat své znalosti metodologie provádění experimentů a strategií analýzy experimentálních dat, avšak s novým pro mě technologickým stackem. Při seznamování se s těmito technologiemi se setkávám s řadou obtíží, které se naštěstí zatím daří překonávat. Možná bude tento příspěvek užitečný těm, kdo také teprve začínají pracovat na projektech Apache.
Přejdeme k jádru. Inspirována Jurijem Emeljjanovem o možnostech Apache Airflow v oblasti automatizace analytických postupů, jsem se rozhodla začít používat nabízenou sadu knihoven ve své práci. Těm, kdo s Apache Airflow ještě nejsou vůbec obeznámeni, by mohla být zajímavá malá přehledová na webu Národní knihovny N. E. Baumana.
Jelikož běžné instrukce pro spuštění Airflow zřejmě nefungují v prostředí Windows, a používat k řešení tohoto úkolu by pro mě bylo nadbytečné, začala jsem hledat jiná řešení. Naštěstí pro mě jsem nebyla první na této cestě, a proto se mi podařilo najít skvělý na instalaci Apache Airflow v Windows 10 bez použití dockeru. Ale, jak to často bývá, při plnění doporučených kroků se objevují obtíže, a domnívám se, že nejen u mě. Proto bych chtěla vyprávět o svých zkušenostech s instalací Apache Airflow, snad někomu to ušetří trochu času.
Projdeme si kroky instrukce (spoiler — 5. krok probíhal bez problémů):
1. Instalace Windows Subsystem for Linux pro následnou instalaci distribucí Linuxu
To je menší z problémů, jak se říká:
Ovládací panel → Programy → Programy a funkce → Povolení a zakázání funkcí Windows → Windows Subsystem for Linux
2. Instalace vybrané linuxové distribuce
Použila jsem aplikaci .
3. Instalace a aktualizace pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Instalace Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Inicializace databáze
A právě zde začaly mé malé potíže. Instrukce přikazuje zadat příkaz airflow initdb a přejít k dalšímu kroku. Nicméně jsem neustále dostávala odpověď airflow: command not found. Je logické předpokládat, že došlo k problémům během instalace Apache Airflow a jednoduše chybí potřebné soubory. Po ujistění, že je vše na správném místě, jsem se rozhodla zkusit uvést úplnou cestu k souboru airflow (mělo by to vypadat takto: úplná/cesta/k/souboru/airflow initdb). Ale zázrak se nekonal a odpověď byla stejná airflow: command not found. Zkusila jsem použít relativní cestu k souboru (./.local/bin/airflow initdb), což vedlo k objevení nové chyby ModuleNotFoundError: No module named json', kterou lze překonat aktualizací knihovny werkzeug (v mém případě na verzi 0.15.4):
pip install werkzeug==0.15.4Více o werkzeug si můžete přečíst .
Po této jednoduché manipulaci byl příkaz ./.local/bin/airflow initdb prováděn úspěšně.
6. Spuštění serveru Airflow
Tímto obtíže s přístupem k airflow ještě neskončily. Spuštění příkazu ./.local/bin/airflow webserver -p 8080 vedlo k chybě No such file or directory. Pravděpodobně by zkušený uživatel Ubuntu ihned zkusil překonat tyto potíže s přístupem k souboru pomocí příkazu export PATH=$PATH:~/.local/bin/ (tedy přidáním katalogu /.local/bin/ k existující cestě hledání spustitelných souborů, definované proměnnou PATH), ale tento příspěvek je určen pro ty, kteří převážně pracují s Windows a možná považují toto řešení za nepřehledné.
Po výše popsané manipulaci byl příkaz ./.local/bin/airflow webserver -p 8080 úspěšně proveden.
7. URL: :8080/
Pokud vše proběhlo úspěšně v předchozích krocích, jste připraveni dobýt analytické vrcholy.
Doufám, že výše popsaná zkušenost s instalací Apache Airflow na Windows 10 bude užitečná začínajícím uživatelům a urychlí jejich vstup do světa moderních analytických nástrojů.
Příště bych ráda pokračovala v tématu a podělila se o zkušenosti s používáním Apache Airflow v oblasti analýzy chování uživatelů mobilních aplikací.
Zdroj: habr.com
