Experiență în instalarea Apache Airflow pe Windows 10

Preambul: prin voința sorții din lumea științei academice (medicină) am ajuns în lumea tehnologiei informației, unde trebuie să îmi folosesc cunoștințele despre metodologia derulării experimentelor și strategiile de analiză a datelor experimentale, totuși, aplicând un nou set de tehnologii pentru mine. În procesul de stăpânire a acestor tehnologii mă confrunt cu o serie de dificultăți, pe care, din fericire, reușesc să le depășesc. Poate că acest post va fi util celor care, de asemenea, încep să lucreze cu proiecte Apache.

Așadar, la subiect. Inspirată de articol Iurii Emelianov despre posibilitățile Apache Airflow în domeniul automatizării procedurilor analitice, am dorit să încep să folosesc setul de biblioteci oferit în munca mea. Cei care nu sunt familiarizați cu Apache Airflow ar putea găsi interesant un mic rezumat articol pe site-ul Bibliotecii Naționale N. E. Bauman.

Din moment ce instrucțiunile obișnuite pentru lansarea Airflow, se pare că nu se aplică în mediul Windows, și a folosi pentru această sarcină docker în cazul meu ar fi fost excesiv, am început să caut alte soluții. Din fericire pentru mine, nu am fost prima pe acest drum, așa că am reușit să găsesc un video-ghid pentru instalarea Apache Airflow pe Windows 10 fără a folosi docker. Dar, așa cum se întâmplă adesea, în timpul executării pașilor recomandați, apar dificultăți, și presupun că nu doar eu. Așa că am vrut să povestesc despre experiența mea de instalare a Apache Airflow, poate că unor persoane le va economisi puțin timp.

Să trecem prin pașii instrucțiunii (spoiler — la pasul 5 a mers perfect):

1. Instalarea subsistemului Windows pentru Linux pentru instalarea ulterioară a distribuțiilor Linux

Aceasta este cea mai mică dintre probleme, cum se spune:

Panou de control → Programe → Programe și funcții → Activare sau dezactivare componente Windows → Subsistem Windows pentru Linux

2. Instalarea unei distribuții Linux la alegere

Am folosit aplicația Ubuntu.

3. Instalarea și actualizarea pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Instalarea Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inițializarea bazei de date

Și aici au început micile mele dificultăți. Instrucțiunile indică să introduc comanda airflow initdb și să trec la următorul pas. Cu toate acestea, am primit constant răspunsul airflow: command not found. Este logic să presupunem că au apărut dificultăți în etapa de instalare a Apache Airflow și pur și simplu nu există fișierele necesare. După ce m-am asigurat că totul este unde ar trebui să fie, am decis să încerc să specific calea completă către fișierul airflow (ar trebui să arate așa: Calea/completă/către/fișierul/airflow initdb). Dar minunea nu s-a întâmplat și răspunsul a fost același airflow: command not found. Am încercat să folosesc o cale relativă către fișier (./.local/bin/airflow initdb), ceea ce a dus la apariția unei noi erori ModuleNotFoundError: No module named json', pe care o putem depăși actualizând biblioteca werkzeug (în cazul meu, până la versiunea 0.15.4):

pip install werkzeug==0.15.4

Despre werkzeug poți citi mai multe aici.

După această manipulare simplă, comanda ./.local/bin/airflow initdb a fost executată cu succes.

6. Pornirea serverului Airflow

Aici dificultățile cu accesul la airflow nu s-au terminat. Pornirea comenzii ./.local/bin/airflow webserver -p 8080 a dus la o eroare No such file or directory. Probabil, un utilizator experimentat de Ubuntu ar fi încercat imediat să depășească astfel de dificultăți cu accesul la fișier, aplicând comanda export PATH=$PATH:~/.local/bin/ (adică, adăugând la calea existentă de căutare a executabilelor, definită de variabila PATH, directorul /.local/bin/), dar acest post este destinat celor care lucrează predominant cu Windows și, poate, nu consideră o astfel de soluție evidentă.

După manipularea descrisă mai sus, comanda ./.local/bin/airflow webserver -p 8080 a fost executată cu succes.

7. URL: localhost:8080/

Dacă totul a decurs bine în etapele anterioare, ești pregătit să cucerești vârful analitic.

Sper că experiența descrisă mai sus a instalării Apache Airflow pe Windows 10 va fi utilă utilizatorilor începători și va accelera intrarea lor în universul instrumentelor moderne de analiză.

Data viitoare aș dori să continui subiectul și să vorbesc despre experiența utilizării Apache Airflow în analiza comportamentului utilizatorilor aplicațiilor mobile.

Sursa: habr.com