Moje doświadczenia z instalacją Apache Airflow na Windows 10

Wstęp: z woli losu z świata nauki akademickiej (medycyny) trafiłam do świata technologii informacyjnych, gdzie muszę korzystać ze swojej wiedzy na temat metodologii przeprowadzania eksperymentów i strategii analizy danych eksperymentalnych, jednakże stosować nowy dla mnie stos technologii. W procesie przyswajania tych technologii napotykam na szereg trudności, które póki co, na szczęście, udaje się przezwyciężać. Być może ten post będzie przydatny dla tych, którzy również dopiero zaczynają pracę nad projektami Apache.

Przechodząc do sedna. Zainspirowana artykułem Jurija Jemieljanowa możliwościami Apache Airflow w zakresie automatyzacji procedur analitycznych, postanowiłam zacząć korzystać z proponowanego zestawu bibliotek w mojej pracy. Dla tych, którzy jeszcze zupełnie nie znają się na Apache Airflow, może być interesujący krótki przegląd artykuł na stronie Narodowej Biblioteki im. N. E. Baumana.

Ponieważ standardowe instrukcje uruchamiania Airflow, jak się wydaje, nie są stosowane w środowisku Windows, a użycie do tego dockera w moim przypadku byłoby nadmiarowe, zaczęłam szukać innych rozwiązań. Na szczęście dla mnie nie byłam pierwsza na tej drodze, dlatego udało mi się znaleźć wspaniałą instrukcję wideo jak zainstalować Apache Airflow na Windows 10 bez użycia dockera. Ale jak to często bywa, podczas realizacji zalecanych kroków pojawiają się trudności, i przypuszczam, że nie tylko u mnie. Dlatego chciałabym opowiedzieć o swoim doświadczeniu instalacji Apache Airflow, może to komuś zaoszczędzi trochę czasu.

Przejdźmy przez kroki instrukcji (spoilers — w 5. kroku wszystko szło świetnie):

1. Instalacja subsystemu Windows dla Linux w celu późniejszej instalacji dystrybucji Linuxa

To jest mniejszy problem, jak mówią:

Panel sterowania → Programy → Programy i funkcje → Włączanie i wyłączanie składników systemu Windows → Subsystem Windows dla Linux

2. Instalacja wybranej dystrybucji Linuxa

Skorzystałam z aplikacji Ubuntu.

3. Instalacja i aktualizacja pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Instalacja Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inicjalizacja bazy danych

I właśnie tutaj zaczęły się moje małe trudności. Instrukcja nakazuje wprowadzenie komendy airflow initdb i przejście do następnego kroku. Jednak niezmiennie otrzymywałam odpowiedź airflow: command not found. Logiczne jest przypuszczać, że napotkano trudności na etapie instalacji Apache Airflow i po prostu brakuje potrzebnych plików. Upewniwszy się, że wszystko jest tam, gdzie powinno być, postanowiłam spróbować podać pełną ścieżkę do pliku airflow (powinno wyglądać tak: pełna/ścieżka/do/pliku/airflow initdb). Ale cud się nie zdarzył i odpowiedź była ta sama airflow: command not found. Spróbowałam użyć względnej ścieżki do pliku (./.local/bin/airflow initdb), co doprowadziło do pojawienia się nowego błędu ModuleNotFoundError: No module named json', który można przezwyciężyć, aktualizując bibliotekę werkzeug (w moim przypadku do wersji 0.15.4):

pip install werkzeug==0.15.4

Więcej na temat werkzeug można przeczytać tutaj.

Po tej prostej manipulacji polecenie ./.local/bin/airflow initdb zostało wykonane pomyślnie.

6. Uruchomienie serwera Airflow

Na tym trudności z dostępem do airflow jeszcze się nie skończyły. Uruchomienie polecenia ./.local/bin/airflow webserver -p 8080 doprowadziło do błędu No such file or directory. Prawdopodobnie doświadczony użytkownik Ubuntu od razu próbuje przezwyciężyć takie trudności z dostępem do pliku, stosując polecenie export PATH=$PATH:~/.local/bin/ (to znaczy, dodając do istniejącej ścieżki wyszukiwania plików wykonywalnych, definiowanej przez zmienną PATH, katalog /.local/bin/), ale ten post jest przeznaczony dla tych, którzy głównie pracują w systemie Windows i być może nie uważają tego rozwiązania za oczywiste.

Po opisanej powyżej manipulacji polecenie ./.local/bin/airflow webserver -p 8080 zostało wykonane pomyślnie.

7. URL: localhost:8080/

Jeśli wszystko poszło dobrze na poprzednich etapach, jesteś gotów podbić analityczne szczyty.

Mam nadzieję, że powyższe doświadczenie instalacji Apache Airflow na Windows 10 będzie przydatne dla początkujących użytkowników i przyspieszy ich wejście w świat nowoczesnych narzędzi analitycznych.

Następnym razem chciałabym kontynuować temat i opowiedzieć o doświadczeniu korzystania z Apache Airflow w zakresie analizy zachowań użytkowników aplikacji mobilnych.

Źródło: habr.com