🥇Опит за инсталиране на Apache Airflow на Windows 10

Преамбула: по волята на съдбата от света на академичната наука (медицина) попаднах в света на информационните технологии, където трябва да използвам знанията си за методологията на провеждане на експерименти и стратегиите за анализ на експериментални данни, но да прилагам нов за мен стек технологии. В процеса на усвояване на тези технологии срещам редица трудности, които засега, за щастие, успявам да преодолея. Възможно е, този пост да бъде полезен на тези, които също така едва започват работа по проекти Apache.

И така, към основата. Вдъхновена от статия Юрий Емельянов относно възможностите на Apache Airflow в сферата на автоматизацията на аналитични процеси, ми се прииска да започна да използвам предлагания набор от библиотеки в работата си. За тези, които все още не са запознати с Apache Airflow, вероятно ще бъде интересен кратък обзорен статия на сайта на Националната библиотека на име Н. Е. Бауман.

Тъй като обикновените инструкции за стартиране на Airflow, очевидно, не се прилагат в среда Windows, а използването на докер в моя случай би било излишно, започнах търсене на други решения. За щастие за мен, не съм била първа по този път, затова успях да намеря чудесна видео инструкция за инсталиране на Apache Airflow в Windows 10 без използване на докер. Но, както често се случва, при изпълнение на препоръчваните стъпки, възникват трудности, и смятам, че не съм само аз. Затова бих искала да споделя опита си от инсталирането на Apache Airflow, може би на някого това ще спести малко време.

Нека преминем през стъпките на инструкциите (спойлер — петата стъпка мина прекрасно):

1. Инсталиране на подсистемата Windows за Linux за последваща инсталация на Linux дистрибуции

Това е по-малкия проблем, както се казва:

Контролен панел → Програми → Програми и компоненти → Включване и изключване на компоненти на Windows → Подсистема Windows за Linux

2. Инсталиране на избрана Linux дистрибуция

Използвах приложението Ubuntu.

3. Инсталиране и обновление на pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Инсталиране на Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Инициализация на базата данни

И точно тук започнаха моите малки трудности. Инструкцията предписва да въведа командата airflow initdb и да премина към следващата стъпка. Обаче неизменно получавах отговор airflow: command not found. Логично е да се предположи, че са възникнали трудности при инсталирането на Apache Airflow и просто липсват необходимите файлове. Убедявайки се, че всичко е на правилното място, реших да опитам да посоча пълния път до файла airflow (трябва да изглежда така: Пълен/път/до/файла/airflow initdb). Но чудото не стана и отговорът беше същият airflow: command not found. Опитах се да използвам относителния път до файла (./.local/bin/airflow initdb), което доведе до появата на нова грешка ModuleNotFoundError: Няма модул с име json', която може да бъде преодоляна, като се актуализира библиотеката werkzeug (в моя случай до версия 0.15.4):

pip install werkzeug==0.15.4

Повече за werkzeug може да се прочете тук.

След тази проста манипулация командата ./.local/bin/airflow initdb беше изпълнена успешно.

6. Стартиране на сървъра Airflow

С това затрудненията с достъпа до airflow все още не са приключили. Стартирането на командата ./.local/bin/airflow webserver -p 8080 доведе до грешка Не съществува такъв файл или директория. Вероятно опитен потребител на Ubuntu веднага би опитал да преодолее такива затруднения с достъпа до файла, като използва командата export PATH=$PATH:~/.local/bin/ (тоест, добавяйки към съществуващия път за търсене на изпълними файлове, определен от променливата PATH каталога /.local/bin/), но този пост е предназначен за тези, които предимно работят с Windows и може би не смятат, че такова решение е очевидно.

След описаната по-горе манипулация командата ./.local/bin/airflow webserver -p 8080 беше успешно изпълнена.

7. URL: localhost:8080/

Ако всичко е минало добре в предишните етапи, то вие сте готови да завладелите аналитичните върхове.

Надявам се описаният по-горе опит за инсталиране на Apache Airflow на Windows 10 да бъде полезен за начинаещи потребители и да ускори тяхното навлизане в света на съвременните аналитични инструменти.

В следващия път бих искала да продължа темата и да разкажа за опита с Apache Airflow в анализа на поведението на потребителите на мобилни приложения.

Източник: habr.com