Насладете се на инсталирането на Apache Airflow на Windows 10

предисловие: по волята на съдбата, от света на академичната наука (медицина) се озовах в света на информационните технологии, където трябва да използвам знанията си за методологията за конструиране на експеримент и стратегии за анализиране на експериментални данни, но се прилагат технологичен стек, който е нов за мен. В процеса на усвояване на тези технологии се сблъсквам с редица трудности, които, за щастие, засега са преодолени. Може би тази публикация ще бъде полезна за тези, които тепърва започват да работят с проекти на Apache.

И така, към точката. Вдъхновен статия Юрий Емелянов относно възможностите на Apache Airflow в областта на автоматизацията на аналитичните процедури, исках да започна да използвам предложения набор от библиотеки в работата си. Тези, които все още изобщо не са запознати с Apache Airflow, може да се интересуват от кратък преглед статия на сайта на Националната библиотека. Н. Е. Бауман.

Тъй като обичайните инструкции за стартиране на Airflow изглежда не са приложими в среда на Windows, използвайте това, за да разрешите този проблем докер в моя случай би било излишно, започнах да търся други решения. За мое щастие не бях първият по този път, така че успях да намеря прекрасен видео инструкции Как да инсталирате Apache Airflow на Windows 10 без да използвате Docker. Но, както често се случва, при следване на препоръчителните стъпки възникват трудности и, вярвам, не само за мен. Затова бих искал да говоря за моя опит с инсталирането на Apache Airflow, може би това ще спести на някого малко време.

Нека да преминем през стъпките на инструкциите (спойлер - всичко мина добре на 5-та стъпка):

1. Инсталиране на подсистемата Windows за Linux за последваща инсталация на Linux дистрибуции

Това е най-малкият проблем, както се казва:

Контролен панел → Програми → Програми и функции → Включване или изключване на функции на Windows → Подсистема на Windows за Linux

2. Инсталирайте дистрибуцията на Linux по ваш избор

Използвах приложението Ubuntu.

3. Инсталиране и актуализиране на pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Инсталиране на Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Инициализация на база данни

И тук започнаха моите малки трудности. Инструкциите изискват да въведете командата airflow initdb и преминете към следващата стъпка. Винаги обаче получавах отговор airflow: command not found. Логично е да се предположи, че по време на инсталирането на Apache Airflow са възникнали затруднения и необходимите файлове просто не са налични. След като се уверих, че всичко е там, където трябва, реших да опитам да посоча пълния път до файла с въздушния поток (трябва да изглежда така: Полный/путь/до/файла/airflow initdb). Но чудото не се случи и отговорът беше същият airflow: command not found. Опитах се да използвам относителен път към файла (./.local/bin/airflow initdb), което доведе до нова грешка ModuleNotFoundError: No module named json'което може да бъде преодоляно чрез актуализиране на библиотеката инструмент (в моя случай до версия 0.15.4):

pip install werkzeug==0.15.4

Можете да прочетете повече за werkzeug тук.

След тази проста манипулация командата ./.local/bin/airflow initdb беше завършено успешно.

6. Стартиране на сървъра Airflow

Това не е краят на трудностите с достъпа до въздушния поток. Изпълнение на команда ./.local/bin/airflow webserver -p 8080 доведе до грешка No such file or directory. Вероятно опитен потребител на Ubuntu веднага ще се опита да преодолее подобни трудности с достъпа до файла с помощта на командата export PATH=$PATH:~/.local/bin/ (т.е. добавяне на /.local/bin/ към съществуващия PATH изпълним път за търсене), но тази публикация е предназначена за тези, които основно работят с Windows и може да не смятат, че това решение е очевидно.

След манипулацията, описана по-горе, командата ./.local/bin/airflow webserver -p 8080 беше успешно завършен.

7. URL адрес: Localhost: 8080 /

Ако всичко върви добре в предишните етапи, тогава сте готови да покорите аналитичните върхове.

Надявам се, че опитът, описан по-горе при инсталирането на Apache Airflow на Windows 10, ще бъде полезен за начинаещите потребители и ще ускори навлизането им във вселената на съвременните инструменти за анализ.

Следващия път бих искал да продължа темата и да говоря за опита от използването на Apache Airflow в областта на анализа на поведението на потребителите на мобилни приложения.

Източник: www.habr.com