предисловие: по волята на съдбата, от света на академичната наука (медицина) се озовах в света на информационните технологии, където трябва да използвам знанията си за методологията за конструиране на експеримент и стратегии за анализиране на експериментални данни, но се прилагат технологичен стек, който е нов за мен. В процеса на усвояване на тези технологии се сблъсквам с редица трудности, които, за щастие, засега са преодолени. Може би тази публикация ще бъде полезна за тези, които тепърва започват да работят с проекти на Apache.
И така, към точката. Вдъхновен Юрий Емелянов относно възможностите на Apache Airflow в областта на автоматизацията на аналитичните процедури, исках да започна да използвам предложения набор от библиотеки в работата си. Тези, които все още изобщо не са запознати с Apache Airflow, може да се интересуват от кратък преглед на сайта на Националната библиотека. Н. Е. Бауман.
Тъй като обичайните инструкции за работа с Airflow изглежда не са приложими в околната среда Windowsи го използвайте, за да решите този проблем в моя случай би било излишно, започнах да търся други решения. За мое щастие не бях първият по този път, така че успях да намеря прекрасен при инсталиране на Apache Airflow в Windows 10 Без да използвам Docker. Но, както често се случва, при следване на препоръчаните стъпки възникват трудности и съм сигурен, че не съм сам. Затова бих искал да споделя моя опит с инсталирането на Apache Airflow; може би това ще спести време на някого.
Нека да преминем през стъпките на инструкциите (спойлер - всичко мина добре на 5-та стъпка):
1. Инсталиране на подсистемата Windows за Linux за последваща инсталация на дистрибуции Linux
Това е най-малкият проблем, както се казва:
Контролен панел → Програми → Програми и функции → Включване или изключване на функции Windows → Подсистема Windows за Linux
2. Инсталиране на дистрибуцията Linux по желание
Използвах приложението .
3. Инсталиране и актуализиране на pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Инсталиране на Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Инициализация на база данни
И тук започнаха моите малки трудности. Инструкциите изискват да въведете командата airflow initdb и преминете към следващата стъпка. Винаги обаче получавах отговор airflow: command not found. Логично е да се предположи, че по време на инсталирането на Apache Airflow са възникнали затруднения и необходимите файлове просто не са налични. След като се уверих, че всичко е там, където трябва, реших да опитам да посоча пълния път до файла с въздушния поток (трябва да изглежда така: Полный/путь/до/файла/airflow initdb). Но чудото не се случи и отговорът беше същият airflow: command not found. Опитах се да използвам относителен път към файла (./.local/bin/airflow initdb), което доведе до нова грешка ModuleNotFoundError: No module named json'което може да бъде преодоляно чрез актуализиране на библиотеката инструмент (в моя случай до версия 0.15.4):
pip install werkzeug==0.15.4Можете да прочетете повече за werkzeug .
След тази проста манипулация командата ./.local/bin/airflow initdb беше завършено успешно.
6. Стартиране на сървъра Airflow
Това не е краят на трудностите с достъпа до въздушния поток. Изпълнение на команда ./.local/bin/airflow webserver -p 8080 доведе до грешка No such file or directoryВероятно опитен потребител. Ubuntu Веднага бих се опитал да преодолея подобни трудности с достъпа до файла, като използвам командата export PATH=$PATH:~/.local/bin/ (тоест, добавяне на директорията /.local/bin/ към съществуващия път за търсене на изпълним файл, дефиниран от променливата PATH), но тази публикация е предназначена за тези, които работят предимно с Windows и може да не сметне подобно решение за очевидно.
След манипулацията, описана по-горе, командата ./.local/bin/airflow webserver -p 8080 беше успешно завършен.
7. URL адрес: : 8080 /
Ако всичко върви добре в предишните етапи, тогава сте готови да покорите аналитичните върхове.
Надявам се, че описаният по-горе опит за инсталиране на Apache Airflow на Windows 10 Това ще бъде полезно за начинаещите потребители и ще ускори навлизането им в света на съвременните инструменти за анализ.
Следващия път бих искал да продължа темата и да говоря за опита от използването на Apache Airflow в областта на анализа на поведението на потребителите на мобилни приложения.
Източник: www.habr.com
