Преамбула: по волята на съдбата от света на академичната наука (медицина) попаднах в света на информационните технологии, където трябва да използвам знанията си за методологията на изграждане на експерименти и стратегии за анализ на експериментални данни, но да прилагам нов стек технологии. В процеса на усвояване на тези технологии срещам редица трудности, които засега, за щастие, успявам да преодолея. Вероятно, този пост ще бъде полезен на тези, които също току-що започват работа с проектите на Apache.
И така, към същността. Вдъхновена от Юрий Емелиянов за възможностите на Apache Airflow в автоматизацията на аналитични процедури, реших да започна да използвам предложените библиотеки в работата си. За тези, които все още не са запознати с Apache Airflow, може да бъде интересен един малък преглед на сайта на Националната библиотека им. Н. Е. Баумана.
Тъй като обикновените инструкции за стартиране на Airflow очевидно не се прилагат в среда на Windows, а използването на в моя случай щеше да бъде излишно, започнах да търся други решения. За мое щастие, не бях първата по този път, така че успях да намеря страхотна за инсталиране на Apache Airflow на Windows 10 без използване на докер. Но, както често се случва, при изпълнение на препоръчаните стъпки възникнаха трудности и предполагам, не само при мен. Затова исках да споделя опита си за инсталиране на Apache Airflow, може би това ще спести на някого малко време.
Нека преминем през стъпките на инструкциите (спойлер — всичко вървеше прекрасно до стъпка 5):
1. Инсталиране на подсистемата Windows за Linux за последваща инсталация на Linux дистрибуции
Това е по-малката от проблемите, както се казва:
Контролен панел → Програми → Програми и компоненти → Включване и изключване на компоненти на Windows → Подсистема на Windows за Linux
2. Инсталиране на дистрибуция на Linux по избор
Използвах приложението .
3. Инсталиране и обновяване на pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Инсталиране на Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Инициализация на базата данни
И именно тук започнаха моите малки трудности. Инструкцията предписва да въведа командата airflow initdb и да премина към следващата стъпка. Въпреки това, неизменно получавах отговор airflow: командата не е намерена. Логично е да предположим, че е имало трудности на етапа на инсталацията на Apache Airflow и просто липсват нужните файлове. След като се уверих, че всичко е там, където трябва да бъде, реших да опитам да посоча пълния път до файла airflow (трябва да изглежда така: Пълен/път/до/файла/airflow initdb). Но чудото не се случи и отговорът беше същият airflow: командата не е намерена. Опитах да използвам относителния път към файла (./.local/bin/airflow initdb), което доведе до появата на нова грешка ModuleNotFoundError: No module named json', която може да бъде преодоляна чрез обновяване на библиотеката werkzeug (в моя случай до версия 0.15.4):
pip install werkzeug==0.15.4Повече информация за werkzeug може да се намери .
След тази проста манипулация командата ./.local/bin/airflow initdb беше изпълнена успешно.
6. Стартиране на сервера Airflow
На този етап трудностите с достъпа до airflow все още не са приключили. Стартирането на командата ./.local/bin/airflow webserver -p 8080 предизвика грешка Не такъв файл или директория. Вероятно един опитен потребител на Ubuntu веднага би опитал да преодолее такива трудности с достъпа до файла, използвайки командата export PATH=$PATH:~/.local/bin/ (тоест, добавяйки към съществуващия път за търсене на изпълними файлове, определен от променливата PATH, директория /.local/bin/), но този пост е предназначен за тези, които предимно работят с Windows и, може би, не смятат такова решение за очевидно.
След описаната по-горе манипулация командата ./.local/bin/airflow webserver -p 8080 беше изпълнена успешно.
7. URL: :8080/
Ако всичко е преминало успешно на предишните етапи, то сте готови да завладявате аналитичните върхове.
Надявам се, че описаният по-горе опит по инсталацията на Apache Airflow на Windows 10 ще бъде полезен за начинаещи потребители и ще ускори тяхното влизане в света на съвременните аналитични инструменти.
В следващия пост бих искал да продължа темата и да разкажа за опита от използването на Apache Airflow в анализа на поведението на потребителите на мобилни приложения.
Източник: habr.com
