Искусете го инсталирањето на Apache Airflow на Windows 10

Преамбула: по волја на судбината, од светот на академската наука (медицината), се најдов во светот на информатичката технологија, каде што треба да го искористам моето знаење за методологијата на конструирање експеримент и стратегии за анализа на експериментални податоци, меѓутоа, примени технолошки стек што е нов за мене. Во процесот на совладување на овие технологии наидувам на голем број потешкотии, кои, за среќа, досега се надминати. Можеби овој пост ќе биде корисен за оние кои исто така штотуку почнуваат да работат со проектите на Apache.

Значи, до точка. Инспириран статии Јуриј Емељанов за можностите на Apache Airflow во областа на автоматизација на аналитичките процедури, сакав да почнам да го користам предложениот сет на библиотеки во мојата работа. Оние кои сè уште не се воопшто запознаени со Apache Airflow може да бидат заинтересирани за краток преглед Член на веб-страницата на Националната библиотека. N. E. Бауман.

Бидејќи се чини дека вообичаените упатства за извршување на Airflow не важат во околина на Windows, користете го ова за да го решите овој проблем докер во мојот случај би било вишок, почнав да барам други решенија. За моја среќа, не бев прв на оваа патека, па успеав да најдам прекрасен видео инструкција Како да инсталирате Apache Airflow на Windows 10 без да користите Docker. Но, како што често се случува, при следењето на препорачаните чекори се јавуваат тешкотии и, верувам, не само за мене. Затоа, би сакал да зборувам за моето искуство со инсталирање на Apache Airflow, можеби тоа ќе заштеди некого малку време.

Ајде да ги поминеме чекорите од упатствата (спојлер - сè беше во ред на 5-тиот чекор):

1. Инсталирање на подсистемот Windows за Linux за последователна инсталација на дистрибуции на Linux

Ова е најмалиот проблем, како што велат:

Контролен панел → Програми → Програми и карактеристики → Вклучете или исклучете ги функциите на Windows → Подсистем на Windows за Linux

2. Инсталирајте ја дистрибуцијата на Linux по ваш избор

Ја користев апликацијата Ubuntu.

3. Пип за инсталирање и ажурирање

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Инсталирање на Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Иницијализација на базата на податоци

И тука почнаа моите мали тешкотии. Инструкциите бараат да ја внесете командата airflow initdb и преминете на следниот чекор. Сепак, секогаш добивав одговор airflow: command not found. Логично е да се претпостави дека се појавија тешкотии при инсталирањето на Apache Airflow и потребните датотеки едноставно не се достапни. Откако се уверив дека сè е таму каде што треба, решив да се обидам да ја наведам целосната патека до датотеката за проток на воздух (треба да изгледа вака: Полный/путь/до/файла/airflow initdb). Но чудото не се случи и одговорот беше ист airflow: command not found. Се обидов да користам релативна патека до датотеката (./.local/bin/airflow initdb), што доведе до нова грешка ModuleNotFoundError: No module named json'што може да се надмине со ажурирање на библиотеката Алатка (во мојот случај до верзија 0.15.4):

pip install werkzeug==0.15.4

Можете да прочитате повеќе за werkzeug тука.

По оваа едноставна манипулација командата ./.local/bin/airflow initdb беше успешно завршена.

6. Стартување на серверот Airflow

Ова не е крајот на тешкотиите со пристапот до протокот на воздух. Извршување команда ./.local/bin/airflow webserver -p 8080 резултираше со грешка No such file or directory. Веројатно, искусен корисник на Ubuntu веднаш ќе се обиде да ги надмине таквите тешкотии со пристапот до датотеката користејќи ја командата export PATH=$PATH:~/.local/bin/ (т.е., додавање /.local/bin/ на постоечката патека за пребарување на извршна PATH), но овој пост е наменет за оние кои првенствено работат со Windows и можеби не мислат дека ова решение е очигледно.

По манипулацијата опишана погоре, командата ./.local/bin/airflow webserver -p 8080 беше успешно завршена.

7.URL: localhost: 8080 /

Ако во претходните фази се беше добро, тогаш сте подготвени да ги освојувате аналитичките врвови.

Се надевам дека искуството опишано погоре при инсталирање на Apache Airflow на Windows 10 ќе биде корисно за почетниците корисници и ќе го забрза нивното влегување во универзумот на современи аналитички алатки.

Следниот пат би сакал да ја продолжам темата и да зборувам за искуството од користењето на Apache Airflow во областа на анализа на однесувањето на корисниците на мобилните апликации.

Извор: www.habr.com