Windows 10-da Apache Airflow quraşdırma təcrübəsi

Başlanğıc: taleyin iradəsi ilə, akademik elm (tibb) dünyasından özümü informasiya texnologiyaları dünyasında tapdım, burada eksperimentin qurulması metodologiyası və eksperimental məlumatların təhlili strategiyaları haqqında biliklərimi istifadə etməliyəm. mənim üçün yeni olan texnologiya yığını. Bu texnologiyaların mənimsənilməsi prosesində mən bir sıra çətinliklərlə qarşılaşıram ki, xoşbəxtlikdən indiyədək bu çətinliklərin öhdəsindən gəlmişəm. Bəlkə də bu yazı Apache layihələri ilə işləməyə yeni başlayanlar üçün faydalı olacaq.

Beləliklə, nöqtəyə. İlham verdi məqalə Yuri Emelyanov Apache Airflow-un analitik prosedurların avtomatlaşdırılması sahəsindəki imkanları haqqında, mən təklif olunan kitabxana dəstini işimdə istifadə etməyə başlamaq istədim. Apache Airflow ilə hələ heç tanış olmayanlar qısa icmalla maraqlana bilər məqalə Milli Kitabxananın saytında. N. E. Bauman.

Airflow-u işə salmaq üçün adi təlimatlar Windows mühitində tətbiq olunmadığı üçün bu problemi həll etmək üçün bundan istifadə edin doker mənim vəziyyətimdə bu lazımsız olardı, başqa həll yolları axtarmağa başladım. Xoşbəxtlikdən mənim üçün bu yolda birinci deyildim, ona görə də gözəl bir yol tapmağı bacardım video təlimat Docker istifadə etmədən Windows 10-da Apache Airflow-u necə quraşdırmaq olar. Ancaq tez-tez olduğu kimi, tövsiyə olunan addımları yerinə yetirərkən çətinliklər yaranır və inanıram ki, təkcə mənim üçün deyil. Buna görə də Apache Airflow quraşdırma təcrübəmdən danışmaq istərdim, bəlkə bu, kiminsə vaxtına bir az qənaət edər.

Təlimatların addımlarını keçək (spoiler - 5-ci addımda hər şey yaxşı oldu):

1. Linux paylamalarının sonrakı quraşdırılması üçün Linux üçün Windows Alt Sisteminin quraşdırılması

Bu, necə deyərlər, problemlərin ən kiçikidir:

İdarəetmə Paneli → Proqramlar → Proqramlar və Xüsusiyyətlər → Windows xüsusiyyətlərini yandırın və ya söndürün → Linux üçün Windows Alt Sistemi

2. Seçdiyiniz Linux paylanmasını quraşdırın

proqramdan istifadə etdim Ubuntu.

3. Quraşdırma və yeniləmə pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Hava axınının quraşdırılması

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Verilənlər bazasının işə salınması

Və burada mənim kiçik çətinliklərim başladı. Təlimatlar əmri daxil etməyi tələb edir airflow initdb və növbəti mərhələyə keçin. Bununla belə, həmişə cavab almışam airflow: command not found. Apache Airflow-un quraşdırılması zamanı çətinliklərin yarandığını və lazımi faylların sadəcə mövcud olmadığını düşünmək məntiqlidir. Hər şeyin lazım olduğu yerdə olduğuna əmin olduqdan sonra hava axını faylının tam yolunu göstərməyə qərar verdim (bu kimi görünməlidir: Полный/путь/до/файла/airflow initdb). Amma möcüzə baş vermədi və cavab eyni oldu airflow: command not found. Faylın nisbi yolundan istifadə etməyə çalışdım (./.local/bin/airflow initdb), bu da yeni xətaya səbəb oldu ModuleNotFoundError: No module named json'kitabxananın yenilənməsi ilə aradan qaldırıla bilər Alət (mənim vəziyyətimdə 0.15.4 versiyasına qədər):

pip install werkzeug==0.15.4

Werkzeug haqqında daha çox oxuya bilərsiniz burada.

Bu sadə manipulyasiyadan sonra əmr ./.local/bin/airflow initdb uğurla tamamlandı.

6. Airflow serverinin işə salınması

Bu, hava axınına girişlə bağlı çətinliklərin sonu deyil. Komandanın icrası ./.local/bin/airflow webserver -p 8080 xəta ilə nəticələndi No such file or directory. Yəqin ki, təcrübəli Ubuntu istifadəçisi dərhal əmrdən istifadə edərək fayla daxil olmaqda belə çətinlikləri aradan qaldırmağa çalışacaq. export PATH=$PATH:~/.local/bin/ (yəni, mövcud PATH icra edilə bilən axtarış yoluna /.local/bin/ əlavə etmək), lakin bu yazı əsasən Windows ilə işləyən və bu həllin aydın olduğunu düşünməyənlər üçün nəzərdə tutulub.

Yuxarıda təsvir edilən manipulyasiyadan sonra əmr ./.local/bin/airflow webserver -p 8080 uğurla başa çatdırılmışdır.

7.URL: localhost: 8080 /

Əvvəlki mərhələlərdə hər şey yaxşı keçdisə, deməli siz analitik zirvələri fəth etməyə hazırsınız.

Ümid edirəm ki, Windows 10-da Apache Airflow-un quraşdırılması ilə bağlı yuxarıda təsvir edilən təcrübə təcrübəsiz istifadəçilər üçün faydalı olacaq və onların müasir analitik alətlər aləminə daxil olmasını sürətləndirəcək.

Növbəti dəfə mövzunu davam etdirmək və mobil proqramların istifadəçi davranışının təhlili sahəsində Apache Airflow-dan istifadə təcrübəsindən danışmaq istərdim.

Mənbə: www.habr.com