Windows 10'da Apache Airflow'u yükleme deneyimini yaşayın

önsöz: kaderin iradesiyle, akademik bilim (tıp) dünyasından kendimi bilgi teknolojisi dünyasında buldum, burada bir deney oluşturma metodolojisi ve deneysel verileri analiz etmek için stratejiler hakkındaki bilgimi kullanmam gerekiyor, ancak uygulamak benim için yeni olan bir teknoloji yığını. Bu teknolojilere hakim olma sürecinde, neyse ki şu ana kadar aşılmış olan bir takım zorluklarla karşılaşıyorum. Belki bu yazı Apache projeleriyle yeni çalışmaya başlayanlar için de yararlı olacaktır.

Yani asıl noktaya. Esinlenilmiş makale Yuri Emelyanov'un analitik prosedürlerin otomasyonu alanındaki Apache Airflow'un yetenekleri hakkında konuşmasında, önerilen kütüphane setini çalışmamda kullanmaya başlamak istedim. Henüz Apache Airflow'a aşina olmayanlar kısa bir genel bakışla ilgilenebilir makale Milli Kütüphane'nin internet sitesinde. N. E. Bauman.

Airflow'u çalıştırmaya yönelik genel talimatlar Windows ortamında geçerli görünmediğinden, bu sorunu çözmek için bunu kullanın. liman işçisi benim durumumda bu gereksiz olurdu, başka çözümler aramaya başladım. Neyse ki bu yolda ilk olan ben değildim, bu yüzden harika bir yol bulmayı başardım. video talimatı Docker kullanmadan Windows 10'a Apache Airflow nasıl kurulur? Ancak çoğu zaman olduğu gibi, önerilen adımları takip ederken zorluklar ortaya çıkıyor ve inanıyorum ki bu sadece benim için değil. Bu nedenle Apache Airflow kurulum deneyimimden bahsetmek istiyorum, belki birisine biraz zaman kazandırabilir.

Talimatların adımlarını inceleyelim (spoiler - 5. adımda her şey yolunda gitti):

1. Linux dağıtımlarının sonraki kurulumu için Linux için Windows Alt Sisteminin kurulması

Bu sorunların en küçüğü, dedikleri gibi:

Denetim Masası → Programlar → Programlar ve Özellikler → Windows özelliklerini açma veya kapatma → Linux için Windows Alt Sistemi

2. Seçtiğiniz Linux dağıtımını yükleyin

Uygulamayı kullandım Ubuntu.

3. Kurulum ve güncelleme pip'i

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow'un Kurulumu

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Veritabanının başlatılması

İşte benim küçük zorluklarım da burada başladı. Talimatlar komutu girmenizi gerektirir airflow initdb ve bir sonraki adıma geçin. Ancak her zaman bir cevap aldım airflow: command not found. Apache Airflow'un kurulumu sırasında zorlukların ortaya çıktığını ve gerekli dosyaların mevcut olmadığını varsaymak mantıklıdır. Her şeyin olması gerektiği yerde olduğundan emin olduktan sonra hava akışı dosyasının tam yolunu belirtmeye karar verdim (şunun gibi görünmelidir: Полный/путь/до/файла/airflow initdb). Ama mucize gerçekleşmedi ve cevap aynıydı. airflow: command not found. Dosyaya göreli bir yol kullanmayı denedim (./.local/bin/airflow initdb), bu da yeni bir hataya yol açtı ModuleNotFoundError: No module named json'kütüphaneyi güncelleyerek bunun üstesinden gelinebilir araç (benim durumumda 0.15.4 sürümüne kadar):

pip install werkzeug==0.15.4

werkzeug hakkında daha fazlasını okuyabilirsiniz burada.

Bu basit manipülasyondan sonra komut ./.local/bin/airflow initdb başarıyla tamamlandı.

6. Airflow sunucusunun başlatılması

Bu, hava akışına erişimdeki zorlukların sonu değil. Bir komutu çalıştırma ./.local/bin/airflow webserver -p 8080 bir hatayla sonuçlandı No such file or directory. Muhtemelen deneyimli bir Ubuntu kullanıcısı, bu komutu kullanarak dosyaya erişmedeki bu tür zorlukları hemen aşmaya çalışacaktır. export PATH=$PATH:~/.local/bin/ (yani, mevcut PATH yürütülebilir arama yoluna /.local/bin/ eklenmesi), ancak bu gönderi öncelikle Windows ile çalışanlar ve bu çözümün açık olduğunu düşünmeyebilecek kişiler için tasarlanmıştır.

Yukarıda açıklanan manipülasyondan sonra komut ./.local/bin/airflow webserver -p 8080 başarıyla tamamlandı.

7.URL: localhost: 8080 /

Önceki aşamalarda her şey yolunda gittiyse, analitik zirveleri fethetmeye hazırsınız demektir.

Yukarıda Apache Airflow'u Windows 10'a yükleme deneyiminin acemi kullanıcılar için yararlı olacağını ve modern analiz araçları evrenine girişlerini hızlandıracağını umuyorum.

Bir dahaki sefere konuya devam etmek ve mobil uygulamaların kullanıcı davranışını analiz etme alanında Apache Airflow kullanma deneyiminden bahsetmek istiyorum.

Kaynak: habr.com