Windows 10 da Apache Airflow-ni o'rnatish tajribasi

Ibtido: taqdir taqozosi bilan, akademik fan (tibbiyot) olamidan men o'zimni axborot texnologiyalari olamida topdim, u erda tajriba qurish metodologiyasi va eksperimental ma'lumotlarni tahlil qilish strategiyalari haqidagi bilimlarimdan foydalanishim kerak, ammo amalda qo'llaniladi. men uchun yangi bo'lgan texnologiya to'plami. Ushbu texnologiyalarni o'zlashtirish jarayonida men bir qator qiyinchiliklarga duch kelaman, xayriyatki, hozirgacha ularni engib o'tgan. Ehtimol, bu post Apache loyihalari bilan ishlashni endi boshlayotganlar uchun foydali bo'ladi.

Shunday qilib, nuqtaga. Ilhomlangan maqola Yuriy Emelyanov Apache Airflow-ning analitik protseduralarni avtomatlashtirish sohasidagi imkoniyatlari haqida men o'z ishimda taklif qilingan kutubxonalar to'plamidan foydalanishni boshlamoqchi edim. Apache Airflow bilan hali umuman tanish bo'lmaganlar qisqacha sharhga qiziqishi mumkin maqola Milliy kutubxona veb-saytida. N. E. Bauman.

Havo oqimini ishga tushirish bo'yicha odatiy ko'rsatmalar Windows muhitida qo'llanilmagani sababli, ushbu muammoni hal qilish uchun foydalaning docker mening holimda bu ortiqcha bo'lar edi, men boshqa echimlarni izlay boshladim. Yaxshiyamki, men bu yo'lda birinchi bo'lmaganman, shuning uchun men ajoyib topishga muvaffaq bo'ldim video ko'rsatma Apache Airflow-ni Windows 10-ga Docker-dan foydalanmasdan qanday o'rnatish mumkin. Ammo, tez-tez bo'lgani kabi, tavsiya etilgan qadamlarni bajarishda qiyinchiliklar paydo bo'ladi va ishonamanki, nafaqat men uchun. Shuning uchun, men Apache Airflow-ni o'rnatish tajribam haqida gapirmoqchiman, ehtimol bu kimgadir ozgina vaqtni tejaydi.

Keling, ko'rsatmalarning bosqichlarini ko'rib chiqaylik (spoiler - 5-bosqichda hammasi yaxshi bo'ldi):

1. Linux distributivlarini keyingi o'rnatish uchun Linux uchun Windows quyi tizimini o'rnatish

Bu, ular aytganidek, eng kichik muammolar:

Boshqaruv paneli → Dasturlar → Dasturlar va funksiyalar → Windows funksiyalarini yoqish yoki o‘chirish → Linux uchun Windows quyi tizimi

2. Siz tanlagan Linux distributivini o'rnating

Men ilovadan foydalandim Ubuntu.

3. Pipni o'rnatish va yangilash

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache havo oqimini o'rnatish

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Ma'lumotlar bazasini ishga tushirish

Va bu erda mening kichik qiyinchiliklarim boshlandi. Ko'rsatmalar buyruqni kiritishingizni talab qiladi airflow initdb va keyingi bosqichga o'ting. Biroq, men har doim javob oldim airflow: command not found. Apache Airflow-ni o'rnatishda qiyinchiliklar yuzaga keldi va kerakli fayllar oddiygina mavjud emas deb taxmin qilish mantiqan to'g'ri. Hamma narsa joyida ekanligiga ishonch hosil qilganimdan so'ng, men havo oqimi fayliga to'liq yo'lni ko'rsatishga qaror qildim (u quyidagicha ko'rinishi kerak: Полный/путь/до/файла/airflow initdb). Ammo mo''jiza sodir bo'lmadi va javob bir xil edi airflow: command not found. Men faylga nisbatan yo'ldan foydalanishga harakat qildim (./.local/bin/airflow initdb), bu yangi xatoga olib keldi ModuleNotFoundError: No module named json'kutubxonani yangilash orqali engish mumkin Asbob (mening holimda 0.15.4 versiyasigacha):

pip install werkzeug==0.15.4

Werkzeug haqida ko'proq o'qishingiz mumkin shu yerda.

Ushbu oddiy manipulyatsiyadan so'ng buyruq ./.local/bin/airflow initdb muvaffaqiyatli yakunlandi.

6. Airflow serverini ishga tushirish

Bu havo oqimiga kirishda qiyinchiliklar tugamaydi. Buyruqni ishga tushirish ./.local/bin/airflow webserver -p 8080 xatoga olib keldi No such file or directory. Ehtimol, tajribali Ubuntu foydalanuvchisi buyruq yordamida faylga kirishda bunday qiyinchiliklarni darhol engishga harakat qiladi. export PATH=$PATH:~/.local/bin/ (ya'ni, mavjud PATH bajariladigan qidiruv yo'liga /.local/bin/ qo'shish), lekin bu post asosan Windows bilan ishlaydigan va bu yechim aniq deb o'ylamaydiganlar uchun mo'ljallangan.

Yuqorida tavsiflangan manipulyatsiyadan so'ng, buyruq ./.local/bin/airflow webserver -p 8080 muvaffaqiyatli yakunlandi.

7.URL: localhost: 8080 /

Agar oldingi bosqichlarda hamma narsa yaxshi o'tgan bo'lsa, unda siz analitik cho'qqilarni zabt etishga tayyorsiz.

Umid qilamanki, yuqorida tavsiflangan Apache Airflow-ni Windows 10-ga o'rnatish tajribasi yangi boshlanuvchilar uchun foydali bo'ladi va ularning zamonaviy tahlil vositalari olamiga kirishini tezlashtiradi.

Keyingi safar men mavzuni davom ettirmoqchiman va mobil ilovalarning foydalanuvchi xatti-harakatlarini tahlil qilish sohasida Apache Airflow-dan foydalanish tajribasi haqida gapirmoqchiman.

Manba: www.habr.com