Pengalaman nginstal Apache Airflow ing Windows 10

Preamble: kanthi karsane nasib, saka jagad ilmu akademik (kedokteran), aku nemokake dhewe ing jagad teknologi informasi, ing ngendi aku kudu nggunakake kawruh babagan metodologi mbangun eksperimen lan strategi kanggo nganalisa data eksperimen, nanging, aplikasi tumpukan teknologi sing anyar kanggo kula. Ing proses nguwasani teknologi kasebut, aku nemoni sawetara kesulitan, sing, untunge, saiki wis diatasi. Mbok menawa kiriman iki bakal migunani kanggo wong-wong sing uga mung miwiti nggarap proyek Apache.

Dadi, menyang titik. Inspirasi artikel Yuri Emelyanov babagan kapabilitas Apache Airflow ing bidang otomatisasi prosedur analitis, aku pengin miwiti nggunakake perpustakaan sing diusulake ing karyaku. Sing durung kenal karo Apache Airflow bisa uga kasengsem ing ringkesan singkat artikel ing situs web Perpustakaan Nasional. N. E. Bauman.

Wiwit instruksi biasanipun kanggo mlaku Airflow kayane ora ditrapake ing lingkungan Windows, gunakake iki kanggo ngatasi masalah iki buruh pelabuhan ing cilik iku bakal keluwih, Aku miwiti looking for solusi liyane. Begjanipun kanggo kula, aku ora pisanan ing dalan iki, supaya aku bisa nemokake apik banget instruksi video Cara nginstal Apache Airflow ing Windows 10 tanpa nggunakake Docker. Nanging, kaya sing asring kedadeyan, nalika ngetutake langkah-langkah sing disaranake, kesulitan muncul, lan, aku percaya, ora mung kanggo aku. Mulane, aku arep ngomong babagan pengalaman nginstal Apache Airflow, bisa uga bakal ngirit wektu sethithik.

Ayo goleki langkah-langkah instruksi kasebut (spoiler - kabeh dadi apik ing langkah 5):

1. Nginstal Windows Subsystem kanggo Linux kanggo instalasi sakteruse saka distribusi Linux

Iki minangka masalah sing paling sithik, kaya sing diucapake:

Panel Kontrol → Program → Program lan Fitur → Ngaktifake utawa mateni fitur Windows → Subsistem Windows kanggo Linux

2. Instal distribusi Linux sing dipilih

Aku nggunakake aplikasi kasebut ubuntu.

3. Instalasi lan nganyari pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Nginstal Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inisialisasi database

Lan ing kene wiwit kesulitan cilikku. Pandhuan mbutuhake sampeyan ngetik printah airflow initdb lan pindhah menyang langkah sabanjure. Nanging, aku tansah nampa jawaban airflow: command not found. Logis kanggo nganggep manawa ana kesulitan nalika nginstal Apache Airflow lan file sing dibutuhake mung ora kasedhiya. Sawise nggawe manawa kabeh wis ana, aku mutusake kanggo nyoba nemtokake path lengkap menyang file aliran udara (kudu katon kaya iki: Полный/путь/до/файла/airflow initdb). Nanging mukjijat ora kedadeyan lan jawabane padha airflow: command not found. Aku nyoba nggunakake path relatif kanggo file (./.local/bin/airflow initdb), sing nyebabake kesalahan anyar ModuleNotFoundError: No module named json'sing bisa diatasi kanthi nganyari perpustakaan piranti (ing kasusku nganti versi 0.15.4):

pip install werkzeug==0.15.4

Sampeyan bisa maca liyane babagan werkzeug kene.

Sawise manipulasi prasaja iki printah ./.local/bin/airflow initdb rampung kasil.

6. Bukak server Airflow

Iki dudu pungkasane kesulitan kanggo ngakses aliran udara. Mlaku printah ./.local/bin/airflow webserver -p 8080 nyebabake kesalahan No such file or directory. Mbokmenawa, pangguna Ubuntu sing berpengalaman bakal langsung nyoba ngatasi kesulitan kasebut kanthi ngakses file kasebut kanthi nggunakake perintah kasebut export PATH=$PATH:~/.local/bin/ (i.e., nambah /.local/bin/ kanggo path search eksekusi PATH ana), nanging kirim iki dimaksudaké kanggo wong-wong sing utamané bisa karo Windows lan bisa uga ora mikir solusi iki ketok.

Sawise manipulasi kasebut ing ndhuwur, printah kasebut ./.local/bin/airflow webserver -p 8080 kasil rampung.

7. URL: localhost: 8080 /

Yen kabeh wis apik ing tahap sadurunge, sampeyan wis siyap kanggo nelukake puncak analitis.

Muga-muga pengalaman sing diterangake ing ndhuwur nalika nginstal Apache Airflow ing Windows 10 bakal migunani kanggo pangguna anyar lan bakal nyepetake entri menyang jagad alat analytics modern.

Sabanjure aku pengin nerusake topik kasebut lan ngomong babagan pengalaman nggunakake Apache Airflow ing bidang nganalisa prilaku pangguna aplikasi seluler.

Source: www.habr.com