Pengalaman memasang Apache Airflow pada Windows 10

Mukadimah: dengan kehendak takdir, dari dunia sains akademik (perubatan) saya mendapati diri saya dalam dunia teknologi maklumat, di mana saya perlu menggunakan pengetahuan saya tentang metodologi membina eksperimen dan strategi untuk menganalisis data eksperimen, bagaimanapun, memohon timbunan teknologi yang baru kepada saya. Dalam proses menguasai teknologi ini, saya menghadapi beberapa kesukaran, yang, mujurlah, setakat ini telah diatasi. Mungkin siaran ini berguna kepada mereka yang juga baru mula bekerja dengan projek Apache.

So, to the point. Terinspirasi artikel Yuri Emelyanov mengenai keupayaan Apache Airflow dalam bidang automasi prosedur analisis, saya ingin mula menggunakan set perpustakaan yang dicadangkan dalam kerja saya. Mereka yang masih belum biasa dengan Apache Airflow mungkin berminat dengan gambaran ringkas artikel di laman web Perpustakaan Negara. N. E. Bauman.

Memandangkan arahan biasa untuk menjalankan Aliran Udara nampaknya tidak digunakan dalam persekitaran Windows, gunakan ini untuk menyelesaikan masalah ini pekerja pelabuhan dalam kes saya ia akan menjadi berlebihan, saya mula mencari penyelesaian lain. Nasib baik bagi saya, saya bukan yang pertama di jalan ini, jadi saya berjaya menemui jalan yang indah arahan video Cara memasang Apache Airflow pada Windows 10 tanpa menggunakan Docker. Tetapi, seperti yang sering berlaku, apabila mengikuti langkah-langkah yang disyorkan, kesukaran timbul, dan, saya percaya, bukan sahaja untuk saya. Oleh itu, saya ingin bercakap tentang pengalaman saya memasang Apache Airflow, mungkin ia akan menjimatkan sedikit masa seseorang.

Mari kita ikuti langkah-langkah arahan (spoiler - semuanya berjalan lancar pada langkah ke-5):

1. Memasang Subsistem Windows untuk Linux untuk pemasangan pengedaran Linux yang berikutnya

Ini adalah masalah yang paling kecil, seperti yang mereka katakan:

Panel Kawalan → Program → Program dan Ciri → Hidupkan atau matikan ciri Windows → Subsistem Windows untuk Linux

2. Pasang pengedaran Linux pilihan anda

Saya menggunakan aplikasi itu Ubuntu.

3. Pemasangan dan kemas kini pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Memasang Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inisialisasi pangkalan data

Dan di sinilah kesukaran kecil saya bermula. Arahan memerlukan anda memasukkan arahan airflow initdb dan teruskan ke langkah seterusnya. Namun, saya sentiasa menerima jawapan airflow: command not found. Adalah logik untuk menganggap bahawa kesukaran timbul semasa pemasangan Apache Airflow dan fail yang diperlukan tidak tersedia. Selepas memastikan semuanya berada di tempat yang sepatutnya, saya memutuskan untuk cuba menentukan laluan penuh ke fail aliran udara (ia sepatutnya kelihatan seperti ini: Полный/путь/до/файла/airflow initdb). Tetapi keajaiban itu tidak berlaku dan jawapannya adalah sama airflow: command not found. Saya cuba menggunakan laluan relatif ke fail (./.local/bin/airflow initdb), yang membawa kepada ralat baharu ModuleNotFoundError: No module named json'yang boleh diatasi dengan mengemaskini perpustakaan alat (dalam kes saya sehingga versi 0.15.4):

pip install werkzeug==0.15.4

Anda boleh membaca lebih lanjut mengenai werkzeug di sini.

Selepas manipulasi mudah ini arahan ./.local/bin/airflow initdb telah disiapkan dengan jayanya.

6. Melancarkan pelayan Aliran Udara

Ini bukanlah penamat kepada kesukaran untuk mengakses aliran udara. Menjalankan arahan ./.local/bin/airflow webserver -p 8080 mengakibatkan ralat No such file or directory. Mungkin, pengguna Ubuntu yang berpengalaman akan segera cuba mengatasi kesukaran tersebut dengan mengakses fail dengan menggunakan arahan export PATH=$PATH:~/.local/bin/ (iaitu, menambah /.local/bin/ pada laluan carian boleh laku PATH sedia ada), tetapi siaran ini ditujukan untuk mereka yang kebanyakannya bekerja dengan Windows dan mungkin tidak menganggap penyelesaian ini jelas.

Selepas manipulasi yang diterangkan di atas, arahan ./.local/bin/airflow webserver -p 8080 telah berjaya disiapkan.

7.URL: localhost: 8080 /

Jika semuanya berjalan lancar pada peringkat sebelumnya, maka anda sudah bersedia untuk menakluki puncak analisis.

Saya berharap pengalaman yang diterangkan di atas dalam memasang Apache Airflow pada Windows 10 akan berguna kepada pengguna pemula dan akan mempercepatkan kemasukan mereka ke alam semesta alat analisis moden.

Lain kali saya ingin meneruskan topik dan bercakap tentang pengalaman menggunakan Apache Airflow dalam bidang menganalisis tingkah laku pengguna aplikasi mudah alih.

Sumber: www.habr.com