Pengalaman menginstal Apache Airflow di Windows 10

Preamble: atas kehendak takdir, dari dunia akademik sains (kedokteran), saya berakhir di dunia teknologi informasi, di mana saya harus menggunakan pengetahuan saya tentang metodologi untuk membangun eksperimen dan strategi untuk menganalisis data eksperimen, namun, untuk menerapkan tumpukan teknologi baru untuk saya. Dalam proses penguasaan teknologi tersebut, saya menemui sejumlah kesulitan yang untungnya bisa diatasi hingga saat ini. Mungkin postingan ini akan bermanfaat bagi mereka yang juga baru memulai proyek Apache.

Jadi to the point. Terinspirasi artikel Yuri Emelyanov tentang kemampuan Apache Airflow di bidang otomatisasi prosedur analitik, saya ingin mulai menggunakan kumpulan perpustakaan yang diusulkan dalam pekerjaan saya. Bagi mereka yang belum terbiasa dengan Apache Airflow, gambaran kecil mungkin menarik. artikel di website Perpustakaan Nasional. N.E. Bauman.

Karena instruksi biasa untuk menjalankan Airflow sepertinya tidak berlaku di lingkungan Windows, melainkan gunakan buruh pelabuhan dalam kasus saya itu akan berlebihan, saya mulai mencari solusi lain. Untungnya bagi saya, saya bukan yang pertama di jalur ini, jadi saya berhasil menemukan yang luar biasa instruksi video cara install airflow apache di windows 10 tanpa menggunakan docker. Tetapi, seperti yang sering terjadi, ketika mengikuti langkah-langkah yang disarankan, kesulitan muncul, dan saya yakin tidak hanya untuk saya. Oleh karena itu, saya ingin berbicara tentang pengalaman saya menginstal Apache Airflow, mungkin ini akan menghemat waktu seseorang.

Mari kita ikuti langkah-langkah instruksinya (spoiler - semuanya berjalan baik pada langkah ke-5):

1. Menginstal Subsistem Windows untuk Linux untuk instalasi distribusi Linux nanti

Ini adalah masalah yang paling kecil, seperti yang mereka katakan:

Panel Kontrol → Program → Program dan Fitur → Mengaktifkan atau menonaktifkan fitur Windows → Subsistem Windows untuk Linux

2. Instal distribusi Linux pilihan Anda

Saya menggunakan aplikasi Ubuntu.

3. Instal dan perbarui pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Memasang Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inisialisasi database

Dan disinilah kesulitan kecil saya dimulai. Instruksi menginstruksikan untuk memasukkan perintah airflow initdb dan lanjutkan ke langkah berikutnya. Namun, saya selalu mendapat jawaban airflow: command not found. Masuk akal untuk berasumsi bahwa ada kesulitan selama penginstalan Apache Airflow dan tidak ada file yang diperlukan. Setelah memastikan bahwa semuanya berada di tempat yang seharusnya, saya memutuskan untuk mencoba menentukan jalur lengkap ke file aliran udara (seharusnya terlihat seperti ini: Полный/путь/до/файла/airflow initdb). Tapi keajaiban itu tidak terjadi dan jawabannya sama airflow: command not found. Saya mencoba menggunakan jalur relatif ke file (./.local/bin/airflow initdb), yang menghasilkan kesalahan baru ModuleNotFoundError: No module named json', yang dapat diatasi dengan memperbarui perpustakaan alat (dalam kasus saya hingga versi 0.15.4):

pip install werkzeug==0.15.4

Anda dapat membaca lebih lanjut tentang werkzeug di sini.

Setelah manipulasi sederhana ini, perintahnya ./.local/bin/airflow initdb berhasil diselesaikan.

6. Memulai Server Aliran Udara

Dalam hal ini, kesulitan mengakses aliran udara belum berakhir. Jalankan perintah ./.local/bin/airflow webserver -p 8080 menyebabkan kesalahan No such file or directory. Kemungkinan pengguna Ubuntu yang berpengalaman akan segera mencoba mengatasi kesulitan tersebut dengan mengakses file dengan menggunakan perintah export PATH=$PATH:~/.local/bin/ (yaitu, dengan menambahkan /.local/bin/ ke jalur pencarian PATH yang ada untuk executable), tetapi posting ini ditujukan bagi mereka yang bekerja terutama dengan Windows dan mungkin tidak menganggap ini sebagai solusi yang jelas.

Setelah manipulasi yang dijelaskan di atas, perintahnya ./.local/bin/airflow webserver -p 8080 telah berhasil diselesaikan.

7.URL: localhost: 8080 /

Jika semuanya berjalan dengan baik di tahap sebelumnya, maka Anda siap untuk menaklukkan ketinggian analitik.

Saya berharap pengalaman menginstal Apache Airflow pada Windows 10 yang dijelaskan di atas akan bermanfaat bagi pengguna pemula dan akan mempercepat masuknya mereka ke dunia alat analitik modern.

Lain kali saya ingin melanjutkan topik dan berbicara tentang pengalaman menggunakan Apache Airflow di bidang analisis perilaku pengguna aplikasi seluler.

Sumber: www.habr.com