Guida all'installazione di Apache Airflow su Windows 10

Premessa: per volere del destino, dal mondo accademico (medicina) sono approdata nel mondo delle tecnologie informatiche, dove devo utilizzare le mie conoscenze sulla metodologia di costruzione degli esperimenti e sulle strategie di analisi dei dati sperimentali, applicando però un nuovo stack tecnologico per me. Durante il processo di apprendimento di queste tecnologie, incontro diverse difficoltà, che per fortuna riesco a superare sinora. Potrebbe essere utile questo post a chi sta iniziando a lavorare con progetti Apache.

Quindi, entriamo nel vivo. Ispirata articolo da Yuri Emelyanov sulle potenzialità di Apache Airflow nell'automazione delle procedure analitiche, ho desiderato iniziare a utilizzare il set di librerie proposte nel mio lavoro. Per coloro che non sono ancora familiari con Apache Airflow, potrebbe essere interessante una breve panoramica articolo sul sito della Biblioteca Nazionale N. E. Bauman.

Poiché le istruzioni comuni per avviare Airflow, a quanto pare, non vengono applicate nell'ambiente Windows, e utilizzare per risolvere questo compito Docker Nel mio caso sarebbe stato eccessivo, ho iniziato a cercare altre soluzioni. Fortunatamente per me, non sono stata la prima su questo cammino, quindi sono riuscita a trovare un'ottima video guida per installare Apache Airflow su Windows 10 senza utilizzare Docker. Ma, come spesso accade, durante l'esecuzione dei passaggi consigliati, si verificano delle difficoltà, e credo non solo per me. Pertanto, vorrei condividere la mia esperienza nell'installare Apache Airflow, potrebbe risparmiare del tempo a qualcuno.

Passiamo attraverso i passaggi della guida (spoiler: al 5° passo tutto andava a meraviglia):

1. Installazione della sottosistema Windows per Linux per un successivo installazione delle distribuzioni Linux

Questo è il problema minore, come si dice:

Pannello di controllo → Programmi → Programmi e funzionalità → Attivazione e disattivazione delle funzionalità di Windows → Sottosistema Windows per Linux

2. Installazione della distribuzione Linux a scelta

Ho utilizzato l'app Ubuntu.

3. Installazione e aggiornamento di pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Installazione di Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inizializzazione del database

Ed è proprio qui che sono iniziati i miei piccoli problemi. Le istruzioni prevedono di inserire il comando airflow initdb e procedere al passaggio successivo. Tuttavia, continuavo a ricevere la risposta airflow: command not found. È logico supporre che ci siano stati problemi durante l'installazione di Apache Airflow e semplicemente non ci sono i file necessari. Assicurandomi che tutto fosse al posto giusto, ho deciso di provare a specificare il percorso completo del file airflow (dovrebbe apparire così: Percorso/completo/del/file/airflow initdb). Ma il miracolo non è accaduto e la risposta è stata la stessa airflow: command not found. Ho provato a usare il percorso relativo al file (./.local/bin/airflow initdb), il che ha portato a un nuovo errore ModuleNotFoundError: No module named json', che può essere superato aggiornando la libreria werkzeug (nel mio caso alla versione 0.15.4):

pip install werkzeug==0.15.4

Puoi leggere di più su werkzeug qui.

Dopo questa semplice manovra, il comando ./.local/bin/airflow initdb è stato eseguito con successo.

6. Avvio del server Airflow

A questo punto, le difficoltà nell'accesso ad airflow non erano ancora terminate. L'esecuzione del comando ./.local/bin/airflow webserver -p 8080 ha portato a un errore No such file or directory. Probabilmente, un utente esperto di Ubuntu avrebbe subito tentato di superare tali difficoltà nell'accesso al file, utilizzando il comando export PATH=$PATH:~/.local/bin/ (cioè, aggiungendo alla variabile PATH esistente la directory /.local/bin/), ma questo post è destinato a coloro che lavorano principalmente con Windows e potrebbero non considerare questa soluzione ovvia.

Dopo aver effettuato la manipolazione descritta sopra, il comando ./.local/bin/airflow webserver -p 8080 è stato eseguito con successo.

7. URL: localhost:8080/

Se tutto è andato a buon fine nei passaggi precedenti, siete pronti per conquistare le vette analitiche.

Spero che l'esperienza di installazione di Apache Airflow su Windows 10 descritta sopra sia utile ai principianti e acceleri il loro ingresso nel mondo degli strumenti analitici moderni.

La prossima volta vorrei continuare il tema e parlare dell'uso di Apache Airflow nell'analisi del comportamento degli utenti delle applicazioni mobili.

Fonte: habr.com