Premessa: per volere del destino, dal mondo della scienza accademica (medicina) sono finita nel mondo delle tecnologie informatiche, dove devo utilizzare le mie conoscenze sulla metodologia di costruzione degli esperimenti e le strategie di analisi dei dati sperimentali, tuttavia, applicando un nuovo stack tecnologico per me. Nel processo di apprendimento di queste tecnologie, mi imbatto in una serie di difficoltà, che per ora, fortunatamente, riesco a superare. Forse questo post sarà utile a chi sta anche iniziando a lavorare su progetti Apache.
Quindi, al nocciolo. Ispirata da Yuri Emelyanov sulle potenzialità di Apache Airflow nell'automazione delle procedure analitiche, ho sentito il desiderio di iniziare a utilizzare il set di librerie proposto nel mio lavoro. A chi non è ancora del tutto familiare con Apache Airflow, potrebbe essere interessante una breve panoramica sul sito della Biblioteca Nazionale N. E. Bauman.
Poiché le istruzioni comuni per avviare Airflow, a quanto pare, non vengono applicate nell'ambiente Windows, e utilizzare per risolvere questo problema nel mio caso sarebbe stato eccessivo, ho iniziato a cercare altre soluzioni. Fortunatamente per me, non sono stata la prima su questo cammino, quindi sono riuscita a trovare un'ottima per installare Apache Airflow su Windows 10 senza utilizzare docker. Ma, come spesso accade, nell'eseguire i passaggi consigliati, sorgono difficoltà e, suppongo, non solo per me. Pertanto, vorrei condividere la mia esperienza nell'installazione di Apache Airflow, forse a qualcuno questo risparmierà un po' di tempo.
Passiamo ai passaggi dell'istruzione (spoiler: dal 5° passaggio tutto è andato alla grande):
1. Installazione del sottosistema Windows per Linux per l'installazione successiva delle distribuzioni Linux
Questo è il problema minore, come si suol dire:
Pannello di controllo → Programmi → Programmi e funzionalità → Attivazione e disattivazione delle funzionalità di Windows → Sottosistema Windows per Linux
2. Installazione della distribuzione Linux a scelta
Ho utilizzato l'applicazione .
3. Installazione e aggiornamento di pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Installazione di Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Inizializzazione del database
Ed è proprio qui che sono iniziate le mie piccole difficoltà. Le istruzioni prevedono di inserire il comando airflow initdb e passare al passaggio successivo. Tuttavia, ricevevo sempre la risposta airflow: comando non trovato. È logico supporre che ci siano state difficoltà nella fase di installazione di Apache Airflow e semplicemente manchino i file necessari. Assicurandomi che tutto fosse al posto giusto, ho deciso di provare a specificare il percorso completo del file airflow (dovrebbe apparire così: Percorso/ completo/ del/ file/ airflow initdb). Ma non ci sono stati miracoli e la risposta è stata la stessa airflow: comando non trovato. Ho provato a utilizzare un percorso relativo al file (./.local/bin/airflow initdb), il che ha portato all'emergere di un nuovo errore ModuleNotFoundError: Nessun modulo chiamato json', che può essere superato aggiornando la libreria werkzeug (nel mio caso alla versione 0.15.4):
pip install werkzeug==0.15.4Maggiori informazioni su werkzeug possono essere lette .
Dopo questa semplice manovra, il comando ./.local/bin/airflow initdb è stato eseguito correttamente.
6. Avvio del server Airflow
A questo punto, le difficoltà nell'interazione con airflow non erano ancora terminate. L'esecuzione del comando ./.local/bin/airflow webserver -p 8080 ha portato a un errore Nessun file o directory di questo tipo. Probabilmente, un utente esperto di Ubuntu avrebbe immediatamente provato a superare tali difficoltà interagendo con il file, utilizzando il comando export PATH=$PATH:~/.local/bin/ (cioè, aggiungendo al percorso di ricerca degli eseguibili esistente, definito dalla variabile PATH, la directory /.local/bin/), ma questo post è destinato a coloro che lavorano principalmente su Windows e, forse, non considerano questa soluzione così ovvia.
Dopo la manovra sopra descritta, il comando ./.local/bin/airflow webserver -p 8080 è stato eseguito correttamente.
7. URL: :8080/
Se tutto è andato bene nelle fasi precedenti, siete pronti a conquistare vette analitiche.
Spero che l'esperienza di installazione di Apache Airflow su Windows 10 sopra descritta sia utile per i principianti e acceleri il loro ingresso nell'universo degli strumenti analitici moderni.
La prossima volta mi piacerebbe continuare il tema e raccontare dell'esperienza di utilizzo di Apache Airflow nell'analisi del comportamento degli utenti delle applicazioni mobili.
Fonte: habr.com
