Απολαύστε την εγκατάσταση του Apache Airflow στα Windows 10

Προοίμιο: με τη θέληση της μοίρας, από τον κόσμο της ακαδημαϊκής επιστήμης (ιατρική), βρέθηκα στον κόσμο της πληροφορικής, όπου πρέπει να χρησιμοποιήσω τις γνώσεις μου για τη μεθοδολογία κατασκευής ενός πειράματος και στρατηγικές για την ανάλυση πειραματικών δεδομένων, ωστόσο, εφαρμόστε μια στοίβα τεχνολογίας που είναι νέα για μένα. Στη διαδικασία κατάκτησης αυτών των τεχνολογιών, συναντώ μια σειρά από δυσκολίες, οι οποίες, ευτυχώς, μέχρι στιγμής έχουν ξεπεραστεί. Ίσως αυτή η ανάρτηση να είναι χρήσιμη σε όσους επίσης μόλις αρχίζουν να εργάζονται με έργα Apache.

Έτσι, στο σημείο. Εμπνευσμένος άρθρο Ο Yuri Emelyanov σχετικά με τις δυνατότητες του Apache Airflow στον τομέα της αυτοματοποίησης των αναλυτικών διαδικασιών, ήθελα να αρχίσω να χρησιμοποιώ το προτεινόμενο σύνολο βιβλιοθηκών στη δουλειά μου. Όσοι δεν είναι ακόμη καθόλου εξοικειωμένοι με το Apache Airflow μπορεί να ενδιαφέρονται για μια σύντομη επισκόπηση άρθρο στην ιστοσελίδα της Εθνικής Βιβλιοθήκης. Ν. Ε. Μπάουμαν.

Επειδή οι συνήθεις οδηγίες για την εκτέλεση του Airflow δεν φαίνεται να ισχύουν σε περιβάλλον Windows, χρησιμοποιήστε το για να λύσετε αυτό το πρόβλημα λιμενεργάτης στην περίπτωσή μου θα ήταν περιττό, άρχισα να ψάχνω άλλες λύσεις. Ευτυχώς για μένα, δεν ήμουν ο πρώτος σε αυτό το μονοπάτι, οπότε κατάφερα να βρω ένα υπέροχο οδηγίες βίντεο Πώς να εγκαταστήσετε το Apache Airflow στα Windows 10 χωρίς να χρησιμοποιήσετε το Docker. Αλλά, όπως συμβαίνει συχνά, όταν ακολουθώ τα προτεινόμενα βήματα, προκύπτουν δυσκολίες και, πιστεύω, όχι μόνο για μένα. Επομένως, θα ήθελα να μιλήσω για την εμπειρία μου από την εγκατάσταση του Apache Airflow, ίσως εξοικονομήσει λίγο χρόνο σε κάποιον.

Ας περάσουμε από τα βήματα των οδηγιών (σπόιλερ - όλα πήγαν καλά στο 5ο βήμα):

1. Εγκατάσταση του υποσυστήματος Windows για Linux για επακόλουθη εγκατάσταση διανομών Linux

Αυτό είναι το μικρότερο από τα προβλήματα, όπως λένε:

Πίνακας ελέγχου → Προγράμματα → Προγράμματα και δυνατότητες → Ενεργοποίηση ή απενεργοποίηση λειτουργιών των Windows → Υποσύστημα Windows για Linux

2. Εγκαταστήστε τη διανομή Linux της επιλογής σας

Χρησιμοποίησα την εφαρμογή Ubuntu.

3. Εγκατάσταση και ενημέρωση pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Εγκατάσταση Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Αρχικοποίηση βάσης δεδομένων

Και εδώ ξεκίνησαν οι μικρές μου δυσκολίες. Οι οδηγίες απαιτούν να εισαγάγετε την εντολή airflow initdb και προχωρήστε στο επόμενο βήμα. Ωστόσο, πάντα λάμβανα απάντηση airflow: command not found. Είναι λογικό να υποθέσουμε ότι προέκυψαν δυσκολίες κατά την εγκατάσταση του Apache Airflow και τα απαραίτητα αρχεία απλά δεν είναι διαθέσιμα. Αφού βεβαιώθηκα ότι όλα ήταν εκεί που έπρεπε, αποφάσισα να προσπαθήσω να προσδιορίσω την πλήρη διαδρομή προς το αρχείο ροής αέρα (θα πρέπει να μοιάζει με αυτό: Полный/путь/до/файла/airflow initdb). Όμως το θαύμα δεν έγινε και η απάντηση ήταν η ίδια airflow: command not found. Προσπάθησα να χρησιμοποιήσω μια σχετική διαδρομή προς το αρχείο (./.local/bin/airflow initdb), το οποίο οδήγησε σε νέο σφάλμα ModuleNotFoundError: No module named json'που μπορεί να ξεπεραστεί με την ενημέρωση της βιβλιοθήκης εργαλείο (στην περίπτωσή μου μέχρι την έκδοση 0.15.4):

pip install werkzeug==0.15.4

Μπορείτε να διαβάσετε περισσότερα για το werkzeug εδώ.

Μετά από αυτόν τον απλό χειρισμό η εντολή ./.local/bin/airflow initdb ολοκληρώθηκε με επιτυχία.

6. Εκκίνηση του διακομιστή ροής αέρα

Αυτό δεν είναι το τέλος των δυσκολιών με την πρόσβαση στη ροή αέρα. Εκτέλεση εντολής ./.local/bin/airflow webserver -p 8080 οδήγησε σε σφάλμα No such file or directory. Πιθανώς, ένας έμπειρος χρήστης του Ubuntu θα προσπαθούσε αμέσως να ξεπεράσει τέτοιες δυσκολίες με την πρόσβαση στο αρχείο χρησιμοποιώντας την εντολή export PATH=$PATH:~/.local/bin/ (δηλαδή, προσθήκη /.local/bin/ στην υπάρχουσα εκτελέσιμη διαδρομή αναζήτησης PATH), αλλά αυτή η ανάρτηση προορίζεται για όσους εργάζονται κυρίως με Windows και μπορεί να μην πιστεύουν ότι αυτή η λύση είναι προφανής.

Μετά τον χειρισμό που περιγράφεται παραπάνω, η εντολή ./.local/bin/airflow webserver -p 8080 ολοκληρώθηκε με επιτυχία.

7.URL: localhost: 8080 /

Αν όλα πήγαν καλά στα προηγούμενα στάδια, τότε είστε έτοιμοι να κατακτήσετε αναλυτικές κορυφές.

Ελπίζω ότι η εμπειρία που περιγράφεται παραπάνω κατά την εγκατάσταση του Apache Airflow στα Windows 10 θα είναι χρήσιμη στους αρχάριους χρήστες και θα επιταχύνει την είσοδό τους στο σύμπαν των σύγχρονων εργαλείων ανάλυσης.

Την επόμενη φορά θα ήθελα να συνεχίσω το θέμα και να μιλήσω για την εμπειρία χρήσης του Apache Airflow στον τομέα της ανάλυσης της συμπεριφοράς των χρηστών εφαρμογών για κινητά.

Πηγή: www.habr.com