Präambel: Durch den Willen des Schicksals landete ich aus der Welt der akademischen Wissenschaft (Medizin) in der Welt der Informationstechnologie, wo ich jedoch mein Wissen über die Methodik des Aufbaus eines Experiments und Strategien zur Analyse experimenteller Daten anwenden muss ein Technologie-Stack, der für mich neu ist. Bei der Beherrschung dieser Technologien stoße ich auf eine Reihe von Schwierigkeiten, die glücklicherweise bisher überwunden wurden. Vielleicht ist dieser Beitrag für diejenigen nützlich, die gerade erst anfangen, mit Apache-Projekten zu arbeiten.
Also, auf den Punkt gebracht. Inspiriert Yuri Emelyanov über die Fähigkeiten von Apache Airflow im Bereich der Automatisierung analytischer Verfahren wollte ich beginnen, den vorgeschlagenen Satz von Bibliotheken in meiner Arbeit zu verwenden. Wer sich mit Apache Airflow noch überhaupt nicht auskennt, könnte an einem kurzen Überblick interessiert sein auf der Website der Nationalbibliothek. N. E. Bauman.
Da die üblichen Anweisungen zum Ausführen von Airflow in einer Windows-Umgebung offenbar nicht zutreffen, verwenden Sie diese, um dieses Problem zu lösen In meinem Fall wäre es überflüssig, ich habe nach anderen Lösungen gesucht. Zum Glück war ich nicht der Erste auf diesem Weg, also habe ich etwas Wunderbares gefunden So installieren Sie Apache Airflow unter Windows 10, ohne Docker zu verwenden. Aber wie so oft treten bei der Befolgung der empfohlenen Schritte Schwierigkeiten auf, und ich glaube, nicht nur für mich. Deshalb möchte ich über meine Erfahrungen mit der Installation von Apache Airflow sprechen, vielleicht spart es jemandem etwas Zeit.
Gehen wir die Schritte der Anleitung durch (Spoiler – im 5. Schritt hat alles gut geklappt):
1. Installation des Windows-Subsystems für Linux für die spätere Installation von Linux-Distributionen
Das ist das geringste Problem, wie man so schön sagt:
Systemsteuerung → Programme → Programme und Funktionen → Windows-Funktionen ein- oder ausschalten → Windows-Subsystem für Linux
2. Installieren Sie die Linux-Distribution Ihrer Wahl
Ich habe die Anwendung verwendet .
3. Pip installieren und aktualisieren
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Apache Airflow installieren
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Datenbankinitialisierung
Und hier begannen meine kleinen Schwierigkeiten. Die Anweisungen erfordern die Eingabe des Befehls airflow initdb und fahren Sie mit dem nächsten Schritt fort. Ich erhielt jedoch immer eine Antwort airflow: command not found. Es ist logisch anzunehmen, dass es bei der Installation von Apache Airflow zu Schwierigkeiten gekommen ist und die notwendigen Dateien einfach nicht verfügbar sind. Nachdem ich sichergestellt hatte, dass alles dort war, wo es sein sollte, beschloss ich, den vollständigen Pfad zur Airflow-Datei anzugeben (es sollte so aussehen: Полный/путь/до/файла/airflow initdb). Aber das Wunder geschah nicht und die Antwort war dieselbe airflow: command not found. Ich habe versucht, einen relativen Pfad zur Datei zu verwenden (./.local/bin/airflow initdb), was zu einem neuen Fehler führte ModuleNotFoundError: No module named json'Dies kann durch eine Aktualisierung der Bibliothek behoben werden werkzeuge (in meinem Fall bis Version 0.15.4):
pip install werkzeug==0.15.4Lesen Sie mehr über werkzeug .
Nach dieser einfachen Manipulation wird der Befehl ausgeführt ./.local/bin/airflow initdb wurde erfolgreich abgeschlossen.
6. Starten des Airflow-Servers
Dies ist jedoch nicht das Ende der Schwierigkeiten beim Zugang zur Luftzirkulation. Einen Befehl ausführen ./.local/bin/airflow webserver -p 8080 führte zu einem Fehler No such file or directory. Wahrscheinlich würde ein erfahrener Ubuntu-Benutzer sofort versuchen, solche Schwierigkeiten beim Zugriff auf die Datei mithilfe des Befehls zu überwinden export PATH=$PATH:~/.local/bin/ (d. h. Hinzufügen von /.local/bin/ zum vorhandenen PATH-Suchpfad für ausführbare Dateien), aber dieser Beitrag ist für diejenigen gedacht, die hauptsächlich mit Windows arbeiten und diese Lösung möglicherweise nicht für offensichtlich halten.
Nach der oben beschriebenen Manipulation wird der Befehl ./.local/bin/airflow webserver -p 8080 wurde erfolgreich abgeschlossen.
7.URL: : 8080 /
Wenn in den vorherigen Phasen alles gut gelaufen ist, sind Sie bereit, analytische Gipfel zu erobern.
Ich hoffe, dass die oben beschriebene Erfahrung bei der Installation von Apache Airflow unter Windows 10 für unerfahrene Benutzer nützlich ist und ihren Einstieg in das Universum moderner Analysetools beschleunigt.
Das nächste Mal möchte ich das Thema fortsetzen und über die Erfahrungen mit der Verwendung von Apache Airflow im Bereich der Analyse des Benutzerverhaltens mobiler Anwendungen sprechen.
Source: habr.com