Präambel: Durch einen Zufall bin ich aus der Welt der akademischen Wissenschaft (Medizin) in die Welt der Informationstechnologie gelangt, wo ich mein Wissen über die Methodologie des Experimentdesigns und die Strategien zur Analyse experimenteller Daten anwenden muss, während ich jedoch mit einem mir neuen Technologiestack arbeite. Bei der Einarbeitung in diese Technologien stoße ich auf eine Reihe von Herausforderungen, die ich zum Glück bisher bewältigen konnte. Vielleicht wird dieser Beitrag für diejenigen von Interesse sein, die ebenfalls gerade erst mit Apache-Projekten beginnen.
Kommen wir zum Kern.Inspirieret von Jurij Emelyanov über die Möglichkeiten von Apache Airflow zur Automatisierung analytischer Prozesse, wollte ich beginnen, das angebotene Bibliotheksset in meiner Arbeit zu nutzen. Für diejenigen, die mit Apache Airflow noch nicht vertraut sind, könnte eine kleine Übersicht interessant sein. auf der Website der Nationalbibliothek N. E. Bauman.
Da die üblichen Anleitungen zum Starten von Airflow offenbar nicht in der Windows-Umgebung angewendet werden, habe ich beschlossen, dafür In meinem Fall wäre es überflüssig gewesen, ich begann nach anderen Lösungen zu suchen. Zum Glück war ich nicht die Erste auf diesem Weg, sodass ich eine großartige zur Installation von Apache Airflow unter Windows 10 ohne Docker fand. Doch wie so oft gibt es beim Befolgen der empfohlenen Schritte Schwierigkeiten, und ich nehme an, ich bin nicht die Einzige. Daher möchte ich meine Erfahrungen bei der Installation von Apache Airflow teilen, vielleicht hilft es jemandem, Zeit zu sparen.
Lassen Sie uns die Schritte der Anleitung durchgehen (Spoiler – bis Schritt 5 lief alles gut):
1. Installation des Windows-Subsystems für Linux zur anschließenden Installation von Linux-Distributionen
Das ist das geringere Problem, wie man so schön sagt:
Systemsteuerung → Programme → Programme und Funktionen → Windows-Funktionen ein- oder ausschalten → Windows-Subsystem für Linux
2. Installation der gewählten Linux-Distribution
Ich habe die Anwendung .
3. Installation und Aktualisierung von pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Installation von Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Datenbankinitialisierung
Und genau hier begannen meine kleinen Schwierigkeiten. Die Anleitung verlangt, den Befehl einzugeben, airflow initdb und zum nächsten Schritt überzugehen. Doch ich erhielt stets die Antwort, airflow: Befehl nicht gefunden. Es ist logisch anzunehmen, dass während der Installation von Apache Airflow Schwierigkeiten aufgetreten sind und die erforderlichen Dateien einfach fehlen. Nachdem ich sichergestellt hatte, dass alles am richtigen Ort ist, beschloss ich, den vollständigen Pfad zur airflow-Datei anzugeben (es sollte so aussehen: Vollständiger/Pfad/zur/Datei/airflow initdb). Doch das Wunder geschah nicht und die Antwort war die gleiche. airflow: Befehl nicht gefundenIch versuchte, den relativen Pfad zur Datei zu verwenden (./.local/bin/airflow initdb), was zu einem neuen Fehler führte, ModuleNotFoundError: Kein Modul mit dem Namen 'json', den ich beheben konnte, indem ich die Bibliothek werkzeug aktualisierte (in meinem Fall auf Version 0.15.4):
pip install werkzeug==0.15.4Weitere Informationen zu werkzeug finden Sie .
Nach dieser einfachen Manipulation wurde der Befehl ./.local/bin/airflow initdb erfolgreich ausgeführt.
6. Starten des Airflow-Servers
Damit waren die Schwierigkeiten beim Zugriff auf airflow noch nicht beendet. Das Ausführen des Befehls ./.local/bin/airflow webserver -p 8080 führte zu einem Fehler, Keine solche Datei oder Verzeichnis.Erfahrene Ubuntu-Nutzer hätten wahrscheinlich sofort versucht, solche Zugriffsprobleme auf die Datei mit dem Befehl zu lösen. export PATH=$PATH:~/.local/bin/ (das heißt, indem das Verzeichnis /.local/bin/ zum bestehenden Suchpfad für ausführbare Dateien, der durch die PATH-Variable definiert ist, hinzugefügt wird), aber dieser Beitrag richtet sich an diejenigen, die hauptsächlich mit Windows arbeiten und möglicherweise diese Lösung nicht als offensichtlich empfinden.
Nach der oben beschriebenen Manipulation wurde der Befehl ./.local/bin/airflow webserver -p 8080 erfolgreich ausgeführt.
7. URL: :8080/
Wenn alles in den vorherigen Schritten gut gelaufen ist, sind Sie bereit, die analytischen Höhen zu erklimmen.
Ich hoffe, dass die oben beschriebene Erfahrung der Installation von Apache Airflow auf Windows 10 den Anfängern nützlich sein wird und ihnen den Einstieg in die Welt moderner Analysetools erleichtert.
Beim nächsten Mal würde ich gerne das Thema fortsetzen und über die Erfahrungen mit der Nutzung von Apache Airflow im Bereich der Analyse des Nutzerverhaltens von mobilen Anwendungen berichten.
Quelle: habr.com
