Präambel: durch das Schicksal aus der Welt der akademischen Wissenschaft (Medizin) in die Welt der Informationstechnologie geraten, wo ich mein Wissen über die Methodik der Experimentgestaltung und Strategien zur Analyse experimenteller Daten anwenden muss, jedoch mit einem mir neuen Technologiestack. Bei der Einarbeitung in diese Technologien stoße ich auf einige Schwierigkeiten, die ich bisher glücklicherweise überwinden konnte. Möglicherweise wird dieser Beitrag für diejenigen nützlich sein, die ebenfalls gerade erst mit Apache-Projekten beginnen.
Also, zur Sache. Inspiriert von von Jurij Jemeljanov über die Möglichkeiten von Apache Airflow im Bereich der Automatisierung analytischer Verfahren wollte ich die angebotene Bibliothek in meiner Arbeit verwenden. Für diejenigen, die mit Apache Airflow noch nicht vertraut sind, könnte ein kleiner Überblick interessant sein auf der Website der Nationalbibliothek N. E. Bauman.
Da die üblichen Anleitungen zur Ausführung von Airflow anscheinend nicht in einer Windows-Umgebung gelten, und der Einsatz von in meinem Fall überflüssig wäre, begann ich nach anderen Lösungen zu suchen. Glücklicherweise war ich nicht die Erste auf diesem Weg, sodass ich eine großartige zur Installation von Apache Airflow in Windows 10 ohne Verwendung von Docker fand. Doch wie es oft der Fall ist, treten bei der Durchführung der empfohlenen Schritte Schwierigkeiten auf, und ich glaube, ich bin nicht die Einzige. Daher möchte ich über meine Erfahrungen bei der Installation von Apache Airflow berichten; vielleicht spart das jemandem etwas Zeit.
Gehen wir die Schritte der Anleitung durch (Spoiler – beim 5. Schritt lief alles gut):
1. Installation der Windows-Subsystem für Linux zur späteren Installation von Linux-Distributionen
Das ist das kleinste Problem, wie man so sagt:
Systemsteuerung → Programme → Programme und Funktionen → Windows-Komponenten aktivieren oder deaktivieren → Windows-Subsystem für Linux
2. Installation der Linux-Distribution nach Wahl
Ich habe die Anwendung genutzt .
3. Installation und Aktualisierung von pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Installation von Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Initialisierung der Datenbank
Und genau hier begannen meine kleinen Schwierigkeiten. Die Anleitung verlangt, den Befehl airflow initdb einzugeben. und zum nächsten Schritt überzugehen. Doch ich erhielt unaufhörlich die gleiche Antwort airflow: Befehl nicht gefunden. Es ist naheliegend, dass beim Installationsschritt von Apache Airflow Schwierigkeiten aufgetreten sind und einfach die benötigten Dateien fehlen. Nachdem ich sichergestellt hatte, dass alles dort ist, wo es sein sollte, beschloss ich, den vollständigen Pfad zur Datei airflow anzugeben (es sollte so aussehen: Vollständiger/Pfad/zur/Datei/airflow initdb). Aber das Wunder trat nicht ein und die Antwort blieb dieselbe airflow: Befehl nicht gefunden. Ich versuchte, den relativen Pfad zur Datei zu verwenden (./.local/bin/airflow initdb), was zu einem neuen Fehler führte ModuleNotFoundError: Kein Modul namens 'json', den man überwinden kann, indem man die Bibliothek aktualisiert werkzeug (in meinem Fall auf Version 0.15.4):
pip install werkzeug==0.15.4Weitere Informationen zu werkzeug finden Sie .
Nach dieser einfachen Manipulation wurde der Befehl ./.local/bin/airflow initdb erfolgreich ausgeführt.
6. Starten des Airflow-Servers
Damit sind die Schwierigkeiten beim Zugriff auf airflow noch nicht vorbei. Der Befehl ./.local/bin/airflow webserver -p 8080 führte zu einem Fehler No such file or directory. Wahrscheinlich hätte ein erfahrener Ubuntu-Nutzer sofort versucht, solche Schwierigkeiten beim Zugriff auf die Datei zu überwinden, indem er den Befehl export PATH=$PATH:~/.local/bin/ verwendet (also das Verzeichnis /.local/bin/ zum bestehenden Suchpfad für ausführbare Dateien, der durch die PATH-Variable definiert wird, hinzuzufügen), aber dieser Beitrag ist für diejenigen gedacht, die hauptsächlich mit Windows arbeiten und möglicherweise eine solche Lösung nicht als offensichtlich erachten.
Nach der oben beschriebenen Manipulation wurde der Befehl ./.local/bin/airflow webserver -p 8080 erfolgreich ausgeführt.
7. URL: :8080/
Wenn alles in den vorherigen Schritten erfolgreich war, sind Sie bereit, analytische Höhen zu erklimmen.
Ich hoffe, dass die oben beschriebene Erfahrung der Installation von Apache Airflow auf Windows 10 Anfängern helfen wird und ihren Einstieg in die Welt moderner Analysetools beschleunigt.
Beim nächsten Mal möchte ich das Thema fortsetzen und über die Erfahrungen mit der Nutzung von Apache Airflow im Bereich der Analyse des Nutzerverhaltens von mobilen Anwendungen berichten.
Quelle: habr.com
