Erlieft d'Installatioun vun Apache Airflow op Windows 10

Präambel: duerch Schicksalwëllen, aus der Welt vun der akademescher Wëssenschaft (Medezin) hunn ech mech an der Welt vun der Informatiounstechnologie fonnt, wou ech mäi Wëssen iwwer d'Methodologie vun der Konstruktioun vun engem Experiment a Strategien fir d'Analyse vun experimentellen Daten musse benotzen, awer gëllen engem Technologie Stack datt fir mech nei ass. Am Prozess fir dës Technologien ze beherrschen, begéinen ech eng Rei Schwieregkeeten, déi, glécklecherweis, bis elo iwwerwonne sinn. Vläicht wäert dëse Post nëtzlech sinn fir déi, déi och just ufänken mat Apache Projeten ze schaffen.

Also, zum Punkt. Inspiréiert Artikelen Yuri Emelyanov iwwer d'Fähigkeiten vum Apache Airflow am Beräich vun der Automatiséierung vun analytesche Prozeduren, wollt ech de proposéierte Set vu Bibliothéiken a menger Aarbecht benotzen. Déi, déi nach guer net mat Apache Airflow vertraut sinn, kënnen un engem kuerzen Iwwerbléck interesséiert sinn en Artikel op der Websäit vun der Nationalbibliothéik. N. E. Bauman.

Well déi üblech Instruktioune fir Airflow ze lafen schéngen net an engem Windows Ëmfeld ze gëllen, benotzt dëst fir dëse Problem ze léisen Docker a mengem Fall wier et iwwerflësseg, ech hunn ugefaang no anere Léisungen ze sichen. Glécklecherweis fir mech war ech net déi éischt op dësem Wee, also hunn ech et fäerdeg bruecht eng wonnerbar ze fannen Video Uweisunge Wéi installéiert Apache Airflow op Windows 10 ouni Docker ze benotzen. Awer, wéi dacks geschitt, wann Dir déi empfohlene Schrëtt verfollegt, entstinn Schwieregkeeten, an ech gleewen, net nëmme fir mech. Dofir géif ech gär iwwer meng Erfarung schwätzen mam Apache Airflow z'installéieren, vläicht spuert et een e bëssen Zäit.

Loosst eis duerch d'Schrëtt vun den Instruktioune goen (Spoiler - alles ass gutt um 5. Schrëtt gaang):

1. Installéiere vum Windows Subsystem fir Linux fir spéider Installatioun vu Linux Verdeelungen

Dëst ass déi mannst vun de Problemer, wéi se soen:

Kontrollpanel → Programmer → Programmer a Funktiounen → Windows Features op oder ausschalten → Windows Subsystem fir Linux

2. Installéiert d'Linux Verdeelung vun Ärer Wiel

Ech hunn d'Applikatioun benotzt Ubuntu.

3. Installatioun an Update Pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow installéieren

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Datebank Initialiséierung

An dat ass wou meng kleng Schwieregkeeten ugefaang hunn. D'Instruktioune verlaangen datt Dir de Kommando gitt airflow initdb a fuert op den nächste Schrëtt. Ech krut awer ëmmer eng Äntwert airflow: command not found. Et ass logesch ze iwwerhuelen datt Schwieregkeeten während der Installatioun vum Apache Airflow entstane sinn an déi néideg Dateien einfach net verfügbar sinn. Nodeems ech séchergestallt hunn datt alles war wou et sollt sinn, hunn ech beschloss ze probéieren de ganze Wee fir d'Loftflowdatei ze spezifizéieren (et soll esou ausgesinn: Полный/путь/до/файла/airflow initdb). Awer de Wonner ass net geschitt an d'Äntwert war déiselwecht airflow: command not found. Ech hu probéiert e relative Wee fir d'Datei ze benotzen (./.local/bin/airflow initdb), wat zu engem neie Feeler gefouert huet ModuleNotFoundError: No module named json'déi duerch d'Aktualiséierung vun der Bibliothéik iwwerwonne kënne ginn Instrument (a mengem Fall bis Versioun 0.15.4):

pip install werkzeug==0.15.4

Dir kënnt méi iwwer werkzeug liesen hei.

No dëser einfacher Manipulatioun de Kommando ./.local/bin/airflow initdb war erfollegräich ofgeschloss.

6. Lancéiere der Airflow Server

Dëst ass net d'Enn vun de Schwieregkeeten mam Zougang zum Loftfloss. Lafen e Kommando ./.local/bin/airflow webserver -p 8080 zu engem Feeler gefouert No such file or directory. Wahrscheinlech géif en erfuerene Ubuntu Benotzer direkt probéieren sou Schwieregkeeten mam Zougang zu der Datei ze iwwerwannen andeems Dir de Kommando benotzt export PATH=$PATH:~/.local/bin/ (d.h. /.local/bin/ zum existente PATH ausführbare Sichwee bäizefügen), awer dëse Post ass geduecht fir déi, déi haaptsächlech mat Windows schaffen a vläicht net mengen datt dës Léisung evident ass.

No der Manipulatioun uewen beschriwwen, de Kommando ./.local/bin/airflow webserver -p 8080 war erfollegräich ofgeschloss.

7.URL: localhost: 8080 /

Wann alles gutt an de fréiere Stadien gaang ass, da sidd Dir prett fir analytesch Peaks ze iwwerwannen.

Ech hoffen, datt d'Erfahrung uewen beschriwwen beim Installéiere vun Apache Airflow op Windows 10 wäert nëtzlech sinn fir Ufänger Benotzer a wäert hir Entrée an d'Universum vun modernen Analyse-Tools beschleunegen.

D'nächst Kéier wéilt ech d'Thema weiderféieren an iwwer d'Erfahrung schwätzen fir Apache Airflow am Beräich vun der Analyse vum Benotzerverhalen vu mobilen Applikatiounen ze benotzen.

Source: will.com