Ervaring met het installeren van Apache Airflow op Windows 10

Inleiding: door het lot ben ik vanuit de academische wereld (geneeskunde) in de wereld van informationstechnologie beland, waar ik mijn kennis over experimentele methodologie en strategieën voor het analyseren van experimentele gegevens moet toepassen, maar nu met een nieuwe technologie-stack. Tijdens het leren van deze technologieën stuit ik op verschillende moeilijkheden, die gelukkig tot nu toe overwonnen kunnen worden. Misschien zal deze post nuttig zijn voor degenen die ook net beginnen met projecten in Apache.

Dus, laten we ter zake komen. Geïnspireerd door artikel Yuri Emelyanov over de mogelijkheden van Apache Airflow voor het automatiseren van analytische procedures, wilde ik de aangeboden set bibliotheken in mijn werk gaan gebruiken. Voor degenen die nog helemaal niet bekend zijn met Apache Airflow, kan een korte overzicht artikel op de website van de Nationale Bibliotheek van N. E. Bauman interessant zijn.

Omdat de gebruikelijke instructies voor het opstarten van Airflow blijkbaar niet toegepast worden in een Windows-omgeving, en het gebruik van Docker in mijn geval overbodig zou zijn, begon ik naar andere oplossingen te zoeken. Gelukkig voor mij was ik niet de eerste die deze weg bewandelde, dus ik vond een geweldige video-instructie voor het installeren van Apache Airflow in Windows 10 zonder Docker. Maar zoals het vaak gaat, deden zich problemen voor bij het uitvoeren van de aanbevolen stappen, en ik vermoed dat dit niet alleen mij overkwam. Daarom wil ik mijn ervaring met het installeren van Apache Airflow delen, hopelijk bespaart dit iemand wat tijd.

Laten we de stappen van de instructie doorlopen (spoiler — stap 5 ging perfect):

1. Installatie van de Windows Subsystem for Linux voor de latere installatie van Linux-distributies

Dit is de minste van de problemen, zoals men zegt:

Configuratiescherm → Programma's → Programma's en onderdelen → Windows-onderdelen in- en uitschakelen → Windows Subsystem for Linux

2. Installatie van een Linux-distributie naar keuze

Ik maakte gebruik van de applicatie Ubuntu.

3. Installatie en update van pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Installatie van Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Initialisatie van de database

En precies hier begonnen mijn kleine moeilijkheden. De instructies geven aan om het commando airflow initdb in te voeren en naar de volgende stap te gaan. Maar ik kreeg altijd de reactie airflow: commando niet gevonden. Het is logisch om aan te nemen dat er problemen zijn opgetreden tijdens de installatie van Apache Airflow en dat de benodigde bestanden gewoon ontbreken. Nadat ik had gecontroleerd of alles op de juiste plek zat, besloot ik de volledige pad naar het bestand airflow op te geven (het zou er als volgt uit moeten zien: volledige/pad/naar/bestand/airflow initdb). Maar er vond geen wonder plaats en het antwoord was hetzelfde airflow: commando niet gevonden. Ik probeerde een relatieve pad naar het bestand te gebruiken (./.local/bin/airflow initdb), wat leidde tot een nieuwe foutmelding ModuleNotFoundError: No module named json', die kan worden overwonnen door de bibliotheek te updaten werkzeug (in mijn geval naar versie 0.15.4):

pip install werkzeug==0.15.4

Meer over werkzeug kan worden gelezen hier.

Na deze eenvoudige handeling werd het commando ./.local/bin/airflow initdb succesvol uitgevoerd.

6. Starten van de Airflow-server

De moeilijkheden met toegang tot airflow waren nog niet voorbij. Het uitvoeren van het commando ./.local/bin/airflow webserver -p 8080 leidde tot een fout No such file or directory. Waarschijnlijk zou een ervaren Ubuntu-gebruiker meteen geprobeerd hebben om dit soort problemen met bestandstoegang te overwinnen door het commando export PATH=$PATH:~/.local/bin/ (dat wil zeggen, de bestaande pad naar uitvoerbare bestanden, zoals gedefinieerd door de PATH-variabele, de map /.local/bin/ toe te voegen), maar deze post is bedoeld voor degenen die voornamelijk met Windows werken en mogelijk zo'n oplossing niet voor de hand liggend vinden.

Na de hierboven beschreven handeling werd het commando ./.local/bin/airflow webserver -p 8080 succesvol uitgevoerd.

7. URL: localhost:8080/

Als alles goed is verlopen in de voorgaande stappen, dan ben je klaar om de analytische pieken te veroveren.

Ik hoop dat de hierboven beschreven ervaring met de installatie van Apache Airflow op Windows 10 nuttig zal zijn voor beginnende gebruikers en hun inleiding in de wereld van moderne analysetools zal versnellen.

Volgende keer zou ik het onderwerp willen voortzetten en mijn ervaringen met het gebruik van Apache Airflow in de analyse van het gebruiksgedrag van mobiele applicaties delen.

Bron: habr.com