Ervaar die installering van Apache Airflow op Windows 10

aanhef: deur die wil van die noodlot, uit die wêreld van akademiese wetenskap (geneeskunde) het ek myself in die wêreld van inligtingstegnologie bevind, waar ek my kennis van die metodologie van die konstruksie van 'n eksperiment moet gebruik en strategieë vir die ontleding van eksperimentele data is egter van toepassing 'n tegnologiestapel wat vir my nuut is. In die proses om hierdie tegnologieë te bemeester, kom ek 'n aantal probleme teë, wat gelukkig tot dusver oorkom is. Miskien sal hierdie pos nuttig wees vir diegene wat ook net met Apache-projekte begin werk.

So, tot die punt. Geïnspireer artikel Yuri Emelyanov oor die vermoëns van Apache Airflow op die gebied van outomatisering van analitiese prosedures, ek wou die voorgestelde stel biblioteke in my werk begin gebruik. Diegene wat nog glad nie met Apache Airflow vertroud is nie, sal dalk in 'n kort oorsig belangstel статья op die webwerf van die Nasionale Biblioteek. N. E. Bauman.

Aangesien die gewone instruksies vir die gebruik van Airflow blykbaar nie in 'n Windows-omgewing van toepassing is nie, gebruik dit om hierdie probleem op te los dokwerker in my geval sou dit oorbodig wees, ek het na ander oplossings begin soek. Gelukkig vir my was ek nie die eerste op hierdie pad nie, so ek het daarin geslaag om 'n wonderlike te vind video-instruksie Hoe om Apache Airflow op Windows 10 te installeer sonder om Docker te gebruik. Maar, soos dikwels gebeur, ontstaan ​​probleme wanneer die aanbevole stappe gevolg word, en, glo ek, nie net vir my nie. Daarom wil ek graag praat oor my ervaring met die installering van Apache Airflow, miskien sal dit iemand 'n bietjie tyd bespaar.

Kom ons gaan deur die stappe van die instruksies (bederf - alles het goed gegaan op die 5de stap):

1. Installering van die Windows-substelsel vir Linux vir die daaropvolgende installering van Linux-verspreidings

Dit is die minste van die probleme, soos hulle sê:

Beheerpaneel → Programme → Programme en kenmerke → Skakel Windows-kenmerke aan of af → Windows-substelsel vir Linux

2. Installeer die Linux-verspreiding van jou keuse

Ek het die toepassing gebruik Ubuntu.

3. Installasie en update pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Installeer Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Databasis inisialisering

En dit is waar my klein moeilikhede begin het. Die instruksies vereis dat jy die opdrag moet invoer airflow initdb en gaan aan na die volgende stap. Ek het egter altyd 'n antwoord gekry airflow: command not found. Dit is logies om aan te neem dat probleme tydens die installering van Apache Airflow ontstaan ​​het en dat die nodige lêers eenvoudig nie beskikbaar is nie. Nadat ek seker gemaak het dat alles is waar dit moet wees, het ek besluit om die volle pad na die lugvloeilêer te spesifiseer (dit moet so lyk: Полный/путь/до/файла/airflow initdb). Maar die wonderwerk het nie gebeur nie en die antwoord was dieselfde airflow: command not found. Ek het probeer om 'n relatiewe pad na die lêer te gebruik (./.local/bin/airflow initdb), wat tot 'n nuwe fout gelei het ModuleNotFoundError: No module named json'wat oorkom kan word deur die biblioteek op te dateer Gereedskap (in my geval tot by weergawe 0.15.4):

pip install werkzeug==0.15.4

Jy kan meer lees oor werkzeug hier.

Na hierdie eenvoudige manipulasie die opdrag ./.local/bin/airflow initdb suksesvol afgehandel is.

6. Begin die Airflow-bediener

Dit is nie die einde van die probleme met toegang tot lugvloei nie. Voer 'n opdrag uit ./.local/bin/airflow webserver -p 8080 'n fout tot gevolg gehad No such file or directory. Waarskynlik sal 'n ervare Ubuntu-gebruiker dadelik probeer om sulke probleme met toegang tot die lêer te oorkom deur die opdrag te gebruik export PATH=$PATH:~/.local/bin/ (dit wil sê, voeg /.local/bin/ by die bestaande PATH-uitvoerbare soekpad), maar hierdie pos is bedoel vir diegene wat hoofsaaklik met Windows werk en dalk nie dink dat hierdie oplossing voor die hand liggend is nie.

Na die manipulasie hierbo beskryf, word die opdrag ./.local/bin/airflow webserver -p 8080 suksesvol afgehandel is.

7. URL: localhost: 8080 /

As alles goed gegaan het in die vorige stadiums, dan is jy gereed om analitiese pieke te verower.

Ek hoop dat die ervaring wat hierbo beskryf word met die installering van Apache Airflow op Windows 10 nuttig sal wees vir beginner gebruikers en sal hul toetrede tot die heelal van moderne ontledingsinstrumente bespoedig.

Volgende keer wil ek die onderwerp voortsit en praat oor die ervaring van die gebruik van Apache Airflow op die gebied van die ontleding van gebruikersgedrag van mobiele toepassings.

Bron: will.com