Esperientzia Apache Airflow instalatzen Windows 10-n

hitzaurrean: patuaren borondatez, zientzia akademikoaren mundutik (medikuntza) informazio teknologien munduan aurkitu nintzen, non esperimentu bat eraikitzeko metodologiaz eta datu esperimentalak aztertzeko estrategiak, hala ere, aplikatu behar ditudan ezagutzak erabili behar ditudan. niretzat berria den teknologia pila. Teknologia hauek menperatzeko prozesuan hainbat zailtasun aurkitzen ditut, zorionez, orain arte gaindituta. Agian mezu hau Apache proiektuekin lanean hasi berriak direnentzat ere baliagarria izango da.

Beraz, punturaino. Inspiratua Artikulu Yuri Emelyanov Apache Airflow-ek prozedura analitikoen automatizazioaren arloan dituen gaitasunei buruz, proposatutako liburutegien multzoa erabiltzen hasi nahi nuen nire lanean. Apache Airflow-a oraindik batere ezagutzen ez dutenei ikuspegi labur bat interesatuko zaie artikuluan Liburutegi Nazionaleko webgunean. N. E. Bauman.

Airflow exekutatzeko ohiko jarraibideak Windows ingurunean aplikatzen ez direnez, erabili hau arazo hau konpontzeko atrakatzailea nire kasuan erredundantea izango litzateke, beste irtenbide batzuen bila hasi nintzen. Zorionez niretzat, ez nintzen lehena izan bide honetan, beraz, zoragarri bat aurkitzea lortu nuen bideo instrukzioak Nola instalatu Apache Airflow Windows 10-n Docker erabili gabe. Baina, askotan gertatzen den bezala, gomendatutako urratsak jarraitzean, zailtasunak sortzen dira, eta, nik uste, ez niretzat bakarrik. Hori dela eta, Apache Airflow instalatzen dudan esperientziaz hitz egin nahiko nuke, agian denbora pixka bat aurreztuko du norbaitek.

Jarrai ditzagun argibideen urratsak (spoiler - dena ondo atera zen 5. urratsean):

1. Linux-erako Windows azpisistema instalatzea Linux-en banaketak ondorengo instalatzeko

Hau da arazo txikiena, esaten duten moduan:

Kontrol-panela → Programak → Programak eta eginbideak → Aktibatu edo desaktibatu Windows funtzioak → Linuxerako Windows azpisistema

2. Instalatu nahi duzun Linux banaketa

Aplikazioa erabili dut Ubuntu.

3. Instalazioa eta eguneratzea pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow instalatzea

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Datu-basearen hasieratzea

Eta hor hasi ziren nire zailtasun txikiak. Argibideek komandoa sartzea eskatzen dute airflow initdb eta jarraitu hurrengo urratsera. Hala ere, beti jaso nuen erantzuna airflow: command not found. Logikoa da Apache Airflow instalatzean zailtasunak sortu zirela eta beharrezko fitxategiak besterik gabe ez daudela erabilgarri pentsatzea. Dena egon behar zen lekuan zegoela ziurtatu ondoren, aire-fluxuaren fitxategirako bide osoa zehazten saiatzea erabaki nuen (honela izan beharko luke: Полный/путь/до/файла/airflow initdb). Baina miraria ez zen gertatu eta erantzuna berdina izan zen airflow: command not found. Fitxategirako bide erlatibo bat erabiltzen saiatu naiz (./.local/bin/airflow initdb), eta horrek akats berri bat ekarri zuen ModuleNotFoundError: No module named json'liburutegia eguneratuz gaindi daitekeena Tresna (nire kasuan 0.15.4 bertsiora arte):

pip install werkzeug==0.15.4

werkzeug-i buruz gehiago irakur dezakezu Hemen.

Manipulazio sinple honen ondoren komandoa ./.local/bin/airflow initdb arrakastaz osatu zen.

6. Airflow zerbitzaria abiarazi

Hau ez da aire-fluxua sartzeko zailtasunen amaiera. Komando bat exekutatzen ./.local/bin/airflow webserver -p 8080 akats bat eragin zuen No such file or directory. Seguruenik, Ubuntu erabiltzaile esperientziadun bat berehala saiatuko litzateke fitxategira sartzeko zailtasunak gainditzen komandoa erabiliz. export PATH=$PATH:~/.local/bin/ (hau da, /.local/bin/ gehitzea lehendik dagoen PATH bilaketa-bide exekutagarrian), baina argitalpen hau Windows-ekin lan egiten dutenentzat da, eta agian ez dute uste irtenbide hau begi-bistakoa denik.

Goian deskribatutako manipulazioaren ondoren, komandoa ./.local/bin/airflow webserver -p 8080 arrakastaz osatu zen.

7.URLa: localhost: 8080 /

Aurreko etapetan dena ondo joan bazen, gailur analitikoak konkistatzeko prest zaude.

Apache Airflow Windows 10-n instalatzean goian deskribatutako esperientzia erabiltzaile hasiberrientzat erabilgarria izango dela eta analisi-tresna modernoen unibertsoan sartzea azkartuko duela espero dut.

Hurrengoan gaiarekin jarraitu nahiko nuke eta Apache Airflow aplikazio mugikorren erabiltzaileen portaera aztertzeko eremuan erabiltzearen esperientziaz hitz egin.

Iturria: www.habr.com