Reyndu að setja upp Apache Airflow á Windows 10

Formáli: af vilja örlaganna, úr heimi akademískra vísinda (læknisfræði) fann ég sjálfan mig í heimi upplýsingatækninnar, þar sem ég þarf að nota þekkingu mína á aðferðafræði við að smíða tilraun og aðferðir til að greina tilraunagögn eiga þó við. tæknistafla sem er nýr fyrir mér. Í því ferli að ná tökum á þessari tækni lendi ég í ýmsum erfiðleikum sem, sem betur fer, hefur hingað til verið sigrast á. Kannski mun þessi færsla nýtast þeim sem eru líka að byrja að vinna með Apache verkefni.

Svo, að efninu. Innblásin greinar Yuri Emelyanov um getu Apache Airflow á sviði sjálfvirkni greiningarferla, ég vildi byrja að nota fyrirhugað safn bókasöfn í vinnu minni. Þeir sem eru ekki enn kunnugir Apache Airflow gætu haft áhuga á stuttu yfirliti grein á heimasíðu Landsbókasafns. N. E. Bauman.

Þar sem venjulegar leiðbeiningar um að keyra Airflow virðast ekki eiga við í Windows umhverfi, notaðu þetta til að leysa þetta vandamál hafnarverkamaður í mínu tilfelli væri það óþarfi, ég fór að leita að öðrum lausnum. Sem betur fer fyrir mig var ég ekki sá fyrsti á þessari braut, svo ég náði að finna dásamlegt kennslumyndband Hvernig á að setja upp Apache Airflow á Windows 10 án þess að nota Docker. En eins og oft gerist, þegar farið er eftir ráðlögðum skrefum, koma upp erfiðleikar, og ég tel, ekki aðeins fyrir mig. Þess vegna langar mig að tala um reynslu mína af því að setja upp Apache Airflow, kannski sparar það einhverjum smá tíma.

Við skulum fara í gegnum skref leiðbeininganna (spoiler - allt gekk vel í 5. skrefi):

1. Uppsetning Windows undirkerfis fyrir Linux fyrir síðari uppsetningu á Linux dreifingum

Þetta er minnsta vandamálið, eins og þeir segja:

Stjórnborð → Forrit → Forrit og eiginleikar → Kveikja eða slökkva á Windows eiginleikum → Windows undirkerfi fyrir Linux

2. Settu upp Linux dreifingu að eigin vali

Ég notaði forritið ubuntu.

3. Uppsetning og uppfærsla pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Uppsetning Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Frumstilling gagnagrunns

Og þetta er þar sem litlu erfiðleikarnir mínir byrjuðu. Leiðbeiningarnar krefjast þess að þú slærð inn skipunina airflow initdb og halda áfram í næsta skref. Hins vegar fékk ég alltaf svar airflow: command not found. Það er rökrétt að gera ráð fyrir að erfiðleikar hafi komið upp við uppsetningu Apache Airflow og nauðsynlegar skrár séu einfaldlega ekki tiltækar. Eftir að hafa gengið úr skugga um að allt væri þar sem það ætti að vera ákvað ég að reyna að tilgreina alla slóðina að loftflæðisskránni (hún ætti að líta svona út: Полный/путь/до/файла/airflow initdb). En kraftaverkið gerðist ekki og svarið var það sama airflow: command not found. Ég reyndi að nota afstæða slóð að skránni (./.local/bin/airflow initdb), sem leiddi til nýrrar villu ModuleNotFoundError: No module named json'sem hægt er að sigrast á með því að uppfæra bókasafnið Verkfæri (í mínu tilfelli upp í útgáfu 0.15.4):

pip install werkzeug==0.15.4

Þú getur lesið meira um werkzeug hér.

Eftir þessa einföldu meðhöndlun skipunina ./.local/bin/airflow initdb var lokið með góðum árangri.

6. Ræsa Airflow miðlara

Þetta er ekki endir á erfiðleikunum við aðgang að loftflæði. Að keyra skipun ./.local/bin/airflow webserver -p 8080 leiddi til villu No such file or directory. Sennilega myndi reyndur Ubuntu notandi strax reyna að sigrast á slíkum erfiðleikum með að fá aðgang að skránni með því að nota skipunina export PATH=$PATH:~/.local/bin/ (þ.e.a.s. að bæta /.local/bin/ við núverandi PATH keyrsluleitarslóð), en þessi færsla er ætluð þeim sem fyrst og fremst vinna með Windows og finnst þessi lausn kannski ekki augljós.

Eftir meðferðina sem lýst er hér að ofan, skipunin ./.local/bin/airflow webserver -p 8080 var lokið með góðum árangri.

7. Vefslóð: localhost: 8080 /

Ef allt gekk vel á fyrri stigum, þá ertu tilbúinn til að sigra greiningartinda.

Ég vona að reynslan sem lýst er hér að ofan við að setja upp Apache Airflow á Windows 10 muni nýtast nýbyrjum notendum og flýta fyrir inngöngu þeirra í alheim nútíma greiningartækja.

Næsta skipti langar mig að halda efnið áfram og tala um reynsluna af notkun Apache Airflow á sviði greininga á notendahegðun farsímaforrita.

Heimild: www.habr.com