Eòlas air stàladh Apache Airflow air Windows 10

Preamble: le toil an dàn, bho shaoghal saidheans acadaimigeach (cungaidh-leigheis) lorg mi mi fhìn ann an saoghal teicneòlas fiosrachaidh, far am feum mi m ’eòlas air an dòigh-obrach airson deuchainn a thogail agus ro-innleachdan airson mion-sgrùdadh dàta deuchainneach a chleachdadh, ge-tà, cuir an sàs stac teicneòlais a tha ùr dhomh. Anns a 'phròiseas a bhith a' maighstireachd nan teicneòlasan sin, tha mi a 'tighinn tarsainn air grunn dhuilgheadasan, a tha, gu fortanach, gu ruige seo air faighinn seachad air. Is dòcha gum bi an dreuchd seo feumail dhaibhsan a tha cuideachd dìreach a’ tòiseachadh ag obair le pròiseactan Apache.

Mar sin, chun na h-ìre. Air a bhrosnachadh artaigilean Yuri Emelyanov mu chomasan Apache Airflow ann an raon fèin-ghluasad modhan sgrùdaidh, bha mi airson tòiseachadh air an t-seata de leabharlannan a chaidh a mholadh a chleachdadh nam obair. Is dòcha gum biodh ùidh aig an fheadhainn nach eil fhathast eòlach air Apache Airflow ann an sealladh goirid artaigil air làrach-lìn an Leabharlann Nàiseanta. N. E. Bauman.

Leis nach eil e coltach gu bheil an stiùireadh àbhaisteach airson ruith Airflow a’ buntainn ri àrainneachd Windows, cleachd seo gus an duilgheadas seo fhuasgladh docker anns a 'chùis agam bhiodh e gun fheum, thòisich mi a' coimhead airson fuasglaidhean eile. Gu fortanach dhòmhsa, cha b 'e mise a' chiad fhear air an t-slighe seo, agus mar sin fhuair mi air dòigh iongantach a lorg stiùireadh bhidio Mar a stàlaicheas tu Apache Airflow air Windows 10 gun a bhith a’ cleachdadh Docker. Ach, mar a thachras gu tric, nuair a bhios tu a 'leantainn nan ceumannan a thathar a' moladh, bidh duilgheadasan ag èirigh, agus, tha mi a 'creidsinn, chan ann a-mhàin dhòmhsa. Mar sin, bu mhath leam bruidhinn mun eòlas agam a’ stàladh Apache Airflow, is dòcha gun sàbhail e beagan ùine dha cuideigin.

Rachamaid tro cheumannan an stiùiridh (spoiler - chaidh a h-uile càil gu math air a '5mh ceum):

1. A' stàladh fo-shiostam Windows airson Linux airson sgaoilidhean Linux a stàladh às dèidh làimh

Is e seo an ìre as lugha de na duilgheadasan, mar a chanas iad:

Pannal Smachd → Prògraman → Prògraman is Feartan → Tionndaidh feartan Windows air no dheth → Windows Subsystem airson Linux

2. Stàlaich an sgaoileadh Linux de do roghainn

Chleachd mi an tagradh Ubuntu.

3. Stàladh agus ùrachadh pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. A 'stàladh Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Tòiseachadh stòr-dàta

Agus seo far an do thòisich na duilgheadasan beaga agam. Tha an stiùireadh ag iarraidh ort a dhol a-steach don àithne airflow initdb agus gluais air adhart chun ath cheum. Ach, fhuair mi freagairt an-còmhnaidh airflow: command not found. Tha e loidsigeach a bhith den bheachd gun do dh'èirich duilgheadasan nuair a chaidh Apache Airflow a chuir a-steach agus gu sìmplidh chan eil na faidhlichean riatanach rim faighinn. Às deidh dhomh dèanamh cinnteach gu robh a h-uile dad far am bu chòir dha a bhith, chuir mi romham feuchainn ris an t-slighe iomlan a shònrachadh don fhaidhle sruth-adhair (bu chòir dha coimhead mar seo: Полный/путь/до/файла/airflow initdb). Ach cha do thachair am mìorbhail agus bha am freagairt mar an ceudna airflow: command not found. Dh’ fheuch mi ri slighe càirdeach a chleachdadh dhan fhaidhle (./.local/bin/airflow initdb), a dh’ adhbhraich mearachd ùr ModuleNotFoundError: No module named json'Faodar faighinn seachad air le bhith ag ùrachadh an leabharlann inneal (na mo chùis suas gu dreach 0.15.4):

pip install werkzeug==0.15.4

Faodaidh tu barrachd a leughadh mu dheidhinn werkzeug an seo.

Às deidh an làimhseachadh sìmplidh seo, an àithne ./.local/bin/airflow initdb air a chrìochnachadh gu soirbheachail.

6. A chur air bhog air an fhrithealaiche Airflow

Chan e seo deireadh nan duilgheadasan a thaobh faighinn gu sruth-adhair. A 'ruith àithne ./.local/bin/airflow webserver -p 8080 mar thoradh air mearachd No such file or directory. Is dòcha gum feuchadh neach-cleachdaidh eòlach Ubuntu sa bhad ri faighinn seachad air na duilgheadasan sin le bhith a’ faighinn cothrom air an fhaidhle le bhith a’ cleachdadh an àithne export PATH=$PATH:~/.local/bin/ (ie, a’ cur /.local/bin/ ris an t-slighe sgrùdaidh so-ghnìomhaichte PATH a th’ ann mar-thà), ach tha am post seo airson an fheadhainn a tha gu sònraichte ag obair le Windows agus is dòcha nach eil iad a’ smaoineachadh gu bheil am fuasgladh seo follaiseach.

Às deidh an làimhseachadh a chaidh a mhìneachadh gu h-àrd, an àithne ./.local/bin/airflow webserver -p 8080 chaidh a chrìochnachadh gu soirbheachail.

7.URL: localhost: 8080 /

Ma chaidh a h-uile càil gu math anns na h-ìrean roimhe, tha thu deiseil airson faighinn thairis air stùcan anailis.

Tha mi an dòchas gum bi an t-eòlas a tha air a mhìneachadh gu h-àrd ann a bhith a’ stàladh Apache Airflow air Windows 10 bidh e feumail do luchd-cleachdaidh ùr agus luathaichidh e an inntrigeadh don chruinne-cè innealan anailis ùr-nodha.

An ath thuras bu mhath leam leantainn air adhart leis a’ chuspair agus bruidhinn mun eòlas air a bhith a’ cleachdadh Apache Airflow ann an raon mion-sgrùdadh giùlan luchd-cleachdaidh air tagraidhean gluasadach.

Source: www.habr.com