Taithí ag suiteáil Apache Airflow ar Windows 10

Brollach: de réir toil cinniúint, ó shaol na heolaíochta acadúla (leighis) fuair mé mé féin i saol na teicneolaíochta faisnéise, áit a gcaithfidh mé úsáid a bhaint as m'eolas ar an modheolaíocht chun turgnamh a thógáil agus straitéisí chun anailís a dhéanamh ar shonraí turgnamhacha, áfach, i bhfeidhm cruach teicneolaíochta atá nua domsa. Agus na teicneolaíochtaí seo á máistreacht agam, tagann mé ar roinnt deacrachtaí, atá, go fortunately, sáraithe go dtí seo. B'fhéidir go mbeidh an post seo úsáideach dóibh siúd atá díreach ag tosú ag obair le tionscadail Apache.

Mar sin, go dtí an pointe. Spreagtha ailt Yuri Emelyanov faoi chumais Apache Airflow i réimse uathoibrithe nósanna imeachta anailíse, bhí mé ag iarraidh tosú ag baint úsáide as an tsraith leabharlann atá beartaithe i mo chuid oibre. D'fhéadfadh go mbeadh suim acu siúd nach bhfuil eolach ar Apache Airflow fós in forbhreathnú gairid airteagal ar shuíomh Gréasáin na Leabharlainne Náisiúnta. N. E. Bauman.

Ós rud é nach cosúil go bhfuil feidhm ag na gnáth-threoracha chun Airflow a rith i dtimpeallacht Windows, bain úsáid as seo chun an fhadhb seo a réiteach duga i mo chás go mbeadh sé iomarcach, thosaigh mé ag lorg réitigh eile. Go fortunately domsa, ní raibh mé ar an gcéad cheann ar an gcosán seo, agus mar sin d'éirigh liom iontach a aimsiú treoir físe Conas Apache Airflow a shuiteáil ar Windows 10 gan Docker a úsáid. Ach, mar a tharlaíonn go minic, nuair a leanann na céimeanna molta, tagann deacrachtaí chun cinn, agus, creidim, ní hamháin domsa. Dá bhrí sin, ba mhaith liom labhairt faoi mo thaithí ag suiteáil Apache Airflow, b'fhéidir go sábhálfaidh sé beagán ama do dhuine.

Déanaimis dul trí chéimeanna na dtreoracha (spoiler - chuaigh gach rud go breá ar an 5ú céim):

1. Suiteáil Fochóras Windows le haghaidh Linux chun dáileadh Linux a shuiteáil ina dhiaidh sin

Seo an ceann is lú de na fadhbanna, mar a deir siad:

Painéal Rialaithe → Cláir → Cláir agus Gnéithe → Cuir gnéithe Windows ar siúl nó as → Fochóras Windows le haghaidh Linux

2. Suiteáil an dáileadh Linux de do rogha

Bhain mé úsáid as an bhfeidhmchlár ubuntu.

3. Suiteáil agus nuashonrú pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Suiteáil Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Tús a chur le bunachar sonraí

Agus seo nuair a thosaigh mo chuid deacrachtaí beaga. Éilíonn na treoracha duit an t-ordú a chur isteach airflow initdb agus bogadh ar aghaidh go dtí an chéad chéim eile. Mar sin féin, fuair mé freagra i gcónaí airflow: command not found. Tá sé loighciúil glacadh leis gur tháinig deacrachtaí chun cinn le linn suiteáil Apache Airflow agus níl na comhaid riachtanacha ar fáil go simplí. Tar éis dom a chinntiú go raibh gach rud san áit ar cheart dó a bheith, chinn mé iarracht a dhéanamh an cosán iomlán chuig an gcomhad sreafa aeir a shonrú (ba chóir go mbeadh cuma mar seo: Полный/путь/до/файла/airflow initdb). Ach níor tharla an mhíorúilt agus bhí an freagra mar an gcéanna airflow: command not found. Bhain mé triail as cosán coibhneasta leis an gcomhad a úsáid (./.local/bin/airflow initdb), rud a d'eascair earráid nua ModuleNotFoundError: No module named json'is féidir a shárú tríd an leabharlann a nuashonrú uirlis (i mo chás suas go dtí leagan 0.15.4):

pip install werkzeug==0.15.4

Is féidir leat tuilleadh a léamh faoi werkzeug anseo.

Tar éis an ionramhála simplí seo an t-ordú ./.local/bin/airflow initdb i gcrích go rathúil.

6. Ag seoladh an fhreastalaí Airflow

Ní hé seo deireadh na ndeacrachtaí maidir le rochtain a fháil ar shreabhadh aeir. Ordú a rith ./.local/bin/airflow webserver -p 8080 earráid mar thoradh air No such file or directory. Is dócha, go ndéanfadh úsáideoir Ubuntu taithí iarracht láithreach na deacrachtaí sin a shárú maidir le rochtain a fháil ar an gcomhad tríd an ordú a úsáid export PATH=$PATH:~/.local/bin/ (i.e., ag cur /.local/bin/ leis an gcosán cuardaigh inrite PATH atá ann cheana féin), ach tá an post seo dírithe orthu siúd a oibríonn go príomha le Windows agus b'fhéidir nach gceapann siad go bhfuil an réiteach seo soiléir.

Tar éis an ionramháil a thuairiscítear thuas, an t-ordú ./.local/bin/airflow webserver -p 8080 i gcrích go rathúil.

7.URL: localhost: 8080 /

Má chuaigh gach rud go maith sna céimeanna roimhe seo, ansin tá tú réidh chun buaiceanna anailíseacha a shárú.

Tá súil agam go mbeidh an taithí a thuairiscítear thuas maidir le Apache Airflow a shuiteáil ar Windows 10 úsáideach d'úsáideoirí nua-aimseartha agus go gcuirfidh siad dlús lena n-iontráil i Cruinne na n-uirlisí anailíse nua-aimseartha.

An chéad uair eile ba mhaith liom leanúint leis an ábhar agus labhairt faoin taithí a bhaineann le Apache Airflow a úsáid i réimse anailís a dhéanamh ar iompar úsáideoirí na n-iarratas soghluaiste.

Foinse: will.com