Pata uzoefu wa kusakinisha Apache Airflow kwenye Windows 10

Kuelezea: kwa mapenzi ya hatima, kutoka kwa ulimwengu wa sayansi ya kitaaluma (dawa), nilijikuta katika ulimwengu wa teknolojia ya habari, ambapo lazima nitumie ujuzi wangu wa mbinu ya kujenga majaribio na mikakati ya kuchambua data ya majaribio, hata hivyo, tumia safu ya teknolojia ambayo ni mpya kwangu. Katika mchakato wa kusimamia teknolojia hizi, ninakutana na shida kadhaa, ambazo, kwa bahati nzuri, hadi sasa zimeshinda. Labda chapisho hili litakuwa muhimu kwa wale ambao pia wanaanza kufanya kazi na miradi ya Apache.

Hivyo, kwa uhakika. Imehamasishwa makala Yuri Emelyanov kuhusu uwezo wa Apache Airflow katika uwanja wa otomatiki wa taratibu za uchambuzi, nilitaka kuanza kutumia seti iliyopendekezwa ya maktaba katika kazi yangu. Wale ambao bado hawajafahamu kabisa Apache Airflow wanaweza kupendezwa na muhtasari mfupi makala kwenye tovuti ya Maktaba ya Taifa. N. E. Bauman.

Kwa kuwa maagizo ya kawaida ya kuendesha Airflow haionekani kutumika katika mazingira ya Windows, tumia hii kutatua tatizo hili dokta kwa upande wangu itakuwa ya ziada, nilianza kutafuta suluhisho zingine. Kwa bahati nzuri kwangu, sikuwa wa kwanza kwenye njia hii, kwa hivyo nilifanikiwa kupata nzuri maagizo ya video Jinsi ya kusakinisha Apache Airflow kwenye Windows 10 bila kutumia Docker. Lakini, mara nyingi hutokea, wakati wa kufuata hatua zilizopendekezwa, matatizo hutokea, na, naamini, si kwa ajili yangu tu. Kwa hivyo, ningependa kuzungumza juu ya uzoefu wangu wa kusakinisha Apache Airflow, labda itaokoa mtu muda kidogo.

Wacha tupitie hatua za maagizo (mharibifu - kila kitu kilikwenda sawa kwenye hatua ya 5):

1. Kusakinisha Mfumo Mdogo wa Windows kwa ajili ya Linux kwa usakinishaji unaofuata wa usambazaji wa Linux

Hii ndio shida ndogo zaidi, kama wanasema:

Paneli ya Kudhibiti → Programu → Programu na Vipengele → Washa au uzime vipengele vya Windows → Mfumo Mdogo wa Windows wa Linux

2. Sakinisha usambazaji wa Linux wa chaguo lako

Nilitumia maombi Ubuntu.

3. Ufungaji na sasisho bomba

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Kusakinisha Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Uanzishaji wa hifadhidata

Na hapa ndipo shida zangu ndogo zilianza. Maagizo yanakuhitaji kuingiza amri airflow initdb na kuendelea na hatua inayofuata. Walakini, kila wakati nilipokea jibu airflow: command not found. Ni busara kudhani kuwa shida ziliibuka wakati wa usakinishaji wa Apache Airflow na faili zinazohitajika hazipatikani. Baada ya kuhakikisha kuwa kila kitu kilipaswa kuwa, niliamua kujaribu kutaja njia kamili ya faili ya mtiririko wa hewa (inapaswa kuonekana kama hii: Полный/путь/до/файла/airflow initdb) Lakini muujiza haukutokea na jibu lilikuwa lile lile airflow: command not found. Nilijaribu kutumia njia ya jamaa kwa faili (./.local/bin/airflow initdb), ambayo ilisababisha hitilafu mpya ModuleNotFoundError: No module named json'ambayo inaweza kushinda kwa kusasisha maktaba chombo (kwa upande wangu hadi toleo la 0.15.4):

pip install werkzeug==0.15.4

Unaweza kusoma zaidi kuhusu werkzeug hapa.

Baada ya udanganyifu huu rahisi amri ./.local/bin/airflow initdb ilikamilishwa kwa mafanikio.

6. Kuzindua seva ya Airflow

Huu sio mwisho wa ugumu wa kupata mtiririko wa hewa. Kuendesha amri ./.local/bin/airflow webserver -p 8080 ilisababisha hitilafu No such file or directory. Labda, mtumiaji mwenye uzoefu wa Ubuntu angejaribu mara moja kushinda shida kama hizo kwa kupata faili kwa kutumia amri export PATH=$PATH:~/.local/bin/ (yaani, kuongeza /.local/bin/ kwa njia iliyopo ya utafutaji ya PATH inayoweza kutekelezeka), lakini chapisho hili linalenga wale ambao kimsingi wanafanya kazi na Windows na huenda wasifikiri kwamba suluhisho hili ni dhahiri.

Baada ya kudanganywa iliyoelezwa hapo juu, amri ./.local/bin/airflow webserver -p 8080 ilikamilishwa kwa ufanisi.

7.URL: lochost: 8080 /

Ikiwa kila kitu kilikwenda vizuri katika hatua zilizopita, basi uko tayari kushinda kilele cha uchambuzi.

Natumaini kwamba uzoefu ulioelezwa hapo juu katika kusakinisha Apache Airflow kwenye Windows 10 itakuwa muhimu kwa watumiaji wa novice na itaharakisha kuingia kwao katika ulimwengu wa zana za kisasa za uchanganuzi.

Wakati ujao ningependa kuendelea na mada na kuzungumza juu ya uzoefu wa kutumia Apache Airflow katika uwanja wa kuchambua tabia ya mtumiaji wa programu za simu.

Chanzo: mapenzi.com