Maranasan ang pag-install ng Apache Airflow sa Windows 10

Paunang salita: sa pamamagitan ng kalooban ng kapalaran, mula sa mundo ng akademikong agham (medisina) natagpuan ko ang aking sarili sa mundo ng teknolohiya ng impormasyon, kung saan kailangan kong gamitin ang aking kaalaman sa pamamaraan ng pagbuo ng isang eksperimento at mga diskarte para sa pagsusuri ng pang-eksperimentong data, gayunpaman, ilapat isang salansan ng teknolohiya na bago sa akin. Sa proseso ng pag-master ng mga teknolohiyang ito, nakatagpo ako ng isang bilang ng mga paghihirap, na, sa kabutihang-palad, hanggang ngayon ay napagtagumpayan. Marahil ay magiging kapaki-pakinabang ang post na ito sa mga nagsisimula pa lang magtrabaho sa mga proyekto ng Apache.

So, to the point. May inspirasyon mga artikulo Yuri Emelyanov tungkol sa mga kakayahan ng Apache Airflow sa larangan ng automation ng mga analytical na pamamaraan, nais kong simulan ang paggamit ng iminungkahing hanay ng mga aklatan sa aking trabaho. Ang mga hindi pa pamilyar sa Apache Airflow ay maaaring interesado sa isang maikling pangkalahatang-ideya artikulo sa website ng Pambansang Aklatan. N. E. Bauman.

Dahil ang karaniwang mga tagubilin para sa pagpapatakbo ng Airflow ay tila hindi nalalapat sa isang kapaligiran ng Windows, gamitin ito upang malutas ang problemang ito docker sa aking kaso ito ay magiging kalabisan, nagsimula akong maghanap ng iba pang mga solusyon. Sa kabutihang palad para sa akin, hindi ako ang una sa landas na ito, kaya't nakahanap ako ng isang kahanga-hanga mga tagubilin sa video Paano i-install ang Apache Airflow sa Windows 10 nang hindi gumagamit ng Docker. Ngunit, tulad ng madalas na nangyayari, kapag sinusunod ang mga inirekumendang hakbang, ang mga paghihirap ay lumitaw, at, naniniwala ako, hindi lamang para sa akin. Samakatuwid, nais kong pag-usapan ang aking karanasan sa pag-install ng Apache Airflow, marahil ay makakatipid ito ng kaunting oras sa isang tao.

Dumaan tayo sa mga hakbang ng mga tagubilin (spoiler - naging maayos ang lahat sa ika-5 hakbang):

1. Pag-install ng Windows Subsystem para sa Linux para sa kasunod na pag-install ng mga pamamahagi ng Linux

Ito ang pinakamaliit sa mga problema, gaya ng sinasabi nila:

Control Panel → Programs → Programs and Features → I-on o i-off ang mga feature ng Windows → Windows Subsystem para sa Linux

2. I-install ang Linux distribution na gusto mo

Ginamit ko ang application Ubuntu.

3. Pag-install at pag-update ng pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Pag-install ng Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Pagsisimula ng database

At dito nagsimula ang mga munting paghihirap ko. Ang mga tagubilin ay nangangailangan sa iyo na ipasok ang utos airflow initdb at magpatuloy sa susunod na hakbang. Gayunpaman, palagi akong nakakatanggap ng sagot airflow: command not found. Makatuwirang ipagpalagay na ang mga paghihirap ay lumitaw sa panahon ng pag-install ng Apache Airflow at ang mga kinakailangang file ay hindi magagamit. Matapos matiyak na ang lahat ay nasa kung saan ito dapat, nagpasya akong subukang tukuyin ang buong landas sa airflow file (ito ay dapat magmukhang ganito: Полный/путь/до/файла/airflow initdb). Ngunit hindi nangyari ang himala at pareho ang sagot airflow: command not found. Sinubukan kong gumamit ng isang kamag-anak na landas sa file (./.local/bin/airflow initdb), na humantong sa isang bagong error ModuleNotFoundError: No module named json'na maaaring malampasan sa pamamagitan ng pag-update ng silid-aklatan workzeug (sa aking kaso hanggang sa bersyon 0.15.4):

pip install werkzeug==0.15.4

Maaari kang magbasa nang higit pa tungkol sa werkzeug dito.

Pagkatapos ng simpleng pagmamanipula na ito ang utos ./.local/bin/airflow initdb ay matagumpay na natapos.

6. Paglulunsad ng Airflow server

Hindi ito ang katapusan ng mga paghihirap sa pag-access sa daloy ng hangin. Pagpapatakbo ng isang utos ./.local/bin/airflow webserver -p 8080 nagresulta sa isang error No such file or directory. Marahil, ang isang may karanasan na gumagamit ng Ubuntu ay agad na susubukan na pagtagumpayan ang gayong mga paghihirap sa pag-access sa file sa pamamagitan ng paggamit ng command export PATH=$PATH:~/.local/bin/ (ibig sabihin, pagdaragdag ng /.local/bin/ sa umiiral nang PATH executable search path), ngunit ang post na ito ay inilaan para sa mga pangunahing nagtatrabaho sa Windows at maaaring hindi iniisip na ang solusyong ito ay halata.

Pagkatapos ng pagmamanipula na inilarawan sa itaas, ang utos ./.local/bin/airflow webserver -p 8080 ay matagumpay na natapos.

7.URL: localhost: 8080 /

Kung ang lahat ay naging maayos sa mga nakaraang yugto, pagkatapos ay handa ka nang lupigin ang mga analytical peak.

Umaasa ako na ang karanasang inilarawan sa itaas sa pag-install ng Apache Airflow sa Windows 10 ay magiging kapaki-pakinabang sa mga baguhang user at magpapabilis sa kanilang pagpasok sa uniberso ng mga modernong tool sa analytics.

Sa susunod gusto kong ipagpatuloy ang paksa at pag-usapan ang karanasan ng paggamit ng Apache Airflow sa larangan ng pagsusuri ng gawi ng user ng mga mobile application.

Pinagmulan: www.habr.com