Preamble: nipasẹ ifẹ ti ayanmọ, lati agbaye ti imọ-jinlẹ ẹkọ (oogun), Mo rii ara mi ni agbaye ti imọ-ẹrọ alaye, nibiti MO ni lati lo imọ mi ti ilana ti ṣiṣe adaṣe ati awọn ọgbọn fun itupalẹ data esiperimenta, sibẹsibẹ, lo akopọ imọ-ẹrọ ti o jẹ tuntun si mi. Ninu ilana ti iṣakoso awọn imọ-ẹrọ wọnyi, Mo pade ọpọlọpọ awọn iṣoro, eyiti, da, ni a ti bori titi di isisiyi. Boya ifiweranṣẹ yii yoo wulo fun awọn ti o tun bẹrẹ lati ṣiṣẹ pẹlu awọn iṣẹ akanṣe Apache.
Nitorinaa, si aaye. Atilẹyin Yuri Emelyanov nipa awọn agbara ti Apache Airflow ni aaye ti adaṣe ti awọn ilana itupalẹ, Mo fẹ lati bẹrẹ lilo eto ti awọn ile-ikawe ti a pinnu ninu iṣẹ mi. Awọn ti ko tii faramọ pẹlu Apache Airflow le nifẹ ninu akopọ kukuru kan lori aaye ayelujara ti National Library. N. E. Bauman.
Niwọn igba ti awọn ilana igbagbogbo fun ṣiṣiṣẹ Airflow ko dabi lati lo ni agbegbe Windows kan, lo eyi lati yanju iṣoro yii ninu ọran mi yoo jẹ laiṣe, Mo bẹrẹ si wa awọn solusan miiran. O da fun mi, Emi kii ṣe akọkọ lori ọna yii, nitorinaa Mo ṣakoso lati wa iyanu kan Bii o ṣe le fi Apache Airflow sori Windows 10 laisi lilo Docker. Ṣugbọn, bi igbagbogbo n ṣẹlẹ, nigbati o ba tẹle awọn igbesẹ ti a ṣe iṣeduro, awọn iṣoro dide, ati, Mo gbagbọ, kii ṣe fun mi nikan. Nitorinaa, Emi yoo fẹ lati sọrọ nipa iriri mi fifi Apache Airflow sori ẹrọ, boya yoo gba ẹnikan ni akoko diẹ.
Jẹ ki a lọ nipasẹ awọn igbesẹ ti awọn ilana (spoiler - ohun gbogbo lọ daradara lori igbesẹ 5th):
1. Fifi sori ẹrọ Subsystem Windows fun Linux fun fifi sori ẹrọ atẹle ti awọn pinpin Linux
Eyi ni o kere julọ ninu awọn iṣoro, bi wọn ti sọ:
Ibi iwaju alabujuto → Awọn eto → Awọn eto ati Awọn ẹya → Tan awọn ẹya Windows tan tabi pa → Windows Subsystem fun Linux
2. Fi sori ẹrọ ni Linux pinpin ti o fẹ
Mo lo ohun elo naa .
3. Fifi sori ẹrọ ati imudojuiwọn pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Fifi Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Ipilẹṣẹ aaye data
Ati pe eyi ni ibiti awọn iṣoro kekere mi ti bẹrẹ. Awọn ilana nilo ki o tẹ aṣẹ sii airflow initdb ki o si lọ si nigbamii ti igbese. Sibẹsibẹ, Mo nigbagbogbo gba idahun airflow: command not found. O jẹ ohun ọgbọn lati ro pe awọn iṣoro dide lakoko fifi sori ẹrọ ti Apache Airflow ati pe awọn faili pataki ko si nirọrun. Lẹhin ti o rii daju pe ohun gbogbo wa nibiti o yẹ ki o wa, Mo pinnu lati gbiyanju lati ṣalaye ọna kikun si faili ṣiṣan afẹfẹ (o yẹ ki o dabi eyi: Полный/путь/до/файла/airflow initdb). Ṣugbọn iyanu ko ṣẹlẹ ati idahun si jẹ kanna airflow: command not found. Mo gbiyanju lati lo ọna ibatan si faili naa (./.local/bin/airflow initdb), eyiti o yori si aṣiṣe tuntun kan ModuleNotFoundError: No module named json'eyi ti o le bori nipa mimu awọn ìkàwé Irinṣẹ (ninu ọran mi titi di ẹya 0.15.4):
pip install werkzeug==0.15.4O le ka diẹ ẹ sii nipa werkzeug .
Lẹhin ifọwọyi ti o rọrun yii aṣẹ naa ./.local/bin/airflow initdb ti pari ni aṣeyọri.
6. Ifilọlẹ olupin Airflow
Eyi kii ṣe opin awọn iṣoro pẹlu iraye si ṣiṣan afẹfẹ. Ṣiṣe aṣẹ kan ./.local/bin/airflow webserver -p 8080 yorisi ni ohun ašiše No such file or directory. Boya, olumulo Ubuntu ti o ni iriri yoo gbiyanju lẹsẹkẹsẹ lati bori iru awọn iṣoro pẹlu iraye si faili naa nipa lilo aṣẹ naa export PATH=$PATH:~/.local/bin/ (ie, fifi /.local/bin/ si ọna wiwa ipaniyan PATH ti o wa tẹlẹ), ṣugbọn ifiweranṣẹ yii jẹ ipinnu fun awọn ti o ṣiṣẹ ni akọkọ pẹlu Windows ati pe o le ma ro pe ojutu yii han gbangba.
Lẹhin ifọwọyi ti a ṣalaye loke, aṣẹ naa ./.local/bin/airflow webserver -p 8080 ti pari ni aṣeyọri.
7.URL: : 8080 /
Ti ohun gbogbo ba lọ daradara ni awọn ipele iṣaaju, lẹhinna o ti ṣetan lati ṣẹgun awọn oke atupale.
Mo nireti pe iriri ti a ṣalaye loke ni fifi Apache Airflow sori Windows 10 yoo wulo fun awọn olumulo alakobere ati pe yoo yara titẹsi wọn sinu agbaye ti awọn irinṣẹ atupale ode oni.
Nigbamii Emi yoo fẹ lati tẹsiwaju koko-ọrọ ati sọrọ nipa iriri ti lilo Apache Airflow ni aaye ti itupalẹ ihuwasi olumulo ti awọn ohun elo alagbeka.
orisun: www.habr.com