Ahụmịhe ịwụnye Apache Airflow na Windows 10

Okwu agba: site n'ọchịchọ nke akara aka, site na ụwa nke sayensị sayensị (ọgwụ), achọpụtara m onwe m na ụwa nke teknụzụ ozi, ebe m ga-eji ihe ọmụma m banyere usoro nke ịmepụta nnwale na atụmatụ maka nyochaa data nyocha, Otú ọ dị, tinye nchịkọta teknụzụ nke dị ọhụrụ nye m. Na usoro nke ịmụta teknụzụ ndị a, m na-ezute ọtụtụ ihe isi ike, nke, n'ụzọ dị mma, emeriela ya. Ikekwe ọkwa a ga-aba uru nye ndị na-amalitekwa ịrụ ọrụ na Apache.

Yabụ, ruo n'ókè. sitere n'ike mmụọ nsọ edemede Yuri Emelyanov banyere ikike nke Apache Airflow na ngalaba nke akpaaka nke usoro nyocha, achọrọ m ịmalite iji ụlọ akwụkwọ ọbá akwụkwọ a tụrụ aro na ọrụ m. Ndị na-amabeghị nke ọma na Apache Airflow nwere ike inwe mmasị na nchịkọta dị nkenke otu isiokwu na webụsaịtị nke National Library. N.E. Bauman.

Ebe ọ bụ na ntuziaka mbụ maka ịgba ọsọ Airflow adịghị ka ọ na-emetụta na gburugburu Windows, jiri nke a dozie nsogbu a docker n'ọnọdụ m ọ ga-adịkwaghị adị, amalitere m ịchọ ngwọta ndị ọzọ. Ọ dabara nke ọma maka m, abụghị m onye mbụ n'ụzọ a, yabụ enwere m ike ịchọta ọmarịcha video ntụziaka Otu esi etinye Apache Airflow na Windows 10 na-ejighi Docker. Ma, dị ka ọ na-emekarị, mgbe ị na-agbaso usoro ndị a kwadoro, ihe isi ike na-ebilite, na, ekwenyere m, ọ bụghị naanị maka m. Ya mere, ọ ga-amasị m ikwu banyere ahụmahụ m ịwụnye Apache Airflow, ikekwe ọ ga-azọpụta mmadụ ntakịrị oge.

Ka anyị na-aga site na nzọụkwụ nke ntụziaka (spoiler - ihe niile gara nke ọma na 5th nzọụkwụ):

1. Ịwụnye Windows Subsystem maka Linux maka ntinye nkesa Linux na-esote

Nke a bụ nke kacha nta nke nsogbu, dị ka ha na-ekwu:

Ogwe njikwa → Mmemme → Mmemme na atụmatụ → Gbanyụọ ma ọ bụ gbanyụọ atụmatụ Windows → Windows Subsystem maka Linux

2. Wụnye nkesa Linux nke nhọrọ gị

Eji m ngwa ahụ Ubuntu.

3. Nwụnye na melite pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Ịwụnye Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. mmalite database

Ma ebe a ka obere ihe isi ike m malitere. Ntuziaka chọrọ ka itinye iwu airflow initdb ma gaa n'ihu na nzọụkwụ ọzọ. Otú ọ dị, ana m enweta azịza mgbe nile airflow: command not found. Ọ bụ ihe ezi uche dị na ya iche na ihe isi ike bilitere n'oge ntinye nke Apache Airflow na faịlụ ndị dị mkpa adịghị adị. Mgbe m mechara hụ na ihe niile bụ ebe ọ kwesịrị ịdị, ekpebiri m ịgbalị ịkọwapụta ụzọ zuru ezu na faịlụ ikuku (ọ kwesịrị ịdị ka nke a: Полный/путь/до/файла/airflow initdb). Ma ọrụ ebube ahụ emeghị, azịza ya bụkwa otu ihe ahụ airflow: command not found. Agbalịrị m iji ụzọ ikwu na faịlụ ahụ (./.local/bin/airflow initdb), nke butere njehie ọhụrụ ModuleNotFoundError: No module named json'nke enwere ike imeri site na imelite ọba akwụkwọ Ngwá ọrụ (n'ọnọdụ m ruo ụdị 0.15.4):

pip install werkzeug==0.15.4

Ị nwere ike ịgụkwu gbasara werkzeug ebe a.

Mgbe nke a dị mfe ịmegharị iwu ./.local/bin/airflow initdb emechara nke ọma.

6. Ịmepụta ihe nkesa Airflow

Nke a abụghị njedebe nke ihe isi ike na ịnweta ikuku. Na-eme iwu ./.local/bin/airflow webserver -p 8080 butere mperi No such file or directory. Eleghị anya, onye ọrụ Ubuntu nwere ahụmahụ ga-anwa ozugbo imeri ihe isi ike ndị dị otú ahụ site na ịnweta faịlụ site na iji iwu ahụ export PATH=$PATH:~/.local/bin/ (ya bụ, na-agbakwunye /.local/bin/ na ụzọ ọchụchọ PATH dị ugbu a), mana ebumnuche a bụ maka ndị na-arụ ọrụ na Windows na-enweghị ike iche na azịza a doro anya.

Mgbe njikwa ahụ akọwara n'elu, iwu ahụ ./.local/bin/airflow webserver -p 8080 emechaala nke ọma.

7.URL: localhost: 8080 /

Ọ bụrụ na ihe niile gara nke ọma na ọkwa ndị gara aga, mgbe ahụ ị dị njikere imeri ọnụ ọgụgụ nyocha.

Enwere m olileanya na ahụmịhe akọwara n'elu na ịwụnye Apache Airflow na Windows 10 ga-abara ndị ọrụ novice uru ma mee ngwa ngwa ịbanye na mbara igwe nke ngwaọrụ nyocha ọgbara ọhụrụ.

Oge ọzọ m ga-achọ ịga n'ihu na isiokwu ahụ ma kwuo banyere ahụmahụ nke iji Apache Airflow n'ọhịa nke nyochaa omume onye ọrụ nke ngwa mkpanaka.

isi: www.habr.com