Tecrûbeya sazkirina Apache Airflow li ser Windows 10

Preamble: Bi îradeya çarenûsê, ji cîhana zanista akademîk (bijîjkî) min xwe li cîhana teknolojiya agahdariyê dît, ku ez neçar im ku zanîna xwe ya li ser metodolojiya avakirina ceribandinek û stratejiyên ji bo analîzkirina daneyên ceribandinê bikar bînim, lêbelê, bikar bînim. stûnek teknolojiyê ku ji min re nû ye. Di pêvajoya serdestkirina van teknolojiyên de, ez rastî gelek dijwariyan tê, ku, bi bextewarî, heya nuha hatine derbas kirin. Dibe ku ev post dê ji bo kesên ku di heman demê de nû dest bi xebata bi projeyên Apache re dikin re kêrhatî be.

Ji ber vê yekê, ji bo xala. Inspired tişt Yuri Emelyanov di derbarê kapasîteyên Apache Airflow de di warê otomatîkkirina prosedurên analîtîk de, min xwest ku di xebata xwe de dest bi karanîna pirtûkxaneyan ên pêşniyarkirî bikim. Yên ku hîna qet bi Apache Airflow nizanin dibe ku bala xwe bidin serpêhatiyek kurt gotara li ser malpera Pirtûkxaneya Neteweyî. N. E. Bauman.

Ji ber ku rêwerzên asayî yên ji bo xebitandina Airflow di hawîrdorek Windows-ê de nayên sepandin, vê yekê bikar bînin da ku vê pirsgirêkê çareser bikin docker di rewşa min de ew ê zêde be, min dest bi lêgerîna çareseriyên din kir. Xweşbextane ji bo min, ez ne yê yekem bûm li ser vê rêyê, ji ber vê yekê min karibû ku ez ecêbek bibînim talîmatên vîdyoyê Meriv çawa Apache Airflow li ser Windows 10 bêyî karanîna Docker saz dike. Lê, wekî ku pir caran diqewime, dema ku gavên pêşniyarkirî dişopînin, zehmetî derdikevin, û, ez bawer dikim, ne tenê ji bo min. Ji ber vê yekê, ez dixwazim li ser serpêhatiya xwe ya sazkirina Apache Airflow biaxivim, dibe ku ew kesek hindik dem xilas bike.

Ka em gavên rêwerzan bişopînin (spoiler - di gava 5-an de her tişt baş bû):

1. Sazkirina Subsystema Windows-ê ji bo Linux-ê ji bo sazkirina paşê ya belavkirinên Linux

Pirsgirêka herî kêm ev e, wekî ku dibêjin:

Panela Kontrolê → Bername → Bername û Taybetmendî → Taybetmendiyên Windows-ê çalak bikin an qut bikin → Subpergala Windows-ê ji bo Linux

2. Dabeşkirina Linux ya bijartina xwe saz bikin

Min serîlêdan bikar anî Ubuntu.

3. Sazkirin û nûjenkirina pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Sazkirina Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Destpêkirina Database

Û li vir zehmetiyên min ên piçûk dest pê kirin. Talîmat ji we re hewce dike ku hûn fermanê têkevin airflow initdb û derbasî qonaxa din bibin. Lêbelê, min her gav bersivek wergirt airflow: command not found. Ev mentiqî ye ku meriv texmîn bike ku di dema sazkirina Apache Airflow de dijwarî derketin û pelên pêwîst bi tenê tune ne. Piştî ku ez piştrast bûm ku her tişt li cihê ku divê lê be, min biryar da ku ez hewl bidim ku riya tevahî ya pelê hewayê diyar bikim (divê bi vî rengî xuya bike: Полный/путь/до/файла/airflow initdb). Lê mûcîze pêk nehat û bersiv jî yek bû airflow: command not found. Min hewl da ku rêyek têkildar a pelê bikar bînim (./.local/bin/airflow initdb), ku bû sedema xeletiyek nû ModuleNotFoundError: No module named json'ya ku dikare bi nûvekirina pirtûkxaneyê were derbas kirin Hacet (di doza min de heya guhertoya 0.15.4):

pip install werkzeug==0.15.4

Hûn dikarin li ser werkzeug bêtir bixwînin vir.

Piştî vê manîpulasyonê sade emrê ./.local/bin/airflow initdb bi serkeftî pêk hat.

6. Destpêkirina servera Airflow

Ev ne dawiya dijwariyên gihîştina hewayê ye. Ferman dimeşîne ./.local/bin/airflow webserver -p 8080 di encamê de xeletiyek derket No such file or directory. Dibe ku, bikarhênerek Ubuntu-yê bi tecrûbe di cih de hewl bide ku bi karanîna fermanê re di gihîştina pelê de zehmetiyên weha derbas bike. export PATH=$PATH:~/.local/bin/ (ango, lê zêdekirina /.local/bin/ li riya lêgerînê ya heyî ya PATH), lê ev post ji bo kesên ku di serî de bi Windows-ê re dixebitin tê armanc kirin û dibe ku nefikirin ku ev çareserî eşkere ye.

Piştî manîpulasyonê ku li jor hatî diyar kirin, ferman ./.local/bin/airflow webserver -p 8080 bi serkeftî pêk hat.

7.URL: localhost: 8080 /

Ger her tişt di qonaxên berê de baş derbas bû, wê hingê hûn amade ne ku lûtkeyên analîtîk têk bibin.

Ez hêvî dikim ku ezmûna ku li jor hatî destnîşan kirin di sazkirina Apache Airflow li ser Windows 10 de dê ji bikarhênerên nûjen re kêrhatî be û dê ketina wan di gerdûna amûrên analîtîk ên nûjen de bilez bike.

Cara din ez dixwazim mijarê bidomînim û li ser ezmûna karanîna Apache Airflow di warê analîzkirina tevgera bikarhêner a serîlêdanên mobîl de biaxivim.

Source: www.habr.com