Rhagarweiniad: trwy ewyllys tynged, o fyd gwyddoniaeth academaidd (meddygaeth) cefais fy hun ym myd technoleg gwybodaeth, lle mae'n rhaid i mi ddefnyddio fy ngwybodaeth o'r fethodoleg o adeiladu arbrawf a strategaethau ar gyfer dadansoddi data arbrofol, fodd bynnag, yn berthnasol pentwr technoleg sy'n newydd i mi. Yn y broses o feistroli'r technolegau hyn, rwy'n dod ar draws nifer o anawsterau, sydd, yn ffodus, wedi'u goresgyn hyd yn hyn. Efallai y bydd y swydd hon yn ddefnyddiol i'r rhai sydd hefyd newydd ddechrau gweithio gyda phrosiectau Apache.
Felly, i'r pwynt. Wedi'i ysbrydoli Yuri Emelyanov am alluoedd Apache Airflow ym maes awtomeiddio gweithdrefnau dadansoddol, roeddwn i eisiau dechrau defnyddio'r set arfaethedig o lyfrgelloedd yn fy ngwaith. Efallai y bydd gan y rhai nad ydyn nhw'n gyfarwydd o gwbl eto â Apache Airflow ddiddordeb mewn trosolwg byr ar wefan y Llyfrgell Genedlaethol. N. E. Bauman.
Gan nad yw'n ymddangos bod y cyfarwyddiadau arferol ar gyfer rhedeg Airflow yn berthnasol mewn amgylchedd Windows, defnyddiwch hwn i ddatrys y broblem hon yn fy achos i byddai'n ddiangen, dechreuais chwilio am atebion eraill. Yn ffodus i mi, nid fi oedd y cyntaf ar y llwybr hwn, felly llwyddais i ddod o hyd i fendigedig Sut i osod Apache Airflow ar Windows 10 heb ddefnyddio Docker. Ond, fel sy'n digwydd yn aml, wrth ddilyn y camau a argymhellir, mae anawsterau'n codi, ac, yn fy marn i, nid yn unig i mi. Felly, hoffwn siarad am fy mhrofiad yn gosod Apache Airflow, efallai y bydd yn arbed ychydig o amser i rywun.
Gadewch i ni fynd trwy gamau'r cyfarwyddiadau (spoiler - aeth popeth yn iawn ar y 5ed cam):
1. Gosod yr Is-system Windows ar gyfer Linux ar gyfer gosod dosbarthiadau Linux wedi hynny
Dyma’r lleiaf o’r problemau, fel y dywedant:
Panel Rheoli → Rhaglenni → Rhaglenni a Nodweddion → Trowch nodweddion Windows ymlaen neu i ffwrdd → Is-system Windows ar gyfer Linux
2. Gosodwch y dosbarthiad Linux o'ch dewis
Defnyddiais y cais .
3. gosod a diweddaru pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Gosod Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Cychwyn cronfa ddata
A dyma lle dechreuodd fy anawsterau bach. Mae'r cyfarwyddiadau yn gofyn ichi nodi'r gorchymyn airflow initdb a symud ymlaen i'r cam nesaf. Fodd bynnag, cefais ateb bob amser airflow: command not found. Mae'n rhesymegol tybio bod anawsterau wedi codi wrth osod Apache Airflow ac nid yw'r ffeiliau angenrheidiol ar gael. Ar ôl gwneud yn siŵr bod popeth lle y dylai fod, penderfynais geisio nodi'r llwybr llawn i'r ffeil llif aer (dylai edrych fel hyn: Полный/путь/до/файла/airflow initdb). Ond ni ddigwyddodd y wyrth ac roedd yr ateb yr un peth airflow: command not found. Ceisiais ddefnyddio llwybr perthynol i'r ffeil (./.local/bin/airflow initdb), a arweiniodd at gamgymeriad newydd ModuleNotFoundError: No module named json'y gellir ei oresgyn trwy ddiweddaru'r llyfrgell Teclyn (yn fy achos i hyd at fersiwn 0.15.4):
pip install werkzeug==0.15.4Gallwch ddarllen mwy am werkzeug .
Ar ôl y driniaeth syml hon y gorchymyn ./.local/bin/airflow initdb ei gwblhau yn llwyddiannus.
6. Lansio'r gweinydd Airflow
Nid dyma ddiwedd yr anawsterau gyda mynediad i lif aer. Rhedeg gorchymyn ./.local/bin/airflow webserver -p 8080 arwain at gamgymeriad No such file or directory. Yn ôl pob tebyg, byddai defnyddiwr Ubuntu profiadol yn ceisio goresgyn anawsterau o'r fath ar unwaith wrth gyrchu'r ffeil trwy ddefnyddio'r gorchymyn export PATH=$PATH:~/.local/bin/ (h.y., ychwanegu /.local/bin/ at y llwybr chwilio gweithredadwy PATH presennol), ond mae'r swydd hon wedi'i bwriadu ar gyfer y rhai sy'n gweithio'n bennaf gyda Windows ac efallai nad ydynt yn meddwl bod yr ateb hwn yn amlwg.
Ar ôl y driniaeth a ddisgrifir uchod, y gorchymyn ./.local/bin/airflow webserver -p 8080 ei gwblhau yn llwyddiannus.
7.URL: : 8080 /
Pe bai popeth yn mynd yn dda yn y camau blaenorol, yna rydych chi'n barod i goncro copaon dadansoddol.
Rwy'n gobeithio y bydd y profiad a ddisgrifir uchod wrth osod Apache Airflow ar Windows 10 yn ddefnyddiol i ddefnyddwyr newydd a bydd yn cyflymu eu mynediad i'r bydysawd o offer dadansoddeg modern.
Y tro nesaf hoffwn barhau â'r pwnc a siarad am y profiad o ddefnyddio Apache Airflow ym maes dadansoddi ymddygiad defnyddwyr cymwysiadau symudol.
Ffynhonnell: hab.com