Preambula: si nga fatkeqësia në botën e shkencës akademike (mjekësisë) unë kalova në botën e teknologjisë informative, ku duhet të përdor njohuritë e mia mbi metodologjinë e ndërtimit të eksperimenteve dhe strategjitë e analizës së të dhënave eksperimentale, megjithatë, aplikimin e një stoku teknologjish të reja për mua. Në procesin e zotërimit të këtyre teknologjive përballëm me disa vështirësi, të cilat deri tani, për fat, kam arritur t'i tejkaloj. Ndoshta ky post do të jetë i dobishëm për ata që gjithashtu sapo kanë filluar punën me projektet Apache.
Pra, te thelbi. Inspiruar nga Yuri Emelyanov për mundësitë e Apache Airflow në fushën e automatizimit të procedurave analitike, dëshirova të filloja të përdor setin e ofruar të librarive në punën time. Ata që ende nuk janë njohur me Apache Airflow, mund të gjejnë interesante një përmbledhje të vogël në faqen e Bibliotekës Kombëtare N. E. Bauman.
Duke pasur parasysh se udhëzimet standarde për nisjen e Airflow, duket se nuk aplikohen në mjedisin Windows, dhe përdorimi i në rastin tim do të ishte e tepruar, fillova të kërkoj zgjidhje të tjera. Fatmirësisht për mua, nuk isha e para në këtë rrugë, kështu që arrita të gjej një për instalimin e Apache Airflow në Windows 10 pa përdorimin e docker. Por, siç ndodh shpesh, gjatë kryerjes së hapave të rekomanduar, paraqiten vështirësi, dhe mendoj se jo vetëm për mua. Prandaj do doja të flisja për përvojën time në instalimin e Apache Airflow, ndoshta kjo do t'i kursejë dikujt pak kohë.
Le të kalojmë hapet e udhëzimit (spoiler - në hapin e 5-të gjithçka shkoi shkëlqyer):
1. Instalimi i nën-sistemit Windows për Linux për instalimin e mëvonshëm të distribucioneve Linux
Kjo është më e vogla nga problemet, siç thuhet:
Panela e Kontrollit â Programet â Programet dhe komponentĂ«t â Aktivizimi dhe çaktivizimi i komponentĂ«ve tĂ« Windows â NĂ«n-sistemi Windows pĂ«r Linux
2. Instalimi i distribucionit Linux sipas zgjedhjes
Unë përdora aplikacionin .
3. Instalimi dhe përditësimi i pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Instalimi i Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Inizializimi i bazës së të dhënave
Dhe kĂ«tu filluan vĂ«shtirĂ«sitĂ« e mia tĂ« vogla. UdhĂ«zimi parashikon tĂ« futet komanda airflow initdb dhe tĂ« kaloj te hapi tjetĂ«r. MegjithatĂ«, unĂ« pĂ«rherĂ« merrja pĂ«rgjigjen airflow: komanda nuk u gjet. ĂshtĂ« logjikĂ« tĂ« supozohet se ka pasur vĂ«shtirĂ«si gjatĂ« fazĂ«s sĂ« instalimit tĂ« Apache Airflow dhe thjesht nuk ka skedarĂ«t e nevojshĂ«m. Pas konfirmimit qĂ« gjithçka Ă«shtĂ« atje ku duhet tĂ« jetĂ«, vendosa tĂ« provoj tĂ« tregoj rrugĂ«n e plotĂ« deri te skedari airflow (duhet tĂ« duket kĂ«shtu: RRUGA/PER/TE/SKEDARIT/airflow initdb). Por nuk ndodhi asnjĂ« mrekulli dhe pĂ«rgjigjja ishte e njĂ«jtĂ« airflow: komanda nuk u gjet. U pĂ«rpoqa tĂ« pĂ«rdor njĂ« rrugĂ« relative deri te skedari (./.local/bin/airflow initdb), e cila çoi nĂ« shfaqjen e njĂ« gabimi tĂ« ri ModuleNotFoundError: No module named json', tĂ« cilin mund ta kaloni duke pĂ«rditĂ«suar bibliotekĂ«n werkzeug (nĂ« rastin tim deri nĂ« versionin 0.15.4):
pip install werkzeug==0.15.4Më shumë rreth werkzeug mund të lexoni .
Pas kësaj manipulimi të thjeshtë, komanda ./.local/bin/airflow initdb u ekzekutua me sukses.
6. Nisja e serverit Airflow
Në këtë pikë, vështirësitë me aksesin në airflow nuk kishin përfunduar ende. Nisja e komandës ./.local/bin/airflow webserver -p 8080 çoi në një gabim No such file or directory. Me siguri, një përdorues i avancuar i Ubuntu do të kishte provuar menjëherë të kalonte këto vështirësi duke e zbatuar komandën export PATH=$PATH:~/.local/bin/ (pra, duke shtuar në rrugën ekzistuese të kërkimit të skedarëve ekzekutivë e cila përcaktohet nga variabla PATH direktorinë /.local/bin/), por ky post është për ata që kryesisht punojnë me Windows dhe ndoshta nuk e shohin një zgjidhje të tillë si të qartë.
Pas manipulimit të përshkruar më sipër, komanda ./.local/bin/airflow webserver -p 8080 u ekzekutua me sukses.
7. URL: :8080/
Nëse gjithçka shkoi mirë në fazat e mëparshme, jeni gati të pushtoni majat analitike.
Shpresoj që përvoja e përshkruar më sipër për instalimin e Apache Airflow në Windows 10 do të jetë e dobishme për përdoruesit e rinj dhe do të përshpejtojë hyrjen e tyre në botën e mjeteve të modernizuar analitike.
Një herë tjetër do të doja të vazhdoj temën dhe të flas rreth përvojës së përdorimit të Apache Airflow në fushën e analizës së sjelljes së përdoruesve të aplikacioneve mobile.
Burimi: habr.com
