Preambula: për shkak të fatit, nga bota akademike (mjekësia) përfundova në botën e teknologjive të informacionit, ku duhet të përdor njohuritë e mia për metodologjinë e ndërtimit të eksperimenteve dhe strategjitë e analizës së të dhënave eksperimentale, megjithatë, të aplikoj një grackë teknologjish të re për mua. Gjatë procesit të mësimit të këtyre teknologjive, përballëm me disa vështirësi, të cilat për fat të mirë kam arritur t'i tejkaloj. Ndoshta ky post do të jetë i dobishëm për ata që gjithashtu po fillojnë të punojnë me projektet Apache.
Pra, te thelbi. I frymëzuar nga YUri Emeljanov mbi mundësitë e Apache Airflow në fushën e automatizimit të procedurave analitike, dëshiroja të filloja të përdorja grupin e biblotekave të propozuara në punën time. Ata që nuk janë ende fare të njohur me Apache Airflow, mund të jenë të interesuar për një përmbledhje të vogël në faqen e Bibliotekës Kombëtare N. E. Bauman.
Duke pasur parasysh se udhëzimet e zakonshme për aktivizimin e Airflow, duket se nuk zbatohen në ambientin Windows, dhe për të zgjidhur këtë problem në rastin tim do të ishte tepër, fillova të kërkoj zgjidhje të tjera. Fatmirësisht për mua, nuk isha e para në këtë rrugë, kështu që arrita të gjej një për instalimin e Apache Airflow në Windows 10 pa përdorur docker. Por, siç ndodh shpesh, gjatë zbatimit të hapave të rekomanduar, hasen vështirësi, dhe mendoj se jo vetëm unë. Prandaj, doja të ndaja përvojën time të instalimit të Apache Airflow, ndoshta kjo do të kursejë dikujt pak kohë.
Le të kalojmë nëpër hapat e udhëzimit (spoiler - deri në hapin 5 gjithçka shkoi mrekullueshëm):
1. Instalimi i nën-sistemës Windows për Linux për instalimin e mëvonshëm të shpërndarjeve Linux
Kjo është një nga problemet më të vogla, siç thonë:
Paneli i Kontrollit â Programet â Programet dhe komponentĂ«t â Aktivizo ose çaktivizo komponentĂ«t e Windows â NĂ«n-sistemi i Windows pĂ«r Linux
2. Instalimi i shpërndarjes Linux sipas zgjedhjes
Unë përdora aplikacionin .
3. Instalimi dhe përditësimi i pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Instalimi i Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Inizializimi i bazës së të dhënave
Dhe kĂ«tu filluan vĂ«shtirĂ«sitĂ« e mia tĂ« vogla. UdhĂ«zimi rekomandon tĂ« shkruhet komanda airflow initdb dhe tĂ« kalojmĂ« nĂ« hapin tjetĂ«r. SidoqoftĂ«, unĂ« vazhdimisht merrja pĂ«rgjigjen airflow: command not found. ĂshtĂ« logjike tĂ« supozohet se ka pasur probleme nĂ« fazĂ«n e instalimit tĂ« Apache Airflow dhe thjesht nuk ka skedarĂ«t e nevojshĂ«m. Pas verifikimit se gjithçka ishte aty ku duhej, vendosa tĂ« provoj tĂ« specifikoj rrugĂ«n e plotĂ« pĂ«r skedarin airflow (duhet tĂ« duket kĂ«shtu: Plota/rruga/deri/skedari/airflow initdb). Por nuk ndodhi ndonjĂ« mrekulli dhe pĂ«rgjigjja ishte e njĂ«jta airflow: command not found. Provova tĂ« pĂ«rdor rrugĂ«n relative pĂ«r skedarin (./.local/bin/airflow initdb), qĂ« solli njĂ« gabim tĂ« ri ModuleNotFoundError: No module named json', i cili mund tĂ« pĂ«rqendrohet duke pĂ«rditĂ«suar bibliotekĂ«n werkzeug (nĂ« rastin tim deri nĂ« versionin 0.15.4):
pip install werkzeug==0.15.4Mund të lexoni më shumë rreth werkzeug .
Pas kësaj manovre të thjeshtë, komanda ./.local/bin/airflow initdb u ekzekutua me sukses.
6. Nisja e serverit Airflow
Në këtë pikë, vështirësitë me përmirësimin e aksesit në airflow nuk kishin mbaruar. Nisja e komandës ./.local/bin/airflow webserver -p 8080 çoi në një gabim No such file or directory. Me sa duket, një përdorues i avancuar i Ubuntu do të kishte provuar menjëherë të përballonte këto vështirësi me qasjen në skedarin, duke përdorur komandën eksporto PATH=$PATH:~/.local/bin/ (atëherë, duke shtuar në kërkimin ekzistues të skedarëve ekzekutivë, të përcaktuar nga variabli PATH katalogun /.local/bin/), por ky post është i destinuar për ata që kryesisht punojnë me Windows dhe ndoshta nuk e shohin një zgjidhje të tillë si të qartë.
Pas manipulimit të përshkruar më sipër, komanda ./.local/bin/airflow webserver -p 8080 u ekzekutua me sukses.
7. URL: :8080/
Nëse gjithçka shkoi mirë në etapën e mëparshme, atëherë jeni gati të pushtoni majat analitike.
Shpresoj që përvoja e përshkruar më sipër për instalimin e Apache Airflow në Windows 10 do të jetë e dobishme për përdoruesit e rinj dhe do të përshpejtojë hyrjen e tyre në universin e mjeteve moderne të analizës.
Herën tjetër do të doja të vazhdoja temën dhe të flisja mbi përvojën e përdorimit të Apache Airflow në analizën e sjelljes së përdoruesve në aplikacionet mobile.
Burimi: habr.com
