ProHoster > Blogs > Administrācija > Pieredze Apache Airflow instalÄ“Å”anā operētājsistēmā Windows 10

Pieredze Apache Airflow instalÄ“Å”anā operētājsistēmā Windows 10

Preambula: pēc likteņa gribas no akadēmiskās zinātnes (medicÄ«nas) pasaules nokļuvu informācijas tehnoloÄ£iju pasaulē, kur man ir jāizmanto savas zināŔanas par eksperimenta konstruÄ“Å”anas metodiku un eksperimentālo datu analÄ«zes stratēģijām, tomēr lietot tehnoloÄ£iju steks, kas man ir jauns. Å o tehnoloÄ£iju apgÅ«Å”anas procesā sastopos ar vairākām grÅ«tÄ«bām, kuras, par laimi, lÄ«dz Å”im ir pārvarētas. Iespējams, Å”is ieraksts bÅ«s noderÄ«gs tiem, kuri arÄ« tikai sāk strādāt ar Apache projektiem.

Tātad, pie lietas. Iedvesmojies rakstus Jurijs Emelyanovs par Apache Airflow iespējām analītisko procedūru automatizācijas jomā, es gribēju savā darbā sākt izmantot piedāvāto bibliotēku komplektu. Tiem, kuri vēl nemaz nav pazīstami ar Apache Airflow, var interesēt īss pārskats raksts Nacionālās bibliotēkas mājaslapā. N. E. Baumans.

Tā kā parastie norādÄ«jumi par Airflow palaiÅ”anu, Ŕķiet, nav piemērojami Windows vidē, izmantojiet Å”o, lai atrisinātu Å”o problēmu dokeris manā gadÄ«jumā tas bÅ«tu lieki, sāku meklēt citus risinājumus. Man par laimi, es nebiju pirmais Å”ajā ceļā, tāpēc man izdevās atrast brÄ«niŔķīgu video instrukcijas Kā instalēt Apache Airflow operētājsistēmā Windows 10, neizmantojot Docker. Taču, kā jau nereti gadās, veicot ieteiktās darbÄ«bas, rodas grÅ«tÄ«bas, un, uzskatu, ne tikai man. Tāpēc vēlos pastāstÄ«t par savu pieredzi, uzstādot Apache Airflow, varbÅ«t kādam tas ietaupÄ«s nedaudz laika.

Izejam cauri instrukciju soļiem (spoileris ā€” 5. solÄ« viss noritēja labi):

1. Windows apakÅ”sistēmas instalÄ“Å”ana operētājsistēmai Linux turpmākai Linux izplatÄ«jumu instalÄ“Å”anai

Šī ir mazākā no problēmām, kā viņi saka:

VadÄ«bas panelis ā†’ Programmas ā†’ Programmas un lÄ«dzekļi ā†’ Ieslēgt vai izslēgt Windows lÄ«dzekļus ā†’ Windows apakÅ”sistēma operētājsistēmai Linux

2. Instalējiet Linux izplatÄ«Å”anu pēc savas izvēles

Es izmantoju aplikāciju Ubuntu.

3. Pip uzstādīŔana un atjaunināŔana 

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow instalēŔana

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Datu bāzes inicializācija

Un Å”eit sākās manas mazās grÅ«tÄ«bas. Instrukcijās ir jāievada komanda airflow initdb un pāriet uz nākamo soli. Tomēr vienmēr saņēmu atbildi airflow: command not found. Ir loÄ£iski pieņemt, ka Apache Airflow instalÄ“Å”anas laikā radās grÅ«tÄ«bas un nepiecieÅ”amie faili vienkārÅ”i nav pieejami. Pārliecinoties, ka viss ir tur, kur tam vajadzētu bÅ«t, es nolēmu mēģināt norādÄ«t pilnu ceļu uz gaisa plÅ«smas failu (tam vajadzētu izskatÄ«ties Ŕādi: ŠŸŠ¾Š»Š½Ń‹Š¹/Šæуть/Š“Š¾/фŠ°Š¹Š»Š°/airflow initdb). Taču brÄ«nums nenotika un atbilde bija tāda pati airflow: command not found. Es mēģināju izmantot relatÄ«vu ceļu uz failu (./.local/bin/airflow initdb), kas izraisÄ«ja jaunu kļūdu ModuleNotFoundError: No module named json'ko var pārvarēt, atjauninot bibliotēku rÄ«ks (manā gadÄ«jumā lÄ«dz versijai 0.15.4):

pip install werkzeug==0.15.4

Jūs varat lasīt vairāk par werkzeug Ŕeit.

Pēc Ŕīs vienkārŔās manipulācijas komanda ./.local/bin/airflow initdb tika veiksmÄ«gi pabeigts.

6. Airflow servera palaiŔana

Ar to saistÄ«tās grÅ«tÄ«bas ar piekļuvi gaisa plÅ«smai nebeidzas. Palaižot komandu ./.local/bin/airflow webserver -p 8080 rezultātā radās kļūda No such file or directory. Iespējams, pieredzējis Ubuntu lietotājs nekavējoties mēģinātu pārvarēt Ŕādas grÅ«tÄ«bas ar piekļuvi failam, izmantojot komandu export PATH=$PATH:~/.local/bin/ (t.i., pievienojot /.local/bin/ esoÅ”ajam izpildāmajam PATH meklÄ“Å”anas ceļam), taču Å”is ieraksts ir paredzēts tiem, kuri galvenokārt strādā ar Windows un, iespējams, nedomā, ka Å”is risinājums ir acÄ«mredzams.

Pēc iepriekÅ” aprakstÄ«tās manipulācijas komanda ./.local/bin/airflow webserver -p 8080 tika veiksmÄ«gi pabeigts.

7. URL: localhost: 8080 /

Ja iepriekŔējos posmos viss gāja labi, tad esat gatavs iekarot analÄ«tiskās virsotnes.

Es ceru, ka iepriekÅ” aprakstÄ«tā pieredze, instalējot Apache Airflow operētājsistēmā Windows 10, bÅ«s noderÄ«ga iesācējiem un paātrinās viņu ienākÅ”anu mÅ«sdienu analÄ«tikas rÄ«ku pasaulē.

Nākamajā reizē vēlos turpināt tēmu un pastāstÄ«t par Apache Airflow lietoÅ”anas pieredzi mobilo aplikāciju lietotāju uzvedÄ«bas analÄ«zes jomā.

Avots: www.habr.com

Pievieno komentāru