Pieredze Apache Airflow instalēšanā operētājsistēmā Windows 10.

Priekšvārds: liktenis apstākļu dēļ no akadēmiskās zinātnes (medicīnas) es nokļuvu informācijas tehnoloģiju pasaulē, kur man jāizmanto savas zināšanas par eksperimenta izveides metodoloģiju un eksperimentālo datu analīzes stratēģijām, tomēr jāizmantot man nezināmā tehnoloģiju steka. Šo tehnoloģiju apguves procesā saskaros ar daudziem izaicinājumiem, kurus pagaidām, par laimi, izdodas pārvarēt. Iespējams, šis ieraksts būs noderīgs tiem, kas arī tikko sāk darbu ar Apache projektiem.

Tātad, pie tēmas. Iedvesmojoties no no raksta Jūrija Emeljānova par Apache Airflow iespējām analītisko procedūru automatizācijā, es vēlējos sākt izmantot piedāvāto bibliotēku komplektu savā darbā. Tiem, kas vēl nav iepazinšies ar Apache Airflow, varētu būt interesanta neliela pārskata raksts pār N. E. Baumanas Nacionālās bibliotēkas mājaslapu.

Tā kā parastās instrukcijas, kā uzsākt Airflow, acīmredzot nav piemērojamas Windows vidē, un izmantot docker manā gadījumā būtu pārlieku sarežģīti, es sāku meklēt citas risinājumus. Par laimi, es nebiju pirmā šajā ceļā, tāpēc man izdevās atrast lielisku video instrukciju par Apache Airflow instalēšanu Windows 10 bez docker izmantošanas. Bet, kā tas bieži notiek, veicot ieteiktos soļus, rodas grūtības, un uzskatu, ka ne tikai man. Tāpēc es gribētu pastāstīt par savu pieredzi Apache Airflow instalēšanā, iespējams, tas kādam ietaupīs nedaudz laika.

Pāriesim pie instrukcijas soļiem (sniegšu spoileri - 5. solī viss noritēja lieliski):

1. Windows subsistēmas instalēšana Linux, lai vēlāk uzstādītu Linux izplatījumus

Tā ir mazāka problēma, kā saka:

Vadības panelis → Programmas → Programmas un funkcijas → Windows komponentu ieslēgšana un izslēgšana → Windows subsistēma Linux

2. Izvēlētā Linux izplatījuma uzstādīšana

Es izmantoju lietotni Ubuntu.

3. Pip uzstādīšana un atjaunināšana

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow uzstādīšana

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Datubāzes inicializācija

Un tieši šeit sākās manas nelielās grūtības. Instrukcija prasa ievadīt komandu airflow initdb un pāriet uz nākamo soli. Tomēr es nemitīgi saņēmu atbildi airflow: command not found. Ir ir loģiski pieņemt, ka radās grūtības, instalējot Apache Airflow, un vienkārši nav vajadzīgo failu. Pārbaudījusi, ka viss ir tur, kur tam jābūt, nolēmu izmēģināt norādīt pilnu ceļu uz airflow failu (tam būtu jāizskatās šādi: Pilns/ceļš/uz/failu/airflow initdb). Bet brīnums nenotika, un atbilde bija tāda pati airflow: command not found. Izmēģināju izmantot relatīvo ceļu uz failu (./.local/bin/airflow initdb), kas noveda pie jaunas kļūdas ModuleNotFoundError: No module named json', ko var apiet, atjauninot bibliotēku werkzeug (manā gadījumā līdz versijai 0.15.4):

pip install werkzeug==0.15.4

Vairāk par werkzeug var izlasīt šeit.

Pēc šīs vienkāršās manipulācijas komanda ./.local/bin/airflow initdb tika veikta veiksmīgi.

6. Airflow servera palaišana

Šajā brīdī grūtības ar piekļuvi airflow vēl nav beigušās. Komandas palaišana ./.local/bin/airflow webserver -p 8080 noveda pie kļūdas Nav tāda faila vai direktorijas. Iespējams, pieredzējis Ubuntu lietotājs būtu uzreiz mēģinājis pārvarēt šādas grūtības ar piekļuvi failam, izmantojot komandu export PATH=$PATH:~/.local/bin/ (citiem vārdiem sakot, pievienojot esošajam izpildāmo failu meklēšanas ceļam, ko nosaka PATH mainīgais, katalogu /.local/bin/), bet šis ieraksts ir paredzēts tiem, kas galvenokārt strādā ar Windows un, iespējams, neuzskata šādu risinājumu par acīmredzamu.

Pēc iepriekš aprakstītās manipulācijas komanda ./.local/bin/airflow webserver -p 8080 tika veiksmīgi izpildīta.

7. URL: localhost:8080/

Ja iepriekšējie soļi noritēja veiksmīgi, tad esat gatavs iekarot analītikas virsotnes.

Ceru, ka iepriekš aprakstītais Apache Airflow instalēšanas pieredze Windows 10 būs noderīga iesācējiem un paātrinās viņu ieiešanu modernu analītikas rīku pasaulē.

Nākamajā reizē vēlētos turpināt tēmu un pastāstīt par pieredzi, izmantojot Apache Airflow lietotāju uzvedības analīzē mobilo lietotņu jomā.

Avots: habr.com