preambuly: vôľou osudu som sa zo sveta akademickej vedy (medicíny) ocitol vo svete informačných technológií, kde musím využiť svoje znalosti z metodológie konštrukcie experimentu a stratégií analýzy experimentálnych dát, avšak aplikovať technologický balík, ktorý je pre mňa nový. V procese osvojovania si týchto technológií sa stretávam s množstvom ťažkostí, ktoré sú, našťastie, zatiaľ prekonané. Možno bude tento príspevok užitočný pre tých, ktorí tiež len začínajú pracovať s projektmi Apache.
Takže k veci. Inšpirovaný Yuri Emelyanov o schopnostiach Apache Airflow v oblasti automatizácie analytických postupov, chcel som vo svojej práci začať používať navrhovanú sadu knižníc. Tých, ktorí ešte Apache Airflow vôbec nepoznajú, môže zaujať krátky prehľad na stránke Národnej knižnice. N. E. Bauman.
Keďže sa zdá, že bežné pokyny na spustenie Airflow v danom prostredí neplatia Windowsa použite ho na vyriešenie tohto problému v mojom prípade by to bolo nadbytočné, začal som hľadať iné riešenia. Našťastie pre mňa, nebol som na tejto ceste prvý, a tak sa mi podarilo nájsť nádhernú pri inštalácii Apache Airflow v Windows 10 Bez použitia Dockeru. Ale ako sa často stáva, pri dodržiavaní odporúčaných krokov vznikajú ťažkosti a som si istý, že nie som sám. Preto by som sa rád podelil o svoje skúsenosti s inštaláciou Apache Airflow; možno to niekomu ušetrí čas.
Poďme si prejsť kroky pokynov (spoiler - v 5. kroku všetko prebehlo v poriadku):
1. Inštalácia podsystému Windows pre Linux pre následnú inštaláciu distribúcií Linux
Toto je najmenší z problémov, ako sa hovorí:
Ovládací panel → Programy → Programy a funkcie → Zapnutie alebo vypnutie funkcií Windows → Subsystém Windows pre Linux
2. Inštalácia distribúcie Linux voliteľne
Použil som aplikáciu .
3. Inštalácia a aktualizácia pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Inštalácia Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Inicializácia databázy
A tu začali moje malé ťažkosti. Pokyny vyžadujú zadanie príkazu airflow initdb a prejdite na ďalší krok. Vždy som však dostal odpoveď airflow: command not found. Je logické predpokladať, že počas inštalácie Apache Airflow sa vyskytli ťažkosti a potrebné súbory jednoducho nie sú k dispozícii. Keď som sa uistil, že je všetko tam, kde má byť, rozhodol som sa pokúsiť zadať úplnú cestu k súboru prúdenia vzduchu (malo by to vyzerať takto: Полный/путь/до/файла/airflow initdb). Ale zázrak sa nestal a odpoveď bola rovnaká airflow: command not found. Skúsil som použiť relatívnu cestu k súboru (./.local/bin/airflow initdb), čo viedlo k novej chybe ModuleNotFoundError: No module named json'ktoré možno prekonať aktualizáciou knižnice nástroj (v mojom prípade do verzie 0.15.4):
pip install werkzeug==0.15.4Môžete si prečítať viac o werkzeug .
Po tejto jednoduchej manipulácii príkaz ./.local/bin/airflow initdb bola úspešne dokončená.
6. Spustenie servera Airflow
Týmto sa ťažkosti s prístupom k prúdeniu vzduchu nekončia. Spustenie príkazu ./.local/bin/airflow webserver -p 8080 viedlo k chybe No such file or directoryPravdepodobne skúsený používateľ. Ubuntu Takéto ťažkosti s prístupom k súboru by som sa okamžite pokúsil prekonať pomocou príkazu export PATH=$PATH:~/.local/bin/ (t. j. pridanie adresára /.local/bin/ do existujúcej cesty vyhľadávania spustiteľného súboru definovanej premennou PATH), ale tento príspevok je určený pre tých, ktorí pracujú predovšetkým s Windows a nemusí takéto riešenie považovať za samozrejmé.
Po vyššie opísanej manipulácii príkaz ./.local/bin/airflow webserver -p 8080 bola úspešne ukončená.
7.URL: : 8080 /
Ak v predchádzajúcich fázach všetko išlo dobre, ste pripravení dobyť analytické vrcholy.
Dúfam, že vyššie opísaná skúsenosť s inštaláciou Apache Airflow na Windows 10 Bude to užitočné pre začínajúcich používateľov a urýchli to ich vstup do sveta moderných analytických nástrojov.
Nabudúce by som rád pokračoval v téme a porozprával o skúsenostiach s používaním Apache Airflow v oblasti analýzy používateľského správania mobilných aplikácií.
Zdroj: hab.com
