Windows 10-ում Apache Airflow-ի տեղադրման փորձ

ՆախաբանՃակատագրի կամքով, ակադեմիական գիտության (բժշկության) աշխարհից ես հայտնվեցի տեղեկատվական տեխնոլոգիաների աշխարհում, որտեղ ես պետք է օգտագործեմ իմ գիտելիքները փորձի կառուցման մեթոդաբանության և փորձարարական տվյալների վերլուծության ռազմավարությունների մասին, սակայն, կիրառել տեխնոլոգիաների փաթեթ, որն ինձ համար նոր է: Այս տեխնոլոգիաների յուրացման գործընթացում բախվում եմ մի շարք դժվարությունների, որոնք, բարեբախտաբար, մինչ այժմ հաղթահարված են։ Թերևս այս գրառումը օգտակար կլինի նրանց համար, ովքեր նույնպես նոր են սկսում աշխատել Apache նախագծերի հետ:

Այսպիսով, կետին. Ոգեշնչված հոդվածներ Յուրի Եմելյանովը Apache Airflow-ի հնարավորությունների մասին վերլուծական ընթացակարգերի ավտոմատացման ոլորտում, ես ուզում էի սկսել օգտագործել գրադարանների առաջարկվող հավաքածուն իմ աշխատանքում: Նրանց, ովքեր դեռ ընդհանրապես ծանոթ չեն Apache Airflow-ին, կարող են հետաքրքրվել կարճ ակնարկով հոդված Ազգային գրադարանի կայքում։ N. E. Bauman.

Քանի որ Airflow-ի գործարկման սովորական հրահանգները կարծես թե չեն կիրառվում Windows միջավայրում, օգտագործեք սա այս խնդիրը լուծելու համար դոկեր իմ դեպքում ավելորդ կլիներ, սկսեցի այլ լուծումներ փնտրել։ Բարեբախտաբար ինձ համար, ես առաջինը չէի այս ճանապարհին, ուստի ինձ հաջողվեց գտնել մի հրաշալի վիդեո հրահանգներ Ինչպես տեղադրել Apache Airflow-ը Windows 10-ում՝ առանց Docker-ի օգտագործման: Բայց, ինչպես հաճախ է պատահում, առաջարկվող քայլերին հետևելիս դժվարություններ են առաջանում և, կարծում եմ, ոչ միայն ինձ համար։ Հետևաբար, ես կցանկանայի խոսել Apache Airflow-ի տեղադրման իմ փորձի մասին, գուցե դա ինչ-որ մեկին մի փոքր ժամանակ խնայի:

Եկեք անցնենք հրահանգների քայլերը (սպոյլեր. 5-րդ քայլին ամեն ինչ լավ է անցել).

1. Windows Subsystem-ի տեղադրում Linux-ի համար՝ Linux բաշխումների հետագա տեղադրման համար

Սա ամենաքիչ խնդիրն է, ինչպես ասում են.

Կառավարման վահանակ → Ծրագրեր → Ծրագրեր և հնարավորություններ → Միացնել կամ անջատել Windows-ի հնարավորությունները → Windows ենթահամակարգ Linux-ի համար

2. Տեղադրեք ձեր նախընտրած Linux բաշխումը

Ես օգտագործել եմ հավելվածը Ubuntu.

3. Տեղադրում և թարմացում pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow-ի տեղադրում

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Տվյալների բազայի սկզբնավորում

Եվ այստեղից սկսվեցին իմ փոքրիկ դժվարությունները։ Հրահանգները պահանջում են մուտքագրել հրամանը airflow initdb և անցեք հաջորդ քայլին: Այնուամենայնիվ, ես միշտ պատասխան էի ստանում airflow: command not found. Տրամաբանական է ենթադրել, որ Apache Airflow-ի տեղադրման ժամանակ դժվարություններ են առաջացել, և անհրաժեշտ ֆայլերը պարզապես հասանելի չեն։ Համոզվելով, որ ամեն ինչ այնտեղ է, որտեղ պետք է լիներ, ես որոշեցի փորձել նշել օդային հոսքի ֆայլի ամբողջական ուղին (այն պետք է այսպիսի տեսք ունենա. Полный/путь/до/файла/airflow initdb) Բայց հրաշքը չեղավ ու պատասխանը նույնն էր airflow: command not found. Ես փորձեցի օգտագործել ֆայլի հարաբերական ուղին (./.local/bin/airflow initdb), ինչը հանգեցրեց նոր սխալի ModuleNotFoundError: No module named json'որը կարելի է հաղթահարել գրադարանի թարմացմամբ գործիք (իմ դեպքում մինչև 0.15.4 տարբերակը):

pip install werkzeug==0.15.4

Դուք կարող եք ավելին կարդալ werkzeug-ի մասին այստեղ.

Այս պարզ մանիպուլյացիայից հետո հրամանը ./.local/bin/airflow initdb հաջողությամբ ավարտվեց:

6. Airflow սերվերի գործարկում

Սրանով օդային հոսքի հասանելիության դժվարությունները չեն ավարտվում: Հրամանի գործարկում ./.local/bin/airflow webserver -p 8080 հանգեցրել է սխալի No such file or directory. Հավանաբար, Ubuntu-ի փորձառու օգտվողը անմիջապես կփորձի հաղթահարել ֆայլին մուտք գործելու նման դժվարությունները՝ օգտագործելով հրամանը. export PATH=$PATH:~/.local/bin/ (այսինքն՝ ավելացնելով /.local/bin/ գոյություն ունեցող PATH գործարկվող որոնման ճանապարհին), սակայն այս գրառումը նախատեսված է նրանց համար, ովքեր հիմնականում աշխատում են Windows-ով և կարող են չհամարել, որ այս լուծումն ակնհայտ է:

Վերևում նկարագրված մանիպուլյացիայից հետո հրամանը ./.local/bin/airflow webserver -p 8080 հաջողությամբ ավարտվեց:

7.URL: localhost: 8080 /

Եթե ​​նախորդ փուլերում ամեն ինչ լավ էր ընթանում, ապա դուք պատրաստ եք նվաճել վերլուծական գագաթները։

Հուսով եմ, որ Windows 10-ում Apache Airflow-ի տեղադրման վերը նկարագրված փորձը օգտակար կլինի սկսնակ օգտատերերի համար և կարագացնի նրանց մուտքը ժամանակակից վերլուծական գործիքների տիեզերք:

Հաջորդ անգամ ես կցանկանայի շարունակել թեման և խոսել Apache Airflow-ի օգտագործման փորձի մասին բջջային հավելվածների օգտատերերի վարքագծի վերլուծության ոլորտում։

Source: www.habr.com