Windows 10 တွင် Apache Airflow ကို ထည့်သွင်းခြင်း အတွေ့အကြုံ

နိဒါန်း: ကံကြမ္မာရဲ့ဆန္ဒအရ ပညာရပ်ဆိုင်ရာ သိပ္ပံ (ဆေးပညာ) လောကကနေ သတင်းအချက်အလက်နည်းပညာလောကထဲမှာ ငါတွေ့ခဲ့တယ်၊ ဒါပေမယ့် လက်တွေ့စမ်းသပ်မှုတစ်ခုတည်ဆောက်ပုံနဲ့ နည်းစနစ်ဆိုင်ရာ အသိပညာကိုအသုံးချပြီး စမ်းသပ်မှုအချက်အလက်တွေကို ခွဲခြမ်းစိတ်ဖြာဖို့ နည်းဗျူဟာတွေကို အသုံးချခဲ့တယ်၊ ငါ့အတွက် အသစ်သော နည်းပညာအစုတစ်ခု။ ဒီနည်းပညာတွေကို ကျွမ်းကျွမ်းကျင်ကျင် ကျွမ်းကျင်အောင် လုပ်နေတဲ့ လုပ်ငန်းစဉ်မှာ ကံကောင်းထောက်မစွာနဲ့ အခုအချိန်အထိ ကျော်လွှားနိုင်ခဲ့တဲ့ အခက်အခဲများစွာကို ကျွန်တော် ကြုံတွေ့ခဲ့ရပါတယ်။ Apache ပရောဂျက်များကို စတင်လုပ်ကိုင်နေသူများအတွက် ဤပို့စ်သည် အသုံးဝင်နိုင်မည်ဖြစ်သည်။

ဆိုတော့ ပွိုင့်. စိတ်အားတက်ကြွစေပါသည်။ ဆောင်းပါးများ Yuri Emelyanov သည် Apache Airflow ၏ အလိုအလျောက်လုပ်ဆောင်မှုနယ်ပယ်တွင် Apache Airflow ၏စွမ်းရည်များနှင့် ပတ်သက်၍၊ ကျွန်ုပ်၏အလုပ်တွင် အဆိုပြုထားသော စာကြည့်တိုက်များကို စတင်အသုံးပြုလိုပါသည်။ Apache Airflow နှင့် လုံးဝ မရင်းနှီးသေးသူများသည် တိုတောင်းသော ခြုံငုံသုံးသပ်ချက်ကို စိတ်ဝင်စားပေမည်။ ဆောင်းပါး အမျိုးသား စာကြည့်တိုက် ဝက်ဘ်ဆိုက်တွင် ဖော်ပြထားသည်။ N. E. Bauman

Airflow လည်ပတ်ခြင်းအတွက် ပုံမှန်ညွှန်ကြားချက်များသည် Windows ပတ်ဝန်းကျင်တွင် သက်ရောက်ပုံမပေါ်သောကြောင့်၊ ဤပြဿနာကိုဖြေရှင်းရန် ၎င်းကို အသုံးပြုပါ။ docker ငါ့ကိစ္စမှာ မလိုတော့ဘူး၊ တခြားဖြေရှင်းနည်းတွေကို ငါရှာခဲ့တယ်။ ကံကောင်းထောက်မစွာ၊ ကျွန်ုပ်သည် ဤလမ်းကြောင်းတွင် ပထမဆုံးမဟုတ်သောကြောင့် အံ့သြဖွယ်ကောင်းတစ်ခုကို ရှာဖွေနိုင်ခဲ့သည်။ ဗီဒီယို ညွှန်ကြားချက် Docker ကိုမသုံးဘဲ Windows 10 တွင် Apache Airflow ကိုမည်သို့တပ်ဆင်နည်း။ ဒါပေမယ့် မကြာခဏဆိုသလိုပဲ၊ အကြံပြုထားတဲ့ အဆင့်တွေကို လိုက်လျှောက်တဲ့အခါ အခက်အခဲတွေ ကြုံလာရပြီး ငါ့အတွက်တင် မဟုတ်ဘူးလို့ ယုံကြည်ပါတယ်။ ထို့ကြောင့်၊ ကျွန်ုပ်သည် Apache Airflow ကိုထည့်သွင်းခြင်းအတွေ့အကြုံအကြောင်းပြောလိုသည်၊ ၎င်းသည်တစ်စုံတစ်ဦးကိုအချိန်အနည်းငယ်သက်သာစေလိမ့်မည်ဖြစ်သည်။

ညွှန်ကြားချက်များ၏ အဆင့်များကို ဖြတ်သန်းကြပါစို့ (spoiler - 5th အဆင့်တွင် အားလုံး အဆင်ပြေသွားသည်)။

1. Linux ဖြန့်ဝေမှုများ၏ နောက်ဆက်တွဲ ထည့်သွင်းမှုအတွက် Linux အတွက် Windows Subsystem ကို ထည့်သွင်းခြင်း။

ဒါက သူတို့ပြောသလို ပြဿနာတွေထဲက အနည်းဆုံးပါ။

Control Panel → ပရိုဂရမ်များ → ပရိုဂရမ်များနှင့် အင်္ဂါရပ်များ → Windows အင်္ဂါရပ်များကို အဖွင့်အပိတ်လုပ်ခြင်း → Linux အတွက် Windows Subsystem

2. သင်နှစ်သက်ရာ Linux ဖြန့်ဖြူးမှုကို ထည့်သွင်းပါ။

လျှောက်လွှာကိုသုံးခဲ့တယ်။ Ubuntu ကို.

3. တပ်ဆင်ခြင်းနှင့် pip ကို အပ်ဒိတ်လုပ်ပါ။

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow ကို ထည့်သွင်းခြင်း။

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. ဒေတာဘေ့စ် စတင်ခြင်း

ဒီနေရာက ကျွန်မရဲ့အခက်အခဲလေးတွေ စတင်ခဲ့တယ်။ ညွှန်ကြားချက်များသည် သင့်အား အမိန့်ကို ထည့်သွင်းရန် လိုအပ်သည်။ airflow initdb ပြီးလျှင် နောက်တစ်ဆင့်သို့ ဆက်သွားပါ။ ဒါပေမယ့် ကျွန်တော် အမြဲတမ်း အဖြေတစ်ခု ရခဲ့ပါတယ်။ airflow: command not found. Apache Airflow ကို ထည့်သွင်းစဉ်အတွင်း အခက်အခဲများ ဖြစ်ပေါ်လာပြီး လိုအပ်သောဖိုင်များကို ရိုးရှင်းစွာ မရရှိနိုင်ဟု ယူဆခြင်းသည် ယုတ္တိတန်ပါသည်။ အရာအားလုံးသည် ဖြစ်သင့်သည့်နေရာဖြစ်ကြောင်း သေချာပြီးနောက်၊ လေစီးဆင်းမှုဖိုင်သို့ လမ်းကြောင်းအပြည့်အစုံကို သတ်မှတ်ရန် ကြိုးစားရန် ဆုံးဖြတ်ခဲ့သည် (၎င်းသည် ဤကဲ့သို့ ဖြစ်သင့်သည်- Полный/путь/до/файла/airflow initdb) သို့သော် အံ့ဖွယ်အမှုမဖြစ်ခဲ့ဘဲ အဖြေက အတူတူပင် airflow: command not found. ဖိုင်သို့ ဆွေမျိုးလမ်းကြောင်းကို အသုံးပြု၍ ကြိုးစားခဲ့သည် (./.local/bin/airflow initdb) အမှားအသစ်တစ်ခုဆီသို့ ဦးတည်စေခဲ့သည်။ ModuleNotFoundError: No module named json'စာကြည့်တိုက်ကို အဆင့်မြှင့်တင်ခြင်းဖြင့် ကျော်လွှားနိုင်သည်။ ကိရိယာ (ကျွန်ုပ်၏ကိစ္စတွင် ဗားရှင်း 0.15.4 အထိ)။

pip install werkzeug==0.15.4

werkzeug အကြောင်းပိုမိုဖတ်ရှုနိုင်ပါသည်။ ဒီမှာ.

ဤရိုးရှင်းသောကိုင်တွယ်ပြီးနောက် command ကို ./.local/bin/airflow initdb အောင်မြင်စွာပြီးမြောက်ခဲ့ပါသည်။

6. Airflow ဆာဗာကို စတင်ခြင်း

ဤသည်မှာ လေ၀င်လေထွက်ဝင်ရောက်ရန် အခက်အခဲများ၏ အဆုံးမဟုတ်ပါ။ အမိန့်တစ်ခုလုပ်ဆောင်ခြင်း။ ./.local/bin/airflow webserver -p 8080 error ဖြစ်ပေါ်ခဲ့သည်။ No such file or directory. အတွေ့အကြုံရှိသော Ubuntu အသုံးပြုသူတစ်ဦးသည် command ကိုအသုံးပြု၍ ဖိုင်ကိုဝင်ရောက်ခြင်းတွင်ထိုအခက်အခဲများကိုချက်ချင်းကျော်လွှားရန်ကြိုးစားလိမ့်မည်ဖြစ်သည်။ export PATH=$PATH:~/.local/bin/ (ဆိုလိုသည်မှာ၊ /.local/bin/ ကို တည်ဆဲ PATH စီမံလုပ်ဆောင်နိုင်သော ရှာဖွေမှုလမ်းကြောင်းသို့ ပေါင်းထည့်ခြင်း)၊ သို့သော် ဤပို့စ်သည် Windows နှင့် အဓိကအလုပ်လုပ်သောသူများအတွက် ရည်ရွယ်ပြီး ဤဖြေရှင်းချက်သည် ထင်ရှားသည်ဟု မထင်နိုင်ပေ။

အထက်ဖော်ပြပါ manipulation ပြီးနောက်, command ကို ./.local/bin/airflow webserver -p 8080 အောင်မြင်စွာပြီးမြောက်ခဲ့ပါသည်။

7.URL- localhost: 8080 /

ယခင်အဆင့်များတွင် အရာအားလုံး ကောင်းမွန်ခဲ့ပါက၊ သင်သည် ခွဲခြမ်းစိတ်ဖြာမှု အထွတ်အထိပ်များကို အနိုင်ယူရန် အဆင်သင့်ဖြစ်နေပါပြီ။

Windows 10 တွင် Apache Airflow ကို ထည့်သွင်းရာတွင် အထက်တွင်ဖော်ပြထားသော အတွေ့အကြုံသည် အတွေ့အကြုံမရှိသေးသော အသုံးပြုသူများအတွက် အသုံးဝင်မည်ဖြစ်ပြီး ခေတ်မီ ခွဲခြမ်းစိတ်ဖြာမှုကိရိယာများ၏ စကြဝဠာထဲသို့ ၎င်းတို့၏ဝင်ရောက်မှုကို အရှိန်မြှင့်ပေးမည်ဟု မျှော်လင့်ပါသည်။

နောက်တစ်ကြိမ်တွင် ကျွန်ုပ်သည် ခေါင်းစဉ်ကို ဆက်လက်ပြီး မိုဘိုင်းအက်ပ်လီကေးရှင်းများ၏ အသုံးပြုသူ၏အပြုအမူကို ပိုင်းခြားစိတ်ဖြာခြင်းနယ်ပယ်တွင် Apache Airflow ကိုအသုံးပြုခြင်းအတွေ့အကြုံအကြောင်း ပြောပြလိုပါသည်။

source: www.habr.com