Windows 10 හි Apache Airflow ස්ථාපනය කිරීමේ අත්දැකීම

පූර්විකාව: දෛවයේ කැමැත්ත අනුව, ශාස්ත්‍රීය විද්‍යාවේ (වෛද්‍ය) ලෝකයෙන්, මම තොරතුරු තාක්‍ෂණ ලෝකයේ මා සොයා ගත්තෙමි, එහිදී මට අත්හදා බැලීමක් ගොඩනැගීමේ ක්‍රමවේදය සහ පර්යේෂණාත්මක දත්ත විශ්ලේෂණය කිරීමේ උපාය මාර්ග පිළිබඳ මගේ දැනුම භාවිතා කළ යුතුය. මට අලුත් තාක්ෂණික තොගයක් යොදන්න. මෙම තාක්ෂණයන් ප්‍රගුණ කිරීමේ ක්‍රියාවලියේදී, වාසනාවකට මෙන්, මෙතෙක් ජයගෙන ඇති දුෂ්කරතා ගණනාවකට මට මුහුණ දීමට සිදුවේ. Apache ව්‍යාපෘති සමඟ වැඩ කිරීමට පටන් ගන්නා අයට සමහර විට මෙම ලිපිය ප්‍රයෝජනවත් වනු ඇත.

ඉතින්, කාරණයට. දේවානුභාවයෙන් ලිපි විශ්ලේෂණ ක්‍රියා පටිපාටි ස්වයංක්‍රීය කිරීමේ ක්‍ෂේත්‍රයේ Apache Airflow හි හැකියාවන් ගැන යූරි එමෙලියානොව්, මගේ වැඩ කටයුතුවලදී යෝජිත පුස්තකාල කට්ටලය භාවිතා කිරීම ආරම්භ කිරීමට මට අවශ්‍ය විය. Apache Airflow ගැන තවමත් හුරුපුරුදු නැති අය කෙටි දළ විශ්ලේෂණයක් ගැන උනන්දු විය හැකිය ලිපියක් ජාතික පුස්තකාලයේ වෙබ් අඩවියේ. එන්.ඊ.බෝමන්.

වායු ප්‍රවාහය ක්‍රියාත්මක කිරීම සඳහා වන සාමාන්‍ය උපදෙස් වින්ඩෝස් පරිසරයක යෙදෙන බවක් නොපෙනෙන බැවින්, මෙම ගැටළුව විසඳීමට මෙය භාවිතා කරන්න ඩොකර් මගේ නඩුවේදී එය අතිරික්ත වනු ඇත, මම වෙනත් විසඳුම් සෙවීමට පටන් ගතිමි. වාසනාවකට මෙන්, මම මෙම මාවතේ පළමුවැන්නා නොවීය, එබැවින් මට අපූරු එකක් සොයා ගැනීමට හැකි විය වීඩියෝ උපදෙස් ඩොකර් භාවිතා නොකර Windows 10 හි Apache Airflow ස්ථාපනය කරන්නේ කෙසේද. එහෙත්, බොහෝ විට සිදු වන පරිදි, නිර්දේශිත පියවරයන් අනුගමනය කරන විට, දුෂ්කරතා පැනනගින අතර, මම විශ්වාස කරන්නේ, මට පමණක් නොවේ. එමනිසා, Apache Airflow ස්ථාපනය කිරීමේ මගේ අත්දැකීම ගැන කතා කිරීමට මම කැමතියි, සමහර විට එය යමෙකුට සුළු කාලයක් ඉතිරි කර දෙනු ඇත.

අපි උපදෙස් වල පියවර හරහා යමු (ස්පොයිලර් - 5 වන පියවරේදී සියල්ල හොඳින් සිදු විය):

1. ලිනක්ස් බෙදාහැරීම් පසුව ස්ථාපනය කිරීම සඳහා ලිනක්ස් සඳහා වින්ඩෝස් උප පද්ධතිය ස්ථාපනය කිරීම

ඔවුන් පවසන පරිදි මෙය අවම ගැටළු වේ:

පාලන පැනලය → වැඩසටහන් → වැඩසටහන් සහ විශේෂාංග → වින්ඩෝස් විශේෂාංග සක්‍රිය හෝ අක්‍රිය කරන්න → ලිනක්ස් සඳහා වින්ඩෝස් උප පද්ධතිය

2. ඔබ කැමති Linux බෙදාහැරීම ස්ථාපනය කරන්න

මම යෙදුම භාවිතා කළා උබුන්ටු.

3. ස්ථාපනය සහ යාවත්කාලීන පයිප්ප

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow ස්ථාපනය කිරීම

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. දත්ත සමුදාය ආරම්භ කිරීම

මගේ කුඩා දුෂ්කරතා ආරම්භ වූයේ මෙතැනිනි. උපදෙස් මඟින් ඔබට විධානය ඇතුළත් කිරීමට අවශ්‍ය වේ airflow initdb සහ ඊළඟ පියවර වෙත යන්න. කෙසේ වෙතත්, මට සෑම විටම පිළිතුරක් ලැබුණි airflow: command not found. Apache Airflow ස්ථාපනය කිරීමේදී දුෂ්කරතා ඇති වූ අතර අවශ්‍ය ලිපිගොනු සරලව ලබා ගත නොහැකි බව උපකල්පනය කිරීම තර්කානුකූල ය. සෑම දෙයක්ම තිබිය යුත්තේ කොතැනද යන්න තහවුරු කර ගැනීමෙන් පසුව, ගුවන් ප්රවාහ ගොනුව වෙත සම්පූර්ණ මාර්ගය සඳහන් කිරීමට මම තීරණය කළෙමි (එය මේ ආකාරයෙන් විය යුතුය: Полный/путь/до/файла/airflow initdb) නමුත් ආශ්චර්යය සිදු නොවූ අතර පිළිතුර එයම විය airflow: command not found. මම ගොනුවට සාපේක්ෂ මාර්ගයක් භාවිතා කිරීමට උත්සාහ කළෙමි (./.local/bin/airflow initdb), එය නව දෝෂයකට තුඩු දුන්නේය ModuleNotFoundError: No module named json'පුස්තකාලය යාවත්කාලීන කිරීමෙන් ජය ගත හැක මෙවලම (මගේ නඩුවේ 0.15.4 අනුවාදය දක්වා):

pip install werkzeug==0.15.4

ඔබට werkzeug ගැන වැඩිදුර කියවිය හැක මෙහි.

මෙම සරල හැසිරවීමෙන් පසු විධානය ./.local/bin/airflow initdb සාර්ථකව නිම කරන ලදී.

6. Airflow සේවාදායකය දියත් කිරීම

මෙය වායු ප්රවාහයට පිවිසීමේ දුෂ්කරතා අවසන් නොවේ. විධානයක් ක්රියාත්මක කිරීම ./.local/bin/airflow webserver -p 8080 දෝෂයක් ඇති විය No such file or directory. බොහෝ විට, පළපුරුදු උබුන්ටු පරිශීලකයෙකු විධානය භාවිතා කිරීමෙන් ගොනුවට ප්‍රවේශ වීමේදී එවැනි දුෂ්කරතා මඟහරවා ගැනීමට වහාම උත්සාහ කරනු ඇත. export PATH=$PATH:~/.local/bin/ (එනම්, දැනට පවතින PATH ක්‍රියාත්මක කළ හැකි සෙවුම් මාර්ගයට /.local/bin/ එකතු කිරීම), නමුත් මෙම සටහන මූලික වශයෙන් Windows සමඟ වැඩ කරන සහ මෙම විසඳුම පැහැදිලි යැයි නොසිතන අය සඳහා අදහස් කෙරේ.

ඉහත විස්තර කර ඇති හැසිරවීමෙන් පසුව, විධානය ./.local/bin/airflow webserver -p 8080 සාර්ථකව නිම කරන ලදී.

7.URL: දේශීයව: 8080 /

පෙර අදියරවලදී සෑම දෙයක්ම හොඳින් සිදු වූවා නම්, ඔබ විශ්ලේෂණාත්මක මුදුන් ජය ගැනීමට සූදානම්.

Windows 10 හි Apache Airflow ස්ථාපනය කිරීමේදී ඉහත විස්තර කර ඇති අත්දැකීම නවක පරිශීලකයින්ට ප්‍රයෝජනවත් වනු ඇති අතර නවීන විශ්ලේෂණ මෙවලම් විශ්වයට ඔවුන්ගේ ප්‍රවේශය වේගවත් කරනු ඇතැයි මම බලාපොරොත්තු වෙමි.

ඊළඟ වතාවේ මම මාතෘකාව දිගටම කරගෙන යාමට සහ ජංගම යෙදුම්වල පරිශීලක හැසිරීම් විශ්ලේෂණය කිරීමේ ක්ෂේත්‍රයේ Apache Airflow භාවිතා කිරීමේ අත්දැකීම ගැන කතා කිරීමට කැමැත්තෙමි.

මූලාශ්රය: www.habr.com