преамбула: тагдырдын буйругу менен, академиялык илим (медицина) дүйнөсүнөн мен өзүмдү маалыматтык технологиялар дүйнөсүндө таптым, анда мен эксперимент куруунун методологиясы жана эксперименталдык маалыматтарды талдоо стратегиялары боюнча билимимди колдонушум керек, бирок мен үчүн жаңы технология стек. Бул технологияларды өздөштүрүү процессинде мен, бактыга жараша, ушул убакка чейин жеңип келген бир катар кыйынчылыктарга туш болом. Балким, бул пост Apache долбоорлору менен жаңыдан иштей баштагандар үчүн пайдалуу болот.
Ошентип, пунктка. шыктандырган Юрий Емельянов Apache Airflow'тун аналитикалык процедураларды автоматташтыруу жаатындагы мүмкүнчүлүктөрү жөнүндө, мен өз ишимде сунушталган китепканалар топтомун колдоно баштагым келди. Apache Airflow менен такыр тааныш болбогондор кыскача баяндамага кызыгышы мүмкүн Улуттук китепкананын сайтында. Н.Е.Бауман.
Аба агымын иштетүү боюнча кадимки көрсөтмөлөр Windows чөйрөсүндө колдонулбагандыктан, бул көйгөйдү чечүү үчүн колдонуңуз менин учурда бул ашыкча болмок, мен башка чечимдерди издей баштадым. Мен үчүн бактыга жараша, мен бул жолдо биринчи болгон жокмун, ошондуктан мен кереметтүү жолду таба алдым Apache Airflow'ту Windows 10до Docker колдонбостон кантип орнотуу керек. Бирок, көп учурда, сунуш кылынган кадамдарды аткарууда кыйынчылыктар пайда болот, жана мен ишенем, мен үчүн гана эмес. Ошондуктан, мен Apache Airflow орнотуу тажрыйбам жөнүндө айткым келет, балким, бул кимдир бирөөнүн убактысын бир аз үнөмдөйт.
Келгиле, нускамалардын кадамдарын карап көрөлү (спойлер - 5-кадамда баары жакшы болду):
1. Linux дистрибуцияларын кийинки орнотуу үчүн Linux үчүн Windows подсистемасын орнотуу
Бул көйгөйлөрдүн эң азы, алар айткандай:
Башкаруу панели → Программалар → Программалар жана Функциялар → Windows функцияларын күйгүзүү же өчүрүү → Linux үчүн Windows субсистемасы
2. Өзүңүз каалаган Linux дистрибутивин орнотуңуз
Мен колдонмону колдондум .
3. Пипти орнотуу жана жаңыртуу
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Apache Airflow орнотуу
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Маалыматтар базасын инициализациялоо
Мына ушул жерден менин кичинекей кыйынчылыктарым башталды. Көрсөтмөлөр сизден буйрукту киргизүүнү талап кылат airflow initdb жана кийинки кадамга өтүңүз. Бирок, мен дайыма жооп алдым airflow: command not found. Apache Airflow орнотуу учурунда кыйынчылыктар пайда болгон жана керектүү файлдар жөн эле жеткиликтүү эмес деп болжолдоо логикалык. Баары болушу керек жерде экенине ынангандан кийин, мен аба агымынын файлына толук жолду көрсөтүүнү чечтим (ал төмөнкүдөй болушу керек: Полный/путь/до/файла/airflow initdb). Бирок керемет болбой, жооп бирдей эле airflow: command not found. Мен файлга салыштырмалуу жолду колдонууга аракет кылдым (./.local/bin/airflow initdb), бул жаңы катага алып келди ModuleNotFoundError: No module named json'китепкананы жаңылоо аркылуу жеңүүгө болот курал (менин учурда 0.15.4 версиясына чейин):
pip install werkzeug==0.15.4Werkzeug жөнүндө көбүрөөк окуй аласыз .
Бул жөнөкөй манипуляциядан кийин буйрук ./.local/bin/airflow initdb ийгиликтүү аяктады.
6. Airflow серверин ишке киргизүү
Муну менен аба агымына жетүүдөгү кыйынчылыктар бүтпөйт. Команданы иштетүү ./.local/bin/airflow webserver -p 8080 катага алып келди No such file or directory. Балким, тажрыйбалуу Ubuntu колдонуучусу дароо эле буйрукту колдонуу менен файлга кирүү менен мындай кыйынчылыктарды жеңүүгө аракет кылат. export PATH=$PATH:~/.local/bin/ (башкача айтканда, /.local/bin/ дегенди учурдагы PATH аткарылуучу издөө жолуна кошуу), бирок бул пост негизинен Windows менен иштегендер үчүн арналган жана бул чечим анык деп ойлобошу мүмкүн.
Жогоруда айтылган манипуляциядан кийин, буйрук ./.local/bin/airflow webserver -p 8080 ийгиликтүү аяктады.
7.URL: : 8080 /
Эгер мурунку этаптарда баары ойдогудай болсо, анда сиз аналитикалык чокуларды багындырууга даярсыз.
Windows 10до Apache Airflow орнотууда жогоруда сүрөттөлгөн тажрыйба башталгыч колдонуучулар үчүн пайдалуу болот жана алардын заманбап аналитика куралдарынын ааламына киришин тездетет деп үмүттөнөм.
Кийинки жолу мен теманы улантып, мобилдик тиркемелерди колдонуучу жүрүм-турумун талдоо жаатында Apache Airflow колдонуу тажрыйбасы жөнүндө айткым келет.
Source: www.habr.com