преамбула: тагдырдын буйругу менен, академиялык илим (медицина) дүйнөсүнөн мен өзүмдү маалыматтык технологиялар дүйнөсүндө таптым, анда мен эксперимент куруунун методологиясы жана эксперименталдык маалыматтарды талдоо стратегиялары боюнча билимимди колдонушум керек, бирок мен үчүн жаңы технология стек. Бул технологияларды өздөштүрүү процессинде мен, бактыга жараша, ушул убакка чейин жеңип келген бир катар кыйынчылыктарга туш болом. Балким, бул пост Apache долбоорлору менен жаңыдан иштей баштагандар үчүн пайдалуу болот.
Ошентип, пунктка. шыктандырган Юрий Емельянов Apache Airflow'тун аналитикалык процедураларды автоматташтыруу жаатындагы мүмкүнчүлүктөрү жөнүндө, мен өз ишимде сунушталган китепканалар топтомун колдоно баштагым келди. Apache Airflow менен такыр тааныш болбогондор кыскача баяндамага кызыгышы мүмкүн Улуттук китепкананын сайтында. Н.Е.Бауман.
Airflow'ду иштетүү боюнча кадимки көрсөтмөлөр айлана-чөйрөгө туура келбей тургандыктан Windowsжана бул көйгөйдү чечүү үчүн колдонуңуз менин учурда бул ашыкча болмок, мен башка чечимдерди издей баштадым. Мен үчүн бактыга жараша, мен бул жолдо биринчи болгон жокмун, ошондуктан мен кереметтүү жолду таба алдым Apache Airflow орнотулганда Windows 10 Docker колдонбостон. Бирок, көп учурда сунушталган кадамдарды аткарганда кыйынчылыктар жаралат жана мен жалгыз эмес экениме ишенем. Андыктан, мен Apache Airflow орнотуу тажрыйбам менен бөлүшкүм келет; балким, бул кимдир бирөөгө убакытты үнөмдөөгө жардам берет.
Келгиле, нускамалардын кадамдарын карап көрөлү (спойлер - 5-кадамда баары жакшы болду):
1. Кичи системаны орнотуу Windows үчүн Linux дистрибуцияларды кийинки орнотуу үчүн Linux
Бул көйгөйлөрдүн эң азы, алар айткандай:
Башкаруу панели → Программалар → Программалар жана функциялар → Функцияларды күйгүзүү же өчүрүү Windows → Кичи система Windows үчүн Linux
2. Бөлүштүрүүнү орнотуу Linux милдеттүү эмес
Мен колдонмону колдондум .
3. Пипти орнотуу жана жаңыртуу
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Apache Airflow орнотуу
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Маалыматтар базасын инициализациялоо
Мына ушул жерден менин кичинекей кыйынчылыктарым башталды. Көрсөтмөлөр сизден буйрукту киргизүүнү талап кылат airflow initdb жана кийинки кадамга өтүңүз. Бирок, мен дайыма жооп алдым airflow: command not found. Apache Airflow орнотуу учурунда кыйынчылыктар пайда болгон жана керектүү файлдар жөн эле жеткиликтүү эмес деп болжолдоо логикалык. Баары болушу керек жерде экенине ынангандан кийин, мен аба агымынын файлына толук жолду көрсөтүүнү чечтим (ал төмөнкүдөй болушу керек: Полный/путь/до/файла/airflow initdb). Бирок керемет болбой, жооп бирдей эле airflow: command not found. Мен файлга салыштырмалуу жолду колдонууга аракет кылдым (./.local/bin/airflow initdb), бул жаңы катага алып келди ModuleNotFoundError: No module named json'китепкананы жаңылоо аркылуу жеңүүгө болот курал (менин учурда 0.15.4 версиясына чейин):
pip install werkzeug==0.15.4Werkzeug жөнүндө көбүрөөк окуй аласыз .
Бул жөнөкөй манипуляциядан кийин буйрук ./.local/bin/airflow initdb ийгиликтүү аяктады.
6. Airflow серверин ишке киргизүү
Муну менен аба агымына жетүүдөгү кыйынчылыктар бүтпөйт. Команданы иштетүү ./.local/bin/airflow webserver -p 8080 катага алып келди No such file or directoryКыязы, тажрыйбалуу колдонуучу. Ubuntu Мен дароо эле буйрукту колдонуп, файлга кирүүдөгү мындай кыйынчылыктарды жеңүүгө аракет кылмакмын export PATH=$PATH:~/.local/bin/ (башкача айтканда, /.local/bin/ каталогун PATH өзгөрмөсү менен аныкталган учурдагы аткарылуучу издөө жолуна кошуу), бирок бул пост негизинен ... менен иштегендер үчүн арналган. Windows жана мындай чечимди ачык деп эсептебеши мүмкүн.
Жогоруда айтылган манипуляциядан кийин, буйрук ./.local/bin/airflow webserver -p 8080 ийгиликтүү аяктады.
7.URL: : 8080 /
Эгер мурунку этаптарда баары ойдогудай болсо, анда сиз аналитикалык чокуларды багындырууга даярсыз.
Apache Airflow орнотуу үчүн жогоруда сүрөттөлгөн тажрыйбага ээ болосуз деп үмүттөнөм Windows 10 Бул жаңыдан баштаган колдонуучулар үчүн пайдалуу болот жана алардын заманбап аналитикалык куралдардын дүйнөсүнө кирүүсүн тездетет.
Кийинки жолу мен теманы улантып, мобилдик тиркемелерди колдонуучу жүрүм-турумун талдоо жаатында Apache Airflow колдонуу тажрыйбасы жөнүндө айткым келет.
Source: www.habr.com
