Пешакӣ: бо хости тақдир, аз ҷаҳони илми академӣ (тиб) ман худро дар ҷаҳони технологияҳои иттилоотӣ пайдо кардам, ки дар он ман бояд дониши худро дар бораи методологияи сохтани таҷриба ва стратегияҳои таҳлили маълумоти таҷрибавӣ истифода барам, аммо татбиқ кунед. як стек технологӣ, ки барои ман нав аст. Дар рафти азхудкунии ин технология ман ба як катор душворихо дучор мешавам, ки хушбахтона, то хол бартараф карда шудаанд. Шояд ин мақола барои онҳое, ки бо лоиҳаҳои Apache кор карданро нав оғоз мекунанд, муфид бошад.
Пас, ба нукта. илҳомбахшида Юрий Емельянов дар бораи имкониятҳои Apache Airflow дар соҳаи автоматикунонии равандҳои таҳлилӣ, ман мехостам ба истифодаи маҷмӯи пешниҳодшудаи китобхонаҳо дар кори худ шурӯъ кунам. Онҳое, ки то ҳол бо Apache Airflow умуман ошно нестанд, метавонанд ба шарҳи кӯтоҳ таваҷҷӯҳ кунанд дар вебсайти Китобхонаи миллӣ. Н.Е.Бауман.
Азбаски дастурҳои муқаррарӣ барои иҷрои Airflow дар муҳит татбиқ намешаванд. Windows, ва онро барои ҳалли ин мушкилот истифода баред дар сурати ман ин зиёдатист, ман ба ҷустуҷӯи роҳҳои дигари ҳалли масъала шурӯъ кардам. Хушбахтона, ман дар ин роҳ аввалин набудам, аз ин рӯ, ба ман муяссар шуд, ки аҷибе пайдо кунам ҳангоми насб кардани Apache Airflow дар Windows 10 Бе истифодаи Docker. Аммо, чунон ки аксар вақт рух медиҳад, ҳангоми иҷрои қадамҳои тавсияшуда, мушкилот ба миён меоянд ва ман боварӣ дорам, ки танҳо нестам. Аз ин рӯ, ман мехоҳам таҷрибаи худро ҳангоми насб кардани Apache Airflow нақл кунам; шояд ин ба касе вақтро сарфа кунад.
Биёед қадамҳои дастурҳоро гузарем (спойлер - дар қадами 5 ҳама чиз хуб буд):
1. Насби зерсистема Windows барои Linux барои насби минбаъдаи тақсимот Linux
Ин камтарин мушкилот аст, чунон ки мегӯянд:
Панели идоракунӣ → Барномаҳо → Барномаҳо ва хусусиятҳо → Функсияҳоро фаъол ё ғайрифаъол кунед Windows → Зерсистема Windows барои Linux
2. Насби тақсимот Linux ихтиёрӣ
Ман барномаро истифода кардам .
3. Насб ва навсозии pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Насб кардани Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Оғозсозии пойгоҳи додаҳо
Ва аз ин ҷо душвориҳои хурди ман оғоз ёфт. Дастурҳо аз шумо талаб мекунанд, ки фармонро ворид кунед airflow initdb ва ба қадами оянда гузаред. Бо вуҷуди ин, ман ҳамеша ҷавоб гирифтам airflow: command not found. Фарз кардан мантиқ аст, ки ҳангоми насби Apache Airflow мушкилот ба вуҷуд омадаанд ва файлҳои зарурӣ дастрас нестанд. Пас аз итминон ҳосил кардам, ки ҳама чиз дар куҷост, ман қарор додам, ки роҳи пурраи файли ҷараёни ҳаворо муайян кунам (он бояд чунин бошад: Полный/путь/до/файла/airflow initdb). Аммо муъчиза руй надод ва чавоб як буд airflow: command not found. Ман кӯшиш кардам, ки роҳи нисбии файлро истифода барам (./.local/bin/airflow initdb), ки боиси хатои нав гардид ModuleNotFoundError: No module named json'ки бо рохи нав кардани китобхона бартараф кардан мумкин аст асбоб (дар ҳолати ман то версияи 0.15.4):
pip install werkzeug==0.15.4Шумо метавонед бештар дар бораи werkzeug хонед .
Пас аз ин манипуляцияи оддӣ фармон ./.local/bin/airflow initdb бомуваффакият анчом ёфт.
6. Оғози сервери Airflow
Ин охири душвориҳои дастрасӣ ба ҷараёни ҳаво нест. Иҷрои фармон ./.local/bin/airflow webserver -p 8080 боиси хатой гардид No such file or directoryЭҳтимол дорад, ки корбари ботаҷриба бошад. Ubuntu Ман фавран кӯшиш мекунам, ки чунин мушкилотро ҳангоми дастрасӣ ба файл бо истифода аз фармон бартараф кунам export PATH=$PATH:~/.local/bin/ (яъне илова кардани директорияи /.local/bin/ ба роҳи ҷустуҷӯи иҷрошавандаи мавҷуда, ки аз ҷониби тағирёбандаи PATH муайян шудааст), аммо ин паём барои онҳое пешбинӣ шудааст, ки асосан бо Windows ва шояд чунин роҳи ҳалро возеҳ нашуморад.
Пас аз манипуляцияи дар боло тавсифшуда, фармон ./.local/bin/airflow webserver -p 8080 бомуваффакият анчом ёфт.
7.URL: : 8080 /
Агар дар марҳилаҳои қаблӣ ҳама чиз хуб буд, пас шумо омодаед, ки қуллаҳои таҳлилиро фатҳ кунед.
Умедворам, ки таҷрибаи дар боло тавсифшуда барои насб кардани Apache Airflow дар Windows 10 Он барои корбарони навкор муфид хоҳад буд ва воридшавии онҳоро ба олами абзорҳои муосири таҳлилӣ суръат мебахшад.
Дафъаи дигар ман мехоҳам мавзӯъро идома диҳам ва дар бораи таҷрибаи истифодаи Apache Airflow дар соҳаи таҳлили рафтори корбарони замимаҳои мобилӣ сӯҳбат кунам.
Манбаъ: will.com
