Кіріспе: тағдырдың қалауымен, академиялық ғылым (медицина) әлемінен мен өзімді ақпараттық технологиялар әлемінде таптым, онда мен экспериментті құру әдіснамасы мен эксперименттік деректерді талдау стратегиялары туралы білімімді пайдалануым керек, дегенмен, қолданамын. мен үшін жаңа технологиялық стек. Осы технологияларды меңгеру барысында мен бірқатар қиындықтарға кезігемін, бақытымызға орай, осы уақытқа дейін олар еңсерілді. Мүмкін бұл жазба Apache жобаларымен жұмыс істей бастағандар үшін пайдалы болуы мүмкін.
Сонымен, нүктеге дейін. шабыттандырды Юрий Емельянов Apache Airflow-тың аналитикалық процедураларды автоматтандыру саласындағы мүмкіндіктері туралы, мен өз жұмысымда ұсынылған кітапханалар жинағын пайдалана бастағым келді. Apache Airflow-пен әлі таныс емес адамдар қысқаша шолуға қызығушылық танытуы мүмкін Ұлттық кітапхананың сайтында. Н.Е.Бауман.
Поскольку обычные инструкции для запуска Airflow, судя по всему, не применяются в среде Windows, а использовать для решения данной задачи менің жағдайда бұл артық болар еді, мен басқа шешімдерді іздей бастадым. Бақытымызға орай, мен бұл жолда бірінші болған жоқпын, сондықтан мен керемет таптым по установке Apache Airflow в Windows 10 без использования докера. Но, как это часто и бывает, при выполнении рекомендуемых шагов, возникают трудности, и, полагаю, не только у меня. Поэтому я хотела бы рассказать о своем опыте установки Apache Airflow, возможно кому-то это сэкономит немного времени.
Нұсқаулардың қадамдарынан өтейік (спойлер - 5-қадамда бәрі жақсы болды):
1. Установка подсистемы Windows үшін Linux для последующей установки дистрибутивов Linux
Бұл проблемалардың ең азы, олар айтқандай:
Панель управления → Программы → Программы и компоненты → Включение и отключение компонентов Windows → Подсистема Windows үшін Linux
2. Установка дистрибутива Linux таңдау бойынша
қолданбаны қолдандым .
3. Пипті орнату және жаңарту
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Apache Airflow орнату
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Мәліметтер базасын инициализациялау
Міне, менің кішкентай қиындықтарым осыдан басталды. Нұсқаулар пәрменді енгізуді талап етеді airflow initdb және келесі қадамға өтіңіз. Дегенмен, мен әрқашан жауап алдым airflow: command not found. Apache Airflow орнату кезінде қиындықтар туындады және қажетті файлдар жай ғана қол жетімді емес деп болжау қисынды. Барлығы қажет жерде екеніне көз жеткізгеннен кейін мен ауа ағыны файлына толық жолды көрсетуге тырыстым (ол келесідей болуы керек: Полный/путь/до/файла/airflow initdb). Бірақ ғажайып болмады және жауап бірдей болды airflow: command not found. Мен файлға қатысты жолды пайдаланып көрдім (./.local/bin/airflow initdb), бұл жаңа қатеге әкелді ModuleNotFoundError: No module named json'кітапхананы жаңарту арқылы еңсеруге болады құрал (менің жағдайда 0.15.4 нұсқасына дейін):
pip install werkzeug==0.15.4Werkzeug туралы көбірек оқи аласыз .
Осы қарапайым манипуляциядан кейін команда ./.local/bin/airflow initdb сәтті аяқталды.
6. Airflow серверін іске қосу
Бұл ауа ағынына қол жеткізудегі қиындықтардың соңы емес. Пәрменді орындау ./.local/bin/airflow webserver -p 8080 қатеге әкелді No such file or directory. Вероятно, опытный пользователь Ubuntu сразу бы попробовал преодолеть такие трудности с обращением к файлу, применив команду export PATH=$PATH:~/.local/bin/ (то есть, добавив к существующему пути поиска исполняемых файлов, определяемому переменной PATH каталог /.local/bin/), но этот пост предназначен для тех, кто преимущественно работает с Windows и, возможно, не считает такое решение очевидным.
Жоғарыда сипатталған манипуляциядан кейін команда ./.local/bin/airflow webserver -p 8080 сәтті аяқталды.
7.URL: : 8080 /
Егер алдыңғы кезеңдерде бәрі ойдағыдай болса, онда сіз аналитикалық шыңдарды бағындыруға дайынсыз.
Надеюсь, описанный выше опыт установки Apache Airflow на Windows 10 будет полезен начинающим пользователям и ускорит их вхождение во вселенную современных инструментов аналитики.
Келесі жолы мен тақырыпты жалғастырғым келеді және мобильді қосымшалардың пайдаланушы әрекетін талдау саласында Apache Airflow пайдалану тәжірибесі туралы айтқым келеді.
Ақпарат көзі: www.habr.com
