Оршил: хувь заяаны хүслээр, эрдэм шинжилгээний ертөнцөөс (анагаах ухаан) би туршилт хийх арга зүй, туршилтын өгөгдөлд дүн шинжилгээ хийх стратегийн талаархи мэдлэгээ ашиглах ёстой мэдээллийн технологийн ертөнцөд өөрийгөө олж авлаа. миний хувьд шинэ технологийн стек. Эдгээр технологийг эзэмших явцад би хэд хэдэн бэрхшээлтэй тулгардаг бөгөөд аз болоход өнөөг хүртэл даван туулж байна. Магадгүй энэ нийтлэл нь Apache төслүүдтэй ажиллаж эхэлж буй хүмүүст хэрэг болох байх.
Тиймээс, цэг рүү. Онгод орсон Юрий Емельянов аналитик процедурыг автоматжуулах чиглэлээр Apache Airflow-ийн чадавхийн талаар би санал болгож буй номын сангуудыг ажилдаа ашиглаж эхлэхийг хүссэн. Apache Airflow-ийн талаар огт мэддэггүй хүмүүс товч тоймыг сонирхож магадгүй юм Үндэсний номын сангийн вэб сайтад. Н.Е.Бауман.
Агаарын урсгалыг ажиллуулах ердийн заавар нь Windows-ийн орчинд тохирохгүй байгаа тул энэ асуудлыг шийдэхийн тулд үүнийг ашиглана уу Миний хувьд энэ нь илүүц байх болно, би өөр шийдлийг хайж эхлэв. Миний хувьд аз болоход би энэ замд анхных биш байсан тул би гайхалтай зүйлийг олж чадсан Docker ашиглахгүйгээр Windows 10 дээр Apache Airflow-ийг хэрхэн суулгах вэ. Гэхдээ ихэвчлэн тохиолддог шиг, санал болгож буй алхмуудыг дагаж мөрдөхөд бэрхшээлтэй тулгардаг бөгөөд зөвхөн надад ч биш гэдэгт би итгэдэг. Тиймээс би Apache Airflow суулгасан туршлагаасаа ярихыг хүсч байна, магадгүй энэ нь хэн нэгэнд бага зэрэг цаг хэмнэх болно.
Зааврын алхмуудыг авч үзье (спойлер - 5-р алхам дээр бүх зүйл хэвийн болсон):
1. Линуксийн түгээлтүүдийг дараа нь суулгахын тулд Linux-д зориулсан Windows дэд системийг суулгаж байна
Энэ бол тэдний хэлснээр хамгийн бага асуудал юм.
Хяналтын самбар → Програмууд → Програм ба онцлогууд → Windows функцуудыг асаах, унтраах → Linux-д зориулсан Windows дэд систем
2. Өөрийн сонгосон Linux түгээлтийг суулгана уу
Би програмыг ашигласан .
3. Суулгах, шинэчлэх pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Apache Airflow суулгаж байна
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Өгөгдлийн санг эхлүүлэх
Эндээс л миний бяцхан бэрхшээл эхэлсэн. Заавар нь тушаалыг оруулахыг шаарддаг airflow initdb мөн дараагийн алхам руу шилжинэ. Гэсэн хэдий ч би үргэлж хариулт авдаг airflow: command not found. Apache Airflow-ийг суулгах явцад хүндрэл гарсан гэж үзэх нь логик бөгөөд шаардлагатай файлуудыг ашиглах боломжгүй байна. Бүх зүйл байх ёстой газартаа байгаа эсэхийг шалгасны дараа би агаарын урсгалын файлын бүрэн замыг зааж өгөхөөр шийдсэн (энэ нь иймэрхүү харагдах ёстой: Полный/путь/до/файла/airflow initdb). Гэвч гайхамшиг тохиолдсонгүй, хариулт нь ижил байв airflow: command not found. Би файлын харьцангуй замыг ашиглахыг оролдсон (./.local/bin/airflow initdb), энэ нь шинэ алдаа гаргахад хүргэсэн ModuleNotFoundError: No module named json'номын санг шинэчлэх замаар үүнийг даван туулах боломжтой хэрэгсэл (миний хувьд 0.15.4 хувилбар хүртэл):
pip install werkzeug==0.15.4Та werkzeug-ийн талаар илүү ихийг уншиж болно .
Энэхүү энгийн заль мэхийн дараа тушаалыг өгнө ./.local/bin/airflow initdb амжилттай дууссан.
6. Airflow серверийг ажиллуулж байна
Энэ нь агаарын урсгалд хүрэхэд тулгарч буй бэрхшээлүүдийн төгсгөл биш юм. Команд ажиллуулж байна ./.local/bin/airflow webserver -p 8080 алдаа гарсан No such file or directory. Магадгүй туршлагатай Ubuntu хэрэглэгч тушаалыг ашиглан файл руу нэвтрэхэд ийм бэрхшээлийг тэр даруй даван туулахыг оролддог. export PATH=$PATH:~/.local/bin/ (жишээ нь, одоо байгаа PATH гүйцэтгэгдэх хайлтын замд /.local/bin/-г нэмэх), гэхдээ энэ нийтлэл нь Windows дээр ажилладаг хүмүүст зориулагдсан бөгөөд энэ шийдэл нь тодорхой биш байж магадгүй юм.
Дээр дурдсан заль мэх хийсний дараа тушаал ./.local/bin/airflow webserver -p 8080 амжилттай дууссан.
7.URL: : 8080 оны /
Хэрэв өмнөх үе шатанд бүх зүйл сайн байсан бол та аналитик оргилуудыг даван туулахад бэлэн байна.
Windows 10 дээр Apache Airflow-ийг суулгах талаар дээр дурдсан туршлага нь шинэхэн хэрэглэгчдэд хэрэг болж, орчин үеийн аналитик хэрэгслийн орчлонд нэвтрэхийг хурдасгана гэж найдаж байна.
Дараагийн удаа би сэдвийг үргэлжлүүлж, мобайл програмын хэрэглэгчийн зан төлөвт дүн шинжилгээ хийх чиглэлээр Apache Airflow ашиглах туршлагын талаар ярихыг хүсч байна.
Эх сурвалж: www.habr.com