مقدمه: به خواست سرنوشت، از دنیای علم دانشگاهی (پزشکی) خود را در دنیای فناوری اطلاعات یافتم، جایی که باید از دانش خود در مورد روش شناسی ساخت آزمایش و استراتژی هایی برای تجزیه و تحلیل داده های تجربی استفاده کنم، با این حال، اعمال می شود. یک پشته فناوری که برای من جدید است. در روند تسلط بر این فناوری ها با یکسری مشکلات مواجه می شوم که خوشبختانه تا کنون بر آن ها غلبه کرده اند. شاید این پست برای کسانی که تازه شروع به کار با پروژه های آپاچی کرده اند مفید باشد.
بنابراین، به نقطه. الهام گرفته یوری املیانوف در مورد قابلیت های Apache Airflow در زمینه اتوماسیون رویه های تحلیلی، من می خواستم شروع به استفاده از مجموعه پیشنهادی از کتابخانه ها در کار خود کنم. کسانی که هنوز اصلاً با Apache Airflow آشنایی ندارند، ممکن است به یک مرور کوتاه علاقه مند باشند در سایت کتابخانه ملی N. E. Bauman.
از آنجایی که به نظر نمی رسد دستورالعمل های معمول برای اجرای Airflow در محیط ویندوز اعمال شود، از این برای حل این مشکل استفاده کنید در مورد من این کار اضافی است، من شروع به جستجوی راه حل های دیگر کردم. خوشبختانه برای من، من اولین نفر در این مسیر نبودم، بنابراین موفق شدم یک شگفت انگیز پیدا کنم نحوه نصب Apache Airflow در ویندوز 10 بدون استفاده از Docker. اما، همانطور که اغلب اتفاق می افتد، هنگام پیروی از مراحل توصیه شده، مشکلاتی پیش می آید، و به اعتقاد من، نه تنها برای من. بنابراین، من می خواهم در مورد تجربه خود در نصب Apache Airflow صحبت کنم، شاید این کار باعث صرفه جویی در وقت کسی شود.
بیایید مراحل دستورالعمل ها را طی کنیم (اسپویلر - همه چیز در مرحله 5 خوب پیش رفت):
1. نصب زیرسیستم ویندوز برای لینوکس برای نصب بعدی توزیع های لینوکس
این کمترین مشکل است که می گویند:
کنترل پنل → برنامه ها → برنامه ها و ویژگی ها → روشن یا خاموش کردن ویژگی های ویندوز → زیر سیستم ویندوز برای لینوکس
2. توزیع لینوکس مورد نظر خود را نصب کنید
من از برنامه استفاده کردم .
3. نصب و به روز رسانی پیپ
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. نصب Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. مقداردهی اولیه پایگاه داده
و از اینجا بود که سختی های کوچک من شروع شد. دستورالعمل ها از شما می خواهند که دستور را وارد کنید airflow initdb و به مرحله بعد بروید. با این حال همیشه جواب می گرفتم airflow: command not found. منطقی است که فرض کنیم در هنگام نصب Apache Airflow مشکلاتی به وجود آمده است و فایل های لازم به سادگی در دسترس نیستند. پس از اطمینان از اینکه همه چیز در جایی است که باید باشد، تصمیم گرفتم مسیر کامل فایل جریان هوا را مشخص کنم (باید به شکل زیر باشد: Полный/путь/до/файла/airflow initdb). اما معجزه اتفاق نیفتاد و پاسخ همان بود airflow: command not found. من سعی کردم از یک مسیر نسبی به فایل استفاده کنم (./.local/bin/airflow initdb) که منجر به یک خطای جدید شد ModuleNotFoundError: No module named json'که می توان با به روز رسانی کتابخانه بر آن غلبه کرد ابزار (در مورد من تا نسخه 0.15.4):
pip install werkzeug==0.15.4می توانید در مورد werkzeug بیشتر بخوانید .
پس از این دستکاری ساده دستور ./.local/bin/airflow initdb با موفقیت تکمیل شد.
6. راه اندازی سرور Airflow
این پایان مشکلات دسترسی به جریان هوا نیست. اجرای یک فرمان ./.local/bin/airflow webserver -p 8080 منجر به خطا شد No such file or directory. احتمالاً یک کاربر باتجربه اوبونتو بلافاصله سعی می کند با استفاده از دستور بر چنین مشکلاتی در دسترسی به فایل غلبه کند. export PATH=$PATH:~/.local/bin/ (یعنی افزودن /.local/bin/ به مسیر جستجوی اجرایی PATH موجود)، اما این پست برای کسانی است که عمدتاً با ویندوز کار می کنند و ممکن است فکر کنند این راه حل واضح نیست.
پس از دستکاری که در بالا توضیح داده شد، دستور ./.local/bin/airflow webserver -p 8080 با موفقیت به پایان رسید.
7. آدرس اینترنتی: : 8080 /
اگر در مراحل قبلی همه چیز به خوبی پیش رفت، پس آماده فتح قله های تحلیلی هستید.
امیدوارم تجربه ای که در بالا در نصب Apache Airflow در ویندوز 10 توضیح داده شد برای کاربران تازه کار مفید باشد و ورود آنها به دنیای ابزارهای تحلیلی مدرن را سرعت بخشد.
دفعه بعد می خواهم موضوع را ادامه دهم و در مورد تجربه استفاده از Apache Airflow در زمینه تحلیل رفتار کاربران اپلیکیشن های موبایل صحبت کنم.
منبع: www.habr.com