تجربة تثبيت Apache Airflow على نظام التشغيل Windows 10

مقدمة: بإرادة القدر، من عالم العلوم الأكاديمية (الطب) وجدت نفسي في عالم تكنولوجيا المعلومات، حيث لا بد لي من استخدام معرفتي بمنهجية بناء التجربة واستراتيجيات تحليل البيانات التجريبية، ولكن تطبيقها كومة التكنولوجيا الجديدة بالنسبة لي. في عملية إتقان هذه التقنيات، أواجه عددًا من الصعوبات، والتي لحسن الحظ تم التغلب عليها حتى الآن. ربما يكون هذا المنشور مفيدًا لأولئك الذين بدأوا للتو العمل مع مشاريع Apache.

لذلك، إلى هذه النقطة. مستوحاه مقالة - سلعة يوري إميليانوف حول إمكانيات Apache Airflow في مجال أتمتة الإجراءات التحليلية، أردت أن أبدأ في استخدام مجموعة المكتبات المقترحة في عملي. قد يكون أولئك الذين ليسوا على دراية بـ Apache Airflow مهتمين بإلقاء نظرة عامة قصيرة عليه مقالة على الموقع الإلكتروني للمكتبة الوطنية. إن إي بومان.

نظرًا لأن الإرشادات المعتادة لتشغيل Airflow لا يبدو أنها تنطبق على بيئة Windows، استخدم هذا لحل هذه المشكلة عامل ميناء في حالتي سيكون الأمر زائداً عن الحاجة، بدأت بالبحث عن حلول أخرى. لحسن الحظ بالنسبة لي، لم أكن الأول على هذا الطريق، لذلك تمكنت من العثور على شيء رائع تعليمات الفيديو كيفية تثبيت Apache Airflow على نظام التشغيل Windows 10 دون استخدام Docker. ولكن، كما يحدث في كثير من الأحيان، عند اتباع الخطوات الموصى بها، تنشأ الصعوبات، وأعتقد، ليس فقط بالنسبة لي. لذلك، أود أن أتحدث عن تجربتي في تثبيت Apache Airflow، ربما سيوفر ذلك بعض الوقت لشخص ما.

دعنا نستعرض خطوات التعليمات (حرق المعلومات - كل شيء سار على ما يرام في الخطوة الخامسة):

1. تثبيت نظام Windows الفرعي لنظام Linux للتثبيت اللاحق لتوزيعات Linux

وهذا أقل المشاكل كما يقولون:

لوحة التحكم ← البرامج ← البرامج والميزات ← تشغيل ميزات Windows أو إيقاف تشغيلها ← نظام Windows الفرعي لنظام التشغيل Linux

2. قم بتثبيت توزيعة Linux التي تختارها

لقد استخدمت التطبيق أوبونتو.

3. نقطة التثبيت والتحديث

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. تثبيت تدفق الهواء أباتشي

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. تهيئة قاعدة البيانات

وهنا بدأت الصعوبات الصغيرة التي أواجهها. تتطلب التعليمات منك إدخال الأمر airflow initdb وانتقل إلى الخطوة التالية. ومع ذلك، كنت أتلقى دائمًا إجابة airflow: command not found. من المنطقي الافتراض أن الصعوبات نشأت أثناء تثبيت Apache Airflow وأن الملفات الضرورية غير متوفرة ببساطة. بعد التأكد من أن كل شيء في مكانه الصحيح، قررت أن أحاول تحديد المسار الكامل لملف تدفق الهواء (يجب أن يبدو كما يلي: Полный/путь/до/файла/airflow initdb). لكن المعجزة لم تحدث وكان الجواب هو نفسه airflow: command not found. حاولت استخدام مسار نسبي للملف (./.local/bin/airflow initdb)، مما أدى إلى خطأ جديد ModuleNotFoundError: No module named json'والتي يمكن التغلب عليها عن طريق تحديث المكتبة أداة (في حالتي حتى الإصدار 0.15.4):

pip install werkzeug==0.15.4

يمكنك قراءة المزيد عن werkzeug هنا.

بعد هذا التلاعب البسيط الأمر ./.local/bin/airflow initdb تم الانتهاء بنجاح.

6. إطلاق خادم Airflow

هذه ليست نهاية الصعوبات في الوصول إلى تدفق الهواء. تشغيل أمر ./.local/bin/airflow webserver -p 8080 أدى إلى خطأ No such file or directory. من المحتمل أن يحاول مستخدم Ubuntu ذو الخبرة على الفور التغلب على هذه الصعوبات في الوصول إلى الملف باستخدام الأمر export PATH=$PATH:~/.local/bin/ (أي إضافة /.local/bin/ إلى مسار البحث القابل للتنفيذ PATH الموجود)، ولكن هذا المنشور مخصص لأولئك الذين يعملون بشكل أساسي مع Windows وقد لا يعتقدون أن هذا الحل واضح.

بعد التلاعب الموصوف أعلاه، الأمر ./.local/bin/airflow webserver -p 8080 تم الانتهاء بنجاح.

7. عنوان URL: مؤسسة الكوثر: 8080 /

إذا سار كل شيء على ما يرام في المراحل السابقة، فأنت مستعد للتغلب على القمم التحليلية.

آمل أن تكون التجربة الموضحة أعلاه في تثبيت Apache Airflow على نظام التشغيل Windows 10 مفيدة للمستخدمين المبتدئين وستسرع دخولهم إلى عالم أدوات التحليلات الحديثة.

في المرة القادمة أود مواصلة الموضوع والحديث عن تجربة استخدام Apache Airflow في مجال تحليل سلوك مستخدم تطبيقات الهاتف المحمول.

المصدر: www.habr.com