ניסיון בהתקנת Apache Airflow ב-Windows 10

מבוא: ברצון הגורל, מעולם המדע האקדמי (רפואה), מצאתי את עצמי בעולם טכנולוגיית המידע, שבו אני צריך להשתמש בידע שלי במתודולוגיה של בניית ניסוי ואסטרטגיות לניתוח נתונים ניסויים, עם זאת, ליישם ערימת טכנולוגיה שהיא חדשה עבורי. בתהליך השליטה בטכנולוגיות הללו אני נתקל במספר קשיים, שלמרבה המזל התגברו עד כה. אולי הפוסט הזה יהיה שימושי למי שגם רק מתחיל לעבוד עם פרויקטים של אפאצ'י.

אז, לעניין. השראה מאמרים יורי אמליאנוב על היכולות של Apache Airflow בתחום האוטומציה של הליכים אנליטיים, רציתי להתחיל להשתמש בסט הספריות המוצע בעבודה שלי. מי שעדיין לא מכיר כלל את Apache Airflow עשוי להתעניין בסקירה קצרה מאמר באתר הספרייה הלאומית. נ.ע. באומן.

מכיוון שנראה שההוראות הרגילות להפעלת Airflow אינן חלות בסביבת Windows, השתמש בזה כדי לפתור בעיה זו דוקר במקרה שלי זה יהיה מיותר, התחלתי לחפש פתרונות אחרים. למזלי, לא הייתי הראשון בנתיב הזה, אז הצלחתי למצוא נפלא הוראות וידאו כיצד להתקין את Apache Airflow ב- Windows 10 מבלי להשתמש ב- Docker. אבל, כפי שקורה לעתים קרובות, כאשר עוקבים אחר הצעדים המומלצים, מתעוררים קשיים, ואני מאמין, לא רק עבורי. לכן, אני רוצה לדבר על הניסיון שלי בהתקנת Apache Airflow, אולי זה יחסוך למישהו קצת זמן.

בוא נעבור על שלבי ההוראות (ספוילר - הכל הלך בסדר בשלב החמישי):

1. התקנת מערכת המשנה של Windows עבור לינוקס להתקנה של הפצות לינוקס לאחר מכן

זו הבעיות הקטנות ביותר, כמו שאומרים:

לוח הבקרה ← תוכניות ← תוכניות ותכונות ← הפעלה או כיבוי של תכונות Windows → מערכת המשנה של Windows עבור לינוקס

2. התקן את הפצת לינוקס לפי בחירתך

השתמשתי באפליקציה אובונטו.

3. התקנה ועדכון pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. התקנת Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. אתחול מסד הנתונים

וכאן התחילו הקשיים הקטנים שלי. ההוראות מחייבות אותך להזין את הפקודה airflow initdb ולעבור לשלב הבא. עם זאת, תמיד קיבלתי תשובה airflow: command not found. זה הגיוני להניח שהתעוררו קשיים במהלך ההתקנה של Apache Airflow והקבצים הדרושים פשוט אינם זמינים. לאחר שווידאתי שהכל נמצא היכן שהוא צריך להיות, החלטתי לנסות לציין את הנתיב המלא לקובץ זרימת האוויר (הוא אמור להיראות כך: Полный/путь/до/файла/airflow initdb). אבל הנס לא קרה והתשובה הייתה זהה airflow: command not found. ניסיתי להשתמש בנתיב יחסי לקובץ (./.local/bin/airflow initdb), מה שהוביל לשגיאה חדשה ModuleNotFoundError: No module named json'אשר ניתן להתגבר על ידי עדכון הספרייה werkzeug (במקרה שלי עד גרסה 0.15.4):

pip install werkzeug==0.15.4

אתה יכול לקרוא עוד על werkzeug כאן.

לאחר המניפולציה הפשוטה הזו הפקודה ./.local/bin/airflow initdb הושלם בהצלחה.

6. הפעלת שרת Airflow

זה לא סוף הקשיים בגישה לזרימת אוויר. הפעלת פקודה ./.local/bin/airflow webserver -p 8080 גרם לשגיאה No such file or directory. כנראה שמשתמש מנוסה באובונטו ינסה מיד להתגבר על קשיים כאלה בגישה לקובץ באמצעות הפקודה export PATH=$PATH:~/.local/bin/ (כלומר, הוספת /.local/bin/ לנתיב החיפוש הקיים של PATH), אבל הפוסט הזה מיועד למי שעובד בעיקר עם Windows ואולי לא חושב שהפתרון הזה מובן מאליו.

לאחר המניפולציה שתוארה לעיל, הפקודה ./.local/bin/airflow webserver -p 8080 הושלם בהצלחה.

7. כתובת אתר: localhost: 8080 /

אם הכל הלך כשורה בשלבים הקודמים, אז אתה מוכן לכבוש פסגות אנליטיות.

אני מקווה שהחוויה שתוארה לעיל בהתקנת Apache Airflow ב-Windows 10 תהיה שימושית למשתמשים מתחילים ותזרז את כניסתם ליקום של כלי ניתוח מודרניים.

בפעם הבאה ארצה להמשיך את הנושא ולדבר על חווית השימוש ב- Apache Airflow בתחום ניתוח התנהגות המשתמש של אפליקציות מובייל.

מקור: www.habr.com