Windows 10-ზე Apache Airflow-ის ინსტალაციის გამოცდილება

პრეამბულა: ბედის ნებით, აკადემიური მეცნიერების (მედიცინის) სამყაროდან აღმოვჩნდი ინფორმაციული ტექნოლოგიების სამყაროში, სადაც უნდა გამოვიყენო ჩემი ცოდნა ექსპერიმენტის აგების მეთოდოლოგიისა და ექსპერიმენტული მონაცემების ანალიზის სტრატეგიების შესახებ, თუმცა გამოვიყენო ტექნოლოგიის დასტა, რომელიც ჩემთვის ახალია. ამ ტექნოლოგიების დაუფლების პროცესში ვხვდები მთელ რიგ სირთულეებს, რომლებიც, საბედნიეროდ, ჯერჯერობით დაძლეულია. შესაძლოა ეს პოსტი გამოადგეს მათთვის, ვინც ასევე ახლახან იწყებს მუშაობას Apache პროექტებთან.

ასე რომ, წერტილი. შთაგონებული სტატიები იური ემელიანოვი Apache Airflow-ის შესაძლებლობების შესახებ ანალიტიკური პროცედურების ავტომატიზაციის სფეროში, მინდოდა დამეწყო ბიბლიოთეკების შემოთავაზებული ნაკრების გამოყენება ჩემს საქმიანობაში. მათ, ვინც ჯერ კიდევ არ იცნობს Apache Airflow-ს, შეიძლება დაინტერესდეს მოკლე მიმოხილვით სტატიის ეროვნული ბიბლიოთეკის ვებგვერდზე. N. E. Bauman.

ვინაიდან ჩვეულებრივი ინსტრუქციები Airflow-ის გაშვებისთვის, როგორც ჩანს, არ გამოიყენება Windows გარემოში, გამოიყენეთ ეს ამ პრობლემის მოსაგვარებლად დოკერი ჩემს შემთხვევაში ეს ზედმეტი იქნებოდა, დავიწყე სხვა გადაწყვეტილებების ძებნა. ჩემდა საბედნიეროდ, ამ გზაზე პირველი არ ვყოფილვარ, ამიტომ მშვენიერის პოვნა მოვახერხე ვიდეო ინსტრუქცია როგორ დააინსტალიროთ Apache Airflow Windows 10-ზე Docker-ის გამოყენების გარეშე. მაგრამ, როგორც ხშირად ხდება, რეკომენდებული ნაბიჯების შესრულებისას წარმოიქმნება სირთულეები და, მჯერა, არა მხოლოდ ჩემთვის. ამიტომ, მინდა ვისაუბრო Apache Airflow-ის დაყენების ჩემს გამოცდილებაზე, იქნებ ეს ვინმეს დაზოგავს ცოტა დროს.

მოდით გავიაროთ ინსტრუქციის ნაბიჯები (სპოილერი - მე-5 საფეხურზე ყველაფერი კარგად წავიდა):

1. Windows ქვესისტემის ინსტალაცია Linux-ისთვის, Linux დისტრიბუციების შემდგომი ინსტალაციისთვის

ეს არის ყველაზე მცირე პრობლემა, როგორც ამბობენ:

მართვის პანელი → პროგრამები → პროგრამები და ფუნქციები → Windows-ის ფუნქციების ჩართვა ან გამორთვა → Windows ქვესისტემა Linux-ისთვის

2. დააინსტალირეთ თქვენთვის სასურველი Linux დისტრიბუცია

მე გამოვიყენე აპლიკაცია Ubuntu.

3. პიპის ინსტალაცია და განახლება

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow-ის დაყენება

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. მონაცემთა ბაზის ინიციალიზაცია

და სწორედ აქ დაიწყო ჩემი პატარა სირთულეები. ინსტრუქციები მოითხოვს, რომ შეიყვანოთ ბრძანება airflow initdb და გადადით შემდეგ ეტაპზე. თუმცა პასუხს ყოველთვის ვიღებდი airflow: command not found. ლოგიკურია ვივარაუდოთ, რომ Apache Airflow-ის ინსტალაციის დროს წარმოიშვა სირთულეები და საჭირო ფაილები უბრალოდ არ არის ხელმისაწვდომი. მას შემდეგ რაც დავრწმუნდი, რომ ყველაფერი იქ იყო, სადაც უნდა ყოფილიყო, გადავწყვიტე ვცადო მიმენიშნა ჰაერის ნაკადის ფაილის სრული გზა (ის ასე უნდა გამოიყურებოდეს: Полный/путь/до/файла/airflow initdb). მაგრამ სასწაული არ მოხდა და პასუხი იგივე იყო airflow: command not found. შევეცადე გამომეყენებინა ფაილის შედარებითი გზა (./.local/bin/airflow initdb), რამაც გამოიწვია ახალი შეცდომა ModuleNotFoundError: No module named json'რომელიც შეიძლება დაიძლიოს ბიბლიოთეკის განახლებით ხელსაწყო (ჩემს შემთხვევაში 0.15.4 ვერსიამდე):

pip install werkzeug==0.15.4

შეგიძლიათ მეტი წაიკითხოთ werkzeug-ის შესახებ აქ.

ამ მარტივი მანიპულაციის შემდეგ ბრძანება ./.local/bin/airflow initdb წარმატებით დასრულდა.

6. Airflow სერვერის გაშვება

ამით არ მთავრდება ჰაერის ნაკადთან წვდომის სირთულეები. ბრძანების გაშვება ./.local/bin/airflow webserver -p 8080 შეცდომა გამოიწვია No such file or directory. ალბათ, გამოცდილი Ubuntu მომხმარებელი დაუყოვნებლივ შეეცდება გადალახოს ასეთი სირთულეები ფაილზე წვდომისას ბრძანების გამოყენებით. export PATH=$PATH:~/.local/bin/ (ანუ, /.local/bin/-ის დამატება არსებულ PATH შესრულებად საძიებო გზაზე), მაგრამ ეს პოსტი განკუთვნილია მათთვის, ვინც ძირითადად მუშაობს Windows-თან და შეიძლება არ ფიქრობს, რომ ეს გამოსავალი აშკარაა.

ზემოთ აღწერილი მანიპულაციის შემდეგ, ბრძანება ./.local/bin/airflow webserver -p 8080 წარმატებით დასრულდა.

7.URL: localhost: 8080 /

თუ წინა ეტაპებზე ყველაფერი კარგად იყო, მაშინ მზად ხართ ანალიტიკური მწვერვალების დასაპყრობად.

ვიმედოვნებ, რომ Windows 10-ზე Apache Airflow-ის დაყენების ზემოთ აღწერილი გამოცდილება სასარგებლო იქნება დამწყები მომხმარებლებისთვის და დააჩქარებს მათ შემოსვლას თანამედროვე ანალიტიკური ინსტრუმენტების სამყაროში.

შემდეგ ჯერზე მინდა გავაგრძელო თემა და ვისაუბრო Apache Airflow-ის გამოყენების გამოცდილებაზე მობილური აპლიკაციების მომხმარებლის ქცევის ანალიზის სფეროში.

წყარო: www.habr.com