Windows 10 वर Apache Airflow इंस्टॉल करण्याचा अनुभव घ्या

प्रस्तावना: नशिबाच्या इच्छेने, शैक्षणिक विज्ञान (औषध) च्या जगातून मी स्वतःला माहिती तंत्रज्ञानाच्या जगात सापडले, जिथे मला प्रयोग तयार करण्याच्या पद्धतीबद्दलचे माझे ज्ञान आणि प्रायोगिक डेटाचे विश्लेषण करण्यासाठी धोरणे वापरायची आहेत, तथापि, लागू करा एक तंत्रज्ञान स्टॅक जो माझ्यासाठी नवीन आहे. या तंत्रज्ञानावर प्रभुत्व मिळवण्याच्या प्रक्रियेत, मला अनेक अडचणी येतात, ज्या सुदैवाने आतापर्यंत दूर झाल्या आहेत. कदाचित हे पोस्ट त्यांच्यासाठी उपयुक्त ठरेल जे नुकतेच Apache प्रकल्पांसह काम करण्यास सुरवात करत आहेत.

तर, बिंदूपर्यंत. प्रेरणा दिली लेख विश्लेषणात्मक प्रक्रियेच्या ऑटोमेशनच्या क्षेत्रात अपाचे एअरफ्लोच्या क्षमतेबद्दल युरी एमेल्यानोव्ह, मला माझ्या कामात लायब्ररींचा प्रस्तावित संच वापरणे सुरू करायचे होते. ज्यांना अद्याप अपाचे एअरफ्लोची अजिबात माहिती नाही त्यांना एक लहान विहंगावलोकन आवडेल लेख राष्ट्रीय ग्रंथालयाच्या वेबसाइटवर. एन. ई. बाउमन.

विंडोज वातावरणात एअरफ्लो चालवण्याच्या नेहमीच्या सूचना लागू होत नसल्यामुळे, या समस्येचे निराकरण करण्यासाठी याचा वापर करा डॉकर माझ्या बाबतीत ते अनावश्यक असेल, मी इतर उपाय शोधू लागलो. माझ्या सुदैवाने, मी या मार्गावर पहिला नव्हतो, म्हणून मी एक अद्भुत शोधण्यात व्यवस्थापित झालो व्हिडिओ सूचना डॉकर न वापरता Windows 10 वर Apache Airflow कसे इंस्टॉल करावे. परंतु, जसे अनेकदा घडते, शिफारस केलेल्या चरणांचे अनुसरण करताना, अडचणी उद्भवतात आणि, माझा विश्वास आहे, केवळ माझ्यासाठीच नाही. म्हणून, मी अपाचे एअरफ्लो स्थापित करण्याच्या माझ्या अनुभवाबद्दल बोलू इच्छितो, कदाचित यामुळे एखाद्याचा थोडा वेळ वाचेल.

चला सूचनांच्या चरणांमधून जाऊया (स्पॉयलर - 5 व्या पायरीवर सर्व काही ठीक झाले):

1. लिनक्स वितरणाच्या नंतरच्या स्थापनेसाठी लिनक्ससाठी विंडोज सबसिस्टम स्थापित करणे

ते म्हणतात त्याप्रमाणे ही सर्वात कमी समस्या आहे:

कंट्रोल पॅनल → प्रोग्राम्स → प्रोग्राम आणि वैशिष्ट्ये → विंडोज वैशिष्ट्ये चालू किंवा बंद करा → लिनक्ससाठी विंडोज सबसिस्टम

2. तुमच्या आवडीचे लिनक्स वितरण स्थापित करा

मी ऍप्लिकेशन वापरले उबंटू.

3. इंस्टॉलेशन आणि अपडेट पिप

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. अपाचे एअरफ्लो स्थापित करणे

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. डेटाबेस आरंभीकरण

आणि इथूनच माझ्या छोट्या अडचणींना सुरुवात झाली. सूचनांमध्ये तुम्हाला कमांड एंटर करणे आवश्यक आहे airflow initdb आणि पुढील चरणावर जा. तथापि, मला नेहमीच उत्तर मिळाले airflow: command not found. अपाचे एअरफ्लोच्या स्थापनेदरम्यान अडचणी उद्भवल्या आणि आवश्यक फाइल्स उपलब्ध नाहीत असे मानणे तर्कसंगत आहे. सर्वकाही जेथे असावे तेथे आहे याची खात्री केल्यानंतर, मी एअरफ्लो फाइलचा संपूर्ण मार्ग निर्दिष्ट करण्याचा प्रयत्न करण्याचा निर्णय घेतला (ते असे दिसले पाहिजे: Полный/путь/до/файла/airflow initdb). पण चमत्कार घडला नाही आणि उत्तर एकच होतं airflow: command not found. मी फाइलचा सापेक्ष मार्ग वापरण्याचा प्रयत्न केला (./.local/bin/airflow initdb), ज्यामुळे नवीन त्रुटी आली ModuleNotFoundError: No module named json'लायब्ररी अद्ययावत करून त्यावर मात करता येते साधन (माझ्या बाबतीत आवृत्ती 0.15.4 पर्यंत):

pip install werkzeug==0.15.4

आपण werkzeug बद्दल अधिक वाचू शकता येथे.

या साध्या हाताळणीनंतर आदेश ./.local/bin/airflow initdb यशस्वीरित्या पूर्ण झाले.

6. एअरफ्लो सर्व्हर लाँच करणे

एअरफ्लोमध्ये प्रवेश करण्याच्या अडचणींचा हा अंत नाही. आदेश चालवत आहे ./.local/bin/airflow webserver -p 8080 परिणामी त्रुटी आली No such file or directory. कदाचित, एक अनुभवी उबंटू वापरकर्ता कमांड वापरून फाइलमध्ये प्रवेश करण्याच्या अशा अडचणींवर मात करण्याचा प्रयत्न करेल. export PATH=$PATH:~/.local/bin/ (म्हणजे, /.local/bin/ ला विद्यमान PATH एक्झिक्युटेबल शोध मार्गावर जोडणे), परंतु हे पोस्ट त्यांच्यासाठी आहे जे प्रामुख्याने Windows सह कार्य करतात आणि कदाचित हे समाधान स्पष्ट आहे असे त्यांना वाटत नाही.

वर वर्णन केलेल्या हाताळणीनंतर, आदेश ./.local/bin/airflow webserver -p 8080 यशस्वीरित्या पूर्ण झाले.

7.URL: localhost: 8080 /

जर मागील टप्प्यात सर्व काही ठीक झाले तर तुम्ही विश्लेषणात्मक शिखरे जिंकण्यासाठी तयार आहात.

मला आशा आहे की Windows 10 वर Apache Airflow स्थापित करताना वर वर्णन केलेला अनुभव नवशिक्या वापरकर्त्यांसाठी उपयुक्त ठरेल आणि आधुनिक विश्लेषण साधनांच्या विश्वात त्यांचा प्रवेश जलद होईल.

पुढच्या वेळी मी विषय चालू ठेवू इच्छितो आणि मोबाइल अनुप्रयोगांच्या वापरकर्त्याच्या वर्तनाचे विश्लेषण करण्याच्या क्षेत्रात Apache Airflow वापरण्याच्या अनुभवाबद्दल बोलू इच्छितो.

स्त्रोत: www.habr.com