Windows 10 এ Apache Airflow ইনস্টল করার অভিজ্ঞতা নিন

প্রস্তাবনা: ভাগ্যের ইচ্ছায়, একাডেমিক বিজ্ঞানের (মেডিসিন) জগত থেকে আমি নিজেকে তথ্য প্রযুক্তির জগতে খুঁজে পেয়েছি, যেখানে আমাকে পরীক্ষামূলক তথ্য বিশ্লেষণের জন্য একটি পরীক্ষা এবং কৌশল নির্মাণের পদ্ধতি সম্পর্কে আমার জ্ঞান ব্যবহার করতে হবে, তবে, প্রয়োগ করতে হবে একটি প্রযুক্তি স্ট্যাক যা আমার কাছে নতুন। এই প্রযুক্তিগুলি আয়ত্ত করার প্রক্রিয়াতে, আমি বেশ কয়েকটি অসুবিধার সম্মুখীন হই, যা সৌভাগ্যবশত, এখন পর্যন্ত অতিক্রম করা হয়েছে। সম্ভবত এই পোস্টটি তাদের জন্য উপযোগী হবে যারা শুধু Apache প্রকল্পের সাথে কাজ শুরু করছেন।

সুতরাং, বিন্দু. অনুপ্রাণিত নিবন্ধ ইউরি এমেলিয়ানভ বিশ্লেষণাত্মক পদ্ধতির অটোমেশনের ক্ষেত্রে অ্যাপাচি এয়ারফ্লো এর ক্ষমতা সম্পর্কে, আমি আমার কাজে লাইব্রেরির প্রস্তাবিত সেট ব্যবহার শুরু করতে চেয়েছিলাম। যারা এখনও Apache Airflow এর সাথে একেবারেই পরিচিত নন তারা একটি সংক্ষিপ্ত ওভারভিউতে আগ্রহী হতে পারেন একটি নিবন্ধ জাতীয় গ্রন্থাগারের ওয়েবসাইটে। এন ই বাউম্যান।

যেহেতু এয়ারফ্লো চালানোর জন্য সাধারণ নির্দেশাবলী উইন্ডোজ পরিবেশে প্রযোজ্য বলে মনে হয় না, তাই এই সমস্যাটি সমাধান করতে এটি ব্যবহার করুন ডকার আমার ক্ষেত্রে এটি অপ্রয়োজনীয় হবে, আমি অন্যান্য সমাধান খুঁজতে শুরু করেছি। সৌভাগ্যবশত আমার জন্য, আমি এই পথে প্রথম ছিলাম না, তাই আমি একটি বিস্ময়কর খুঁজে বের করতে পেরেছি ভিডিও নির্দেশাবলী ডকার ব্যবহার না করে কীভাবে উইন্ডোজ 10 এ অ্যাপাচি এয়ারফ্লো ইনস্টল করবেন। কিন্তু, প্রায়শই ঘটে, প্রস্তাবিত পদক্ষেপগুলি অনুসরণ করার সময়, অসুবিধা দেখা দেয় এবং, আমি বিশ্বাস করি, শুধুমাত্র আমার জন্য নয়। অতএব, আমি অ্যাপাচি এয়ারফ্লো ইনস্টল করার আমার অভিজ্ঞতা সম্পর্কে কথা বলতে চাই, সম্ভবত এটি কারও কিছুটা সময় বাঁচাতে পারে।

আসুন নির্দেশাবলীর ধাপগুলি দিয়ে যাই (স্পয়লার - 5 তম ধাপে সবকিছু ঠিক হয়ে গেছে):

1. লিনাক্স ডিস্ট্রিবিউশনের পরবর্তী ইনস্টলেশনের জন্য লিনাক্সের জন্য উইন্ডোজ সাবসিস্টেম ইনস্টল করা

এটি সর্বনিম্ন সমস্যা, যেমন তারা বলে:

কন্ট্রোল প্যানেল → প্রোগ্রাম → প্রোগ্রাম এবং বৈশিষ্ট্য → উইন্ডোজ বৈশিষ্ট্যগুলি চালু বা বন্ধ করুন → লিনাক্সের জন্য উইন্ডোজ সাবসিস্টেম

2. আপনার পছন্দের লিনাক্স ডিস্ট্রিবিউশন ইনস্টল করুন

আমি অ্যাপ্লিকেশনটি ব্যবহার করেছি উবুন্টু.

3. ইনস্টলেশন এবং আপডেট পিপ

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. অ্যাপাচি এয়ারফ্লো ইনস্টল করা

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. ডাটাবেস ইনিশিয়ালাইজেশন

আর এখান থেকেই আমার ছোটখাটো অসুবিধা শুরু হয়। নির্দেশাবলীর জন্য আপনাকে কমান্ডটি প্রবেশ করতে হবে airflow initdb এবং পরবর্তী ধাপে যান। যাইহোক, আমি সবসময় একটি উত্তর পেয়েছি airflow: command not found. এটি অনুমান করা যৌক্তিক যে অ্যাপাচি এয়ারফ্লো ইনস্টল করার সময় অসুবিধাগুলি দেখা দিয়েছে এবং প্রয়োজনীয় ফাইলগুলি সহজভাবে উপলব্ধ নয়। সবকিছু যেখানে থাকা উচিত ছিল তা নিশ্চিত করার পরে, আমি বায়ুপ্রবাহ ফাইলের সম্পূর্ণ পথটি নির্দিষ্ট করার চেষ্টা করার সিদ্ধান্ত নিয়েছি (এটি দেখতে এইরকম হওয়া উচিত: Полный/путь/до/файла/airflow initdb) কিন্তু অলৌকিক ঘটনা ঘটেনি এবং উত্তর একই ছিল airflow: command not found. আমি ফাইলের একটি আপেক্ষিক পথ ব্যবহার করার চেষ্টা করেছি (./.local/bin/airflow initdb), যা একটি নতুন ত্রুটির দিকে পরিচালিত করেছে ModuleNotFoundError: No module named json'যা লাইব্রেরি আপডেট করে কাটিয়ে উঠতে পারে টুল (আমার ক্ষেত্রে সংস্করণ 0.15.4 পর্যন্ত):

pip install werkzeug==0.15.4

আপনি werkzeug সম্পর্কে আরো পড়তে পারেন এখানে.

এই সহজ ম্যানিপুলেশন পরে কমান্ড ./.local/bin/airflow initdb সফলভাবে সম্পন্ন হয়েছে।

6. এয়ারফ্লো সার্ভার চালু করা

এটি বায়ুপ্রবাহ অ্যাক্সেসের সাথে অসুবিধার শেষ নয়। একটি কমান্ড চলমান ./.local/bin/airflow webserver -p 8080 একটি ত্রুটির ফলে No such file or directory. সম্ভবত, একজন অভিজ্ঞ উবুন্টু ব্যবহারকারী অবিলম্বে কমান্ড ব্যবহার করে ফাইল অ্যাক্সেস করার ক্ষেত্রে এই ধরনের অসুবিধাগুলি কাটিয়ে উঠতে চেষ্টা করবেন। export PATH=$PATH:~/.local/bin/ (অর্থাৎ, বিদ্যমান PATH এক্সিকিউটেবল সার্চ পাথে /.local/bin/ যোগ করা), কিন্তু এই পোস্টটি তাদের জন্য যারা প্রাথমিকভাবে Windows এর সাথে কাজ করেন এবং এই সমাধানটিকে সুস্পষ্ট মনে করতে পারেন না।

উপরে বর্ণিত ম্যানিপুলেশনের পরে, কমান্ড ./.local/bin/airflow webserver -p 8080 সফলভাবে সম্পন্ন হয়েছে।

7.URL: স্থানীয় হোস্ট: 8080 /

পূর্ববর্তী পর্যায়ে সবকিছু ঠিকঠাক থাকলে, আপনি বিশ্লেষণাত্মক শিখর জয় করতে প্রস্তুত।

আমি আশা করি যে Windows 10-এ Apache Airflow ইনস্টল করার ক্ষেত্রে উপরে বর্ণিত অভিজ্ঞতা নতুন ব্যবহারকারীদের জন্য উপযোগী হবে এবং আধুনিক বিশ্লেষণ সরঞ্জামগুলির মহাবিশ্বে তাদের প্রবেশকে ত্বরান্বিত করবে।

পরের বার আমি বিষয়টি চালিয়ে যেতে চাই এবং মোবাইল অ্যাপ্লিকেশনগুলির ব্যবহারকারীর আচরণ বিশ্লেষণের ক্ষেত্রে অ্যাপাচি এয়ারফ্লো ব্যবহারের অভিজ্ঞতা সম্পর্কে কথা বলতে চাই।

উত্স: www.habr.com