Windows 10-ൽ Apache Airflow ഇൻസ്റ്റാൾ ചെയ്ത അനുഭവം

പ്രീമുൽ: വിധിയുടെ ഇച്ഛാശക്തിയാൽ, അക്കാദമിക് സയൻസ് (മെഡിസിൻ) ലോകത്ത് നിന്ന് ഞാൻ വിവരസാങ്കേതികവിദ്യയുടെ ലോകത്ത് എന്നെത്തന്നെ കണ്ടെത്തി, അവിടെ ഒരു പരീക്ഷണം നിർമ്മിക്കുന്നതിനുള്ള രീതിശാസ്ത്രത്തെയും പരീക്ഷണാത്മക ഡാറ്റ വിശകലനം ചെയ്യുന്നതിനുള്ള തന്ത്രങ്ങളെയും കുറിച്ചുള്ള എന്റെ അറിവ് ഉപയോഗിക്കേണ്ടതുണ്ട്, എന്നിരുന്നാലും, പ്രയോഗിക്കുക എനിക്ക് പുതിയ ഒരു സാങ്കേതിക ശേഖരം. ഈ സാങ്കേതികവിദ്യകളിൽ വൈദഗ്ദ്ധ്യം നേടുന്ന പ്രക്രിയയിൽ, ഞാൻ നിരവധി ബുദ്ധിമുട്ടുകൾ നേരിടുന്നു, ഭാഗ്യവശാൽ, ഇതുവരെ തരണം ചെയ്തിരിക്കുന്നു. അപ്പാച്ചെ പ്രോജക്റ്റുകളിൽ പ്രവർത്തിക്കാൻ തുടങ്ങുന്നവർക്കും ഈ പോസ്റ്റ് ഉപയോഗപ്രദമാകും.

അതിനാൽ, പോയിന്റിലേക്ക്. പ്രചോദനം നൽകി ലേഖനങ്ങൾ അനലിറ്റിക്കൽ നടപടിക്രമങ്ങളുടെ ഓട്ടോമേഷൻ മേഖലയിലെ അപ്പാച്ചെ എയർഫ്ലോയുടെ കഴിവുകളെക്കുറിച്ച് യൂറി എമെലിയാനോവ്, എന്റെ ജോലിയിൽ നിർദ്ദിഷ്ട ലൈബ്രറികളുടെ ഉപയോഗം ആരംഭിക്കാൻ ഞാൻ ആഗ്രഹിച്ചു. അപ്പാച്ചെ എയർഫ്ലോയെക്കുറിച്ച് ഇതുവരെ പരിചിതമല്ലാത്തവർക്ക് ഒരു ഹ്രസ്വ അവലോകനത്തിൽ താൽപ്പര്യമുണ്ടാകാം ഒരു ലേഖനം നാഷണൽ ലൈബ്രറിയുടെ വെബ്സൈറ്റിൽ. എൻ.ഇ.ബൗമാൻ.

എയർഫ്ലോ പ്രവർത്തിപ്പിക്കുന്നതിനുള്ള സാധാരണ നിർദ്ദേശങ്ങൾ വിൻഡോസ് പരിതസ്ഥിതിയിൽ ബാധകമല്ലെന്ന് തോന്നുന്നതിനാൽ, ഈ പ്രശ്നം പരിഹരിക്കാൻ ഇത് ഉപയോഗിക്കുക ഡോക്കർ എന്റെ കാര്യത്തിൽ അത് അനാവശ്യമായിരിക്കും, ഞാൻ മറ്റ് പരിഹാരങ്ങൾക്കായി തിരയാൻ തുടങ്ങി. ഭാഗ്യവശാൽ, ഈ പാതയിൽ ഞാൻ ആദ്യമായിരുന്നില്ല, അതിനാൽ എനിക്ക് അതിശയകരമായ ഒന്ന് കണ്ടെത്താൻ കഴിഞ്ഞു വീഡിയോ നിർദ്ദേശങ്ങൾ ഡോക്കർ ഉപയോഗിക്കാതെ വിൻഡോസ് 10-ൽ അപ്പാച്ചെ എയർഫ്ലോ എങ്ങനെ ഇൻസ്റ്റാൾ ചെയ്യാം. പക്ഷേ, പലപ്പോഴും സംഭവിക്കുന്നത് പോലെ, ശുപാർശ ചെയ്യുന്ന ഘട്ടങ്ങൾ പാലിക്കുമ്പോൾ, ബുദ്ധിമുട്ടുകൾ ഉണ്ടാകുന്നു, മാത്രമല്ല, എനിക്ക് മാത്രമല്ല, ഞാൻ വിശ്വസിക്കുന്നു. അതിനാൽ, അപ്പാച്ചെ എയർഫ്ലോ ഇൻസ്റ്റാൾ ചെയ്യുന്ന എന്റെ അനുഭവത്തെക്കുറിച്ച് സംസാരിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു, ഒരുപക്ഷേ ഇത് ആരെയെങ്കിലും കുറച്ച് സമയം ലാഭിച്ചേക്കാം.

നമുക്ക് നിർദ്ദേശങ്ങളുടെ ഘട്ടങ്ങളിലൂടെ പോകാം (സ്‌പോയിലർ - അഞ്ചാം ഘട്ടത്തിൽ എല്ലാം നന്നായി പോയി):

1. ലിനക്സ് വിതരണങ്ങളുടെ തുടർന്നുള്ള ഇൻസ്റ്റാളേഷനായി ലിനക്സിനായി വിൻഡോസ് സബ്സിസ്റ്റം ഇൻസ്റ്റാൾ ചെയ്യുന്നു

അവർ പറയുന്നതുപോലെ ഇതാണ് ഏറ്റവും ചെറിയ പ്രശ്‌നങ്ങൾ:

നിയന്ത്രണ പാനൽ → പ്രോഗ്രാമുകൾ → പ്രോഗ്രാമുകളും സവിശേഷതകളും → വിൻഡോസ് ഫീച്ചറുകൾ ഓൺ അല്ലെങ്കിൽ ഓഫ് ചെയ്യുക → ലിനക്സിനുള്ള വിൻഡോസ് സബ്സിസ്റ്റം

2. നിങ്ങൾക്ക് ഇഷ്ടമുള്ള Linux ഡിസ്ട്രിബ്യൂഷൻ ഇൻസ്റ്റാൾ ചെയ്യുക

ഞാൻ ആപ്ലിക്കേഷൻ ഉപയോഗിച്ചു ഉബുണ്ടു.

3. ഇൻസ്റ്റലേഷനും അപ്ഡേറ്റ് പൈപ്പും

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. അപ്പാച്ചെ എയർഫ്ലോ ഇൻസ്റ്റാൾ ചെയ്യുന്നു

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. ഡാറ്റാബേസ് സമാരംഭം

എന്റെ ചെറിയ ബുദ്ധിമുട്ടുകൾ തുടങ്ങിയത് ഇവിടെ നിന്നാണ്. നിർദ്ദേശങ്ങൾ നിങ്ങൾ കമാൻഡ് നൽകേണ്ടതുണ്ട് airflow initdb കൂടാതെ അടുത്ത ഘട്ടത്തിലേക്ക് നീങ്ങുക. എന്നിരുന്നാലും, എനിക്ക് എല്ലായ്പ്പോഴും ഒരു ഉത്തരം ലഭിച്ചു airflow: command not found. അപ്പാച്ചെ എയർഫ്ലോ ഇൻസ്റ്റാളുചെയ്യുമ്പോൾ ബുദ്ധിമുട്ടുകൾ ഉണ്ടായെന്നും ആവശ്യമായ ഫയലുകൾ ലഭ്യമല്ലെന്നും അനുമാനിക്കുന്നത് യുക്തിസഹമാണ്. എല്ലാം എവിടെയായിരിക്കണമെന്ന് ഉറപ്പുവരുത്തിയ ശേഷം, എയർഫ്ലോ ഫയലിലേക്കുള്ള മുഴുവൻ പാതയും വ്യക്തമാക്കാൻ ഞാൻ തീരുമാനിച്ചു (ഇത് ഇതുപോലെ ആയിരിക്കണം: Полный/путь/до/файла/airflow initdb). എന്നാൽ അത്ഭുതം സംഭവിച്ചില്ല, ഉത്തരം ഒന്നുതന്നെയായിരുന്നു airflow: command not found. ഞാൻ ഫയലിലേക്ക് ഒരു ആപേക്ഷിക പാത്ത് ഉപയോഗിക്കാൻ ശ്രമിച്ചു (./.local/bin/airflow initdb), ഇത് ഒരു പുതിയ പിശകിലേക്ക് നയിച്ചു ModuleNotFoundError: No module named json'ലൈബ്രറി നവീകരിക്കുന്നതിലൂടെ മറികടക്കാനാകും ഉപകരണം (എന്റെ കാര്യത്തിൽ പതിപ്പ് 0.15.4 വരെ):

pip install werkzeug==0.15.4

നിങ്ങൾക്ക് werkzeug-നെ കുറിച്ച് കൂടുതൽ വായിക്കാം ഇവിടെ.

ഈ ലളിതമായ കൃത്രിമത്വത്തിന് ശേഷം കമാൻഡ് ./.local/bin/airflow initdb വിജയകരമായി പൂർത്തിയാക്കി.

6. എയർഫ്ലോ സെർവർ സമാരംഭിക്കുന്നു

ഇത് എയർ ഫ്ലോ ആക്സസ് ചെയ്യുന്നതിനുള്ള ബുദ്ധിമുട്ടുകൾ അവസാനിക്കുന്നില്ല. ഒരു കമാൻഡ് പ്രവർത്തിപ്പിക്കുന്നു ./.local/bin/airflow webserver -p 8080 ഒരു പിശകിന് കാരണമായി No such file or directory. ഒരുപക്ഷേ, പരിചയസമ്പന്നനായ ഒരു ഉബുണ്ടു ഉപയോക്താവ് കമാൻഡ് ഉപയോഗിച്ച് ഫയൽ ആക്സസ് ചെയ്യുന്നതിനുള്ള അത്തരം ബുദ്ധിമുട്ടുകൾ മറികടക്കാൻ ഉടൻ ശ്രമിക്കും. export PATH=$PATH:~/.local/bin/ (അതായത്, നിലവിലുള്ള PATH എക്സിക്യൂട്ടബിൾ തിരയൽ പാതയിലേക്ക് /.local/bin/ ചേർക്കുന്നു), എന്നാൽ ഈ പോസ്റ്റ് പ്രാഥമികമായി Windows-ൽ പ്രവർത്തിക്കുന്നവർക്കും ഈ പരിഹാരം വ്യക്തമല്ലെന്ന് കരുതുന്നവർക്കും വേണ്ടിയുള്ളതാണ്.

മുകളിൽ വിവരിച്ച കൃത്രിമത്വത്തിന് ശേഷം, കമാൻഡ് ./.local/bin/airflow webserver -p 8080 വിജയകരമായി പൂർത്തിയാക്കി.

7.URL: ലോക്കൽഹോസ്റ്റിൽ: 8080 /

മുമ്പത്തെ ഘട്ടങ്ങളിൽ എല്ലാം ശരിയായി നടന്നിട്ടുണ്ടെങ്കിൽ, നിങ്ങൾ വിശകലന കൊടുമുടികൾ കീഴടക്കാൻ തയ്യാറാണ്.

Windows 10-ൽ Apache Airflow ഇൻസ്റ്റാൾ ചെയ്യുന്നതിൽ മുകളിൽ വിവരിച്ച അനുഭവം പുതിയ ഉപയോക്താക്കൾക്ക് ഉപയോഗപ്രദമാകുമെന്നും ആധുനിക അനലിറ്റിക്സ് ടൂളുകളുടെ പ്രപഞ്ചത്തിലേക്കുള്ള അവരുടെ പ്രവേശനം വേഗത്തിലാക്കുമെന്നും ഞാൻ പ്രതീക്ഷിക്കുന്നു.

അടുത്ത തവണ വിഷയം തുടരാനും മൊബൈൽ ആപ്ലിക്കേഷനുകളുടെ ഉപയോക്തൃ പെരുമാറ്റം വിശകലനം ചെയ്യുന്ന മേഖലയിൽ അപ്പാച്ചെ എയർഫ്ലോ ഉപയോഗിച്ചതിന്റെ അനുഭവത്തെക്കുറിച്ച് സംസാരിക്കാനും ഞാൻ ആഗ്രഹിക്കുന്നു.

അവലംബം: www.habr.com