Windows 10 ನಲ್ಲಿ Apache Airflow ಅನ್ನು ಸ್ಥಾಪಿಸುವ ಅನುಭವ

ಮುನ್ನುಡಿ: ವಿಧಿಯ ಇಚ್ಛೆಯಿಂದ, ಶೈಕ್ಷಣಿಕ ವಿಜ್ಞಾನದ (ಔಷಧ) ಪ್ರಪಂಚದಿಂದ, ನಾನು ಮಾಹಿತಿ ತಂತ್ರಜ್ಞಾನದ ಜಗತ್ತಿನಲ್ಲಿ ನನ್ನನ್ನು ಕಂಡುಕೊಂಡೆ, ಅಲ್ಲಿ ನಾನು ಪ್ರಯೋಗವನ್ನು ನಿರ್ಮಿಸುವ ವಿಧಾನ ಮತ್ತು ಪ್ರಾಯೋಗಿಕ ಡೇಟಾವನ್ನು ವಿಶ್ಲೇಷಿಸುವ ತಂತ್ರಗಳ ಬಗ್ಗೆ ನನ್ನ ಜ್ಞಾನವನ್ನು ಬಳಸಬೇಕಾಗಿದೆ, ಆದಾಗ್ಯೂ, ನನಗೆ ಹೊಸ ತಂತ್ರಜ್ಞಾನದ ಸ್ಟಾಕ್ ಅನ್ನು ಅನ್ವಯಿಸಿ. ಈ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಮಾಸ್ಟರಿಂಗ್ ಮಾಡುವ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ, ನಾನು ಹಲವಾರು ತೊಂದರೆಗಳನ್ನು ಎದುರಿಸುತ್ತಿದ್ದೇನೆ, ಅದೃಷ್ಟವಶಾತ್, ಇಲ್ಲಿಯವರೆಗೆ ಹೊರಬಂದಿದೆ. ಅಪಾಚೆ ಯೋಜನೆಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ಪ್ರಾರಂಭಿಸುತ್ತಿರುವವರಿಗೆ ಬಹುಶಃ ಈ ಪೋಸ್ಟ್ ಉಪಯುಕ್ತವಾಗಿರುತ್ತದೆ.

ಆದ್ದರಿಂದ, ಬಿಂದುವಿಗೆ. ಪ್ರೇರಿತ ಲೇಖನ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಕಾರ್ಯವಿಧಾನಗಳ ಯಾಂತ್ರೀಕೃತಗೊಂಡ ಕ್ಷೇತ್ರದಲ್ಲಿ ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ ಸಾಮರ್ಥ್ಯಗಳ ಬಗ್ಗೆ ಯೂರಿ ಎಮೆಲಿಯಾನೋವ್, ನನ್ನ ಕೆಲಸದಲ್ಲಿ ಉದ್ದೇಶಿತ ಗ್ರಂಥಾಲಯಗಳನ್ನು ಬಳಸಲು ಪ್ರಾರಂಭಿಸಲು ನಾನು ಬಯಸುತ್ತೇನೆ. ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ ಬಗ್ಗೆ ಇನ್ನೂ ತಿಳಿದಿಲ್ಲದವರು ಸಣ್ಣ ಅವಲೋಕನದಲ್ಲಿ ಆಸಕ್ತಿ ಹೊಂದಿರಬಹುದು ಲೇಖನ ರಾಷ್ಟ್ರೀಯ ಗ್ರಂಥಾಲಯದ ವೆಬ್‌ಸೈಟ್‌ನಲ್ಲಿ. ಎನ್. ಇ. ಬೌಮನ್.

ಏರ್‌ಫ್ಲೋ ಅನ್ನು ಚಲಾಯಿಸಲು ಸಾಮಾನ್ಯ ಸೂಚನೆಗಳು ವಿಂಡೋಸ್ ಪರಿಸರದಲ್ಲಿ ಅನ್ವಯಿಸುವುದಿಲ್ಲವಾದ್ದರಿಂದ, ಈ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು ಇದನ್ನು ಬಳಸಿ ಡಾಕರ್ ನನ್ನ ಸಂದರ್ಭದಲ್ಲಿ ಅದು ಅನಗತ್ಯವಾಗಿರುತ್ತದೆ, ನಾನು ಇತರ ಪರಿಹಾರಗಳನ್ನು ಹುಡುಕಲು ಪ್ರಾರಂಭಿಸಿದೆ. ಅದೃಷ್ಟವಶಾತ್ ನನಗೆ, ನಾನು ಈ ಹಾದಿಯಲ್ಲಿ ಮೊದಲಿಗನಾಗಿರಲಿಲ್ಲ, ಆದ್ದರಿಂದ ನಾನು ಅದ್ಭುತವನ್ನು ಕಂಡುಕೊಳ್ಳುವಲ್ಲಿ ಯಶಸ್ವಿಯಾಗಿದ್ದೇನೆ ವೀಡಿಯೊ ಸೂಚನೆ ಡಾಕರ್ ಬಳಸದೆ ವಿಂಡೋಸ್ 10 ನಲ್ಲಿ ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ ಅನ್ನು ಹೇಗೆ ಸ್ಥಾಪಿಸುವುದು. ಆದರೆ, ಸಾಮಾನ್ಯವಾಗಿ ಸಂಭವಿಸಿದಂತೆ, ಶಿಫಾರಸು ಮಾಡಿದ ಹಂತಗಳನ್ನು ಅನುಸರಿಸುವಾಗ, ತೊಂದರೆಗಳು ಉಂಟಾಗುತ್ತವೆ, ಮತ್ತು, ನಾನು ನಂಬುತ್ತೇನೆ, ನನಗೆ ಮಾತ್ರವಲ್ಲ. ಆದ್ದರಿಂದ, ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ ಅನ್ನು ಸ್ಥಾಪಿಸುವ ನನ್ನ ಅನುಭವದ ಬಗ್ಗೆ ನಾನು ಮಾತನಾಡಲು ಬಯಸುತ್ತೇನೆ, ಬಹುಶಃ ಇದು ಯಾರಿಗಾದರೂ ಸ್ವಲ್ಪ ಸಮಯವನ್ನು ಉಳಿಸುತ್ತದೆ.

ಸೂಚನೆಗಳ ಹಂತಗಳ ಮೂಲಕ ಹೋಗೋಣ (ಸ್ಪಾಯ್ಲರ್ - 5 ನೇ ಹಂತದಲ್ಲಿ ಎಲ್ಲವೂ ಸರಿಯಾಗಿದೆ):

1. ಲಿನಕ್ಸ್ ವಿತರಣೆಗಳ ನಂತರದ ಸ್ಥಾಪನೆಗಾಗಿ ಲಿನಕ್ಸ್‌ಗಾಗಿ ವಿಂಡೋಸ್ ಉಪವ್ಯವಸ್ಥೆಯನ್ನು ಸ್ಥಾಪಿಸುವುದು

ಅವರು ಹೇಳಿದಂತೆ ಇದು ಕಡಿಮೆ ಸಮಸ್ಯೆಯಾಗಿದೆ:

ನಿಯಂತ್ರಣ ಫಲಕ → ಪ್ರೋಗ್ರಾಂಗಳು → ಪ್ರೋಗ್ರಾಂಗಳು ಮತ್ತು ವೈಶಿಷ್ಟ್ಯಗಳು → ವಿಂಡೋಸ್ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಆನ್ ಅಥವಾ ಆಫ್ ಮಾಡಿ → Linux ಗಾಗಿ ವಿಂಡೋಸ್ ಉಪವ್ಯವಸ್ಥೆ

2. ನಿಮ್ಮ ಆಯ್ಕೆಯ ಲಿನಕ್ಸ್ ವಿತರಣೆಯನ್ನು ಸ್ಥಾಪಿಸಿ

ನಾನು ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ಬಳಸಿದ್ದೇನೆ ಉಬುಂಟು.

3. ಅನುಸ್ಥಾಪನ ಮತ್ತು ಅಪ್ಡೇಟ್ ಪಿಪ್

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ ಅನ್ನು ಸ್ಥಾಪಿಸುವುದು

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. ಡೇಟಾಬೇಸ್ ಆರಂಭ

ಮತ್ತು ಇಲ್ಲಿ ನನ್ನ ಸಣ್ಣ ತೊಂದರೆಗಳು ಪ್ರಾರಂಭವಾದವು. ಸೂಚನೆಗಳನ್ನು ನೀವು ಆಜ್ಞೆಯನ್ನು ನಮೂದಿಸುವ ಅಗತ್ಯವಿದೆ airflow initdb ಮತ್ತು ಮುಂದಿನ ಹಂತಕ್ಕೆ ತೆರಳಿ. ಆದಾಗ್ಯೂ, ನಾನು ಯಾವಾಗಲೂ ಉತ್ತರವನ್ನು ಪಡೆಯುತ್ತೇನೆ airflow: command not found. ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ ಸ್ಥಾಪನೆಯ ಸಮಯದಲ್ಲಿ ತೊಂದರೆಗಳು ಉಂಟಾಗಿವೆ ಮತ್ತು ಅಗತ್ಯ ಫೈಲ್‌ಗಳು ಸರಳವಾಗಿ ಲಭ್ಯವಿಲ್ಲ ಎಂದು ಭಾವಿಸುವುದು ತಾರ್ಕಿಕವಾಗಿದೆ. ಎಲ್ಲವೂ ಎಲ್ಲಿರಬೇಕು ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಂಡ ನಂತರ, ಗಾಳಿಯ ಹರಿವಿನ ಫೈಲ್‌ಗೆ ಪೂರ್ಣ ಮಾರ್ಗವನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸಲು ಪ್ರಯತ್ನಿಸಲು ನಾನು ನಿರ್ಧರಿಸಿದೆ (ಇದು ಈ ರೀತಿ ಇರಬೇಕು: Полный/путь/до/файла/airflow initdb) ಆದರೆ ಪವಾಡ ನಡೆಯಲಿಲ್ಲ ಮತ್ತು ಉತ್ತರ ಒಂದೇ ಆಗಿತ್ತು airflow: command not found. ನಾನು ಫೈಲ್‌ಗೆ ಸಂಬಂಧಿತ ಮಾರ್ಗವನ್ನು ಬಳಸಲು ಪ್ರಯತ್ನಿಸಿದೆ (./.local/bin/airflow initdb), ಇದು ಹೊಸ ದೋಷಕ್ಕೆ ಕಾರಣವಾಯಿತು ModuleNotFoundError: No module named json'ಗ್ರಂಥಾಲಯವನ್ನು ನವೀಕರಿಸುವ ಮೂಲಕ ಅದನ್ನು ನಿವಾರಿಸಬಹುದು ಉಪಕರಣವನ್ನು (ನನ್ನ ಸಂದರ್ಭದಲ್ಲಿ ಆವೃತ್ತಿ 0.15.4 ವರೆಗೆ):

pip install werkzeug==0.15.4

ನೀವು werkzeug ಬಗ್ಗೆ ಇನ್ನಷ್ಟು ಓದಬಹುದು ಇಲ್ಲಿ.

ಈ ಸರಳ ಕುಶಲತೆಯ ನಂತರ ಆಜ್ಞೆಯನ್ನು ./.local/bin/airflow initdb ಯಶಸ್ವಿಯಾಗಿ ಪೂರ್ಣಗೊಂಡಿತು.

6. ಏರ್‌ಫ್ಲೋ ಸರ್ವರ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಲಾಗುತ್ತಿದೆ

ಇದು ಗಾಳಿಯ ಹರಿವನ್ನು ಪ್ರವೇಶಿಸುವ ತೊಂದರೆಗಳ ಅಂತ್ಯವಲ್ಲ. ಆಜ್ಞೆಯನ್ನು ಚಲಾಯಿಸಲಾಗುತ್ತಿದೆ ./.local/bin/airflow webserver -p 8080 ದೋಷಕ್ಕೆ ಕಾರಣವಾಯಿತು No such file or directory. ಬಹುಶಃ, ಅನುಭವಿ ಉಬುಂಟು ಬಳಕೆದಾರರು ಆಜ್ಞೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಫೈಲ್ ಅನ್ನು ಪ್ರವೇಶಿಸುವ ಮೂಲಕ ಅಂತಹ ತೊಂದರೆಗಳನ್ನು ನಿವಾರಿಸಲು ತಕ್ಷಣವೇ ಪ್ರಯತ್ನಿಸುತ್ತಾರೆ. export PATH=$PATH:~/.local/bin/ (ಅಂದರೆ, ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ PATH ಕಾರ್ಯಗತಗೊಳಿಸಬಹುದಾದ ಹುಡುಕಾಟ ಮಾರ್ಗಕ್ಕೆ /.local/bin/ ಅನ್ನು ಸೇರಿಸುವುದು), ಆದರೆ ಈ ಪೋಸ್ಟ್ ಅನ್ನು ಪ್ರಾಥಮಿಕವಾಗಿ ವಿಂಡೋಸ್‌ನೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವವರಿಗೆ ಮತ್ತು ಈ ಪರಿಹಾರವು ಸ್ಪಷ್ಟವಾಗಿಲ್ಲ ಎಂದು ಭಾವಿಸುವವರಿಗೆ ಉದ್ದೇಶಿಸಲಾಗಿದೆ.

ಮೇಲೆ ವಿವರಿಸಿದ ಕುಶಲತೆಯ ನಂತರ, ಆಜ್ಞೆ ./.local/bin/airflow webserver -p 8080 ಯಶಸ್ವಿಯಾಗಿ ಪೂರ್ಣಗೊಂಡಿತು.

7.URL: ಸ್ಥಳೀಯ ಹೋಸ್ಟ್: 8080 /

ಹಿಂದಿನ ಹಂತಗಳಲ್ಲಿ ಎಲ್ಲವೂ ಸರಿಯಾಗಿ ನಡೆದರೆ, ನೀವು ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಶಿಖರಗಳನ್ನು ವಶಪಡಿಸಿಕೊಳ್ಳಲು ಸಿದ್ಧರಿದ್ದೀರಿ.

ವಿಂಡೋಸ್ 10 ನಲ್ಲಿ ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ ಅನ್ನು ಸ್ಥಾಪಿಸುವಲ್ಲಿ ಮೇಲೆ ವಿವರಿಸಿದ ಅನುಭವವು ಅನನುಭವಿ ಬಳಕೆದಾರರಿಗೆ ಉಪಯುಕ್ತವಾಗಿದೆ ಮತ್ತು ಆಧುನಿಕ ವಿಶ್ಲೇಷಣಾ ಸಾಧನಗಳ ವಿಶ್ವಕ್ಕೆ ಅವರ ಪ್ರವೇಶವನ್ನು ವೇಗಗೊಳಿಸುತ್ತದೆ ಎಂದು ನಾನು ಭಾವಿಸುತ್ತೇನೆ.

ಮುಂದಿನ ಬಾರಿ ನಾನು ವಿಷಯವನ್ನು ಮುಂದುವರಿಸಲು ಬಯಸುತ್ತೇನೆ ಮತ್ತು ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳ ಬಳಕೆದಾರರ ನಡವಳಿಕೆಯನ್ನು ವಿಶ್ಲೇಷಿಸುವ ಕ್ಷೇತ್ರದಲ್ಲಿ ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ ಅನ್ನು ಬಳಸುವ ಅನುಭವದ ಬಗ್ಗೆ ಮಾತನಾಡಲು ಬಯಸುತ್ತೇನೆ.

ಮೂಲ: www.habr.com