Eelõigus: saatuse tahtel akadeemilise teaduse (meditsiini) maailmast sattusin infotehnoloogia maailma, kus pean kasutama oma teadmisi eksperimentide ülesehitamise metodoloogiast ja eksperimentaalsete andmete analüüsi strateegiatest, rakendades samas endale uut tehnoloogiastikku. Nende tehnoloogiate omandamise käigus olen kohtunud mitmete raskustega, millest õnneks olen seni üle saanud. See postitus võib olla kasulik neile, kes samuti alles alustavad Apache projektidega.
Nii et lähme asja juurde. Inspiratsiooni saades Juri Emelianovilt Apache Airflowi võimaluste kohta analüütiliste protseduuride automatiseerimisel, soovisin alustada ettenähtud raamatukogude komplekti kasutamist oma töös. Neile, kes ei ole Apache Airflowiga veel tuttavad, võib olla huvitav väike ülevaade N. E. Bauman'i riiklikust raamatukogust.
Kuna tavainstruktsioonid Airflowi käivitamiseks ei tundu Windowsi keskkonnas rakenduvat, on tarvis kasutada minu juhtum oleks üleliigne, alustasin teiste lahenduste otsimist. Õnneks polnud ma selle tee peal esimene, seega leidsin suurepärase Apache Airflow'i installimisest Windows 10-s ilma Dockerit kasutamata. Kuid nagu sageli juhtub, esinevad soovitatud samme järgides raskused ja ma arvan, et mitte ainult minuga. Seetõttu tahan rääkida oma Apache Airflow'i installimise kogemusest, ehkki see säästab kellegi aega.
Vaatame läbi juhendi sammud (spoiler — 5. samm läks kõik hästi):
1. Windowsi alamsüsteemi installimine Linuxi jaoks järgmise Linuxi distributsioonide installimise jaoks
See on väiksem probleem, nagu öeldakse:
Juhtpaneel → Programmid → Programmid ja komponendid → Windowsi komponentide lubamine ja keelamine → Windowsi alamsüsteem Linuxi jaoks
2. Valitud Linuxi distributsiooni installimine
Kasutasin rakendust .
3. pip-i installimine ja uuendamine
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Apache Airflow'i installimine
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Andmebaasi algatamine
Ja just siin algasid mu väikesed raskused. Juhis nõuab käsku sisestada airflow initdb ja minna järgmisele sammule. Kuid ma sain alati vastuseks airflow: käsku ei leitud. Loogiline oleks eeldada, et Apache Airflow'i installimise etapis tekkisid raskused ja vajalikud failid puuduvad. Veendudes, et kõik on õigetes kohtades, otsustasin proovida määrata täisp tee failini airflow (see peaks nägema välja nii: Täisp/:/tee/:/failini/airflow initdb). Kuid imet ei juhtunud ja vastus oli sama airflow: käsku ei leitud. Proovisin kasutada suhtelist tee faili (./.local/bin/airflow initdb), mis tõi kaasa uue vea ModuleNotFoundError: No module named json', mida saab vältida, uuendades raamatukogu werkzeug (minu puhul versioonini 0.15.4):
pip install werkzeug==0.15.4Rohkem werkzeug'i kohta saab lugeda .
Pärast seda lihtsat toimingut käsk ./.local/bin/airflow initdb oli edukalt täidetud.
6. Airflow serveri käitamine
Sellega ei olnud raskused airflow'i kasutamisel veel läbi. Käsk käivitamine ./.local/bin/airflow webserver -p 8080 viis vea Sellist faili või katalooge ei eksisteeri. Tõenäoliselt oleks kogenud Ubuntu kasutaja kohe proovinud selliseid probleeme lahendada faili käsuga export PATH=$PATH:~/.local/bin/ (st то есть, добавades to existing execution paths defined by the PATH variable, the directory /.local/bin/), but this post is intended for those who primarily work with Windows and may not find such a solution obvious.
After the manipulation described above, the command ./.local/bin/airflow webserver -p 8080 was executed successfully.
7. URL: :8080/
If everything went smoothly in the previous stages, you are ready to conquer analytical peaks.
I hope the experience of installing Apache Airflow on Windows 10 described above will be helpful for beginners and accelerate their entry into the universe of modern analytics tools.
Next time, I would like to continue the topic and share the experience of using Apache Airflow in the analysis of user behavior in mobile applications.
Allikas: habr.com
