Experiencia instalando Apache Airflow en Windows 10

Preámbulo: por vontade do destino, do mundo da ciencia académica (medicina), acabei no mundo das tecnoloxías da información, onde teño que utilizar os meus coñecementos sobre a metodoloxía para construír un experimento e as estratexias para analizar datos experimentais, non obstante, para aplicar unha nova pila de tecnoloxía para min. No proceso de dominio destas tecnoloxías atópome cunha serie de dificultades que, afortunadamente, foron superadas ata agora. Quizais esta publicación sexa útil para aqueles que tamén están comezando cos proxectos Apache.

Entón, ata o punto. Inspirado artigos Yuri Emelyanov sobre as capacidades de Apache Airflow no campo da automatización dos procedementos analíticos, quería comezar a usar o conxunto de bibliotecas proposto no meu traballo. Para aqueles que aínda non estean familiarizados con Apache Airflow, unha pequena visión xeral pode ser de interese. artigo na páxina web da Biblioteca Nacional. N. E. Bauman.

Xa que as instrucións habituais para executar Airflow non parecen aplicarse nun ambiente Windows, senón que se usan acoplador no meu caso sería redundante, empecei a buscar outras solucións. Afortunadamente para min, non fun o primeiro neste camiño, así que conseguín atopar un marabilloso video instrución como instalar apache airflow en windows 10 sin usar docker. Pero, como adoita suceder, ao seguir os pasos recomendados, xorden dificultades e, creo, non só para min. Polo tanto, gustaríame falar da miña experiencia coa instalación de Apache Airflow, quizais lle aforre algún tempo a alguén.

Imos seguir os pasos das instrucións (spoiler: todo saíu ben no 5º paso):

1. Instalación do subsistema Windows para Linux para a posterior instalación de distribucións de Linux

Este é o menor dos problemas, como din:

Panel de control → Programas → Programas e características → Activar ou desactivar as funcións de Windows → Subsistema de Windows para Linux

2. Instala a distribución Linux que elixas

Usei a aplicación Ubuntu.

3. Instalar e actualizar pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Instalación de Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. Inicialización da base de datos

E aquí é onde comezaron as miñas pequenas dificultades. A instrución indícase a introducir o comando airflow initdb e pasar ao seguinte paso. Porén, sempre recibín resposta airflow: command not found. É lóxico supoñer que houbo dificultades durante a instalación de Apache Airflow e simplemente non hai ficheiros necesarios. Despois de asegurarme de que todo está onde debería estar, decidín tentar especificar a ruta completa ao ficheiro de fluxo de aire (debería verse así: Полный/путь/до/файла/airflow initdb). Pero o milagre non ocorreu e a resposta foi a mesma airflow: command not found. Intentei usar un camiño relativo ao ficheiro (./.local/bin/airflow initdb), o que deu lugar a un novo erro ModuleNotFoundError: No module named json', que se pode superar actualizando a biblioteca ferramenta (no meu caso ata a versión 0.15.4):

pip install werkzeug==0.15.4

Podes ler máis sobre werkzeug aquí.

Despois desta simple manipulación, o comando ./.local/bin/airflow initdb completouse con éxito.

6. Iniciando o servidor Airflow

Sobre isto, as dificultades para acceder ao fluxo de aire aínda non remataron. Executar comando ./.local/bin/airflow webserver -p 8080 levou a un erro No such file or directory. É probable que un usuario experimentado de Ubuntu tente inmediatamente superar tales dificultades ao acceder a un ficheiro mediante o comando export PATH=$PATH:~/.local/bin/ (é dicir, engadindo /.local/bin/ á ruta de busca PATH existente para executables), pero esta publicación está pensada para aqueles que traballan principalmente con Windows e poden non pensar que esta é unha solución obvia.

Despois da manipulación descrita anteriormente, o comando ./.local/bin/airflow webserver -p 8080 completouse con éxito.

7.URL: localhost: 8080 /

Se todo foi ben nas etapas anteriores, entón estás preparado para conquistar as alturas analíticas.

Espero que a experiencia de instalar Apache Airflow en Windows 10 descrita anteriormente sexa útil para os usuarios novatos e acelere a súa entrada no universo das ferramentas de análise modernas.

A próxima vez gustaríame continuar co tema e falar da experiencia de uso de Apache Airflow no ámbito da análise do comportamento dos usuarios de aplicacións móbiles.

Fonte: www.habr.com