Preámbulo: por capricho del destino, de un mundo académico (médico) caí en el mundo de las tecnologías de la información, donde tengo que usar mis conocimientos sobre la metodología de diseño experimental y las estrategias de análisis de datos experimentales, aunque aplicando un nuevo conjunto de tecnologías para mí. En el proceso de dominar estas tecnologías, encuentro una serie de dificultades que, afortunadamente, hasta ahora he logrado superar. Quizás este post será útil para aquellos que también están empezando a trabajar con proyectos de Apache.
Así que, al grano. Inspirada por Yuri Emelyanov sobre las posibilidades de Apache Airflow en la automatización de procedimientos analíticos, quise comenzar a usar el conjunto de bibliotecas ofrecido en mi trabajo. Para aquellos que aún no están familiarizados con Apache Airflow, puede ser interesante una pequeña revisión en el sitio web de la Biblioteca Nacional N. E. Bauman.
Dado que las instrucciones comunes para iniciar Airflow, aparentemente, no se aplican en el entorno de Windows, y usar en mi caso sería excesivo, comencé a buscar otras soluciones. Afortunadamente para mí, no era la primera en este camino, por lo que pude encontrar una maravillosa para instalar Apache Airflow en Windows 10 sin usar docker. Pero, como suele suceder, al seguir los pasos recomendados, surgen dificultades, y creo que no solo a mí. Por lo tanto, me gustaría compartir mi experiencia en la instalación de Apache Airflow, quizás a alguien le ahorre un poco de tiempo.
Pasemos por los pasos de la instrucción (spoiler: el 5º paso fue perfecto):
1. Instalación de la Subsistema de Windows para Linux para la posterior instalación de distribuciones de Linux
Este es el menor de los problemas, como se dice:
Panel de control → Programas → Programas y características → Activar o desactivar características de Windows → Subsistema de Windows para Linux
2. Instalación de la distribución de Linux de su elección
Utilicé la aplicación .
3. Instalación y actualización de pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Instalación de Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Inicialización de la base de datos
Y aquí es donde comenzaron mis pequeñas dificultades. La instrucción indica que se debe ingresar el comando airflow initdb y continuar con el siguiente paso. Sin embargo, siempre recibía la respuesta airflow: command not found. Es lógico suponer que hubo dificultades en la etapa de instalación de Apache Airflow y simplemente no hay archivos necesarios. Asegurándome de que todo esté donde debería, decidí intentar especificar la ruta completa del archivo airflow (debería verse así: ruta/completa/al/archivo/airflow initdb). Pero el milagro no ocurrió y la respuesta fue la misma airflow: command not found. Intenté usar una ruta relativa al archivo (./.local/bin/airflow initdb), lo que llevó a un nuevo error ModuleNotFoundError: No module named 'json', que se puede superar actualizando la biblioteca werkzeug (en mi caso a la versión 0.15.4):
pip install werkzeug==0.15.4Más información sobre werkzeug se puede leer .
Después de esta sencilla maniobra, el comando ./.local/bin/airflow initdb se ejecutó con éxito.
6. Inicio del servidor Airflow
Las dificultades con el acceso a airflow aún no han terminado. Al ejecutar el comando ./.local/bin/airflow webserver -p 8080 se produjo el error No such file or directory. Probablemente, un usuario experimentado de Ubuntu intentaría superar tales dificultades de acceso al archivo con el comando export PATH=$PATH:~/.local/bin/ (es decir, añadiendo al camino existente de búsqueda de archivos ejecutables, definido por la variable PATH, el directorio /.local/bin/), pero esta publicación está destinada a aquellos que principalmente trabajan con Windows y, tal vez, no consideran que tal solución sea obvia.
Después de la maniobra descrita anteriormente, el comando ./.local/bin/airflow webserver -p 8080 se ejecutó con éxito.
7. URL: :8080/
Si todo ha ido bien en las etapas anteriores, estás listo para conquistar las cimas analíticas.
Espero que la experiencia de instalación de Apache Airflow en Windows 10 descrita arriba sea útil para los nuevos usuarios y acelere su acceso al universo de las modernas herramientas de análisis.
La próxima vez me gustaría continuar con el tema y hablar sobre la experiencia de usar Apache Airflow en el análisis del comportamiento de los usuarios de aplicaciones móviles.
Fuente: habr.com
