Préâmbulo: por capricho do destino, do mundo acadêmico (medicina) fui parar no mundo da tecnologia da informação, onde utilizo meus conhecimentos sobre metodologia de experimentação e estratégias de análise de dados experimentais, porém aplicando um novo conjunto de tecnologias para mim. No processo de aprendizado dessas tecnologias, enfrento várias dificuldades que, felizmente, estou conseguindo superar por enquanto. Talvez esta postagem seja útil para aqueles que também estão começando a trabalhar com projetos Apache.
Então, vamos ao ponto. Inspirada por Yuri Emelyanov sobre as possibilidades do Apache Airflow na automação de procedimentos analíticos, tive vontade de começar a usar o conjunto de bibliotecas oferecido em meu trabalho. Para aqueles que ainda não estão familiarizados com o Apache Airflow, pode ser interessante uma breve visão geral no site da Biblioteca Nacional N. E. Bauman.
Como as instruções comuns para iniciar o Airflow aparentemente não são aplicáveis em ambientes Windows, e usar para resolver essa tarefa no meu caso seria desnecessário, comecei a procurar outras soluções. Para minha sorte, não sou a primeira a trilhar esse caminho, então consegui encontrar um ótimo sobre como instalar o Apache Airflow no Windows 10 sem o uso do Docker. Mas, como muitas vezes acontece, ao seguir os passos recomendados, surgem dificuldades que, suponho, não são apenas minhas. Portanto, gostaria de compartilhar minha experiência na instalação do Apache Airflow, talvez isso economize um pouco do tempo de alguém.
Vamos passar pelos passos da instrução (spoiler — do 5º passo em diante, tudo correu bem):
1. Instalação do Subsistema Windows para Linux para a posterior instalação de distribuições Linux
Esse é o menor dos problemas, como se diz:
Painel de controle → Programas → Programas e Recursos → Ativar ou desativar recursos do Windows → Subsistema do Windows para Linux
2. Instalação da distribuição Linux de sua escolha
Eu utilizei o aplicativo .
3. Instalação e atualização do pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Instalação do Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Inicialização do banco de dados
E foi exatamente aqui que começaram minhas pequenas dificuldades. As instruções pedem para inserir o comando airflow initdb e prosseguir para o próximo passo. No entanto, eu sempre recebia a resposta airflow: comando não encontrado. É lógico supor que houve dificuldades na fase de instalação do Apache Airflow e simplesmente não há arquivos necessários. Após confirmar que está tudo onde deveria estar, decidi tentar especificar o caminho completo para o arquivo airflow (deve ser assim: caminho/completo/para/o/arquivo/airflow initdb). Mas o milagre não aconteceu e a resposta foi a mesma airflow: comando não encontrado. Eu tentei usar um caminho relativo para o arquivo (./.local/bin/airflow initdb), o que resultou em um novo erro ModuleNotFoundError: No module named json', que pode ser superado atualizando a biblioteca werkzeug (no meu caso, para a versão 0.15.4):
pip install werkzeug==0.15.4Mais informações sobre werkzeug podem ser lidas .
Após essa simples manipulação, o comando ./.local/bin/airflow initdb foi executado com sucesso.
6. Iniciando o servidor Airflow
Ainda não terminaram as dificuldades ao acessar o airflow. A execução do comando ./.local/bin/airflow webserver -p 8080 resultou em um erro No such file or directory. Provavelmente, um usuário experiente do Ubuntu teria imediatamente tentado superar essas dificuldades de acesso ao arquivo, utilizando o comando export PATH=$PATH:~/.local/bin/ (ou seja, adicionando ao caminho atual de busca de executáveis, definido pela variável PATH, o diretório /.local/bin/), mas este post é destinado a quem trabalha predominantemente com Windows e, possivelmente, não considera tal solução óbvia.
Após a manipulação descrita acima, o comando ./.local/bin/airflow webserver -p 8080 foi executado com sucesso.
7. URL: :8080/
Se tudo correu bem nas etapas anteriores, você está pronto para conquistar os picos analíticos.
Espero que a experiência de instalação do Apache Airflow no Windows 10 descrita acima seja útil para novos usuários e acelere sua entrada no universo das modernas ferramentas de análise.
Na próxima vez, gostaria de continuar o tema e compartilhar a experiência de uso do Apache Airflow na análise de comportamento de usuários de aplicativos móveis.
Fonte: habr.com
