在 Windows 10 上安装 Apache Airflow 的经验

前言:命运的安排,从学术科学(医学)的世界,我发现自己进入了信息技术的世界,在那里我必须运用我的知识构建实验的方法和分析实验数据的策略,然而,应用对我来说新的技术堆栈。 在掌握这些技术的过程中,我遇到了很多困难,幸运的是,这些困难目前都已经被克服了。 也许这篇文章对那些刚刚开始使用 Apache 项目的人会有用。

所以,说到重点。 启发 文章 Yuri Emelyanov 关于 Apache Airflow 在分析程序自动化领域的功能时,我想在我的工作中开始使用建议的一组库。 那些还不熟悉 Apache Airflow 的人可能会对简短概述感兴趣 文章 在国家图书馆的网站上。 N.E.鲍曼。

由于运行Airflow的通常说明似乎不适用于Windows环境,因此使用它来解决这个问题 码头工人 就我而言,这是多余的,我开始寻找其他解决方案。 对我来说幸运的是,我不是第一个走上这条路的人,所以我设法找到了一个很棒的 视频教学 如何在不使用 Docker 的情况下在 Windows 10 上安装 Apache Airflow。 但是,正如经常发生的那样,当遵循建议的步骤时,会出现困难,而且我相信,不仅对我来说。 因此,我想谈谈我安装 Apache Airflow 的经验,也许可以节省一些时间。

让我们完成说明的步骤(剧透 - 第五步一切顺利):

1.安装Windows Subsystem for Linux以便后续安装Linux发行版

正如他们所说,这是最小的问题:

控制面板 → 程序 → 程序和功能 → 打开或关闭 Windows 功能 → 适用于 Linux 的 Windows 子系统

2. 安装您选择的 Linux 发行版

我使用了该应用程序 Ubuntu.

3.安装和更新pip

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. 安装 Apache Airflow

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. 数据库初始化

这就是我的小困难开始的地方。 说明要求您输入命令 airflow initdb 并继续下一步。 然而我总是收到答复 airflow: command not found。 可以合理地假设,在安装 Apache Airflow 期间出现了困难,并且所需的文件根本不可用。 确保一切都在应有的位置后,我决定尝试指定气流文件的完整路径(它应该如下所示: Полный/путь/до/файла/airflow initdb)。 但奇迹并没有发生,答案还是一样 airflow: command not found。 我尝试使用文件的相对路径(./.local/bin/airflow initdb),这导致了一个新的错误 ModuleNotFoundError: No module named json'这可以通过更新库来克服 工具 (就我而言,最高版本为 0.15.4):

pip install werkzeug==0.15.4

您可以阅读有关 werkzeug 的更多信息 这里.

经过这个简单的操作后,命令 ./.local/bin/airflow initdb 已成功完成。

6. 启动 Airflow 服务器

这并不是进入气流的困难的结束。 运行命令 ./.local/bin/airflow webserver -p 8080 导致错误 No such file or directory。 可能,经验丰富的 Ubuntu 用户会立即尝试使用以下命令来克服访问文件的此类困难 export PATH=$PATH:~/.local/bin/ (即,将 /.local/bin/ 添加到现有的 PATH 可执行搜索路径),但这篇文章面向主要使用 Windows 且可能认为此解决方案不明显的用户。

经过上述操作后,命令 ./.local/bin/airflow webserver -p 8080 已顺利完成。

7. 网址: 本地:8080 /

如果前面的阶段一切顺利,那么您就已经准备好征服分析高峰了。

我希望上述在 Windows 10 上安装 Apache Airflow 的体验对新手用户有用,并加快他们进入现代分析工具领域的速度。

下次我想继续这个话题,谈谈在分析移动应用程序用户行为领域使用Apache Airflow的经验。

来源: habr.com

添加评论