前言:命运的安排,从学术科学(医学)的世界,我发现自己进入了信息技术的世界,在那里我必须运用我的知识构建实验的方法和分析实验数据的策略,然而,应用对我来说新的技术堆栈。 在掌握这些技术的过程中,我遇到了很多困难,幸运的是,这些困难目前都已经被克服了。 也许这篇文章对那些刚刚开始使用 Apache 项目的人会有用。
所以,说到重点。 启发
由于运行Airflow的通常说明似乎不适用于Windows环境,因此使用它来解决这个问题
让我们完成说明的步骤(剧透 - 第五步一切顺利):
1.安装Windows Subsystem for Linux以便后续安装Linux发行版
正如他们所说,这是最小的问题:
控制面板 → 程序 → 程序和功能 → 打开或关闭 Windows 功能 → 适用于 Linux 的 Windows 子系统
2. 安装您选择的 Linux 发行版
我使用了该应用程序
3.安装和更新pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip
4. 安装 Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow
5. 数据库初始化
这就是我的小困难开始的地方。 说明要求您输入命令 airflow initdb
并继续下一步。 然而我总是收到答复 airflow: command not found
。 可以合理地假设,在安装 Apache Airflow 期间出现了困难,并且所需的文件根本不可用。 确保一切都在应有的位置后,我决定尝试指定气流文件的完整路径(它应该如下所示: Полный/путь/до/файла/airflow initdb
)。 但奇迹并没有发生,答案还是一样 airflow: command not found
。 我尝试使用文件的相对路径(./.local/bin/airflow initdb
),这导致了一个新的错误 ModuleNotFoundError: No module named json'
这可以通过更新库来克服 工具 (就我而言,最高版本为 0.15.4):
pip install werkzeug==0.15.4
您可以阅读有关 werkzeug 的更多信息
经过这个简单的操作后,命令 ./.local/bin/airflow initdb
已成功完成。
6. 启动 Airflow 服务器
这并不是进入气流的困难的结束。 运行命令 ./.local/bin/airflow webserver -p 8080
导致错误 No such file or directory
。 可能,经验丰富的 Ubuntu 用户会立即尝试使用以下命令来克服访问文件的此类困难 export PATH=$PATH:~/.local/bin/
(即,将 /.local/bin/ 添加到现有的 PATH 可执行搜索路径),但这篇文章面向主要使用 Windows 且可能认为此解决方案不明显的用户。
经过上述操作后,命令 ./.local/bin/airflow webserver -p 8080
已顺利完成。
7. 网址:
如果前面的阶段一切顺利,那么您就已经准备好征服分析高峰了。
我希望上述在 Windows 10 上安装 Apache Airflow 的体验对新手用户有用,并加快他们进入现代分析工具领域的速度。
下次我想继续这个话题,谈谈在分析移动应用程序用户行为领域使用Apache Airflow的经验。
来源: habr.com