Windows 10 に Apache Airflow をインストールした経験

プリアンブル: 運命の意志で、学術（医学）の世界から情報技術の世界に来ました。そこでは、実験を構築する方法論と実験データを分析するための戦略に関する知識を活用する必要がありますが、私にとっては新しい技術スタックです。 これらのテクノロジーを習得する過程で、多くの困難に遭遇しますが、幸いなことに、これまでのところそれらは克服されています。 おそらくこの投稿は、Apache プロジェクトを使い始めたばかりの人にも役立つでしょう。

それで、要点まで。 インスパイヤされた 論文 分析手順の自動化の分野における Apache Airflow の機能について、Yuri Emelyanov が語ってくれました。私は、提案されたライブラリのセットを自分の仕事で使い始めたいと思いました。 Apache Airflow にまだまったく慣れていない人は、簡単な概要に興味があるかもしれません。 記事 国立図書館のウェブサイトにあります。 N・E・バウマン。

Airflow を実行するための通常の手順は Windows 環境では適用されないようなので、この問題を解決するにはこれを使用してください ドッカー 私の場合、それは冗長になるため、他の解決策を探し始めました。 幸いなことに、私はこの道の最初ではなかったので、なんとか素晴らしいものを見つけることができました。 ビデオによる説明 Docker を使用せずに Windows 10 に Apache Airflow をインストールする方法。 しかし、よくあることですが、推奨されている手順に従うと、問題が発生します。それは私だけの問題ではないと思います。 したがって、誰かの時間を少し節約できるかもしれないので、Apache Airflow をインストールした私の経験について話したいと思います。

手順のステップを見てみましょう (ネタバレ - 5 番目のステップではすべてがうまくいきました)。

1. Linux ディストリビューションを後でインストールするための Linux 用 Windows サブシステムのインストール

彼らが言うように、これは最も問題が少ないものです。

「コントロール パネル」→「プログラム」→「プログラムと機能」→「Windows の機能をオンまたはオフにする」→「Windows Subsystem for Linux」

2. 選択した Linux ディストリビューションをインストールします

アプリケーションを使用しました Ubuntu.

3. pipのインストールとアップデート

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. Apache Airflow のインストール

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. データベースの初期化

そしてここから私の小さな困難が始まりました。 手順ではコマンドを入力する必要があります airflow initdb そして次のステップに進みます。 でも、必ず答えは返ってきました airflow: command not found。 Apache Airflow のインストール中に問題が発生し、必要なファイルが単に利用できないと考えるのが自然です。 すべてが適切な場所にあることを確認した後、エアフロー ファイルへのフル パスを指定してみることにしました (次のようになります:) Полный/путь/до/файла/airflow initdb）。 でも奇跡は起こらず答えは同じだった airflow: command not found。 ファイルへの相対パスを使用してみました（./.local/bin/airflow initdb)、新たなエラーが発生しました ModuleNotFoundError: No module named json'ライブラリを更新することで解決できます ツール (私の場合はバージョン 0.15.4 まで):

pip install werkzeug==0.15.4

werkzeug について詳しく読むことができます ここで.

この簡単な操作の後、コマンド ./.local/bin/airflow initdb 無事に完了しました。

6. Airflowサーバーの起動

空気の流れを確保する上での困難はこれで終わりではありません。 コマンドの実行 ./.local/bin/airflow webserver -p 8080 エラーが発生しました No such file or directory。 おそらく、経験豊富な Ubuntu ユーザーは、次のコマンドを使用して、ファイルにアクセスする際のこのような問題をすぐに克服しようとするでしょう。 export PATH=$PATH:~/.local/bin/ (つまり、既存の PATH 実行可能検索パスに /.local/bin/ を追加します) ただし、この投稿は主に Windows で作業する人を対象としており、この解決策が自明ではないと思われるかもしれません。

上記の操作の後、コマンド ./.local/bin/airflow webserver -p 8080 無事に完了しました。

7. URL： ローカルホスト：8080 /

前の段階ですべてがうまくいった場合は、分析のピークを克服する準備ができています。

Windows 10 に Apache Airflow をインストールする際の上記の経験が初心者ユーザーにとって役立ち、最新の分析ツールの世界への参入を促進することを願っています。

次回はこの話題を継続し、モバイルアプリケーションのユーザー行動分析の分野での Apache Airflow の使用体験について話したいと思います。

出所： habr.com