JupyterをLXD軌道に打ち上げる

基盤となるシステムを気にしたり、root 権限で実行されるはずのコードでエラーが発生した場合にすべてを破棄したりすることなく、Linux でコードやシステム ユーティリティを実験しなければならなかったことがありますか?

しかし、XNUMX 台のマシン上でさまざまなマイクロサービスのクラスター全体をテストまたは実行する必要がある場合はどうでしょうか? 百、あるいは千ですか？

ハイパーバイザーによって仮想マシンが管理されれば、このような問題は解決できますし、解決されるでしょう。しかし、どのようなコストがかかるのでしょうか? たとえば、Alpine Linux ディストリビューションに基づく LXD のコンテナは、 7.60MB RAM、および起動後にルート パーティションが占める場所 9.5MB！ イーロン・マスクさん、いかがでしょうか？ チェックアウトすることをお勧めします Linux のコンテナ システムである LXD の基本機能

LXD コンテナとは何かが一般的に明らかになったので、さらに進んで考えてみましょう。ホストのコードを安全に実行し、グラフを生成し、UI ウィジェットをコードに動的に (対話的に) リンクできるようなハーベスタ プラットフォームがあったとしたらどうなるでしょうか。ブラックジャックを使用してコードをテキストで補完します...書式設定? インタラクティブなブログのようなものでしょうか？ うわぁ…欲しい！ 欲しい！ 🙂

コンテナで打ち上げる猫の下を見てください ジュピターラボ - 時代遅れの Jupyter Notebook に代わる次世代のユーザー インターフェイス。また、次のような Python モジュールもインストールします。 NumPy, パンダ, matplotlib, IPyウィジェット これにより、上記のすべてを実行し、それをすべて特別なファイル (IPython ラップトップ) に保存できるようになります。

ナビゲーション

• 軌道離陸計画
• 基本システムのインストールと構成
• 基本ソフトウェアのインストールとシステムのセットアップ
• JupyterLab のインストールと構成
• ホストとのデータ共有
• こんにちは世界！
• Python の機能を拡張する
• JupyterLab でのモジュールのテスト
• 他に何がありますか？

軌道離陸計画 ^

上記のスキームの実装を容易にするための簡単な行動計画の概要を説明しましょう。

• ディストリビューションキットをベースにコンテナをインストールして起動しましょう アルパインLinux。 このディストリビューションは最小限を目的としており、最も必要なソフトウェアのみをインストールし、余分なものは何もインストールしないため、このディストリビューションを使用します。
• コンテナに仮想ディスクを追加し、名前を付けてみましょう - hostfs それをルート ファイル システムにマウントします。 このディスクにより、コンテナ内の指定されたディレクトリからホスト上のファイルを使用できるようになります。 したがって、データはコンテナから独立したものになります。 コンテナーが削除されても、データはホスト上に残ります。 また、このスキームは、コンテナー ディストリビューションの標準ネットワーク メカニズムを使用せずに、多くのコンテナー間で同じデータを共有する場合にも役立ちます。
• Bash、sudo、必要なライブラリをインストールし、システム ユーザーを追加して設定しましょう
• Python とモジュールをインストールし、それらのバイナリ依存関係をコンパイルしましょう
• インストールして起動しましょう ジュピターラボ、外観をカスタマイズし、拡張機能をインストールします。

この記事では、コンテナの起動から始めます。LXD のインストールと構成については考慮しません。これについてはすべて別の記事で説明します。 LXD の基本機能 - Linux コンテナ システム.

基本システムのインストールと構成 ^

イメージを指定するコマンドでコンテナを作成します。 alpine3、コンテナの識別子 - jupyterlab そして必要に応じて構成プロファイル:

lxc init alpine3 jupyterlab --profile=default --profile=hddroot

ここでは構成プロファイルを使用しています hddroot これは、ルート パーティションを持つコンテナを作成することを指定します。 ストレージプール 物理 HDD ディスク上にあります。

lxc profile show hddroot

config: {}
description: ""
devices:
  root:
    path: /
    pool: hddpool
    type: disk
name: hddroot
used_by: []

lxc storage show hddpool

config:
  size: 10GB
  source: /dev/loop1
  volatile.initial_source: /dev/loop1
description: ""
name: hddpool
driver: btrfs
used_by:
- /1.0/images/ebd565585223487526ddb3607f5156e875c15a89e21b61ef004132196da6a0a3
- /1.0/profiles/hddroot
status: Created
locations:
- none

これにより、SSD ディスクのリソースを節約しながら、HDD ディスク上のコンテナを実験する機会が得られます。SSD ディスクは、私のシステムでも利用可能です 🙂 そのために別の構成プロファイルを作成しました ssdroot.

コンテナが作成されると、次の状態になります。 STOPPEDしたがって、その中で init システムを実行して起動する必要があります。

lxc start jupyterlab

キーを使ってLXDでコンテナの一覧を表示してみましょう -c これはどれを示しますか c列の表示:

lxc list -c ns4b
+------------+---------+-------------------+--------------+
|    NAME    |  STATE  |       IPV4        | STORAGE POOL |
+------------+---------+-------------------+--------------+
| jupyterlab | RUNNING | 10.0.5.198 (eth0) | hddpool      |
+------------+---------+-------------------+--------------+

コンテナの作成時に、構成プロファイルを使用したため、IP アドレスがランダムに選択されました。 default 以前に記事で設定したもの LXD の基本機能 - Linux コンテナ システム.

現在の構成のように構成プロファイル レベルではなく、コンテナ レベルでネットワーク インターフェイスを作成することにより、この IP アドレスをより覚えやすいものに変更します。 これを行う必要はありません。スキップしても構いません。

ネットワークインターフェースの作成 eth0 スイッチ（ネットワークブリッジ）にリンクします lxdbr0 ここでは、前の記事に従って NAT を有効にすると、コンテナがインターネットにアクセスできるようになり、インターフェイスに静的 IP アドレスも割り当てられます。 10.0.5.5:

lxc config device add jupyterlab eth0 nic name=eth0 nictype=bridged parent=lxdbr0 ipv4.address=10.0.5.5

デバイスを追加した後、コンテナーを再起動する必要があります。

lxc restart jupyterlab

コンテナのステータスを確認する:

lxc list -c ns4b
+------------+---------+------------------+--------------+
|    NAME    |  STATE  |       IPV4       | STORAGE POOL |
+------------+---------+------------------+--------------+
| jupyterlab | RUNNING | 10.0.5.5 (eth0)  | hddpool      |
+------------+---------+------------------+--------------+

基本ソフトウェアのインストールとシステムのセットアップ ^

コンテナを管理するには、次のソフトウェアをインストールする必要があります。

パッケージ
説明

bash
GNU Bourne Again シェル

bash-補完
bash シェルのプログラム可能な補完

sudo
特定のユーザーに root としていくつかのコマンドを実行できるようにする

影
シャドウ ファイルと PAM をサポートするパスワードおよびアカウント管理ツール スイート

ツデータ
タイムゾーンと夏時間のデータのソース

ドワーフ
強化された Pico エディターのクローン

さらに、次のパッケージをインストールすることで、システムのマンページにサポートをインストールできます- man man-pages mdocml-apropos less

lxc exec jupyterlab -- apk add bash bash-completion sudo shadow tzdata nano

使用したコマンドとキーを見てみましょう。

• lxc — LXD クライアントを呼び出す
• exec - コンテナ内でコマンドを実行するLXDクライアントメソッド
• jupyterlab — コンテナID
• -- - それ以降のキーを次のキーとして解釈しないように指定する特別なキー lxc 残りの文字列をそのままコンテナに渡します
• apk — Alpine Linux ディストリビューション パッケージ マネージャー
• add — コマンドの後に指定されたパッケージをインストールするパッケージ マネージャー メソッド

次に、システムにタイムゾーンを設定します Europe/Moscow:

lxc exec jupyterlab -- cp /usr/share/zoneinfo/Europe/Moscow /etc/localtime

タイムゾーンをインストールした後、パッケージは tzdata システムでは不要になり、スペースを占有するため、削除しましょう。

lxc exec jupyterlab -- apk del tzdata

タイムゾーンを確認する:

lxc exec jupyterlab -- date

Wed Apr 15 10:49:56 MSK 2020

コンテナ内の新規ユーザー向けに Bash をセットアップするのに多くの時間を費やさないようにするために、次の手順では、既製の skel ファイルをホスト システムからホスト システムにコピーします。 これにより、コンテナ内の Bash をインタラクティブに整形できるようになります。 私のホスト システムは Manjaro Linux で、ファイルはコピーされています /etc/skel/.bash_profile, /etc/skel/.bashrc, /etc/skel/.dir_colors 基本的に、これらは Alpine Linux に適しており、重大な問題を引き起こすことはありませんが、別のディストリビューションを使用している可能性があり、コンテナーで Bash を実行するときにエラーが発生したかどうかを個別に確認する必要があります。

skel ファイルをコンテナーにコピーします。 鍵 --create-dirs 必要なディレクトリが存在しない場合は作成します。

lxc file push /etc/skel/.bash_profile jupyterlab/etc/skel/.bash_profile --create-dirs
lxc file push /etc/skel/.bashrc jupyterlab/etc/skel/.bashrc
lxc file push /etc/skel/.dir_colors jupyterlab/etc/skel/.dir_colors

既存の root ユーザーの場合は、コンテナーにコピーしたばかりの skel ファイルをホーム ディレクトリにコピーします。

lxc exec jupyterlab -- cp /etc/skel/.bash_profile /root/.bash_profile
lxc exec jupyterlab -- cp /etc/skel/.bashrc /root/.bashrc
lxc exec jupyterlab -- cp /etc/skel/.dir_colors /root/.dir_colors

Alpine Linux はユーザー用のシステム シェルをインストールします /bin/shに置き換えます。 root Bash のユーザー:

lxc exec jupyterlab -- usermod --shell=/bin/bash root

その root ユーザーはパスワードなしではなかったので、パスワードを設定する必要があります。 次のコマンドは、新しいランダムなパスワードを生成して設定します。実行後にコンソール画面にパスワードが表示されます。

lxc exec jupyterlab -- /bin/bash -c "PASSWD=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 12); echo "root:$PASSWD" | chpasswd && echo "New Password: $PASSWD""

New Password: sFiXEvBswuWA

また、新しいシステム ユーザーを作成しましょう - jupyter 後で構成します ジュピターラボ:

lxc exec jupyterlab -- useradd --create-home --shell=/bin/bash jupyter

パスワードを生成して設定しましょう。

lxc exec jupyterlab -- /bin/bash -c "PASSWD=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 12); echo "jupyter:$PASSWD" | chpasswd && echo "New Password: $PASSWD""

New Password: ZIcbzWrF8tki

次に、XNUMX つのコマンドを実行します。最初のコマンドはシステム グループを作成します。 sudo、XNUMX番目はそれにユーザーを追加します jupyter:

lxc exec jupyterlab -- groupadd --system sudo
lxc exec jupyterlab -- groupmems --group sudo --add jupyter

ユーザーがどのグループに属しているかを見てみましょう jupyter:

lxc exec jupyterlab -- id -Gn jupyter

jupyter sudo

すべて問題ありません。次に進みましょう。

グループのメンバーであるすべてのユーザーを許可します sudo コマンドを使用する sudo。 これを行うには、次のスクリプトを実行します。 sed 設定ファイル内のパラメータ行のコメントを解除します。 /etc/sudoers:

lxc exec jupyterlab -- /bin/bash -c "sed --in-place -e '/^#[ t]*%sudo[ t]*ALL=(ALL)[ t]*ALL$/ s/^[# ]*//' /etc/sudoers"

JupyterLab のインストールと構成 ^

ジュピターラボ は Python アプリケーションなので、最初にこのインタープリターをインストールする必要があります。 また、 ジュピターラボ Pythonパッケージマネージャーを使用してインストールします pip、システムのものではありません。システムリポジトリで古くなっている可能性があるため、次のパッケージをインストールして依存関係を手動で解決する必要があります- python3 python3-dev gcc libc-dev zeromq-dev:

lxc exec jupyterlab -- apk add python3 python3-dev gcc libc-dev zeromq-dev

Pythonモジュールとパッケージマネージャーを更新しましょう pip 現在のバージョンへ:

lxc exec jupyterlab -- python3 -m pip install --upgrade pip setuptools wheel

セット ジュピターラボ パッケージマネージャー経由 pip:

lxc exec jupyterlab -- python3 -m pip install jupyterlab

の拡張機能以来、 ジュピターラボ これらは実験的なものであり、jupyterlab パッケージに正式に同梱されていないため、手動でインストールして構成する必要があります。

NodeJS とそのパッケージ マネージャーである NPM をインストールしましょう。 ジュピターラボ それらを拡張機能に使用します。

lxc exec jupyterlab -- apk add nodejs npm

拡張機能へ ジュピターラボ これからインストールするものは機能しました。アプリケーションはユーザーから起動されるため、ユーザーディレクトリにインストールする必要があります jupyter。 問題は、起動コマンドにはディレクトリに渡すことができるパラメータがないことです。アプリケーションは環境変数のみを受け入れるため、環境変数を定義する必要があります。 これを行うには、変数のエクスポート コマンドを作成します。 JUPYTERLAB_DIR ユーザーの環境で jupyter、 ファイルへ .bashrcこれはユーザーがログインするたびに実行されます。

lxc exec jupyterlab -- su -l jupyter -c "echo -e "nexport JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab" >> .bashrc"

次のコマンドは、特別な拡張機能である拡張機能マネージャーをインストールします。 ジュピターラボ:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build @jupyter-widgets/jupyterlab-manager"

これで最初の起動の準備がすべて整いました ジュピターラボただし、いくつかの便利な拡張機能をインストールすることもできます。

• toc — 目次、記事/ノートブックの見出しのリストを生成します。
• jupyterlab-horizon-theme — UIテーマ
• jupyterlab_neon_theme — UIテーマ
• jupyterlab-ubu-theme - もう一つ 作者からのテーマ この記事:) ただし、この場合、GitHub リポジトリからのインストールが表示されます。

したがって、次のコマンドを順番に実行して、これらの拡張機能をインストールします。

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build @jupyterlab/toc @mohirio/jupyterlab-horizon-theme @yeebc/jupyterlab_neon_theme"

lxc exec jupyterlab -- su -l jupyter -c "wget -c https://github.com/microcoder/jupyterlab-ubu-theme/archive/master.zip"

lxc exec jupyterlab -- su -l jupyter -c "unzip -q master.zip && rm master.zip"

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build jupyterlab-ubu-theme-master"

lxc exec jupyterlab -- su -l jupyter -c "rm -r jupyterlab-ubu-theme-master"

拡張機能をインストールした後、拡張機能をコンパイルする必要があります。これは、インストール時にキーを指定したためです。 --no-build 時間を節約するために。 これらを一度にコンパイルすることで大幅に速度が向上します。

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter lab build"

初めて実行するには、次の XNUMX つのコマンドを実行します。 ジュピターラボ。 XNUMX つのコマンドで起動することも可能ですが、この場合、頭の中で覚えるのが難しい起動コマンドは、すでに十分なコマンドが存在するホストではなく、コンテナ内の bash によって記憶されます。履歴に記録します:)

ユーザーとしてコンテナにログインします jupyter:

lxc exec jupyterlab -- su -l jupyter

次に、実行します ジュピターラボ 示されているキーとパラメータを使用します。

[jupyter@jupyterlab ~]$ jupyter lab --ip=0.0.0.0 --no-browser

Web ブラウザでアドレスにアクセスします http://10.0.5.5:8888 開いたページで次のように入力します トークン コンソールに表示されるアクセス権。 コピーしてページに貼り付け、クリックします。 ログイン。 ログイン後、下の図に示すように、左側の拡張機能メニューに移動します。拡張機能マネージャーをアクティブ化するときに、コマンドが必要なサードパーティの拡張機能をインストールしてセキュリティ リスクを負うかどうかを確認するメッセージが表示されます。 JupyterLab の開発 は責任を負いません:

ただし、全体を分離します。 ジュピターラボ これをコンテナ内に配置して、NodeJS を必要とし、使用するサードパーティの拡張機能が、少なくともコンテナ内で開くもの以外のディスク上のデータを盗むことができないようにします。 ホスト上のプライベート ドキュメントにアクセスします。 /home コンテナからのプロセスが成功する可能性は低く、成功した場合は、コンテナを実行するため、ホスト システム上のファイルに対する権限が必要になります。 非特権モード。 この情報に基づいて、拡張機能を含めるリスクを評価できます。 ジュピターラボ.

作成された IPython ノートブック (ページ ジュピターラボ) ユーザーのホーム ディレクトリに作成されます - /home/jupyterただし、ホストとコンテナーの間でデータを分割 (共有) する計画なので、コンソールに戻って停止します。 ジュピターラボ ホットキーを実行することで - CTRL+C そして答える y 要求に応じて。 次に、ユーザーの対話型セッションを終了します。 jupyter ホットキーを完了する CTRL+D.

ホストとのデータ共有 ^

ホストとデータを共有するには、これを実行できるデバイスをコンテナ内に作成する必要があります。これを行うには、次のキーを指定して次のコマンドを実行します。

• lxc config device add — このコマンドはデバイス構成を追加します
• jupyter — 構成が追加されるコンテナの ID
• hostfs - デバイスID。 任意の名前を設定できます。
• disk — デバイスの種類が表示されます
• path — LXD がこのデバイスをマウントするコンテナ内のパスを指定します
• source — ソース、つまりコンテナと共有するホスト上のディレクトリへのパスを指定します。 好みに応じてパスを指定してください

lxc config device add jupyterlab hostfs disk path=/mnt/hostfs source=/home/dv/projects/ipython-notebooks

カタログ用 /home/dv/projects/ipython-notebooks 権限は、現在次の UID を持つコンテナ ユーザーに設定する必要があります。 SubUID + UIDの章を参照 安全性。 コンテナの権限 記事の中で LXD の基本機能 - Linux コンテナ システム.

ホストに権限を設定します。所有者はコンテナー ユーザーになります。 jupyter、変数 $USER ホスト ユーザーをグループとして指定します。

sudo chown 1001000:$USER /home/dv/projects/ipython-notebooks

こんにちは世界！ ^

コンテナ内でまだコンソール セッションが開いている場合は、 ジュピターラボ、新しいキーで再起動します --notebook-dir 値を設定することで /mnt/hostfs 前の手順で作成したデバイスのコンテナ内のラップトップのルートへのパスとして次のように入力します。

jupyter lab --ip=0.0.0.0 --no-browser --notebook-dir=/mnt/hostfs

次に、ページに移動します http://10.0.5.5:8888 次の図に示すように、ページ上のボタンをクリックして最初のラップトップを作成します。

次に、ページ上のフィールドに、クラシックなコードを表示する Python コードを入力します。 Hello World!。 入力が終わったら を押します CTRL+ENTER または、上部のツールバーの「再生」ボタンを使用して、JupyterLab でこれを実行します。

この時点で、ほぼすべてのものが使用できるようになりましたが、Python の標準機能を大幅に拡張できる追加の Python モジュール (本格的なアプリケーション) をインストールしないと面白くありません。 ジュピターラボしたがって、次に進みましょう:)

PS 興味深いのは、古い実装 ジュピター コードネームの下で ジュピターノート 消え去ったわけではなく、それと並行して存在しています。 ジュピターラボ。 古いバージョンに切り替えるには、アドレスにサフィックスを追加してリンクをクリックします。/tree、新しいバージョンへの移行は接尾辞を使用して実行されます。 /labただし、指定する必要はありません。

• ジュピターノートブック - http://10.0.5.5:8888/tree
• ジュピターラボ - http://10.0.5.5:8888/lab

Python の機能を拡張する ^

このセクションでは、次のような強力な Python 言語モジュールをインストールします。 NumPy, パンダ, matplotlib, IPyウィジェット その結果はラップトップに統合されます ジュピターラボ.

リストされた Python モジュールをパッケージ マネージャーを通じてインストールする前に pip まず、Alpine Linux のシステム依存関係を解決する必要があります。

• g++ — モジュールの一部は言語で実装されているため、モジュールのコンパイルに必要です C + + 実行時にバイナリ モジュールとして Python に接続します
• freetype-dev - Pythonモジュールの依存関係 matplotlib

依存関係のインストール:

lxc exec jupyterlab -- apk add g++ freetype-dev

問題が XNUMX つあります。Alpine Linux ディストリビューションの現在の状態では、NumPy の新しいバージョンをコンパイルすることができず、コンパイル エラーが表示されますが、解決できませんでした。

ERROR: PEP 517 を使用する numpy 用のホイールを構築できず、直接インストールできません

したがって、このモジュールは、コンパイル済みのバージョンを配布するシステム パッケージとしてインストールしますが、現在サイトで入手可能なものよりも少し古いです。

lxc exec jupyterlab -- apk add py3-numpy py3-numpy-dev

次に、パッケージマネージャーを通じて Python モジュールをインストールします。 pip。 一部のモジュールはコンパイルに数分かかる場合があるため、しばらくお待ちください。 私のマシンでは、コンパイルに約 15 分かかりました。

lxc exec jupyterlab -- python3 -m pip install pandas ipywidgets matplotlib

インストールキャッシュのクリア:

lxc exec jupyterlab -- rm -rf /home/*/.cache/pip/*
lxc exec jupyterlab -- rm -rf /root/.cache/pip/*

JupyterLab でのモジュールのテスト ^

走っているなら ジュピターラボを再起動すると、新しくインストールされたモジュールが有効になります。 これを行うには、コンソール セッションで、 CTRL+C 実行している場所で入力してください y リクエストを停止してから再度開始するには ジュピターラボ コマンドを再度入力しないようにキーボードの上矢印を押してから、 Enter それを開始するには:

jupyter lab --ip=0.0.0.0 --no-browser --notebook-dir=/mnt/hostfs

Перейдитенастраницу http://10.0.5.5:8888/lab または、ブラウザでページを更新し、新しいノートブックのセルに次のコードを入力します。

%matplotlib inline

from ipywidgets import interactive
import matplotlib.pyplot as plt
import numpy as np

def f(m, b):
    plt.figure(2)
    x = np.linspace(-10, 10, num=1000)
    plt.plot(x, m * x + b)
    plt.ylim(-5, 5)
    plt.show()

interactive_plot = interactive(f, m=(-2.0, 2.0), b=(-3, 3, 0.5))
output = interactive_plot.children[-1]
output.layout.height = '350px'
interactive_plot

以下の図のような結果が得られるはずです。 IPyウィジェット ソース コードとインタラクティブに対話する UI 要素をページ上に生成します。 matplotlib コードの結果を関数グラフとして画像形式で表示します。

多くの例 IPyウィジェット チュートリアルで見つけることができます ここで

他に何がありますか？ ^

このまま記事の最後まで読んでいただければ幸いです。 記事の最後には、インストールする既製のスクリプトを意図的に投稿しませんでした。 ジュピターラボ 「ワンクリック」で従業員を励ますことができます :) しかし、コマンドを XNUMX つの Bash スクリプトにまとめているので、方法はすでにわかっているので、自分で行うこともできます :)

あなたもすることができます：

• IP アドレスの代わりにコンテナのネットワーク名を単純な形式で記述して設定します。 /etc/hosts ブラウザにアドレスを入力します http://jupyter.local:8888
• コンテナのリソース制限を試してみましょう。これについては、次の章を読んでください。 基本的な LXD 機能 または、LXD 開発者サイトで詳細情報を入手してください。
• テーマを変更します。

他にもできることはたくさんあります。 それだけです。 私はあなたの成功を祈って！

更新: 15.04.2020/18/30 XNUMX:XNUMX - 「Hello, World!」の章の誤りを修正
UPDATE: 16.04.2020/10/00 XNUMX:XNUMX — 拡張機能マネージャーのアクティベーションの説明文を修正および追加 ジュピターラボ
更新: 16.04.2020/10/40 XNUMX:XNUMX — テキスト内で見つかった誤りを修正し、「基本ソフトウェアのインストールとシステムのセットアップ」の章をよりわかりやすくするためにわずかに変更しました。

出所： habr.com