🥇Jupyter を LXD 軌道に乗せる

コードやシステムユーティリティを実験したことはありますか？ Linux つまり、root権限で実行する必要のあるコードにエラーが発生した場合でも、基盤となるシステムを心配したり、すべてを破壊したりする必要がないということですか？

たとえば、単一のマシン上でさまざまなマイクロサービスのクラスター全体をテストまたは実行する必要がある場合はどうでしょうか? 100 個、あるいは 1,000 個でしょうか?

ハイパーバイザで管理される仮想マシンはこうした問題を解決できるかもしれないが、その代償はどれほど大きいだろうか？例えば、Alpineディストリビューションに基づくLXDコンテナの場合。 Linux 消費エネルギーはごくわずかです 7.60MB RAM、および起動後にルートパーティションが占める場所 9.5MB！どう思いますか、イーロン・マスクさん？ぜひ読んでみてください LXDの基本機能 - コンテナシステム Linux

LXD コンテナーの概要がわかったので、次に、ホストコードを安全に実行し、グラフを生成し、UI ウィジェットをコードに動的 (対話型) にバインドし、テキストやブラックジャックなどの書式設定を使用してコードを拡張できるプラットフォームの組み合わせがあったらどうなるかを考えてみましょう。インタラクティブなブログのようなものですか?わぁ…欲しい！欲しい！ 🙂

コンテナで発射するカットの下を見てくださいジュピターラボ — 時代遅れのJupyter Notebookに代わる次世代のユーザーインターフェース、そして次のようなPythonモジュールもインストールできます。 NumPy, パンダ, matplotlib, IPyWidgets これにより、上記のすべてを実行し、すべてを特別なファイル (IPython ラップトップ) に保存できるようになります。

軌道離陸計画
基本システムのインストールと設定
基本ソフトウェアのインストールとシステムの設定
JupyterLabのインストールと設定
ホストとデータを共有する
こんにちは世界！
Pythonの機能拡張
JupyterLabでのモジュールのテスト
他に何がありますか？

軌道離陸計画 ^

上記の計画をより簡単に実行できるように、簡単な行動計画を概説しましょう。

ディストリビューションに基づいてコンテナをインストールして実行してみましょう高山 Linux。このディストリビューションを使用する理由は、ミニマリズムを目的としており、最も必要なソフトウェアのみをインストールし、余分なものはインストールしないからです。
コンテナに仮想ディスクを追加して名前を付けましょう。 hostfs それをルート FS にマウントします。このディスクを使用すると、コンテナ内の指定されたディレクトリからホスト上のファイルを使用できるようになります。この方法では、データはコンテナから独立します。コンテナが削除されても、データはホスト上に残ります。また、このスキームは、コンテナディストリビューションの標準ネットワークメカニズムを使用せずに、多くのコンテナ間で同じデータを共有する場合にも役立ちます。
Bash、sudo、必要なライブラリをインストールし、システムユーザーを追加して構成します。
Pythonとモジュールをインストールし、それらのバイナリ依存関係をコンパイルしましょう
インストールして実行してみましょう ジュピターラボ、外観をカスタマイズし、拡張機能をインストールします。

この記事では、コンテナの起動から始めます。LXDのインストールと設定については考慮しません。これらについては別の記事で詳しく説明します。 LXDはコンテナシステムであり、その基本的な機能は以下のとおりです。 Linux.

基本システムのインストールと設定 ^

イメージを指定するコマンドでコンテナを作成します。 alpine3、コンテナ識別子 — jupyterlab 必要に応じて構成プロファイル:

lxc init alpine3 jupyterlab --profile=default --profile=hddroot

ここでは構成プロファイルを使用します hddroot これはルートパーティションを持つコンテナを作成するように指定します ストレージプール 物理 HDD ディスク上にある:

lxc profile show hddroot

config: {}
description: ""
devices:
  root:
    path: /
    pool: hddpool
    type: disk
name: hddroot
used_by: []

lxc storage show hddpool

config:
  size: 10GB
  source: /dev/loop1
  volatile.initial_source: /dev/loop1
description: ""
name: hddpool
driver: btrfs
used_by:
- /1.0/images/ebd565585223487526ddb3607f5156e875c15a89e21b61ef004132196da6a0a3
- /1.0/profiles/hddroot
status: Created
locations:
- none

これにより、SSDディスクのリソースを節約しながらHDDディスク上のコンテナを試す機会が得られます。SSDディスクも私のシステムにあります:)そのために別の構成プロファイルを作成しました。 ssdroot.

コンテナが作成されると、その状態は STOPPEDそのため、init システムを実行して起動する必要があります。

lxc start jupyterlab

LXDでコンテナをリストするには、キーを使用します。 -c どれがどれを示すか c画面に表示される列:

lxc list -c ns4b
+------------+---------+-------------------+--------------+
|    NAME    |  STATE  |       IPV4        | STORAGE POOL |
+------------+---------+-------------------+--------------+
| jupyterlab | RUNNING | 10.0.5.198 (eth0) | hddpool      |
+------------+---------+-------------------+--------------+

コンテナを作成するときに、構成プロファイルを使用したため、IP アドレスはランダムに選択されました。 default この記事で以前に設定された LXDはコンテナシステムであり、その基本的な機能は以下のとおりです。 Linux.

現在の構成のように構成プロファイルレベルではなく、コンテナーレベルでネットワークインターフェイスを作成することにより、この IP アドレスをより覚えやすいものに変更します。これを実行する必要はありません。スキップできます。

ネットワークインターフェースを作成する eth0 スイッチ（ネットワークブリッジ）にリンクします lxdbr0 前回の記事に従ってNATを有効にし、コンテナがインターネットにアクセスできるようになり、インターフェースに静的IPアドレスも割り当てられました。 10.0.5.5:

lxc config device add jupyterlab eth0 nic name=eth0 nictype=bridged parent=lxdbr0 ipv4.address=10.0.5.5

デバイスを追加した後、コンテナを再起動する必要があります。

lxc restart jupyterlab

コンテナのステータスを確認しています:

lxc list -c ns4b
+------------+---------+------------------+--------------+
|    NAME    |  STATE  |       IPV4       | STORAGE POOL |
+------------+---------+------------------+--------------+
| jupyterlab | RUNNING | 10.0.5.5 (eth0)  | hddpool      |
+------------+---------+------------------+--------------+

基本ソフトウェアのインストールとシステムの設定 ^

コンテナを管理するには、次のソフトウェアをインストールする必要があります。

パッケージ
詳細説明

bash
GNU Bourne Againシェル

bash-補完
bash シェルのプログラム可能な補完

sudo
特定のユーザーに、rootとしてコマンドを実行する権限を与える

影
シャドウファイルとPAMをサポートするパスワードおよびアカウント管理ツールスイート

ツデータ
タイムゾーンと夏時間データのソース

ドワーフ
機能強化されたPicoエディタクローン

さらに、以下のパッケージをインストールすることで、マニュアルページシステムのサポートをインストールすることができます。 man man-pages mdocml-apropos less

lxc exec jupyterlab -- apk add bash bash-completion sudo shadow tzdata nano

使用したコマンドとキーを見てみましょう。

lxc — LXDクライアントの呼び出し
exec — コンテナ内でコマンドを実行するLXDクライアントメソッド
jupyterlab — コンテナ識別子
-- — キーをそれ以上キーとして解釈しないことを示す特別なキー lxc 残りの文字列全体をそのままコンテナに渡します
apk — Alpine配布パッケージマネージャー Linux
add — コマンドの後に指定されたパッケージをインストールするパッケージマネージャメソッド

次に、システムにタイムゾーンを設定します。 Europe/Moscow:

lxc exec jupyterlab -- cp /usr/share/zoneinfo/Europe/Moscow /etc/localtime

タイムゾーンを設定すると、パッケージは tzdata システムで不要になったファイルはスペースを占有するので、削除しましょう。

lxc exec jupyterlab -- apk del tzdata

タイムゾーンの確認:

lxc exec jupyterlab -- date

Wed Apr 15 10:49:56 MSK 2020

コンテナ内で新規ユーザー向けにBashを設定する時間を節約するため、ホストシステムから既製のskelファイルをコピーします。これにより、コンテナ内のBashを対話モードでカスタマイズできるようになります。私のホストシステムはManjaroです。 Linux ファイルをコピーしました /etc/skel/.bash_profile, /etc/skel/.bashrc, /etc/skel/.dir_colors 原則として、アルパインに適合します Linux 重大な問題を引き起こすことはありませんが、ディストリビューションが異なる場合があり、コンテナ内で Bash を実行する際にエラーが発生するかどうかを自分で確認する必要があります。

skel ファイルをコンテナにコピーします。鍵 --create-dirs 必要なディレクトリが存在しない場合は作成します。

lxc file push /etc/skel/.bash_profile jupyterlab/etc/skel/.bash_profile --create-dirs
lxc file push /etc/skel/.bashrc jupyterlab/etc/skel/.bashrc
lxc file push /etc/skel/.dir_colors jupyterlab/etc/skel/.dir_colors

既存の root ユーザーの場合は、コンテナにコピーした skel ファイルをホームディレクトリにコピーします。

lxc exec jupyterlab -- cp /etc/skel/.bash_profile /root/.bash_profile
lxc exec jupyterlab -- cp /etc/skel/.bashrc /root/.bashrc
lxc exec jupyterlab -- cp /etc/skel/.dir_colors /root/.dir_colors

アルプスの Linux ユーザー向けにシステムシェルがインストールされています /bin/shを置き換えます root Bashのユーザー:

lxc exec jupyterlab -- usermod --shell=/bin/bash root

その root ユーザーがパスワードを持っていなかった場合は、パスワードを設定する必要があります。次のコマンドを実行すると、新しいランダムパスワードが生成され、設定されます。実行後、コンソール画面に表示されます。

lxc exec jupyterlab -- /bin/bash -c "PASSWD=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 12); echo "root:$PASSWD" | chpasswd && echo "New Password: $PASSWD""

New Password: sFiXEvBswuWA

また、新しいシステムユーザーを作成しましょう - jupyter 後で設定します ジュピターラボ:

lxc exec jupyterlab -- useradd --create-home --shell=/bin/bash jupyter

パスワードを生成して設定しましょう:

lxc exec jupyterlab -- /bin/bash -c "PASSWD=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 12); echo "jupyter:$PASSWD" | chpasswd && echo "New Password: $PASSWD""

New Password: ZIcbzWrF8tki

次に、2つのコマンドを実行します。最初のコマンドはシステムグループを作成します。 sudo2番目はユーザーを追加します jupyter:

lxc exec jupyterlab -- groupadd --system sudo
lxc exec jupyterlab -- groupmems --group sudo --add jupyter

ユーザーがどのグループに属しているかを見てみましょう jupyter:

lxc exec jupyterlab -- id -Gn jupyter

jupyter sudo

すべて順調です、次に進みましょう。

グループに所属するすべてのユーザーを許可しましょう sudo コマンドを使用する sudo。これを実行するには、次のスクリプトを実行します。 sed 設定ファイル内のパラメータ行のコメントを解除する /etc/sudoers:

lxc exec jupyterlab -- /bin/bash -c "sed --in-place -e '/^#[ t]*%sudo[ t]*ALL=(ALL)[ t]*ALL$/ s/^[# ]*//' /etc/sudoers"

JupyterLabのインストールと設定 ^

ジュピターラボ これは Python アプリケーションなので、まずこのインタープリターをインストールする必要があります。また、 ジュピターラボ Pythonパッケージマネージャーを使用してインストールします pipシステムのリポジトリでは古いものになっている可能性があるため、システムのリポジトリではなく、次のパッケージをインストールして依存関係を手動で解決する必要があります。 python3 python3-dev gcc libc-dev zeromq-dev:

lxc exec jupyterlab -- apk add python3 python3-dev gcc libc-dev zeromq-dev

Pythonモジュールとパッケージマネージャーを更新しましょう pip 現在のバージョン:

lxc exec jupyterlab -- python3 -m pip install --upgrade pip setuptools wheel

セット ジュピターラボ パッケージマネージャー経由 pip:

lxc exec jupyterlab -- python3 -m pip install jupyterlab

拡張機能は ジュピターラボ これらは実験的なものであり、jupyterlab パッケージには正式には同梱されていないため、手動でインストールして設定する必要があります。

NodeJSとそのパッケージマネージャであるNPMをインストールしましょう。 ジュピターラボ 拡張機能に使用します:

lxc exec jupyterlab -- apk add nodejs npm

拡張機能へ ジュピターラボ インストールするものは動作しました。アプリケーションはユーザーから起動されるため、ユーザーディレクトリにインストールする必要があります。 jupyter。問題は、起動コマンドにディレクトリを渡すことができるパラメータがなく、アプリケーションは環境変数のみを受け入れるため、それを定義する必要があることです。これを実行するには、変数エクスポートコマンドを記述します。 JUPYTERLAB_DIR ユーザーの環境において jupyter、ファイルへ .bashrcこれはユーザーがログインするたびに実行されます。

lxc exec jupyterlab -- su -l jupyter -c "echo -e "nexport JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab" >> .bashrc"

次のコマンドは特別な拡張機能をインストールします。拡張機能マネージャは ジュピターラボ:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build @jupyter-widgets/jupyterlab-manager"

これで、最初の起動の準備がすべて整いました。 ジュピターラボただし、いくつかの便利な拡張機能をインストールすることもできます。

toc — 目次、記事/ノートブックの見出しのリストを生成します
jupyterlab-horizon-theme — UIテーマ
jupyterlab_neon_theme — UIテーマ
jupyterlab-ubu-theme - もう一つ。作者によるデザインテーマこの記事:) しかし、この場合、GitHubリポジトリからのインストールが表示されます

したがって、これらの拡張機能をインストールするには、次のコマンドを順番に実行します。

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build @jupyterlab/toc @mohirio/jupyterlab-horizon-theme @yeebc/jupyterlab_neon_theme"

lxc exec jupyterlab -- su -l jupyter -c "wget -c https://github.com/microcoder/jupyterlab-ubu-theme/archive/master.zip"

lxc exec jupyterlab -- su -l jupyter -c "unzip -q master.zip && rm master.zip"

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build jupyterlab-ubu-theme-master"

lxc exec jupyterlab -- su -l jupyter -c "rm -r jupyterlab-ubu-theme-master"

拡張機能をインストールした後、インストール中にキーを指定したので、コンパイルする必要があります。 --no-build 時間を節約するため。これらを一度にコンパイルすることで、処理速度を大幅に向上できます。

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter lab build"

最初の実行では次の2つのコマンドを実行します。 ジュピターラボ。 1 つのコマンドで起動することも可能ですが、この場合、覚えておくのが難しい起動コマンドは、履歴に書き込むのに十分なコマンドがすでに存在するホストではなく、コンテナ内の bash によって記憶されます 🙂

ユーザーとしてコンテナにログインする jupyter:

lxc exec jupyterlab -- su -l jupyter

次に実行 ジュピターラボ キーとパラメータは次のとおりです:

[jupyter@jupyterlab ~]$ jupyter lab --ip=0.0.0.0 --no-browser

ウェブブラウザで次のアドレスにアクセスしてください http://10.0.5.5:8888 開いたページで、 トークン コンソールに表示されるアクセス権。コピーしてページに貼り付け、クリックします ログイン。ログインしたら、下の画像に示すように、左側の拡張機能メニューに移動します。拡張機能マネージャーを起動すると、サードパーティの拡張機能をインストールすることでセキュリティリスクを受け入れるように求められます。 JupyterLab開発 責任を負わないものとする。

しかし、私たちはまさにこの目的のために全体を分離しています。 ジュピターラボ そして、NodeJS を必要とし使用するサードパーティの拡張機能が、少なくとも、コンテナ内で開いたデータ以外のディスク上のデータを盗むことができないように、コンテナに配置します。ホスト上のプライベート文書にアクセスする /home コンテナからのプロセスは成功する可能性は低く、成功したとしても、コンテナをホストシステム内で実行しているため、ホストシステム内のファイルに対する権限が必要です。 非特権モード。この情報に基づいて、拡張機能を組み込むリスクを評価できます。 ジュピターラボ.

IPythonノートブックを作成しました（ページは ジュピターラボ）がユーザーのホームディレクトリに作成されます - /home/jupyterしかし、ホストとコンテナ間でデータを分割（共有）する予定なので、コンソールに戻って停止します。 ジュピターラボ ホットキーを実行することで CTRL+C そして答えた y リクエストに応じて。次に、ユーザーの対話型セッションを終了します。 jupyter ホットキーを実行することで CTRL+D.

ホストとデータを共有する ^

ホストとデータを共有するには、コンテナ内にこれを可能にするデバイスを作成する必要があります。そのためには、以下のキーを指定して次のコマンドを実行します。

lxc config device add — コマンドはデバイス構成を追加します
jupyter — 構成が追加されるコンテナの識別子
hostfs — デバイス識別子。任意の名前を指定できます。
disk — デバイスの種類が表示されます
path — LXDがこのデバイスをマウントするコンテナ内のパスを指定します
source — コンテナと共有するホスト上のディレクトリへのパスであるソースを指定します。好みに応じてパスを指定します

lxc config device add jupyterlab hostfs disk path=/mnt/hostfs source=/home/dv/projects/ipython-notebooks

カタログについて /home/dv/projects/ipython-notebooks 権限は、現在UIDが等しいコンテナユーザーに設定する必要があります。 SubUID + UID、章を参照 安全性。コンテナ権限 記事の中で LXDはコンテナシステムであり、その基本的な機能は以下のとおりです。 Linux.

所有者がコンテナユーザーとなるホストの権限を設定する jupyter、変数 $USER ホストユーザーをグループとして指定します:

sudo chown 1001000:$USER /home/dv/projects/ipython-notebooks

こんにちは世界！ ^

コンテナ内でコンソールセッションがまだ開いている場合は、 ジュピターラボ新しいキーで再起動してください --notebook-dir 値を設定することで /mnt/hostfs 前の手順で作成したデバイスのコンテナー内のノートブックのルートへのパスとして:

jupyter lab --ip=0.0.0.0 --no-browser --notebook-dir=/mnt/hostfs

次にページへ移動します http://10.0.5.5:8888 下の図に示すように、ページ上のボタンをクリックして最初のラップトップを作成します。

次に、ページのフィールドに、古典的な出力を出力するPythonコードを入力します。 Hello World!。入力が完了したら、 CTRL+ENTER または、上部のツールバーの「再生」ボタンをクリックして、JupyterLab に次の操作を実行させます。

この時点で、ほぼすべてが使用可能になっていますが、Pythonの標準機能を大幅に拡張できる追加のPythonモジュール（本格的なアプリケーション）をインストールしないと面白くありません。 ジュピターラボでは、次に進みましょう 🙂

追伸興味深いのは、古い実装が ジュピター コードネームで Jupyter Notebook どこにも行かず、並行して存在する ジュピターラボ。古いバージョンに切り替えるには、アドレスに接尾辞を追加してリンクをたどってください/tree、新しいバージョンへの移行は接尾辞で実行されます /labただし、指定する必要はありません。

Jupyterノートブック — http://10.0.5.5:8888/tree
ジュピターラボ — http://10.0.5.5:8888/lab

Pythonの機能拡張 ^

このセクションでは、次のような強力なPythonモジュールをインストールします。 NumPy, パンダ, matplotlib, IPyWidgets その仕事の成果はラップトップに統合されている ジュピターラボ.

パッケージマネージャー経由でリストされたPythonモジュールをインストールする前に pip まず、Alpineにおけるシステム依存関係を解決する必要があります。 Linux:

g++ — モジュールの一部は言語で実装されているため、コンパイルする必要がある C + + 実行時にバイナリモジュールとしてPythonに接続される
freetype-dev — Pythonモジュールへの依存関係 matplotlib

依存関係をインストールします:

lxc exec jupyterlab -- apk add g++ freetype-dev

現在のアルパインディストリビューションには、1つの問題点があります。 Linux 新しいバージョンのNumPyをコンパイルできません。解決できないコンパイルエラーが発生します。

ERROR: PEP 517 を使用する numpy 用のホイールをビルドできず、直接インストールできません

したがって、このモジュールは、すでにコンパイルされたバージョンを配布するシステムパッケージとしてインストールしますが、これは現在サイトで入手可能なものよりも少し古いものです。

lxc exec jupyterlab -- apk add py3-numpy py3-numpy-dev

次に、パッケージマネージャー経由でPythonモジュールをインストールします。 pip。いくつかのモジュールがコンパイルされるため、数分かかる場合がありますので、しばらくお待ちください。私のマシンでは、コンパイルに約 15 分かかりました。

lxc exec jupyterlab -- python3 -m pip install pandas ipywidgets matplotlib

インストールキャッシュをクリアしています:

lxc exec jupyterlab -- rm -rf /home/*/.cache/pip/*
lxc exec jupyterlab -- rm -rf /root/.cache/pip/*

JupyterLabでのモジュールのテスト ^

実行中の場合 ジュピターラボ新しくインストールされたモジュールが有効になるように再起動します。これを行うには、コンソールセッションで、 CTRL+C 実行している場所で入力してください y 停止要求に応じて再起動する ジュピターラボ コマンドを再入力しないようにキーボードの上矢印キーを押してから Enter 実行するには:

jupyter lab --ip=0.0.0.0 --no-browser --notebook-dir=/mnt/hostfs

Перейдитенастраницу http://10.0.5.5:8888/lab または、ブラウザでページを更新し、新しいノートブックのセルに次のコードを入力します。

%matplotlib inline

from ipywidgets import interactive
import matplotlib.pyplot as plt
import numpy as np

def f(m, b):
    plt.figure(2)
    x = np.linspace(-10, 10, num=1000)
    plt.plot(x, m * x + b)
    plt.ylim(-5, 5)
    plt.show()

interactive_plot = interactive(f, m=(-2.0, 2.0), b=(-3, 3, 0.5))
output = interactive_plot.children[-1]
output.layout.height = '350px'
interactive_plot

下の図のような結果が得られるはずです。 IPyWidgets ソースコードと対話するページ上のUI要素を生成し、 matplotlib コードの結果を関数グラフの画像として出力します。

多くの例 IPyWidgets チュートリアルで見つけることができますここで

他に何がありますか？ ^

記事の最後まで読んでくださった方は、おめでとうございます。私は意図的に記事の最後にインストールする既製のスクリプトを掲載しませんでした ジュピターラボ 「ワンクリック」で労働者を奨励します 🙂 しかし、すでに方法はわかっているので、単一の Bash スクリプトにコマンドを収集することで、自分で実行できます 🙂

また、次のこともできます。

コンテナのネットワーク名をIPアドレスの代わりに単純な形式で設定します。 /etc/hosts ブラウザにアドレスを入力します http://jupyter.local:8888
コンテナのリソース制限を試してみてください。これについては、 LXDの基本機能または、LXD 開発者 Web サイトで詳細情報を入手してください。
テーマを変更する:

他にもできることはたくさんあります!それだけです。成功をお祈りします！

更新: 15.04.2020 年 18 月 30 日午後 XNUMX 時 XNUMX 分 —「Hello, World!」の章のエラーを修正しました。
更新: 16.04.2020年10月00日午前XNUMX時 — 拡張機能マネージャーの有効化の説明文を修正および追加しました ジュピターラボ
更新: 16.04.2020年10月40日午前XNUMX時XNUMX分 — テキスト内の誤りを修正し、「基本ソフトウェアのインストールとシステムの構成」の章を少し変更しました。

出所： habr.com

JupyterをLXD軌道に打ち上げる

ナビゲーション