Стартираме Jupyter на орбита LXD

Приходило ли ви да експериментирате с кода или системни утилити в Linux, така че да не се страхувате за основната система и да не разрушите всичко в случай на грешка в кода, който трябва да стартира с root-привилегии?

А какво ще кажете за ситуация, в която е необходимо да тествате или стартирате цял клъстер от разнообразни микросервизи на една машина? Сто или дори хиляда?

С виртуални машини, управлявани от хипервизор, такива задачи може да се решат, но на каква цена? Например, контейнер в LXD, базиран на Alpine Linux, минимално изразходва 7.60MB ОП, а кореновият дял след стартиране заема 9.5MB! Как ти се струва, Илон Мъск? Препоръчвам да се запознаеш с основните възможности на LXD — система за контейнери в Linux

След като стана ясно какво представляват контейнерите LXD, да продължим напред и да помислим, какво би било, ако имаше платформа-комбайн, в която безопасно да стартиране код за хоста, да генерирате графики, динамично (интерактивно) да свързвате UI-виджети с вашия код, да допълвате кода с текст с черен джак... форматиране? Нещо като интерактивен блог? Уау... Искам! Искам! 🙂

Надникни под кат, където ще стартираме в контейнера JupyterLab — следващото поколение потребителски интерфейс вместо остарялото Jupyter Notebook, а също така ще инсталираме такива Python модули като NumPy, Pandas, Matplotlib, IPyWidgets които ще позволят да извършваме всичко изброено по-горе и да запазим всичко в специален файл — IPython-тетрадка.

Навигация

• План за изстрелване в орбита
• Инсталация и настройка на основната система
• Инсталиране на основен софтуер и настройка на системата
• Инсталиране и настройка на JupyterLab
• Споделяме данни с хоста
• Hello, World!
• Разширяваме възможностите на Python
• Тестваме модулите в JupyterLab
• Какво още?

План за изстрелване в орбита ^

Нека направим кратък план за действия, за да ни бъде по-лесно да реализираме схемата по-горе:

• Ще инсталираме и стартираме контейнер на база дистрибуцията Alpine Linux. Ще използваме тази дистрибуция, тъй като е насочена към минимализъм и ще инсталираме в него само най-необходимия софтуер, нищо излишно.
• Добавим допълнителен виртуален диск в контейнера, на който ще зададем име — hostfs и ще монтираме към кореновата ФС. Този диск ще осигури възможността да се използват файлове на хоста от зададена директория вътре в контейнера. Така данните ще бъдат независими от контейнера. В случай на изтриване на контейнера, данните ще останат на хоста. Освен това, тази схема е полезна за разделяне на споделени данни между множество контейнери, без да се използват стандартните мрежови механизми на дистрибутива на контейнера.
• Ще инсталираме Bash, sudo, необходимите библиотеки, ще добавим и конфигурираме системен потребител.
• Ще инсталираме Python, модулите и ще компилираме бинарните им зависимости.
• Ще инсталираме и стартираме. JupyterLab, ще конфигурираме външния вид, ще инсталираме разширения за него.

В тази статия ще започнем с пускането на контейнера, без да разглеждаме инсталацията и конфигурацията на LXD; всичко това можете да намерите в друга статия — FreeRDP - свободна реализация на протокол за отдален достъп до работен плот (RDP), публикувана под лицензия Apache, е форк на rdesktop. Най-значителните промени в релиза 2.0.0: ..

Инсталация и настройка на основната система ^

Създаваме контейнер с команда, в която указваме образа — alpine3, идентификатора за контейнера — jupyterlab и при необходимост профилите за конфигурация:

lxc init alpine3 jupyterlab --profile=default --profile=hddroot

Тук използвам профила за конфигурация hddroot който указва да се създаде контейнер с root-раздел в Storage Pool разположен на физическия HDD диск:

lxc profile show hddroot

config: {}
description: ""
devices:
  root:
    path: \/
    pool: hddpool
    type: disk
name: hddroot
used_by: []

lxc storage show hddpool

config:
  size: 10GB
  source: /dev/loop1
  volatile.initial_source: /dev/loop1
description: ""
name: hddpool
driver: btrfs
used_by:
- /1.0/images/ebd565585223487526ddb3607f5156e875c15a89e21b61ef004132196da6a0a3
- /1.0/profiles/hddroot
status: Created
locations:
- none

Това ми дава възможност да експериментирам с контейнери на HDD диска, спестявайки ресурси на SSD диска, който също присъства в системата ми 🙂 за който имам създаден отделен профил за конфигурация. ssdroot.

След създаването на контейнера, той е в състояние STOPPED, така че трябва да го стартираме, стартирайки init-системата в него:

lxc start jupyterlab

Ще извлечем списъка с контейнери в LXD, използвайки ключа -c който указва кои сколони да се покажат на екрана:

lxc list -c ns4b
+------------+---------+-------------------+--------------+
|    NAME    |  STATE  |       IPV4        | STORAGE POOL |
+------------+---------+-------------------+--------------+
| jupyterlab | RUNNING | 10.0.5.198 (eth0) | hddpool      |
+------------+---------+-------------------+--------------+

При създаването на контейнера IP адресът е избран произволно, тъй като използвахме профила за конфигурация по подразбиране който беше предварително конфигуриран в статията FreeRDP - свободна реализация на протокол за отдален достъп до работен плот (RDP), публикувана под лицензия Apache, е форк на rdesktop. Най-значителните промени в релиза 2.0.0: ..

Ще сменим този IP адрес с по-запомнящ се, като създадем мрежов интерфейс на ниво контейнер, а не на ниво профил за конфигурация, както е в текущата конфигурация. Това не е задължително; можете да пропуснете това.

Създаваме мрежови интерфейс eth0 който свързваме с комутатор (мрежов мост) lxdbr0 в който активирахме NAT по предишната статия и контейнерът сега ще има достъп до интернет, а също така на интерфейса назначаваме статичен IP адрес — 10.0.5.5:

lxc config device add jupyterlab eth0 nic name=eth0 nictype=bridged parent=lxdbr0 ipv4.address=10.0.5.5

След добавянето на устройството, контейнерът трябва да бъде рестартиран:

lxc restart jupyterlab

Проверяваме статуса на контейнера:

lxc list -c ns4b
+------------+---------+------------------+--------------+
|    NAME    |  STATE  |       IPV4       | STORAGE POOL |
+------------+---------+------------------+--------------+
| jupyterlab | RUNNING | 10.0.5.5 (eth0)  | hddpool      |
+------------+---------+------------------+--------------+

Инсталиране на основен софтуер и настройка на системата ^

За администриране на нашия контейнер е необходимо да инсталираме следния софтуер:

Package
Описание

bash
GNU Bourne Again shell

bash-completion
Програмируемо завършване за bash shell

sudo
Дайте на определени потребители възможността да изпълняват някои команди като root

shadow
Инструмент за управление на пароли и акаунти с поддръжка на shadow файлове и PAM

tzdata
Източници за данни за часови зони и лятно часово време

nano
Клон на редактора Pico с подобрения

Отделно, можете да инсталирате поддръжка на системата man-pages, инсталирайки следните пакети — man man-pages mdocml-apropos less

lxc exec jupyterlab -- apk add bash bash-completion sudo shadow tzdata nano

Нека разгледаме командите и ключовете, които използвахме:

• lxc — Извикване на клиента LXD
• exec — Метод на клиента LXD, който стартира командата в контейнера
• jupyterlab — Идентификатор на контейнера
• -- — Специален ключ, който указва да не се интерпретират по-нататък ключовете като ключови за lxc и да се предаде цялата останала строка, както е в контейнера
• apk — Пакетен мениджър на дистрибуцията Alpine Linux
• add — Метод на пакетния мениджър, който инсталира указаните след командата пакети

След това, ще настроим часовата зона в системата Europe/Moscow:

lxc exec jupyterlab -- cp /usr/share/zoneinfo/Europe/Moscow /etc/localtime

След инсталирането на часовата зона, пакетът tzdata вече не е нужен в системата, той ще заема място, затова, да го премахнем:

lxc exec jupyterlab -- apk del tzdata

Проверяваме часовата зона:

lxc exec jupyterlab -- date

Wed Apr 15 10:49:56 MSK 2020

За да не губим много време за настройка на Bash за нови потребители в контейнера, с последващите действия, ще копираме в него от хостовата система готовите skel-файлове. Това ще позволи да подобрим Bash в контейнера в интерактивен режим. Моята хостова система е Manjaro Linux и копираните файлове /etc/skel/.bash_profile, /etc/skel/.bashrc, /etc/skel/.dir_colors в принципе са подходящи за Alpine Linux и не предизвикват критични проблеми, но при вас това може да бъде различна дистрибуция и трябва сами да се справите в случай на грешка при стартиране на Bash в контейнера.

Копираме skel-файловете в контейнера. Ключ --create-dirs ще създаде необходимите директории, ако те не съществуват:

lxc file push /etc/skel/.bash_profile jupyterlab/etc/skel/.bash_profile --create-dirs
lxc file push /etc/skel/.bashrc jupyterlab/etc/skel/.bashrc
lxc file push /etc/skel/.dir_colors jupyterlab/etc/skel/.dir_colors

За вече съществуващия root потребител, ще копираме в домашната директория новосъздадените skel файлове в контейнера:

lxc exec jupyterlab -- cp /etc/skel/.bash_profile /root/.bash_profile
lxc exec jupyterlab -- cp /etc/skel/.bashrc /root/.bashrc
lxc exec jupyterlab -- cp /etc/skel/.dir_colors /root/.dir_colors

В Alpine Linux за потребителите се задава системен шел /bin/sh, ние ще го заменим с root Bash:

lxc exec jupyterlab -- usermod --shell=/bin/bash root

За да root потребителят не е бил безпаролен, той трябва да зададе парола. Следващата команда ще генерира и зададе нова случайна парола, която ще видите на екрана на конзолата след нейното изпълнение:

lxc exec jupyterlab -- /bin/bash -c "PASSWD=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 12); echo "root:$PASSWD" | chpasswd && echo "New Password: $PASSWD""

New Password: sFiXEvBswuWA

Също така, ще създадем нов системен потребител — jupyter за когото по-късно ще настроим JupyterLab:

lxc exec jupyterlab -- useradd --create-home --shell=/bin/bash jupyter

Генерираме и задаваме парола:

lxc exec jupyterlab -- /bin/bash -c "PASSWD=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 12); echo "jupyter:$PASSWD" | chpasswd && echo "New Password: $PASSWD""

New Password: ZIcbzWrF8tki

След това изпълняваме две команди, първата ще създаде системна група sudo, а втората ще добави потребителя в нея jupyter:

lxc exec jupyterlab -- groupadd --system sudo
lxc exec jupyterlab -- groupmems --group sudo --add jupyter

Нека видим в какви групи е потребителят jupyter:

lxc exec jupyterlab -- id -Gn jupyter

jupyter sudo

Всичко - окей, продължаваме.

Разрешаваме на всички потребители, които са част от групата sudo да използват командата sudo. За целта изпълнете следния скрипт, който sed раскоментира реда параметър в конфигурационния файл /etc/sudoers:

lxc exec jupyterlab -- /bin/bash -c "sed --in-place -e '/^#[ t]*%sudo[ t]*ALL=(ALL)[ t]*ALL$/ s/^[# ]*//'/etc/sudoers"

Инсталиране и настройка на JupyterLab ^

JupyterLab — това е Python приложение, затова първо трябва да инсталираме този интерпретатор. Също така, JupyterLab ще инсталираме с помощта на Python пакетния мениджър pip, а не системния, защото в системния репозиторий той може да е остарял, затова трябва ръчно да разрешим зависимостите, инсталирайки следните пакети — python3 python3-dev gcc libc-dev zeromq-dev:

lxc exec jupyterlab -- apk add python3 python3-dev gcc libc-dev zeromq-dev

Актуализираме Python модулите и пакетния мениджър pip до актуалната версия:

lxc exec jupyterlab -- python3 -m pip install --upgrade pip setuptools wheel

Инсталираме JupyterLab чрез пакетния мениджър pip:

lxc exec jupyterlab -- python3 -m pip install jupyterlab

Тъй като разширенията в JupyterLab са експериментални и официално не се предлагат с пакета jupyterlab, така че трябва да ги инсталираме и настроим ръчно.

Нека да инсталираме NodeJS и пакетния мениджър за него – NPM, тъй като JupyterLab ги използва за своите разширения:

lxc exec jupyterlab -- apk add nodejs npm

За да работят разширенията на JupyterLab които ще инсталираме, трябва да се инсталират в потребителската директория, тъй като приложението ще се стартира от потребителя jupyter. Проблемът е, че няма параметър в стартиращата команда, на който може да се зададе директория; приложението разпознава само променливата на околната среда и затова трябва да я дефинираме. За това ще запишем командата за експортиране на променливата JUPYTERLAB_DIR в околната среда на потребителя jupyter, в файла .bashrc, който се изпълнява всеки път при вход на потребителя в системата:

lxc exec jupyterlab -- su -l jupyter -c "echo -e "nexport JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab" >> .bashrc"

С следната команда ще инсталираме специално разширение – мениджър на разширения в JupyterLab:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build @jupyter-widgets/jupyterlab-manager"

Сега всичко е готово за първото стартиране JupyterLab, но можем да инсталираме и няколко полезни разширения:

• toc — Съдържание, генерира списък с заглавия в статията/ноутбука
• jupyterlab-horizon-theme — Тема за потребителския интерфейс
• jupyterlab_neon_theme — Тема за потребителския интерфейс
• jupyterlab-ubu-theme — Още една тема от автора на тази статия 🙂 Но в този случай ще бъде показана инсталацията от хранилището на GitHub.

И така, изпълнете последователно следните команди, за да инсталирате тези разширения:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build @jupyterlab/toc @mohirio/jupyterlab-horizon-theme @yeebc/jupyterlab_neon_theme"

lxc exec jupyterlab -- su -l jupyter -c "wget -c https://github.com/microcoder/jupyterlab-ubu-theme/archive/master.zip"

lxc exec jupyterlab -- su -l jupyter -c "unzip -q master.zip && rm master.zip"

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build jupyterlab-ubu-theme-master"

lxc exec jupyterlab -- su -l jupyter -c "rm -r jupyterlab-ubu-theme-master"

След инсталирането на разширенията, трябва да ги компилираме, тъй като преди това, при инсталацията, указвахме флага --no-build за спестяване на време. Сега ще ускорим значително компилирането, направяки го наведнъж:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter lab build"

Сега изпълнете следните две команди за първото стартиране. JupyterLabМожеше да го стартираш с една команда, но в този случай, командата за стартиране, която е в ума ти, ще бъде запомнена от bash в контейнера, а не на хоста, където така или иначе има достатъчно команди, записани в историята 🙂

Логваме се в контейнера като потребител jupyter:

lxc exec jupyterlab -- su -l jupyter

След това стартирайте JupyterLab с ключовете и параметрите, както е указано:

[jupyter@jupyterlab ~]$ jupyter lab --ip=0.0.0.0 --no-browser

Отидете в уеб браузъра на адреса http://10.0.5.5:8888 и на отворилата се страница въведете token достъпа, който ще видите в конзолата. Копирайте го и го поставете на страницата, след това натиснете Вход. След входа, отидете в менюто за разширения отляво, както е показано на изображението по-долу, където ще ви предложат при активиране на мениджъра на разширенията да приемете рисковете по сигурността при инсталирането на разширения от трети лица, за които екипът JupyterLab development не носи отговорност:

Въпреки това, ние като цяло изолираме JupyterLab и го поставяме в контейнер, за да предотвратим изтичането на данни от трети разширения, изискващи и използващи NodeJS, освен тези, които отворим в контейнера. Достъпът до вашите лични документи на хоста /home от процесите в контейнера е малко вероятен, а ако стане, то за това ще са нужни привилегии на файловете в хостовата система, тъй като стартираме контейнер в непривилегирован режим. На базата на тази информация можете да оцените риска от активиране на разширения в JupyterLab.

Създадените IPython ноутбуци (страници в JupyterLab) сега ще се създават в домашната директория на потребителя — /home/jupyter, но в нашите планове е да разделим данните (споделим) между хоста и контейнера, затова се върнете в конзолата и спрете JupyterLab чрез изпълнение на гореща клавиша — CTRL+C и отговаряйки y на запитването. След това прекъснете интерактивната сесия на потребителя jupyter чрез изпълнение на гореща клавиша CTRL+D.

Споделяме данни с хоста ^

За да споделите данните с хоста, трябва да създадете в контейнера такова устройство, което да позволява това и за целта изпълнете следната команда, в която посочваме следните ключове:

• lxc config device add — Командата добавя конфигурация на устройството
• jupyter — Идентификатор на контейнера, в който се добавя конфигурацията
• hostfs — Идентификатор на устройството. Можете да зададете всякакво име.
• disk — Посочва се типът на устройството
• път — Посочва се пътя в контейнера, където LXD ще монтира това устройство
• source — Указва се източник, път към каталога на хоста, който искате да споделите с контейнера. Укажете пътя в зависимост от вашите предпочитания.

lxc config device add jupyterlab hostfs disk path=/mnt/hostfs source=/home/dv/projects/ipython-notebooks

За каталога /home/dv/projects/ipython-notebooks трябва да е зададено разрешение на контейнерния потребител, който в момента има UID равен на SubUID + UID, вижте главата Сигурност. Привилегии на контейнерите в статията FreeRDP - свободна реализация на протокол за отдален достъп до работен плот (RDP), публикувана под лицензия Apache, е форк на rdesktop. Най-значителните промени в релиза 2.0.0: ..

Настройваме разрешение на хоста, където собственикът ще бъде контейнерният потребител jupyter, а променливата $USER ще посочи вашия хостов потребител като група:

sudo chown 1001000:$USER /home/dv/projects/ipython-notebooks

Hello, World! ^

Ако все още имате отворена конзолна сесия в контейнера с JupyterLab, рестартирайте я с новия ключ --notebook-dir задавайки стойността /mnt/hostfs като път до корена на ноутбуците в контейнера за устройството, което създадохме в предишната стъпка:

jupyter lab --ip=0.0.0.0 --no-browser --notebook-dir=/mnt/hostfs

След това отидете на страницата http://10.0.5.5:8888 и създайте първия си ноутбук, натискайки бутона на страницата, както е посочено на изображението по-долу:

След това в полето на страницата въведете код на Python, който ще изведе класическия Здравей, свят!. След приключване на въвеждането натиснете CTRL+ENTER или бутона «play» на инструменталната лента отгоре, за да накарате JupyterLab да изпълни това:

На този етап почти всичко е готово за използване, но няма да е интересно, ако не инсталираме допълнителни Python модули (пълноценни приложения), които значително разширяват стандартните възможности на Python в JupyterLab, затова продължаваме напред 🙂

P.S. Интересно е, че старата реализация Jupyter с кодово име Jupyter Notebook не е изчезнала и съществува паралелно с JupyterLab. За да се върнете към старата версия, отидете на линка, добавяйки суфикс/tree, а преминаването към новата версия става с суфикс /lab, но той не е задължителен:

• Jupyter Notebook — http://10.0.5.5:8888/tree
• Jupyter Lab — http://10.0.5.5:8888/lab

Разширяваме възможностите на Python ^

В този раздел ще инсталираме мощни модули на езика Python, чийто резултати ще бъдат интегрирани в ноутбуците NumPy, Pandas, Matplotlib, IPyWidgets Преди да инсталираме посочените модули Python чрез пакетния мениджър JupyterLab.

първо трябва да разрешим системните зависимости в Alpine Linux: pip — Нужен е за компилиране на модулите, тъй като някои от тях са реализирани на езика

• g++ и се свързват с Python по време на изпълнение като бинарни модули C++ freetype-dev
• — зависимост за Python модула lxc exec jupyterlab -- apk add g++ freetype-dev Matplotlib

Инсталираме зависимостите:

lxc exec jupyterlab -- apk add g++ freetype-dev

Има един проблем, в текущото състояние на дистрибутива Alpine Linux не може да се компилира нова версия на NumPy, ще възникне грешка при компилацията, която не успях да разреша:

ГРЕШКА: Не можа да се изградят колела за numpy, които използват PEP 517 и не могат да се инсталират директно

Затова, този модул ще инсталираме като системен пакет, който разпространява вече компилирана версия, но малко по-стара, отколкото е налична в момента на сайта:

lxc exec jupyterlab -- apk add py3-numpy py3-numpy-dev

След това инсталираме Python модули чрез пакетния мениджър pip. Бъдете търпеливи, тъй като някои модули ще се компилират и това ще отнеме няколко минути. На моя компютър компилацията отне приблизително 15 минути:

lxc exec jupyterlab -- python3 -m pip install pandas ipywidgets matplotlib

Почистете кеша на инсталациите:

lxc exec jupyterlab -- rm -rf /home/*/.cache/pip/*
lxc exec jupyterlab -- rm -rf /root/.cache/pip/*

Тестваме модулите в JupyterLab ^

Ако имате стартиран JupyterLab, рестартирайте го, за да активирате новоинсталираните модули. За целта в сесията на конзолата натиснете CTRL+C там, където е стартиран и въведете y на запитването за спиране, след което стартирайте отново JupyterLab като натиснете стрелката нагоре на клавиатурата, за да не въвеждате командата отново и след това Enter за да стартирате:

jupyter lab --ip=0.0.0.0 --no-browser --notebook-dir=/mnt/hostfs

Отидете на страницата http://10.0.5.5:8888/lab или обновете страницата в браузъра, а след това въведете следния код в нова клетка на тетрадката:

%matplotlib inline

from ipywidgets import interactive
import matplotlib.pyplot as plt
import numpy as np

def f(m, b):
    plt.figure(2)
    x = np.linspace(-10, 10, num=1000)
    plt.plot(x, m * x + b)
    plt.ylim(-5, 5)
    plt.show()

interactive_plot = interactive(f, m=(-2.0, 2.0), b=(-3, 3, 0.5))
output = interactive_plot.children[-1]
output.layout.height = '350px'
interactive_plot

Трябва да получите резултат като на изображението по-долу, където IPyWidgets генерира UI елемент на страницата, който интерактивно взаимодейства с изходния код, както и Matplotlib извежда резултата от кода под формата на изображение, като график на функция:

Много примери IPyWidgets можете да намерите в уроците тук.

Какво още? ^

Добре свършихте, ако сте останали и стигнали до края на статията. Умишлено не добавих готов скрипт в края на статията, който да инсталира JupyterLab с "един клик", за да поощря работливите 🙂 Но можете да го направите сами, тъй като вече знаете как, събирайки командите в един Bash скрипт 🙂

Също така, можете:

• Да зададете име на мрежата за контейнера вместо IP адрес, като го впишете в прост /etc/hosts и в браузъра да въвеждате адреса http://jupyter.local:8888
• Да експериментирате с ограниченията на ресурсите за контейнера, за това прочетете глава в основните възможности на LXD или получите повече информация на сайта на разработчика на LXD.
• Сменете темата на оформления:

И много други неща можете да направите! Това е всичко. Пожелавам ви успех!

UPDATE: 15.04.2020 18:30 — Коригирах грешките в глава „Здравей, света!“
UPDATE: 16.04.2020 10:00 — Коригирах и добавих текст в описанието на активиране на мениджъра на разширения. JupyterLab
UPDATE: 16.04.2020 10:40 — Коригирах намерените грешки в текста и малко подобрих главата „Инсталиране на основен софтуер и настройка на системата“

Източник: habr.com