Стартираме Jupyter в орбитата на LXD

Имали ли сте възможност да експериментирате с код или системни утилити в Linux така, че да не се тревожите за основната система и да не унищожите всичко в случай на грешка на кода, който трябва да се изпълни с root-привилегии?

А какво ще кажете за това, ако е необходимо да тествате или стартирате целия кластер от разнообразни микросервизи на една машина? Сто или дори хиляда?

С виртуални машини, управлявани от хипервизор, тези задачи могат да се решат, но каква е цената? Например, контейнер в LXD на базата на дистрибуцията Alpine Linux минимално изисква само 7.60MB ОЗУ, и където кореновият дял след стартиране заема 9.5MB! Как ти се струва, Илон Маск? Препоръчвам да се запознаеш с основните възможности на LXD — системата за контейнери в Linux

След като общо стана ясно какво представляват LXD контейнерите, нека продължим напред и да помислим какво, ако имаше такава платформа-комбайн, където безопасно да може да се стартира код за хоста, да се генерират графики, динамично (интерактивно) да се свързват UI-виджети с вашия код, да се допълва кодът с текст и с бонус... формат? Нещо като интерактивен блог? Вауу… Искам! Искам! 🙂

Погледни под кат къде ще стартираме в контейнера JupyterLab — следващото поколение на потребителския интерфейс вместо остарелия Jupyter Notebook, а също така ще инсталираме такива модули Python като NumPy, Pandas, Matplotlib, IPyWidgets , които ще позволят да се изпълнява всичко изброено по-горе и да се запази всичко това в специален файл — IPython-ноутбук.

Навигация

• План за стартиране в орбита
• Инсталиране и настройка на основната система
• Инсталиране на основен софтуер и настройка на системата
• Инсталиране и настройка на JupyterLab
• Споделяме данни с хоста
• Здравей, свят!
• Разширяваме възможностите на Python
• Тестване на модули в JupyterLab
• Какво още?

План за стартиране в орбита ^

Нека очертаем кратък план на действията, за да ни бъде по-лесно да реализираме схемата по-горе:

• Ще инсталираме и стартираме контейнер на базата на дистрибуцията Alpine Linux. Ще използваме тази дистрибуция, тъй като е насочена към минимализма и ще инсталираме само най-необходимия софтуер, без излишно.
• Добавим допълнителен виртуален диск в контейнера, на който ще зададем име — hostfs и ще монтираме към кореновата файлова система. Този диск ще осигури възможност за използване на файлове на хоста от определена директория вътре в контейнера. По този начин данните ще останат независими от контейнера. В случай на премахване на контейнера, данните ще останат на хоста. Освен това, тази схема е полезна за разделяне на данни между множество контейнери, без да се използват стандартните мрежови механизми на дистрибуцията на контейнера.
• Ще инсталираме Bash, sudo, необходимите библиотеки, ще добавим и настройваме системен потребител.
• Ще инсталираме Python, модулите и ще компилираме бинарните им зависимости.
• Ще инсталираме и стартираме JupyterLab, ще настроим външния вид, ще инсталираме разширения за него.

В тази статия ще започнем с пускането на контейнера, няма да обсъждаме инсталацията и настройката на LXD, всичко това можете да намерите в друга статия — Основни възможности на LXD — системи за контейнери в Linux.

Инсталиране и настройка на основната система ^

Създаваме контейнер с команда, в която указваме образа — alpine3, идентификатор за контейнера — jupyterlab и при необходимост профили на конфигурация:

lxc init alpine3 jupyterlab --profile=default --profile=hddroot

Тук използвам профил на конфигурация hddroot , който указва да се създаде контейнер с root-раздел в Storage Pool разположен на физически HDD диск:

lxc profile show hddroot

config: {}
description: ""
devices:
  root:
    path: \/
    pool: hddpool
    type: disk
name: hddroot
used_by: []

lxc storage show hddpool

config:
  size: 10GB
  source: \/dev\/loop1
  volatile.initial_source: \/dev\/loop1
description: ""
name: hddpool
driver: btrfs
used_by:
- \/1.0\/images\/ebd565585223487526ddb3607f5156e875c15a89e21b61ef004132196da6a0a3
- \/1.0\/profiles\/hddroot
status: Created
locations:
- none

Това ми дава възможност да експериментирам с контейнери на HDD диск, спестявайки ресурси от SSD диск, който също присъства в моята система 🙂 за който имам създаден отделен профил на конфигурация ssdroot.

След създаване на контейнера, той се намира в състояние STOPPED, затова трябва да го стартираме, като стартираме в него init-системата:

lxc start jupyterlab

Ще изведем списък на контейнерите в LXD, като използваме ключ -c който указва какви cколони да изведем на екрана:

lxc list -c ns4b
+------------+---------+-------------------+--------------+
|    NAME    |  STATE  |       IPV4        | STORAGE POOL |
+------------+---------+-------------------+--------------+
| jupyterlab | RUNNING | 10.0.5.198 (eth0) | hddpool      |
+------------+---------+-------------------+--------------+

При създаването на контейнера IP адресът беше избран случайно, тъй като използвахме профил на конфигурация default , който беше предварително конфигуриран в статията. Основни възможности на LXD — системи за контейнери в Linux.

Ще сменим този IP адрес с по-запомнящ се, като създадем мрежов интерфейс на ниво контейнер, а не на ниво конфигурационен профил, както е в текущата конфигурация. Не е задължително да го правите, можете да пропуснете това.

Създаваме мрежов интерфейс eth0 който свързваме с суич (мрежов мост) lxdbr0 в който включихме NAT в предишната статия и контейнерът сега ще има достъп до интернет, а също така на интерфейса определяме статичен IP адрес — 10.0.5.5:

lxc config device add jupyterlab eth0 nic name=eth0 nictype=bridged parent=lxdbr0 ipv4.address=10.0.5.5

След добавяне на устройството, контейнерът трябва да бъде рестартиран:

lxc restart jupyterlab

Проверяваме статуса на контейнера:

lxc list -c ns4b
+------------+---------+------------------+--------------+
|    NAME    |  STATE  |       IPV4       | STORAGE POOL |
+------------+---------+------------------+--------------+
| jupyterlab | RUNNING | 10.0.5.5 (eth0)  | hddpool      |
+------------+---------+------------------+--------------+

Инсталиране на основен софтуер и настройка на системата ^

За администриране на нашия контейнер е необходимо да инсталираме следния софтуер:

Package
Описание

bash
GNU Bourne Again shell

bash-completion
Програмируемо завършване за bash shell

sudo
Дайте на определени потребители възможността да изпълняват някои команди като root

shadow
Инструмент за управление на пароли и акаунти с поддръжка на shadow файлове и PAM

tzdata
Източници за данни за часови зони и лятно часово време

nano
Клонинг на редактора Pico с подобрения

Освен това, можете да инсталирате поддръжка на системата man-pages, инсталирайки следните пакети — man man-pages mdocml-apropos less

lxc exec jupyterlab -- apk add bash bash-completion sudo shadow tzdata nano

Нека разгледаме командите и ключовете, които използвахме:

• lxc — Извикване на LXD клиента
• exec — Метод на клиента LXD, който изпълнява команда в контейнера
• jupyterlab — Идентификатор на контейнера
• -- — Специален ключ, който указва да не се интерпретира допълнително ключовете като такива lxc и да предаде цялата останала строка, така както е в контейнера
• apk — Мениджър на пакети на дистрибуция Alpine Linux
• add — Метод на мениджъра на пакети, който инсталира посочените след командата пакети

Сега ще настроим времевата зона в системата Europe/Moscow:

lxc exec jupyterlab -- cp /usr/share/zoneinfo/Europe/Moscow /etc/localtime

След инсталирането на времевата зона, пакетът tzdata в системата вече не е необходим, той ще заема място, затова ще го изтрием:

lxc exec jupyterlab -- apk del tzdata

Проверяваме времевата зона:

lxc exec jupyterlab -- date

Wed Apr 15 10:49:56 MSK 2020

За да не губим много време за настройка на Bash за нови потребители в контейнера, следващите действия ще копират готовите skel файлове от хостовата система. Това ще направи Bash в контейнера интерактивен. Моята хостова система е Manjaro Linux и файловете, които копираме /etc/skel/.bash_profile, /etc/skel/.bashrc, /etc/skel/.dir_colors в принципе са подходящи за Alpine Linux и не предизвикват критични проблеми, но при вас може да е различен дистрибутив и е необходимо сами да се справите в случай на грешка при стартиране на Bash в контейнера.

Копираме skel файловете в контейнера. Ключ --create-dirs ще създаде необходимите директории, ако те не съществуват:

lxc file push /etc/skel/.bash_profile jupyterlab/etc/skel/.bash_profile --create-dirs
lxc file push /etc/skel/.bashrc jupyterlab/etc/skel/.bashrc
lxc file push /etc/skel/.dir_colors jupyterlab/etc/skel/.dir_colors

За вече съществуващия root потребител ще копираме в домашната директория току-що копираните skel файлове в контейнера:

lxc exec jupyterlab -- cp /etc/skel/.bash_profile /root/.bash_profile
lxc exec jupyterlab -- cp /etc/skel/.bashrc /root/.bashrc
lxc exec jupyterlab -- cp /etc/skel/.dir_colors /root/.dir_colors

В Alpine Linux на потребителите се задава системната обвивка /bin/sh, ние ще я заменим на root потребителя с Bash:

lxc exec jupyterlab -- usermod --shell=/bin/bash root

За да root ако потребителят не е бил безпаролен, той трябва да зададе парола. Следващата команда ще генерира и зададе нова случайна парола, която ще видите на екрана на конзолата след нейното изпълнение:

lxc exec jupyterlab -- /bin/bash -c "PASSWD=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 12); echo "root:$PASSWD" | chpasswd && echo "New Password: $PASSWD""

New Password: sFiXEvBswuWA

Също така, ще създадем нов системен потребител — jupyter за който по-късно ще настроим JupyterLab:

lxc exec jupyterlab -- useradd --create-home --shell=/bin/bash jupyter

Ще генерираме и зададем парола за него:

lxc exec jupyterlab -- /bin/bash -c "PASSWD=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 12); echo "jupyter:$PASSWD" | chpasswd && echo "New Password: $PASSWD""

New Password: ZIcbzWrF8tki

След това ще изпълним две команди, първата ще създаде системна група sudo, а втората ще добави потребителя в нея jupyter:

lxc exec jupyterlab -- groupadd --system sudo
lxc exec jupyterlab -- groupmems --group sudo --add jupyter

Да видим в кои групи е потребителят jupyter:

lxc exec jupyterlab -- id -Gn jupyter

jupyter sudo

Всичко е ок, продължаваме напред.

Ще разрешим на всички потребители, които влизат в групата sudo да използват командата sudo. За целта изпълнете следния скрипт, който sed разкоментира реда на параметъра в конфигурационния файл /etc/sudoers:

lxc exec jupyterlab -- /bin/bash -c "sed --in-place -e ' /^#[ t]*%sudo[ t]*ALL=(ALL)[ t]*ALL$/ s/^[# ]*// ' /etc/sudoers"

Инсталиране и настройка на JupyterLab ^

JupyterLab — това е Python приложение, затова първо трябва да инсталираме този интерпретатор. Също така, JupyterLab ще инсталираме с помощта на пакетния мениджър на Python pip, а не системния, защото в системния репозиторий той може да е остарял, затова трябва ръчно да разрешим зависимостите, инсталирайки следните пакети — python3 python3-dev gcc libc-dev zeromq-dev:

lxc exec jupyterlab -- apk add python3 python3-dev gcc libc-dev zeromq-dev

Обновим python-модулите и пакетния мениджър pip до актуалната версия:

lxc exec jupyterlab -- python3 -m pip install --upgrade pip setuptools wheel

Инсталираме JupyterLab чрез пакетния мениджър pip:

lxc exec jupyterlab -- python3 -m pip install jupyterlab

Тъй като разширенията в JupyterLab са експериментални и официално не се предлагат с пакета jupyterlab, затова трябва да ги инсталираме и настроим ръчно.

Ще инсталираме NodeJS и мениджъра на пакети за него — NPM, тъй като JupyterLab ги използва за своите разширения:

lxc exec jupyterlab -- apk add nodejs npm

За да работят разширенията за JupyterLab които ще инсталираме, те трябва да се инсталират в потребителската директория, тъй като приложението ще се стартира от потребителя jupyter. Проблемът е, че няма параметър в команди за стартиране, с който да зададем директорията, приложението приема само променливата на средата и затова трябва да я определим. За целта ще запишем командата за експортиране на променливата JUPYTERLAB_DIR в потребителската среда jupyter, в файл .bashrc, който се изпълнява всеки път, когато потребителят влиза в системата:

lxc exec jupyterlab -- su -l jupyter -c "echo -e "nexport JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab" >> .bashrc"

С помощта на следната команда ще инсталираме специално разширение — мениджър на разширения в JupyterLab:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build @jupyter-widgets/jupyterlab-manager"

Сега всичко е готово за първо стартиране JupyterLab, но можем да инсталираме и няколко полезни разширения:

• toc — Съдържание, генерира списък с заглавия в статията/ноутбука
• jupyterlab-horizon-theme — Тема на интерфейса
• jupyterlab_neon_theme — Тема на интерфейса
• jupyterlab-ubu-theme — Още една тема на оформлението от автора на тази статия 🙂 Но в този случай ще бъде показана инсталация от репозитория на GitHub.

И така, последователно изпълнете следните команди, за да инсталирате тези разширения:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build @jupyterlab/toc @mohirio/jupyterlab-horizon-theme @yeebc/jupyterlab_neon_theme"

lxc exec jupyterlab -- su -l jupyter -c "wget -c https://github.com/microcoder/jupyterlab-ubu-theme/archive/master.zip"

lxc exec jupyterlab -- su -l jupyter -c "unzip -q master.zip && rm master.zip"

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build jupyterlab-ubu-theme-master"

lxc exec jupyterlab -- su -l jupyter -c "rm -r jupyterlab-ubu-theme-master"

След инсталирането на разширенията трябва да ги компилираме, тъй като преди това при инсталацията указахме ключа --no-build за спестяване на време. Сега значително ще се ускори, като ги компилираме заедно наведнъж:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter lab build"

Сега изпълнете следните две команди за първо стартиране JupyterLab. Можеше да го стартираме с една команда, но в този случай, командата за стартиране, която ще трябва да помните, ще се запомня от bash в контейнера, а не на хоста, където командите вече са достатъчни за запис в историята 🙂

Влизаме в контейнера като потребител jupyter:

lxc exec jupyterlab -- su -l jupyter

След това стартирайте JupyterLab с ключовете и параметрите, както е указано:

[jupyter@jupyterlab ~]$ jupyter lab --ip=0.0.0.0 --no-browser

Отворете уеб браузъра на адреса http://10.0.5.5:8888 и на отворената страница въведете token достъпа, който ще видите в конзолата. Копирайте го и го поставете на страницата, след това натиснете Вход. След влизането, отидете отляво в менюто на разширенията, както е показано на изображението по-долу, където ще ви предложат, при активиране на мениджъра на разширенията, да поемете рисковете по сигурността, като инсталирате разширения от трети страни, за които екипът JupyterLab development не носи отговорност:

Обаче, точно за това изолираме изцяло JupyterLab и го поставяме в контейнер, така че странични разширения, изискващи и използващи NodeJS, не могат да откраднат данни на диска, освен тези, които ще отворим в контейнера. Достъпът до вашите лични документи на хоста /home от контейнера едва ли би бил възможен, а ако е възможен, за това трябва да имате права върху файловете в хостовата система, тъй като стартираме контейнера в непривилегирован режим. На база на тази информация можете да оцените риска от включването на разширения в JupyterLab.

Създадените IPython бележници (страници в JupyterLab) в момента ще се създават в домашната директория на потребителя — /home/jupyter, но в нашите планове е да разделим данните (да ги споделим) между хоста и контейнера, затова се върнете в конзолата и спирайте JupyterLab извършвайки хоткей — CTRL+C и отговорете y на запитването. След това прекратете интерактивната сесия на потребителя jupyter извършвайки хоткей CTRL+D.

Споделяме данни с хоста ^

За да споделите данни с хоста, трябва да създадете в контейнера устройство, което позволява това, и за това изпълнете следната команда, където посочваме следните ключове:

• lxc config device add — Командата добавя конфигурация на устройството
• jupyter — Идентификатор на контейнера, в който се добавя конфигурацията
• hostfs — Идентификатор на устройството. Можете да зададете всякакво име.
• диск — Посочва се типът на устройството
• път — Посочва се пътят в контейнера, където LXD ще монтира това устройство
• източник — Посочва се източник, пътят към директория на хоста, която искате да споделите с контейнера. Укажете пътя според вашите предпочитания

lxc config device add jupyterlab hostfs disk path=\/mnt\/hostfs source=\/home\/dv\/projects\/ipython-notebooks

За директория /home/dv/projects/ipython-notebooks трябва да бъде зададено разрешение на контейнерния потребител, който в момента има UID равен на SubUID + UID, вижте глава Сигурност. Привилегии на контейнерите в статията Основни възможности на LXD — системи за контейнери в Linux.

Настройваме разрешение на хоста, където собственикът ще бъде контейнерният потребител jupyter, а променливата $USER ще зададе вашия хостов потребител като група:

sudo chown 1001000:$USER \/home\/dv\/projects\/ipython-notebooks

Здравей, свят! ^

Ако имате отворена конзолна сесия в контейнера с JupyterLab, рестартирайте я с новия ключ --notebook-dir задавайки стойност /mnt/hostfs като път до корена на ноутбуците в контейнера за устройството, което създадохме в предишната стъпка:

jupyter lab --ip=0.0.0.0 --no-browser --notebook-dir=\/mnt\/hostfs

След това отидете на страницата http://10.0.5.5:8888 и създайте първия си ноутбук, натискайки бутона на страницата, както е показано на изображението по-долу:

След това в полето на страницата въведете код на Python, който ще изведе класическия Hello World!. След завършване на въвеждането, натиснете CTRL+ENTER или бутона „play“ на лентата с инструменти отгоре, за да JupyterLab изпълни това:

При това почти всичко е готово за употреба, но ще бъде малко скучно, ако не инсталираме допълнителни Python модули (пълноценни приложения), които значително разширяват стандартните възможности на Python в JupyterLab, затова продължаваме напред 🙂

P.S. Интересното е, че старата версия Jupyter с кодово име Jupyter Notebook не е изчезнала и съществува паралелно с JupyterLab. За да преминете към старата версия, отидете на линка, добавяйки суфикс в адреса/tree, а преминаването към новата версия става с суфикс /lab, но не е задължително да се посочва:

• Jupyter Notebook — http://10.0.5.5:8888/tree
• Jupyter Lab — http://10.0.5.5:8888/lab

Разширяваме възможностите на Python ^

В този раздел ще инсталираме мощни модули на езика Python като NumPy, Pandas, Matplotlib, IPyWidgets резултатите от работата на които се интегрират в ноутбуците JupyterLab.

Преди да инсталираме изброените модули Python чрез пакетния мениджър pip първо трябва да разрешим системните зависимости в Alpine Linux:

• g++ — Необходим за компилиране на модулите, тъй като някои от тях са реализирани на език C++ и се свързват с Python в реално време като бинарни модули
• freetype-dev — зависимост за Python модула Matplotlib

Инсталираме зависимостите:

lxc exec jupyterlab -- apk add g++ freetype-dev

Има един проблем, в текущото състояние на дистрибуцията Alpine Linux не може да се компилира нова версия на NumPy, получава се компилационна грешка, която не успях да разреша:

ГРЕШКА: Не можа да бъдат изградени колела за numpy, които използват PEP 517 и не могат да бъдат инсталирани директно

Следователно, този модул ще го инсталираме като системен пакет, който разпространява вече компилирана версия, но малко по-стара от тази, която е налична в момента на сайта:

lxc exec jupyterlab -- apk add py3-numpy py3-numpy-dev

След това инсталираме Python модулите чрез пакетния мениджър pip. Бъдете търпеливи, тъй като някои модули ще се компилират и това ще отнеме няколко минути. На моята машина компилацията отне около 15 минути:

lxc exec jupyterlab -- python3 -m pip install pandas ipywidgets matplotlib

Почистваме кеша на инсталациите:

lxc exec jupyterlab -- rm -rf /home/*/.cache/pip/*
lxc exec jupyterlab -- rm -rf /root/.cache/pip/*

Тестване на модули в JupyterLab ^

Ако имате стартиран JupyterLab, рестартирайте го, за да се активират новоинсталираните модули. За целта в конзолната сесия натиснете CTRL+C там, където е стартиран и въведете y на запитването за спиране, а след това стартирайте отново JupyterLab като натиснете стрелката нагоре на клавиатурата, за да не въвеждате командата отново и след това Enter за да стартирате:

jupyter lab --ip=0.0.0.0 --no-browser --notebook-dir=\/mnt\/hostfs

Отидете на страницата http://10.0.5.5:8888/lab или обновете страницата в браузъра, а след това въведете следния код в нова клетка на тетрадката:

%matplotlib inline

from ipywidgets import interactive
import matplotlib.pyplot as plt
import numpy as np

def f(m, b):
    plt.figure(2)
    x = np.linspace(-10, 10, num=1000)
    plt.plot(x, m * x + b)
    plt.ylim(-5, 5)
    plt.show()

interactive_plot = interactive(f, m=(-2.0, 2.0), b=(-3, 3, 0.5))
output = interactive_plot.children[-1]
output.layout.height = '350px'
interactive_plot

Трябва да получите резултат, като на изображението по-долу, където IPyWidgets генерира UI елемент на страницата, който интерактивно взаимодейства с изходния код, а също така Matplotlib извежда резултата от кода под формата на изображение, като график на функцията:

Много примери IPyWidgets можете да намерите в уроците тук

Какво още? ^

Браво на вас, ако сте останали и стигнали до края на статията. Умишлено не предоставих готов скрипт в края на статията, който да инсталира JupyterLab с „един клик“, за да поощря работещите 🙂 Но можете да направите това сами, тъй като вече знаете как, събирайки командите в един Bash скрипт 🙂

Също така, можете:

• Да зададете мрежово име за контейнера вместо IP адрес, въведете го в прост /etc/hosts и в браузъра да пишете адреса http://jupyter.local:8888
• Играйте с ограниченията на ресурсите за контейнера, за което прочетете главата в основните възможности на LXD или получете повече информация на сайта на разработчика LXD.
• Сменете темата на оформлението:

И много други неща, които можете! Това е всичко. Желая ви успех!

АКТУАЛИЗАЦИЯ: 15.04.2020 18:30 — Поправих грешките в глава «Здравей, свят!»
АКТУАЛИЗАЦИЯ: 16.04.2020 10:00 — Коригирах и добавих текст в описанието на активацията на мениджъра на разширения JupyterLab
АКТУАЛИЗАЦИЯ: 16.04.2020 10:40 — Поправих откритите грешки в текста и малко подобрих главата «Инсталиране на основния софтуер и настройка на системата»

Източник: habr.com