Лансирање Јупитера у ЛКСД орбиту

Да ли сте икада морали да експериментишете са кодом или системским услужним програмима у Линуку како не бисте бринули о основном систему и да не бисте све срушили у случају грешке у коду који би требало да се покреће са роот привилегијама?

Али шта је са чињеницом да рецимо треба да тестирате или покренете читав низ различитих микросервиса на једној машини? Стотину или чак хиљаду?

Са виртуелним машинама којима управља хипервизор, такви проблеми могу и биће решени, али по коју цену? На пример, контејнер у ЛКСД базиран на Алпине Линук дистрибуцији троши само 7.60MB РАМ-а и где коренска партиција заузима након покретања 9.5MB! Како ти се то свиђа, Елоне Муск? Препоручујем да се одјавите основне могућности ЛКСД - контејнерског система у Линуку

Након што је уопште постало јасно шта су ЛКСД контејнери, идемо даље и размислимо, шта ако постоји таква платформа за харвестер на којој можете безбедно да покренете код за хост, генеришете графиконе, динамички (интерактивно) повежете УИ-виџете са својим кодом, допунити код текстом са блацкјацк-ом... форматирањем? Нека врста интерактивног блога? Вау... хоћу! Желим! 🙂

Погледај испод мачке где ћемо лансирати у контејнеру ЈупитерЛаб - следећа генерација корисничког интерфејса уместо застарелог Јупитер нотебоок рачунара, а инсталираћемо и Питхон модуле као нпр. НумПи, панде, Матплотлиб, ИПиВидгетс који ће вам омогућити да урадите све горе наведено и све то сачувате у посебној датотеци – ИПитхон лаптопу.

Навигација

• План орбиталног полетања
• Инсталација и конфигурација основног система
• Инсталирање основног софтвера и подешавање система
• Инсталирање и конфигурисање ЈупитерЛаб-а
• Дељење података са домаћином
• Здраво Свете!
• Проширивање могућности Питхон-а
• Тестирање модула у ЈупитерЛаб-у
• Шта још?

План орбиталног полетања ^

Хајде да наведемо кратак акциони план како би нам олакшали имплементацију горње шеме:

• Хајде да инсталирамо и покренемо контејнер на основу комплета за дистрибуцију Алпине Линук. Користићемо ову дистрибуцију јер је усмерена на минимализам и у њу ће инсталирати само најпотребнији софтвер, ништа сувишно.
• Хајде да додамо додатни виртуелни диск у контејнер и дамо му име - hostfs и монтирајте га на основни систем датотека. Овај диск ће омогућити коришћење датотека на хосту из датог директоријума унутар контејнера. Тако ће наши подаци бити независни од контејнера. Ако се контејнер избрише, подаци ће остати на хосту. Такође, ова шема је корисна за дељење истих података између многих контејнера без коришћења стандардних мрежних механизама дистрибуције контејнера.
• Хајде да инсталирамо Басх, судо, потребне библиотеке, додамо и конфигуришемо корисника система
• Хајде да инсталирамо Питхон, модуле и компајлирамо бинарне зависности за њих
• Хајде да инсталирамо и покренемо ЈупитерЛаб, прилагодите изглед, инсталирајте екстензије за њега.

У овом чланку ћемо почети са покретањем контејнера, нећемо разматрати инсталирање и конфигурисање ЛКСД-а, све ово можете пронаћи у другом чланку - Основне карактеристике ЛКСД - Линук контејнерских система.

Инсталација и конфигурација основног система ^

Направимо контејнер са командом у којој наводимо слику - alpine3, идентификатор за контејнер - jupyterlab и, ако је потребно, конфигурациони профили:

lxc init alpine3 jupyterlab --profile=default --profile=hddroot

Овде користим конфигурациони профил hddroot који специфицира креирање контејнера са роот партицијом у Стораге Поол налази се на физичком ХДД диску:

lxc profile show hddroot

config: {}
description: ""
devices:
  root:
    path: /
    pool: hddpool
    type: disk
name: hddroot
used_by: []

lxc storage show hddpool

config:
  size: 10GB
  source: /dev/loop1
  volatile.initial_source: /dev/loop1
description: ""
name: hddpool
driver: btrfs
used_by:
- /1.0/images/ebd565585223487526ddb3607f5156e875c15a89e21b61ef004132196da6a0a3
- /1.0/profiles/hddroot
status: Created
locations:
- none

Ово ми даје прилику да експериментишем са контејнерима на ХДД диску, чувајући ресурсе ССД диска, који је такође доступан у мом систему 🙂 за који сам направио посебан конфигурациони профил ssdroot.

Након што је контејнер креиран, он је у стању STOPPED, тако да морамо да га покренемо покретањем инит система у њему:

lxc start jupyterlab

Хајде да прикажемо листу контејнера у ЛКСД помоћу тастера -c што указује на које cприказ стубова:

lxc list -c ns4b
+------------+---------+-------------------+--------------+
|    NAME    |  STATE  |       IPV4        | STORAGE POOL |
+------------+---------+-------------------+--------------+
| jupyterlab | RUNNING | 10.0.5.198 (eth0) | hddpool      |
+------------+---------+-------------------+--------------+

Приликом креирања контејнера, ИП адреса је изабрана насумично, пошто смо користили конфигурациони профил default који је претходно конфигурисан у чланку Основне карактеристике ЛКСД - Линук контејнерских система.

Ову ИП адресу ћемо променити у памтљивију креирањем мрежног интерфејса на нивоу контејнера, а не на нивоу конфигурационог профила као што је сада у тренутној конфигурацији. Не морате ово да радите, можете то прескочити.

Креирање мрежног интерфејса eth0 који повезујемо са прекидачем (мрежни мост) lxdbr0 у којем смо омогућили НАТ према претходном чланку и контејнер ће сада имати приступ Интернету, а интерфејсу додељујемо и статичку ИП адресу - 10.0.5.5:

lxc config device add jupyterlab eth0 nic name=eth0 nictype=bridged parent=lxdbr0 ipv4.address=10.0.5.5

Након додавања уређаја, контејнер се мора поново покренути:

lxc restart jupyterlab

Провера статуса контејнера:

lxc list -c ns4b
+------------+---------+------------------+--------------+
|    NAME    |  STATE  |       IPV4       | STORAGE POOL |
+------------+---------+------------------+--------------+
| jupyterlab | RUNNING | 10.0.5.5 (eth0)  | hddpool      |
+------------+---------+------------------+--------------+

Инсталирање основног софтвера и подешавање система ^

Да бисте администрирали наш контејнер, потребно је да инсталирате следећи софтвер:

пакет
Opis

треснути
ГНУ Боурне Агаин љуска

басх-завршетак
Програмабилни завршетак за басх схелл

судо
Дајте одређеним корисницима могућност да покрећу неке команде као роот

сенка
Пакет алата за управљање лозинком и налогом са подршком за датотеке у сенци и ПАМ

тздата
Извори података о временској зони и летњем рачунању времена

Нано
Пицо едитор клон са побољшањима

Поред тога, можете да инсталирате подршку на системским ман-страницама тако што ћете инсталирати следеће пакете − man man-pages mdocml-apropos less

lxc exec jupyterlab -- apk add bash bash-completion sudo shadow tzdata nano

Хајде да погледамо команде и тастере које смо користили:

• lxc — Позовите ЛКСД клијента
• exec - ЛКСД клијент метод који покреће команду у контејнеру
• jupyterlab — ИД контејнера
• -- - Специјални кључ који наводи да се даљи кључеви не тумаче као кључеви за lxc и проследите остатак низа као што јесте у контејнер
• apk — Алпине Линук менаџер дистрибутивних пакета
• add — Метод менаџера пакета који инсталира пакете наведене након команде

Затим ћемо поставити временску зону у систему Europe/Moscow:

lxc exec jupyterlab -- cp /usr/share/zoneinfo/Europe/Moscow /etc/localtime

Након инсталирања временске зоне, пакет tzdata више није потребан у систему, заузеће простор, па хајде да га избришемо:

lxc exec jupyterlab -- apk del tzdata

Провера временске зоне:

lxc exec jupyterlab -- date

Wed Apr 15 10:49:56 MSK 2020

Да не бисмо трошили много времена на подешавање Басх-а за нове кориснике у контејнеру, у следећим корацима ћемо копирати готове скел фајлове са хост система у њега. Ово ће вам омогућити да интерактивно улепшате Басх у контејнеру. Мој систем домаћина је Мањаро Линук и датотеке које се копирају /etc/skel/.bash_profile, /etc/skel/.bashrc, /etc/skel/.dir_colors у принципу су погодни за Алпине Линук и не изазивају критичне проблеме, али можда имате другачију дистрибуцију и морате самостално да откријете да ли постоји грешка када се Басх покреће у контејнеру.

Копирајте скел датотеке у контејнер. Кључ --create-dirs ће креирати потребне директоријуме ако не постоје:

lxc file push /etc/skel/.bash_profile jupyterlab/etc/skel/.bash_profile --create-dirs
lxc file push /etc/skel/.bashrc jupyterlab/etc/skel/.bashrc
lxc file push /etc/skel/.dir_colors jupyterlab/etc/skel/.dir_colors

За постојећег роот корисника, копирајте скел датотеке које су управо копиране у контејнер у кућни директоријум:

lxc exec jupyterlab -- cp /etc/skel/.bash_profile /root/.bash_profile
lxc exec jupyterlab -- cp /etc/skel/.bashrc /root/.bashrc
lxc exec jupyterlab -- cp /etc/skel/.dir_colors /root/.dir_colors

Алпине Линук инсталира системску шкољку за кориснике /bin/sh, заменићемо га са root корисник у Басху:

lxc exec jupyterlab -- usermod --shell=/bin/bash root

Да root корисник није био без лозинке, потребно је да постави лозинку. Следећа команда ће генерисати и поставити нову случајну лозинку за њега, коју ћете видети на екрану конзоле након њеног извршења:

lxc exec jupyterlab -- /bin/bash -c "PASSWD=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 12); echo "root:$PASSWD" | chpasswd && echo "New Password: $PASSWD""

New Password: sFiXEvBswuWA

Такође, хајде да направимо новог корисника система - jupyter за које ћемо касније конфигурисати ЈупитерЛаб:

lxc exec jupyterlab -- useradd --create-home --shell=/bin/bash jupyter

Хајде да генеришемо и поставимо лозинку за то:

lxc exec jupyterlab -- /bin/bash -c "PASSWD=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 12); echo "jupyter:$PASSWD" | chpasswd && echo "New Password: $PASSWD""

New Password: ZIcbzWrF8tki

Затим ћемо извршити две команде, прва ће креирати системску групу sudo, а други ће му додати корисника jupyter:

lxc exec jupyterlab -- groupadd --system sudo
lxc exec jupyterlab -- groupmems --group sudo --add jupyter

Да видимо којим групама припада корисник jupyter:

lxc exec jupyterlab -- id -Gn jupyter

jupyter sudo

Све је ок, идемо даље.

Дозволи свим корисницима који су чланови групе sudo користите команду sudo. Да бисте то урадили, покрените следећу скрипту где sed декоментира линију параметара у конфигурационој датотеци /etc/sudoers:

lxc exec jupyterlab -- /bin/bash -c "sed --in-place -e '/^#[ t]*%sudo[ t]*ALL=(ALL)[ t]*ALL$/ s/^[# ]*//' /etc/sudoers"

Инсталирање и конфигурисање ЈупитерЛаб-а ^

ЈупитерЛаб је Питхон апликација, тако да прво морамо да инсталирамо овај тумач. такође, ЈупитерЛаб инсталираћемо помоћу Питхон менаџера пакета pip, а не системски, јер може бити застарео у системском спремишту и стога морамо ручно да решимо зависности за њега инсталирањем следећих пакета – python3 python3-dev gcc libc-dev zeromq-dev:

lxc exec jupyterlab -- apk add python3 python3-dev gcc libc-dev zeromq-dev

Хајде да ажурирамо Питхон модуле и менаџер пакета pip на тренутну верзију:

lxc exec jupyterlab -- python3 -m pip install --upgrade pip setuptools wheel

Сет ЈупитерЛаб преко менаџера пакета pip:

lxc exec jupyterlab -- python3 -m pip install jupyterlab

Пошто су проширења у ЈупитерЛаб су експериментални и званично се не испоручују са јупитерлаб пакетом, тако да морамо да га инсталирамо и конфигуришемо ручно.

Хајде да инсталирамо НодеЈС и менаџер пакета за њега - НПМ, пошто ЈупитерЛаб користи их за своје екстензије:

lxc exec jupyterlab -- apk add nodejs npm

За екстензије за ЈупитерЛаб које ћемо инсталирати су радили, потребно их је инсталирати у кориснички именик пошто ће апликација бити покренута од корисника jupyter. Проблем је у томе што у команди покретања не постоји параметар који се може пренети у директоријум; апликација прихвата само променљиву окружења и зато је морамо дефинисати. Да бисмо то урадили, написаћемо команду за извоз променљиве JUPYTERLAB_DIR у корисничком окружењу jupyter, да поднесе .bashrcкоји се извршава сваки пут када се корисник пријави:

lxc exec jupyterlab -- su -l jupyter -c "echo -e "nexport JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab" >> .bashrc"

Следећа команда ће инсталирати специјално проширење - менаџер екстензија ЈупитерЛаб:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build @jupyter-widgets/jupyterlab-manager"

Сада је све спремно за прво лансирање ЈупитерЛаб, али још увек можемо да инсталирамо неколико корисних екстензија:

• toc — Садржај, генерише листу наслова у чланку/бележници
• jupyterlab-horizon-theme — УИ тема
• jupyterlab_neon_theme — УИ тема
• jupyterlab-ubu-theme - Још један тема од аутора овај чланак :) Али у овом случају ће бити приказана инсталација из ГитХуб спремишта

Дакле, покрените следеће команде узастопно да бисте инсталирали ова проширења:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build @jupyterlab/toc @mohirio/jupyterlab-horizon-theme @yeebc/jupyterlab_neon_theme"

lxc exec jupyterlab -- su -l jupyter -c "wget -c https://github.com/microcoder/jupyterlab-ubu-theme/archive/master.zip"

lxc exec jupyterlab -- su -l jupyter -c "unzip -q master.zip && rm master.zip"

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter labextension install --no-build jupyterlab-ubu-theme-master"

lxc exec jupyterlab -- su -l jupyter -c "rm -r jupyterlab-ubu-theme-master"

Након инсталирања екстензија, морамо их компајлирати, пошто смо претходно, током инсталације, навели кључ --no-build бисте уштедели време. Сада ћемо значајно убрзати тако што ћемо их саставити у једном потезу:

lxc exec jupyterlab -- su -l jupyter -c "export JUPYTERLAB_DIR=$HOME/.local/share/jupyter/lab; jupyter lab build"

Сада покрените следеће две команде да бисте га покренули први пут ЈупитерЛаб. Могло би се покренути једном командом, али у овом случају, команда за покретање, коју је тешко запамтити у вашем уму, памтиће басх у контејнеру, а не на хосту, где већ има довољно команди да их упишем у историју :)

Пријавите се на контејнер као корисник jupyter:

lxc exec jupyterlab -- su -l jupyter

Следеће, трчи ЈупитерЛаб са кључевима и параметрима како је назначено:

[jupyter@jupyterlab ~]$ jupyter lab --ip=0.0.0.0 --no-browser

Идите на адресу у свом веб претраживачу http://10.0.5.5:8888 а на страници која се отвори унесите жетон приступ који ћете видети у конзоли. Копирајте га и налепите на страницу, а затим кликните Пријавите се. Након што се пријавите, идите на мени екстензија са леве стране, као што је приказано на слици испод, где ће од вас бити затражено, када активирате менаџер екстензија, да преузмете безбедносне ризике инсталирањем екстензија од трећих лица за које је команда ЈупитерЛаб развој није одговоран:

Међутим, изолујемо целину ЈупитерЛаб и ставите га у контејнер тако да екстензије треће стране које захтевају и користе НодеЈС не могу барем да украду податке на диску осим оних које отварамо унутар контејнера. Дођите до својих приватних докумената на хосту /home мало је вероватно да ће процеси из контејнера успети, а ако успеју, онда морате да имате привилегије над датотекама на систему хоста, пошто ми покрећемо контејнер у непривилеговани режим. На основу ових информација можете проценити ризик од укључивања екстензија у ЈупитерЛаб.

Направљене ИПитхон свеске (странице у ЈупитерЛаб) ће сада бити креиран у почетном директоријуму корисника - /home/jupyter, али наши планови су да поделимо податке (дељење) између хоста и контејнера, па се вратите на конзолу и зауставите ЈупитерЛаб извршавањем пречице - CTRL+C и одговарање y на захтев. Затим прекинути интерактивну сесију корисника jupyter довршавање интервентног тастера CTRL+D.

Дељење података са домаћином ^

Да бисте поделили податке са хостом, потребно је да креирате уређај у контејнеру који вам омогућава да то урадите и да то урадите, покрените следећу команду где наводимо следеће кључеве:

• lxc config device add — Команда додаје конфигурацију уређаја
• jupyter — ИД контејнера коме је конфигурација додата
• hostfs — ИД уређаја. Можете поставити било које име.
• disk — Тип уређаја је назначен
• path — Одређује путању у контејнеру на који ће ЛКСД монтирати овај уређај
• source — Одредите извор, путању до директоријума на хосту који желите да делите са контејнером. Одредите путању према вашим жељама

lxc config device add jupyterlab hostfs disk path=/mnt/hostfs source=/home/dv/projects/ipython-notebooks

За каталог /home/dv/projects/ipython-notebooks дозвола мора бити подешена на корисника контејнера који тренутно има УИД једнак SubUID + UID, види поглавље Сигурност. Привилегије контејнера у чланку Основне карактеристике ЛКСД - Линук контејнерских система.

Подесите дозволу за хост, где ће власник бити корисник контејнера jupyter, и променљива $USER ће одредити вашег хост корисника као групу:

sudo chown 1001000:$USER /home/dv/projects/ipython-notebooks

Здраво Свете! ^

Ако још увек имате отворену сесију конзоле у ​​контејнеру са ЈупитерЛаб, а затим га поново покрените новим кључем --notebook-dir постављањем вредности /mnt/hostfs као путању до корена лаптоп рачунара у контејнеру за уређај који смо креирали у претходном кораку:

jupyter lab --ip=0.0.0.0 --no-browser --notebook-dir=/mnt/hostfs

Затим идите на страницу http://10.0.5.5:8888 и креирајте свој први лаптоп кликом на дугме на страници као што је приказано на слици испод:

Затим у поље на страници унесите Питхон код који ће приказати класик Hello World!. Када завршите са уносом, притисните CTRL+ENTER или дугме "плаи" на траци са алаткама на врху да би ЈупитерЛаб урадио ово:

У овом тренутку, скоро све је спремно за употребу, али биће незанимљиво ако не инсталирамо додатне Питхон модуле (пуноправне апликације) који могу значајно да прошире стандардне могућности Питхон-а у ЈупитерЛаб, дакле, идемо даље :)

ПС Занимљиво је да је стара имплементација Јупитер под кодним именом Јупитер Нотебоок није нестала и постоји паралелно са ЈупитерЛаб. Да бисте прешли на стару верзију, следите везу додајући суфикс у адресу/tree, а прелазак на нову верзију врши се суфиксом /lab, али не мора да буде наведено:

• Јупитер свеска - http://10.0.5.5:8888/tree
• Јупитер Лаб - http://10.0.5.5:8888/lab

Проширивање могућности Питхон-а ^

У овом одељку ћемо инсталирати тако моћне Питхон језичке модуле као што су НумПи, панде, Матплотлиб, ИПиВидгетс чији су резултати интегрисани у лаптоп рачунаре ЈупитерЛаб.

Пре инсталирања наведених Питхон модула преко менаџера пакета pip прво морамо да решимо системске зависности у Алпине Линук-у:

• g++ — Потребан за компајлирање модула, пошто су неки од њих имплементирани у језику Ц + + и повежите се са Питхон-ом током извршавања као бинарни модули
• freetype-dev - зависност од Питхон модула Матплотлиб

Инсталирање зависности:

lxc exec jupyterlab -- apk add g++ freetype-dev

Постоји један проблем: у тренутном стању дистрибуције Алпине Линук-а, неће бити могуће компајлирати нову верзију НумПи-а; појавиће се грешка при компилацији коју нисам могао да решим:

ГРЕШКА: Није могуће направити точкове за нумпи који користе ПЕП 517 и не могу се директно инсталирати

Стога ћемо овај модул инсталирати као системски пакет који дистрибуира већ компајлирану верзију, али мало старију од оне која је тренутно доступна на сајту:

lxc exec jupyterlab -- apk add py3-numpy py3-numpy-dev

Затим инсталирајте Питхон модуле преко менаџера пакета pip. Будите стрпљиви јер ће се неки модули компајлирати и може потрајати неколико минута. На мојој машини, компилација је трајала око 15 минута:

lxc exec jupyterlab -- python3 -m pip install pandas ipywidgets matplotlib

Брисање инсталационих кеша:

lxc exec jupyterlab -- rm -rf /home/*/.cache/pip/*
lxc exec jupyterlab -- rm -rf /root/.cache/pip/*

Тестирање модула у ЈупитерЛаб-у ^

Ако трчите ЈупитерЛаб, поново га покрените тако да се новоинсталирани модули активирају. Да бисте то урадили, у сесији конзоле кликните CTRL+C где је покренут и уђите y да зауставите захтев, а затим почнете поново ЈупитерЛаб притиском на стрелицу нагоре на тастатури да не би поново унели команду и затим Enter да бисте га покренули:

jupyter lab --ip=0.0.0.0 --no-browser --notebook-dir=/mnt/hostfs

Идите на страницу http://10.0.5.5:8888/lab или освежите страницу у прегледачу, а затим унесите следећи код у нову ћелију бележнице:

%matplotlib inline

from ipywidgets import interactive
import matplotlib.pyplot as plt
import numpy as np

def f(m, b):
    plt.figure(2)
    x = np.linspace(-10, 10, num=1000)
    plt.plot(x, m * x + b)
    plt.ylim(-5, 5)
    plt.show()

interactive_plot = interactive(f, m=(-2.0, 2.0), b=(-3, 3, 0.5))
output = interactive_plot.children[-1]
output.layout.height = '350px'
interactive_plot

Требало би да добијете резултат као на слици испод, где ИПиВидгетс генерише УИ елемент на страници који интерактивно реагује са изворним кодом, а такође Матплотлиб приказује резултат кода у облику слике као график функције:

Много примера ИПиВидгетс можете га пронаћи у туторијалима овде

Шта још? ^

Браво ако сте остали и дошли до самог краја чланка. Намерно нисам поставио готову скрипту на крају чланка која би се инсталирала ЈупитерЛаб једним кликом да охрабрите раднике :) Али то можете и сами, пошто већ знате како, након што сте сакупили команде у једну Басх скрипту :)

Можете такође:

• Подесите назив мреже за контејнер уместо ИП адресе тако што ћете га написати на једноставном /etc/hosts и укуцајте адресу у претраживач http://jupyter.local:8888
• Поиграјте се са ограничењем ресурса за контејнер, за ово прочитајте поглавље у основне ЛКСД могућности или потражите више информација на сајту за ЛКСД програмере.
• Промените тему:

И још много тога можете учинити! То је све. Желим вам успех!

АЖУРИРАЊЕ: 15.04.2020 18:30 - Исправљене грешке у поглављу „Здраво, свет!“
АЖУРИРАЊЕ: 16.04.2020 10:00 — Исправљен и додат текст у опису активације менаџера екстензија ЈупитерЛаб
АЖУРИРАЊЕ: 16.04.2020 10:40 — Исправљене грешке пронађене у тексту и мало измењено на боље поглавље „Инсталирање основног софтвера и подешавање система“

Извор: ввв.хабр.цом