Направи си сам Bare-Metal Provisioning или Автоматична подготовка на сървъри от нулата

Здравейте, аз съм Денис и една от сферите ми на дейност е разработването на инфраструктурни решения в X5. Днес бих искал да споделя с вас как можете да разположите система за автоматична подготовка на сървър, базирана на публично достъпни инструменти. Според мен това е интересно, просто и гъвкаво решение.

Под подготовка имаме предвид: превърнете нов сървър от кутията в напълно конфигуриран сървър с операционна система. Linux или с ESXi хипервайзор (разгръщането на Windows сървъри не се обсъжда в тази статия).

Условията:

• сървъри – сървъри, които трябва да бъдат конфигурирани.
• инсталационният сървър е основният сървър, който осигурява целия процес на подготовка по мрежата.

Защо е необходима автоматизация?

Да кажем, че има задача: масово да се подготвят сървъри от нулата, в пика - 30 на ден. На тях могат да бъдат инсталирани сървъри от различни производители и модели, различни операционни системи и може да имат или да нямат хипервайзор.

Какви операции са включени в процеса на настройка (без автоматизация):

• свържете клавиатура, мишка, монитор към сървъра;
• конфигуриране на BIOS, RAID, IPMI;
• актуализиране на фърмуера на компонента;
• внедрите изображение на файлова система (или инсталирайте хипервизор и копирайте виртуални машини);

Забележка. Като алтернатива внедряването на ОС е възможно чрез инсталиране с файл за автоматичен отговор. Но това няма да бъде обсъдено в статията. Въпреки че по-долу ще видите, че добавянето на тази функционалност не е трудно.

• конфигуриране на параметри на ОС (име на хост, IP и т.н.).

При този подход едни и същи настройки се изпълняват последователно на всеки сървър. Ефективността на такава работа е много ниска.

Същността на автоматизацията е да се елиминира човешкото участие в процеса на подготовка на сървъра. Колкото се може повече.

Автоматизацията намалява времето за престой между операциите и прави възможно предоставянето на множество сървъри едновременно. Вероятността от грешки поради човешки фактор също е значително намалена.

Как сървърите се конфигурират автоматично?

Нека анализираме подробно всички етапи.

Имате Linux сървър, който използвате като PXE инсталационен сървър. На него са инсталирани и конфигурирани услуги: DHCP, TFTP.

И така, зареждаме сървъра (който трябва да бъде конфигуриран) чрез PXE. Нека си припомним как работи:

• Мрежовото зареждане е избрано на сървъра.
• Сървърът зарежда PXE-ROM на мрежовата карта и се свързва с инсталационния сървър чрез DHCP, за да получи мрежов адрес.
• DHCP инсталационният сървър издава адрес, както и инструкции за по-нататъшно изтегляне чрез PXE.
• Сървърът зарежда мрежовия буутлоудър от инсталационния сървър чрез PXE, по-нататъшното зареждане се извършва според PXE конфигурационния файл.
• Зареждането се извършва въз основа на получените параметри (ядро, initramfs, точки на монтиране, squashfs изображение и др.).

Забележка. Статията описва зареждане чрез PXE през BIOS режим. Понастоящем производителите активно внедряват UEFI режим на зареждане. За PXE разликата ще бъде в конфигурацията на DHCP сървъра и наличието на допълнителен буутлоудър.

Нека да разгледаме пример за конфигурация на PXE сървър (pxelinux меню).

Файл pxelinux.cfg/default:

default menu.c32
prompt 0
timeout 100
menu title X5 PXE Boot Menu
LABEL InstallServer Menu
	MENU LABEL InstallServer
	KERNEL menu.c32
	APPEND pxelinux.cfg/installserver
LABEL VMware Menu
	MENU LABEL VMware ESXi Install
	KERNEL menu.c32
	APPEND pxelinux.cfg/vmware
LABEL toolkit // меню по умолчанию
	MENU LABEL Linux Scripting Toolkits
	MENU default
	KERNEL menu.c32
	APPEND pxelinux.cfg/toolkit // переход на следующее меню

Файл pxelinux.cfg/toolkit:

prompt 0
timeout 100
menu title X5 PXE Boot Menu
label mainmenu
    menu label ^Return to Main Menu
    kernel menu.c32
    append pxelinux.cfg/default
label x5toolkit-auto // по умолчанию — автоматический режим
        menu label x5 toolkit autoinstall
        menu default
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tk-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh CMDIS2=”…”
label x5toolkit-shell // для отладки - консоль
        menu label x5 toolkit shell
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tkcustom-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash CMDIS2=”…”

Ядрото и initramfs на този етап са междинен Linux образ, с помощта на който ще се извърши основната подготовка и конфигурация на сървъра.

Както можете да видите, буутлоудърът предава много параметри на ядрото. Някои от тези параметри се използват от самото ядро. И ние можем да използваме някои за нашите собствени цели. Това ще бъде обсъдено по-късно, но засега можете просто да запомните, че всички предадени параметри ще бъдат достъпни в междинния Linux образ чрез /proc/cmdline.

Къде мога да ги взема, ядрото и initramfs?
Като основа можете да изберете всяка дистрибуция на Linux. На какво обръщаме внимание при избора си:

• изображението за зареждане трябва да е универсално (наличие на драйвери, възможност за инсталиране на допълнителни помощни програми);
• Най-вероятно ще трябва да персонализирате initramfs.

Как се прави това в нашето решение за X5? За основа беше избрана CentOS 7. Нека опитаме следния трик: подгответе бъдещата структура на изображението, опаковайте го в архив и създайте initramfs, вътре в който ще има архив на нашата файлова система. При зареждане на изображението архивът ще бъде разширен в създадения tmpfs дял. По този начин ще получим минимално, но пълноценно живо изображение на Linux с всички необходими помощни програми, състоящо се само от два файла: vmkernel и initramfs.

#создаем директории: 

mkdir -p /tftpboot/toolkit/CustomTK/rootfs /tftpboot/toolkit/CustomTK/initramfs/bin

#подготавливаем структуру:

yum groups -y install "Minimal Install" --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y install nfs-utils mariadb ntpdate mtools syslinux mdadm tbb libgomp efibootmgr dosfstools net-tools pciutils openssl make ipmitool OpenIPMI-modalias rng-tools --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y remove biosdevname --installroot=/tftpboot/toolkit/CustomTK/rootfs/

# подготавливаем initramfs:

wget https://busybox.net/downloads/binaries/1.31.0-defconfig-multiarch-musl/busybox-x86_64 -O /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
chmod a+x /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
cp /tftpboot/toolkit/CustomTK/rootfs/boot/vmlinuz-3.10.0-957.el7.x86_64 /tftpboot/toolkit/tkcustom-kernel

# создаем /tftpboot/toolkit/CustomTK/initramfs/init (ниже содержание скрипта):

#!/bin/busybox sh
/bin/busybox --install /bin
mkdir -p /dev /proc /sys /var/run /newroot
mount -t proc proc /proc
mount -o mode=0755 -t devtmpfs devtmpfs /dev
mkdir -p /dev/pts /dev/shm /dev/mapper /dev/vc
mount -t devpts -o gid=5,mode=620 devpts /dev/pts
mount -t sysfs sysfs /sys
mount -t tmpfs -o size=4000m tmpfs /newroot
echo -n "Extracting rootfs... "
xz -d -c -f rootfs.tar.xz | tar -x -f - -C /newroot
echo "done"
mkdir -p /newroot/dev /newroot/proc /newroot/sys
mount --move /sys  /newroot/sys
mount --move /proc /newroot/proc
mount --move /dev  /newroot/dev
exec switch_root /newroot /sbin/init

# упаковываем rootfs и initramfs:

cd /tftpboot/toolkit/CustomTK/rootfs
tar cJf /tftpboot/toolkit/CustomTK/initramfs/rootfs.tar.xz --exclude ./proc --exclude ./sys --exclude ./dev .
cd /tftpboot/toolkit/CustomTK/initramfs
find . -print0 | cpio --null -ov --format=newc | gzip -9 > /tftpboot/toolkit/tkcustom-initramfs-new.gz

Така че сме посочили ядрото и initramfs, които трябва да бъдат заредени. В резултат на това на този етап, като заредим междинния линукс образ чрез PXE, ще получим конзолата на ОС.

Страхотно, но сега трябва да прехвърлим контрола на нашата „автоматизация“.

Може да се направи така.

Да приемем, че след зареждане на изображението планираме да прехвърлим управлението на скрипта mount.sh.
Нека включим скрипта mount.sh в autorun. За да направите това, ще трябва да промените initramfs:

• разопаковайте initramfs (ако използваме горната опция initramfs, това не е задължително)
• включване на код при стартиране, който ще анализира параметрите, преминали през /proc/cmdline и ще прехвърли контрола по-нататък;
• пакет initramfs.

Забележка. В случая на инструментариума X5 контролът върху зареждането се прехвърля към скрипта /opt/x5/toolkit/bin/hook.sh с помощью override.conf в getty tty1 (ExecStart=…)

И така, изображението се зарежда, в което скриптът mount.sh стартира при автоматично стартиране. След това скриптът mount.sh анализира предадените параметри (script_cmd=) по време на изпълнение и стартира необходимата програма/скрипт.

инструментариум за етикети-автоматичен
ядрото...
добавете... nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh

инструментариум за етикети-черупка
ядрото...
добавете... nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash

Тук вляво е менюто PXE, вдясно е диаграмата за прехвърляне на управление.

Разбрахме прехвърлянето на контрола. В зависимост от избора на PXE менюто се стартира или скриптът за автоматично конфигуриране, или конзолата за отстраняване на грешки.

В случай на автоматична конфигурация, от инсталационния сървър се монтират необходимите директории, които съдържат:

• скриптове;
• запазени BIOS/UEFI шаблони за различни сървъри;
• фърмуер;
• сървърни помощни програми;
• трупи

След това скриптът mount.sh прехвърля контрола на скрипта master-install.sh от директорията на скрипта.

Дървото на скриптовете (редът, в който се стартират) изглежда по следния начин:

• главна инсталация
• sharefunctions (споделени функции)
• информация (извеждане на информация)
• модели (задаване на инсталационни параметри въз основа на модела на сървъра)
• подготви_utils (инсталиране на необходимите помощни програми)
• fwupdate (актуализация на фърмуера)
• diag (елементарна диагностика)
• biosconf (настройки на BIOS/UEFI)
• clockfix (задаване на часа на дънната платка)
• srmconf (конфигурация на интерфейс на отдалечен интерфейс)
• raidconf (конфигуриране на логически томове)

един от:

• предварително инсталиране (прехвърляне на управление към инсталатора на операционната система или хипервайзора, като ESXi)
• обединено инсталиране (незабавно начало на разопаковане на изображението)

Сега знаем:

• как да стартирате сървър чрез PXE;
• как да прехвърлите управлението на собствения си скрипт.

Да продължим. Актуални станаха следните въпроси:

• Как да разпознаем сървъра, който подготвяме?
• Какви помощни програми и как да конфигурирате сървъра?
• Как да получа настройки за конкретен сървър?

Как да разпознаем сървъра, който подготвяме?

Това е просто - DMI:

dmidecode –s system-product-name
dmidecode –s system-manufacturer
dmidecode –s system-serial-number

Всичко, от което се нуждаете, е тук: доставчик, модел, сериен номер. Ако не сте сигурни, че тази информация присъства във всички сървъри, можете да ги идентифицирате по техния MAC адрес. Или по двата начина едновременно, ако доставчиците на сървъра са различни и при някои модели просто няма информация за серийния номер.

Въз основа на получената информация се монтират мрежови папки от инсталационния сървър и се зарежда всичко необходимо (помощни програми, фърмуер и др.).

Какви помощни програми и как да конфигурирате сървъра?

Ще предоставя помощни програми за Linux за някои производители. Всички помощни програми са достъпни на официалните уебсайтове на доставчиците.

С фърмуера мисля, че всичко е ясно. Те обикновено идват под формата на пакетирани изпълними файлове. Изпълнимият файл контролира процеса на актуализиране на фърмуера и отчита кода за връщане.

BIOS и IPMI обикновено се конфигурират чрез шаблони. Ако е необходимо, шаблонът може да бъде редактиран преди изтегляне.

Помощните програми за RAID от някои доставчици също могат да бъдат конфигурирани с помощта на шаблон. Ако това не е така, тогава ще трябва да напишете конфигурационен скрипт.

Процедурата за настройка на RAID най-често е следната:

• Искаме текущата конфигурация.
• Ако вече има логически масиви, ги изтриваме.
• Нека да разгледаме какви физически дискове има и колко са.
• Създайте нов логически масив. Прекъсваме процеса в случай на грешка.

Как да получа настройки за конкретен сървър?

Да приемем, че настройките на всички сървъри ще бъдат съхранени на инсталационния сървър. В този случай, за да отговорим на нашия въпрос, първо трябва да решим как да прехвърлим настройките на инсталационния сървър.

Отначало можете да се справите с текстови файлове. (В бъдеще може да искате да използвате текстов файл като резервен метод за прехвърляне на настройки.)

Можете да „споделите“ текстов файл на инсталационния сървър. И добавете неговото монтиране към скрипта mount.sh.

Редовете например ще изглеждат така:

<сериен номер> <име на хост> <подмрежа>

Тези редове ще бъдат прехвърлени във файла от инженера от неговата работна машина. И тогава, когато настройвате сървър, параметрите за конкретен сървър ще бъдат прочетени от файла.

Но в дългосрочен план е по-добре да използвате база данни за съхраняване на настройки, състояния и регистрационни файлове на сървърни инсталации.

Разбира се, само база данни не е достатъчна, а ще трябва да създадете клиентска част, с помощта на която да се прехвърлят настройките в базата данни. Това е по-трудно за изпълнение в сравнение с текстов файл, но всъщност всичко не е толкова трудно, колкото изглежда. Напълно възможно е да напишете минимална версия на клиент, който просто ще прехвърля данни към базата данни сами. И в бъдеще ще бъде възможно да се подобри клиентската програма в безплатен режим (отчети, печат на етикети, изпращане на известия и т.н., което идва на ум).

Като направим конкретна заявка към базата данни и посочим серийния номер на сървъра, ще получим необходимите параметри за конфигуриране на сървъра.

Освен това няма да е необходимо да измисляме ключалки за едновременен достъп, както е в случая с текстов файл.

Можем да запишем регистрационния файл на конфигурацията в базата данни на всички етапи и да контролираме инсталационния процес чрез събития и флагове на подготвителните етапи.

Сега знаем как:

• стартиране на сървъра чрез PXE;
• прехвърлете контрола на нашия скрипт;
• идентифицирайте сървъра, който трябва да бъде подготвен, чрез неговия сериен номер;
• конфигурирайте сървъра с помощта на подходящите помощни програми;
• прехвърлете настройките към базата данни на инсталационния сървър, като използвате клиентската част.

Разбрахме как:

• инсталираният сървър получава необходимите настройки от базата данни;
• целият напредък на подготовката се записва в базата данни (дневници, събития, флагове на етапа).

Какво ще кажете за различните видове софтуер, който инсталирате? Как да инсталирате хипервайзор, да копирате VM и да конфигурирате всичко?

В случай на разполагане на изображение на файлова система (linux) към хардуер, всичко е съвсем просто:

• След като настроим всички сървърни компоненти, внедряваме изображението.
• Инсталирайте програмата за зареждане grub.
• Ние chroot и конфигурираме всичко, което е необходимо.

Как да прехвърлите управлението на инсталатора на ОС (използвайки ESXi като пример).

• Ние организираме прехвърлянето на контрола от нашия скрипт към инсталатора на хипервайзор, като използваме автоматичния файл с отговори (kickstart):
• Изтриваме текущите дялове на диска.
• Създайте дял с размер 500 MB.
• Маркираме го като стартиращ.
• Форматирайте във FAT32.
• Копираме инсталационните файлове на ESXi в root.
• Инсталиране на syslinux.
• Копирайте syslinux.cfg в /syslinux/

default esxi
prompt 1
timeout 50
label esxi
kernel mboot.c32
append -c boot.cfg

• Копирайте mboot.c32 в /syslinux.
• Boot.cfg трябва да има kernelopt=ks=ftp:// /ks_esxi.cfg
• Рестартирайте сървъра.

След като сървърът се рестартира, инсталаторът на ESXi ще се изтегли от твърдия диск на сървъра. Всички необходими инсталационни файлове ще бъдат заредени в паметта и след това инсталацията на ESXi ще започне, според посочения файл за автоматичен отговор.

Ето няколко реда от файла за автоматичен отговор ks_esxi.cfg:

%firstboot --interpreter=busybox
…
# получаем серийный номер

SYSSN=$(esxcli hardware platform get | grep Serial | awk -F " " '{print $3}')

# получаем IP

IPADDRT=$(esxcli network ip interface ipv4 get | grep vmk0 | awk -F " " '{print $2}')
LAST_OCTET=$(echo $IPADDRT | awk -F'.' '{print $4}')

# подключаем NFS инсталл-сервера

esxcli storage nfs add -H is -s /srv/nfs_share -v nfsshare1

# копируем временные настройки ssh, для использования ssh-клиента

mv /etc/ssh /etc/ssh.tmp
cp -R /vmfs/volumes/nfsshare1/ssh /etc/
chmod go-r /etc/ssh/ssh_host_rsa_key

# копируем ovftool, для развертывания ВМ сейчас, плюс возможно пригодится позже

cp -R /vmfs/volumes/nfsshare1/ovftool /vmfs/volumes/datastore1/

# развертываем ВМ

/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM1 /vmfs/volumes/nfsshare1/VM_T/VM1.ova vi://root:[email protected]
/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM2 /vmfs/volumes/nfsshare1/VM_T/VM2.ova vi://root:[email protected]

# получаем строку с настройками нашего сервера

ssh root@is "mysql -h'192.168.0.1' -D'servers' -u'user' -p'secretpassword' -e "SELECT ... WHERE servers.serial='$SYSSN'"" | grep -v ^$ | sed 's/NULL//g' > /tmp/servers
...
# генерируем скрипт настройки сети

echo '#!/bin/sh' > /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip interface ipv4 set -i=vmk0 -t=static --ipv4=$IPADDR --netmask=$S_SUB || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip route ipv4 add -g=$S_GW -n=default || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
chmod a+x /vmfs/volumes/datastore1/netconf.sh

# задаем параметр guestinfo.esxihost.id, указываем в нем серийный номер

echo "guestinfo.esxihost.id = "$SYSSN"" >> /vmfs/volumes/datastore1/VM1/VM1.vmx
echo "guestinfo.esxihost.id = "$SYSSN"" >> /vmfs/volumes/datastore1/VM2/VM2.vmx
...
# обновляем информацию в базе

SYSNAME=$(esxcli hardware platform get | grep Product | sed 's/Product Name://' | sed 's/^ *//')
UUID=$(vim-cmd hostsvc/hostsummary | grep uuid | sed 's/ //g;s/,$//' | sed 's/^uuid="//;s/"$//')
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e "UPDATE servers ... SET ... WHERE servers.serial='$SYSSN'""
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e "INSERT INTO events ...""

# возвращаем настройки SSH

rm -rf /etc/ssh
mv /etc/ssh.tmp /etc/ssh

# настраиваем сеть и перезагружаемся

esxcli system hostname set --fqdn=esx-${G_NICK}.x5.ru
/vmfs/volumes/datastore1/netconf.sh
reboot

На този етап хипервайзорът се инсталира и конфигурира и виртуалните машини се копират.

Как да конфигурирам виртуални машини сега?

Измамихме малко: по време на инсталацията зададохме параметъра guestinfo.esxihost.id = "$SYSSN" във файла VM1.vmx и посочихме серийния номер на физическия сървър в него.

Сега, след стартиране, виртуалната машина (с инсталиран пакет vmware-tools) може да получи достъп до този параметър:

ESXI_SN=$(vmtoolsd --cmd "info-get guestinfo.esxihost.id")

Тоест, VM ще може да се идентифицира (знае серийния номер на физическия хост), да направи заявка към базата данни на инсталационния сървър и да получи параметрите, които трябва да бъдат конфигурирани. Всичко това е компилирано в скрипт, който трябва да се стартира автоматично при стартиране на guestos vm (но веднъж: RunOnce).

Сега знаем как:

• стартиране на сървъра чрез PXE;
• прехвърлете контрола на нашия скрипт;
• идентифицирайте сървъра, който трябва да бъде подготвен, чрез неговия сериен номер;
• конфигурирайте сървъра с помощта на подходящите помощни програми;
• прехвърляне на настройки към базата данни на инсталационния сървър с помощта на клиентската част;
• конфигуриране на различни видове софтуер, включително внедряване на хипервайзора esxi и конфигуриране на виртуални машини (всички автоматично).

Разбрахме как:

• инсталираният сървър получава необходимите настройки от базата данни;
• целият напредък на подготовката се записва в базата данни (дневници, събития, флагове на етапа).

В крайна сметка:

Вярвам, че уникалността на това решение се крие в неговата гъвкавост, простота, възможности и многофункционалност.

Моля, напишете в коментарите какво мислите.

Източник: www.habr.com