自分で行うベアメタル プロビジョニング、または最初からのサーバーの自動準備

こんにちは、私はデニスです。私の活動分野の 5 つは、XXNUMX でのインフラストラクチャ ソリューションの開発です。 今日は、公開されているツールに基づいて自動サーバー準備システムを展開する方法を共有したいと思います。 私の意見では、これは興味深い、シンプルで柔軟なソリューションです。

準備とは、新しいサーバーを箱から出して、OS を備えた完全に構成されたサーバーに変えることを意味します。 Linux または ESXi ハイパーバイザーを使用します (Windows サーバーの展開については、この記事では説明しません)。

条件:

• サーバー – 構成する必要があるサーバー。
• インストール サーバーは、準備プロセス全体をネットワーク経由で提供するメイン サーバーです。

なぜ自動化が必要なのでしょうか?

たとえば、サーバーをゼロから大規模に準備するというタスクがあるとします (ピーク時には 30 日あたり XNUMX 台)。 さまざまなメーカーやモデルのサーバー、さまざまなオペレーティング システムがインストールされている可能性があり、ハイパーバイザーを備えている場合と備えていない場合があります。

セットアップ プロセスに含まれる操作 (自動化なし):

• キーボード、マウス、モニターをサーバーに接続します。
• BIOS、RAID、IPMIを構成します。
• コンポーネントのファームウェアを更新します。
• ファイル システム イメージを展開します (またはハイパーバイザーをインストールし、仮想マシンをコピーします)。

注記。 あるいは、自動応答ファイルを使用したインストールを通じて OS を展開することもできます。 しかし、これについてはこの記事では説明しません。 ただし、この機能を追加するのは難しくないことがわかります。

• OS パラメータ (ホスト名、IP など) を構成します。

このアプローチでは、同じ設定が各サーバーで順番に実行されます。 このような作業の効率は非常に低いです。

自動化の本質は、サーバーの準備プロセスから人間の関与を排除することです。 できるだけ。

自動化により、操作間のダウンタイムが削減され、複数のサーバーを同時にプロビジョニングできるようになります。 人的要因によるエラーの可能性も大幅に減少します。

サーバーはどのように自動的に構成されますか?

すべての段階を詳細に分析してみましょう。

PXE インストール サーバーとして使用する Linux サーバーがあります。 DHCP、TFTP などのサービスがインストールされ、構成されます。

そこで、PXE 経由でサーバー (構成が必要) を起動します。 その仕組みを思い出してみましょう。

• サーバーではネットワークブートが選択されています。
• サーバーはネットワーク カードの PXE-ROM をロードし、DHCP 経由でインストール サーバーに接続してネットワーク アドレスを取得します。
• DHCP インストール サーバーは、アドレスと、PXE 経由でさらにダウンロードするための指示を発行します。
• サーバーは、インストール サーバーから PXE 経由でネットワーク ブートローダーをロードし、PXE 構成ファイルに従ってさらにロードが行われます。
• ブートは、受信したパラメータ (カーネル、initramfs、マウント ポイント、squashfs イメージなど) に基づいて行われます。

注記。 この記事では、BIOS モードで PXE 経由で起動する方法について説明します。 現在、メーカーは UEFI ブートモードを積極的に実装しています。 PXE の場合、違いは DHCP サーバーの構成と追加のブートローダーの存在です。

PXE サーバー構成の例 (pxelinux メニュー) を見てみましょう。

ファイル pxelinux.cfg/default:

default menu.c32
prompt 0
timeout 100
menu title X5 PXE Boot Menu
LABEL InstallServer Menu
	MENU LABEL InstallServer
	KERNEL menu.c32
	APPEND pxelinux.cfg/installserver
LABEL VMware Menu
	MENU LABEL VMware ESXi Install
	KERNEL menu.c32
	APPEND pxelinux.cfg/vmware
LABEL toolkit // меню по умолчанию
	MENU LABEL Linux Scripting Toolkits
	MENU default
	KERNEL menu.c32
	APPEND pxelinux.cfg/toolkit // переход на следующее меню

ファイル pxelinux.cfg/toolkit:

prompt 0
timeout 100
menu title X5 PXE Boot Menu
label mainmenu
    menu label ^Return to Main Menu
    kernel menu.c32
    append pxelinux.cfg/default
label x5toolkit-auto // по умолчанию — автоматический режим
        menu label x5 toolkit autoinstall
        menu default
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tk-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh CMDIS2=”…”
label x5toolkit-shell // для отладки - консоль
        menu label x5 toolkit shell
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tkcustom-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash CMDIS2=”…”

この段階のカーネルと initramfs は中間 Linux イメージであり、これを使用してサーバーの主な準備と構成が行われます。

ご覧のとおり、ブートローダーは多くのパラメーターをカーネルに渡します。 これらのパラメータの一部はカーネル自体によって使用されます。 そして、その一部を私たち自身の目的に使用することもできます。 これについては後で説明しますが、ここでは、渡されたすべてのパラメーターが /proc/cmdline を介して中間 Linux イメージで使用できることを覚えておいてください。

カーネルとinitramfsはどこで入手できますか?
基本として、任意の Linux ディストリビューションを選択できます。 選ぶ際に気をつけていることは以下の通りです。

• ブート イメージはユニバーサルである必要があります (ドライバーの可用性、追加のユーティリティをインストールできること)。
• ほとんどの場合、initramfs をカスタマイズする必要があります。

X5 のソリューションではこれをどのように行うのでしょうか? CentOS 7 がベースとして選択されました。次のトリックを試してみましょう: 将来のイメージ構造を準備し、それをアーカイブにパックし、その中にファイル システム アーカイブが含まれる initramfs を作成します。 イメージをロードすると、アーカイブは作成された tmpfs パーティションに展開されます。 このようにして、vmkernel と initramfs の XNUMX つのファイルのみで構成される、必要なユーティリティをすべて備えた、最小限でありながら本格的なライブ Linux イメージを取得します。

#создаем директории: 

mkdir -p /tftpboot/toolkit/CustomTK/rootfs /tftpboot/toolkit/CustomTK/initramfs/bin

#подготавливаем структуру:

yum groups -y install "Minimal Install" --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y install nfs-utils mariadb ntpdate mtools syslinux mdadm tbb libgomp efibootmgr dosfstools net-tools pciutils openssl make ipmitool OpenIPMI-modalias rng-tools --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y remove biosdevname --installroot=/tftpboot/toolkit/CustomTK/rootfs/

# подготавливаем initramfs:

wget https://busybox.net/downloads/binaries/1.31.0-defconfig-multiarch-musl/busybox-x86_64 -O /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
chmod a+x /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
cp /tftpboot/toolkit/CustomTK/rootfs/boot/vmlinuz-3.10.0-957.el7.x86_64 /tftpboot/toolkit/tkcustom-kernel

# создаем /tftpboot/toolkit/CustomTK/initramfs/init (ниже содержание скрипта):

#!/bin/busybox sh
/bin/busybox --install /bin
mkdir -p /dev /proc /sys /var/run /newroot
mount -t proc proc /proc
mount -o mode=0755 -t devtmpfs devtmpfs /dev
mkdir -p /dev/pts /dev/shm /dev/mapper /dev/vc
mount -t devpts -o gid=5,mode=620 devpts /dev/pts
mount -t sysfs sysfs /sys
mount -t tmpfs -o size=4000m tmpfs /newroot
echo -n "Extracting rootfs... "
xz -d -c -f rootfs.tar.xz | tar -x -f - -C /newroot
echo "done"
mkdir -p /newroot/dev /newroot/proc /newroot/sys
mount --move /sys  /newroot/sys
mount --move /proc /newroot/proc
mount --move /dev  /newroot/dev
exec switch_root /newroot /sbin/init

# упаковываем rootfs и initramfs:

cd /tftpboot/toolkit/CustomTK/rootfs
tar cJf /tftpboot/toolkit/CustomTK/initramfs/rootfs.tar.xz --exclude ./proc --exclude ./sys --exclude ./dev .
cd /tftpboot/toolkit/CustomTK/initramfs
find . -print0 | cpio --null -ov --format=newc | gzip -9 > /tftpboot/toolkit/tkcustom-initramfs-new.gz

したがって、ロードする必要があるカーネルとinitramfsを指定しました。 その結果、この段階では、PXE 経由で中間 Linux イメージをロードすることで、OS コンソールを受け取ります。

それはいいのですが、今度は制御を「自動化」に移す必要があります。

このようにして行うことができます。

イメージをロードした後、制御を mount.sh スクリプトに移す予定だと仮定します。
autorun に mount.sh スクリプトを含めてみましょう。 これを行うには、initramfs を変更する必要があります。

• unpack initramfs (上記の initramfs オプションを使用する場合、これは必要ありません)
• /proc/cmdline を介して渡されたパラメータを分析し、制御をさらに転送するコードを起動時に含めます。
• initramfs をパックします。

注記。 X5 ツールキットの場合、読み込み制御はスクリプトに移されます。 /opt/x5/toolkit/bin/hook.sh с помощью override.conf в getty tty1 (ExecStart=…)

これで、イメージがロードされ、自動実行時に mount.sh スクリプトが開始されます。 次に、mount.sh スクリプトは実行中に渡されたパラメータ (script_cmd=) を分析し、必要なプログラム/スクリプトを起動します。

ラベルツールキット -オート
カーネル...
追加...nfs_toolkit_script=scripts/mount.sh script_cmd=マスターインストール.sh

ラベルツールキット -shell
カーネル...
追加...nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash

ここで、左側は PXE メニュー、右側は制御転送図です。

私たちは制御の移行を理解しました。 PXE メニューの選択に応じて、自動構成スクリプトまたはデバッグ コンソールが起動します。

自動構成の場合、次のものが含まれる必要なディレクトリがインストール サーバーからマウントされます。

• スクリプト。
• さまざまなサーバー用に保存された BIOS/UEFI テンプレート。
• ファームウェア;
• サーバーユーティリティ。
• ログ

次に、mount.sh スクリプトは、スクリプト ディレクトリから master-install.sh スクリプトに制御を移します。

スクリプト ツリー (起動順序) は次のようになります。

• マスターインストール
• sharefunctions (共有関数)
• info (情報出力)
• モデル (サーバー モデルに基づいてインストール パラメータを設定)
• prepare_utils (必要なユーティリティのインストール)
• fwupdate（ファームウェアアップデート）
• diag (基本的な診断)
• biosconf (BIOS/UEFI 設定)
• Clockfix (マザーボード上の時刻を設定する)
• srmconf (リモートインターフェースインターフェース構成)
• raidconf (論理ボリュームの構成)

の一つ：

• プレインストール (OS または ESXi などのハイパーバイザー インストーラーに制御を転送)
• merged-install (イメージの解凍をすぐに開始)

今では次のことが分かりました。

• PXE 経由でサーバーを起動する方法。
• 独自のスクリプトに制御を移す方法。

続けましょう。 次の質問が関連するようになりました。

• 準備しているサーバーを特定するにはどうすればよいですか?
• どのようなユーティリティとサーバーの設定方法を教えてください。
• 特定のサーバーの設定を取得するにはどうすればよいですか?

準備しているサーバーを特定するにはどうすればよいですか?

それは簡単です - DMI:

dmidecode –s system-product-name
dmidecode –s system-manufacturer
dmidecode –s system-serial-number

ベンダー、モデル、シリアル番号など、必要なものはすべてここにあります。 この情報がすべてのサーバーに存在するかどうかわからない場合は、MAC アドレスでサーバーを識別できます。 または、サーバーのベンダーが異なり、一部のモデルではシリアル番号に関する情報がまったくない場合は、両方の方法を同時に実行します。

受信した情報に基づいて、ネットワーク フォルダーがインストール サーバーからマウントされ、必要なもの (ユーティリティ、ファームウェアなど) がすべてロードされます。

どのようなユーティリティとサーバーの設定方法を教えてください。

一部のメーカー向けに Linux 用のユーティリティを提供する予定です。 すべてのユーティリティはベンダーの公式 Web サイトから入手できます。

ファームウェアがあれば、すべてが明確になると思います。 これらは通常、パッケージ化された実行可能ファイルの形式で提供されます。 実行可能ファイルはファームウェアの更新プロセスを制御し、リターン コードを報告します。

BIOS と IPMI は通常、テンプレートを通じて構成されます。 必要に応じて、ダウンロードする前にテンプレートを編集できます。

一部のベンダーの RAID ユーティリティは、テンプレートを使用して構成することもできます。 そうでない場合は、構成スクリプトを作成する必要があります。

RAID を設定する手順は、ほとんどの場合次のとおりです。

• 現在の構成をリクエストします。
• すでに論理配列が存在する場合は、それらを消去します。
• どのような物理ディスクが存在し、その数を見てみましょう。
• 新しい論理配列を作成します。 エラーが発生した場合はプロセスを中断します。

特定のサーバーの設定を取得するにはどうすればよいですか?

すべてのサーバーの設定がインストール サーバーに保存されると仮定します。 この場合、私たちの質問に答えるためには、まず設定をインストール サーバーに転送する方法を決定する必要があります。

最初はテキスト ファイルで十分です。 (将来的には、設定を転送するためのフォールバック方法としてテキスト ファイルを使用することが必要になる場合があります。)

インストールサーバー上のテキストファイルを「共有」できます。 そして、そのマウントを mount.sh スクリプトに追加します。

たとえば、行は次のようになります。

<シリアル番号> <ホスト名> <サブネット>

これらの行は、エンジニアによって作業マシンからファイルに転送されます。 そして、サーバーをセットアップするときに、特定のサーバーのパラメーターがファイルから読み取られます。

ただし、長期的には、サーバー インストールの設定、状態、ログを保存するためにデータベースを使用する方が良いでしょう。

もちろん、データベースだけでは十分ではなく、どの設定をデータベースに転送するかを考慮してクライアント パーツを作成する必要があります。 これはテキスト ファイルに比べて実装が難しくなりますが、実際には、すべてが思ったほど難しくありません。 データをデータベースに転送するだけの最小限のバージョンのクライアントを自分で作成することは十分に可能です。 そして将来的には、フリーモードでのクライアントプログラム（レポート、ラベルの印刷、通知の送信など思いつくもの）を改善できるようになる予定です。

データベースに特定のリクエストを送信し、サーバーのシリアル番号を指定することで、サーバーの構成に必要なパラメータを受け取ります。

さらに、テキスト ファイルの場合のように、同時アクセスのためにロックを考える必要もありません。

すべての段階で構成ログをデータベースに書き込み、準備段階のイベントとフラグを通じてインストール プロセスを制御できます。

これで、次の方法がわかりました。

• PXE 経由でサーバーを起動します。
• 制御をスクリプトに移します。
• 準備が必要なサーバーをシリアル番号で特定します。
• 適切なユーティリティを使用してサーバーを構成します。
• クライアント部分を使用して設定をインストールサーバーデータベースに転送します。

その方法は次のとおりです。

• инсталлируемый сервер получает необходимые настройки из БД;
• すべての準備の進行状況はデータベース (ログ、イベント、ステージ フラグ) に記録されます。

インストールするさまざまな種類のソフトウェアについてはどうですか? ハイパーバイザーをインストールし、VM をコピーして、すべてを構成するにはどうすればよいですか?

ファイル システム イメージ (Linux) をハードウェアに展開する場合、すべてが非常に簡単です。

• すべてのサーバー コンポーネントをセットアップした後、イメージを展開します。
• grub ブートローダーをインストールします。
• chroot を実行して、必要なものをすべて設定します。

OS インストーラーに制御を移す方法 (例として ESXi を使用)。

• 自動応答ファイル (キックスタート) を使用して、スクリプトからハイパーバイザー インストーラーへの制御の移行を整理します。
• ディスク上の現在のパーティションを削除します。
• サイズが 500MB のパーティションを作成します。
• これを起動可能としてマークします。
• FAT32にフォーマットします。
• ESXi インストール ファイルをルートにコピーします。
• syslinux をインストールします。
• syslinux.cfg を /syslinux/ にコピーします

default esxi
prompt 1
timeout 50
label esxi
kernel mboot.c32
append -c boot.cfg

• mboot.c32 を /syslinux にコピーします。
• Boot.cfg には kernelopt=ks=ftp:// が含まれている必要があります/ks_esxi.cfg
• サーバーを再起動します。

サーバーが再起動すると、ESXi インストーラーがサーバーのハード ドライブからダウンロードされます。 必要なインストーラ ファイルがすべてメモリにロードされ、指定された自動応答ファイルに従って ESXi のインストールが開始されます。

以下は自動応答ファイル ks_esxi.cfg の数行です。

%firstboot --interpreter=busybox
…
# получаем серийный номер

SYSSN=$(esxcli hardware platform get | grep Serial | awk -F " " '{print $3}')

# получаем IP

IPADDRT=$(esxcli network ip interface ipv4 get | grep vmk0 | awk -F " " '{print $2}')
LAST_OCTET=$(echo $IPADDRT | awk -F'.' '{print $4}')

# подключаем NFS инсталл-сервера

esxcli storage nfs add -H is -s /srv/nfs_share -v nfsshare1

# копируем временные настройки ssh, для использования ssh-клиента

mv /etc/ssh /etc/ssh.tmp
cp -R /vmfs/volumes/nfsshare1/ssh /etc/
chmod go-r /etc/ssh/ssh_host_rsa_key

# копируем ovftool, для развертывания ВМ сейчас, плюс возможно пригодится позже

cp -R /vmfs/volumes/nfsshare1/ovftool /vmfs/volumes/datastore1/

# развертываем ВМ

/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM1 /vmfs/volumes/nfsshare1/VM_T/VM1.ova vi://root:[email protected]
/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM2 /vmfs/volumes/nfsshare1/VM_T/VM2.ova vi://root:[email protected]

# получаем строку с настройками нашего сервера

ssh root@is "mysql -h'192.168.0.1' -D'servers' -u'user' -p'secretpassword' -e "SELECT ... WHERE servers.serial='$SYSSN'"" | grep -v ^$ | sed 's/NULL//g' > /tmp/servers
...
# генерируем скрипт настройки сети

echo '#!/bin/sh' > /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip interface ipv4 set -i=vmk0 -t=static --ipv4=$IPADDR --netmask=$S_SUB || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip route ipv4 add -g=$S_GW -n=default || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
chmod a+x /vmfs/volumes/datastore1/netconf.sh

# задаем параметр guestinfo.esxihost.id, указываем в нем серийный номер

echo "guestinfo.esxihost.id = "$SYSSN"" >> /vmfs/volumes/datastore1/VM1/VM1.vmx
echo "guestinfo.esxihost.id = "$SYSSN"" >> /vmfs/volumes/datastore1/VM2/VM2.vmx
...
# обновляем информацию в базе

SYSNAME=$(esxcli hardware platform get | grep Product | sed 's/Product Name://' | sed 's/^ *//')
UUID=$(vim-cmd hostsvc/hostsummary | grep uuid | sed 's/ //g;s/,$//' | sed 's/^uuid="//;s/"$//')
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e "UPDATE servers ... SET ... WHERE servers.serial='$SYSSN'""
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e "INSERT INTO events ...""

# возвращаем настройки SSH

rm -rf /etc/ssh
mv /etc/ssh.tmp /etc/ssh

# настраиваем сеть и перезагружаемся

esxcli system hostname set --fqdn=esx-${G_NICK}.x5.ru
/vmfs/volumes/datastore1/netconf.sh
reboot

この段階では、ハイパーバイザーがインストールおよび構成され、仮想マシンがコピーされます。

今すぐ仮想マシンを構成するにはどうすればよいですか?

少し騙しました。インストール中に、VM1.vmx ファイルにパラメータ guestinfo.esxihost.id = "$SYSSN" を設定し、その中に物理サーバーのシリアル番号を指定しました。

これで、起動後、仮想マシン (vmware-tools パッケージがインストールされている) がこのパラメータにアクセスできるようになります。

ESXI_SN=$(vmtoolsd --cmd "info-get guestinfo.esxihost.id")

つまり、VM は自身を識別し (物理ホストのシリアル番号を知っています)、インストール サーバー データベースにリクエストを送信し、構成する必要があるパラメータを受け取ることができます。 これはすべてスクリプトにコンパイルされ、guestos vm の起動時に自動的に起動されます (ただし、RunOnce は XNUMX 回のみ)。

これで、次の方法がわかりました。

• PXE 経由でサーバーを起動します。
• 制御をスクリプトに移します。
• 準備が必要なサーバーをシリアル番号で特定します。
• 適切なユーティリティを使用してサーバーを構成します。
• クライアント部分を使用して設定をインストールサーバーデータベースに転送します。
• esxi ハイパーバイザーの展開や仮想マシンの構成 (すべて自動) など、さまざまな種類のソフトウェアを構成します。

その方法は次のとおりです。

• инсталлируемый сервер получает необходимые настройки из БД;
• すべての準備の進行状況はデータベース (ログ、イベント、ステージ フラグ) に記録されます。

ボトムライン：

このソリューションの独自性は、その柔軟性、シンプルさ、機能、多用途性にあると思います。

あなたの考えをコメントに書いてください。

出所： habr.com