ബെയർ-മെറ്റൽ പ്രൊവിഷനിംഗ്, അല്ലെങ്കിൽ ആദ്യം മുതൽ സെർവറുകൾ സ്വയമേവ തയ്യാറാക്കുക.

ഹലോ, ഞാൻ ഡെനിസ് ആണ്, എന്റെ പ്രവർത്തന മേഖലകളിലൊന്ന് X5-ൽ ഇൻഫ്രാസ്ട്രക്ചർ സൊല്യൂഷനുകളുടെ വികസനമാണ്. പൊതുവായി ലഭ്യമായ ടൂളുകളെ അടിസ്ഥാനമാക്കി നിങ്ങൾക്ക് എങ്ങനെ ഒരു ഓട്ടോമാറ്റിക് സെർവർ തയ്യാറാക്കൽ സംവിധാനം വിന്യസിക്കാമെന്ന് ഇന്ന് നിങ്ങളുമായി പങ്കിടാൻ ഞാൻ ആഗ്രഹിക്കുന്നു. എന്റെ അഭിപ്രായത്തിൽ, ഇത് രസകരവും ലളിതവും വഴക്കമുള്ളതുമായ ഒരു പരിഹാരമാണ്.

തയ്യാറെടുപ്പ് എന്നതുകൊണ്ട് ഞങ്ങൾ അർത്ഥമാക്കുന്നത്: ബോക്‌സിന് പുറത്ത് ഒരു പുതിയ സെർവറിനെ OS ഉപയോഗിച്ച് പൂർണ്ണമായി കോൺഫിഗർ ചെയ്‌ത സെർവറാക്കി മാറ്റുക. Linux അല്ലെങ്കിൽ ESXi ഹൈപ്പർവൈസർ (വിൻഡോസ് സെർവറുകളുടെ വിന്യാസം ഈ ലേഖനത്തിൽ ചർച്ച ചെയ്തിട്ടില്ല).

നിബന്ധനകൾ:

• സെർവറുകൾ - കോൺഫിഗർ ചെയ്യേണ്ട സെർവറുകൾ.
• നെറ്റ്‌വർക്കിലൂടെയുള്ള മുഴുവൻ തയ്യാറെടുപ്പ് പ്രക്രിയയും നൽകുന്ന പ്രധാന സെർവറാണ് ഇൻസ്റ്റലേഷൻ സെർവർ.

എന്തുകൊണ്ട് ഓട്ടോമേഷൻ ആവശ്യമാണ്?

ഒരു ടാസ്ക് ഉണ്ടെന്ന് നമുക്ക് പറയാം: ആദ്യം മുതൽ സെർവറുകൾ വൻതോതിൽ തയ്യാറാക്കുക, ഏറ്റവും ഉയർന്ന നിലയിൽ - പ്രതിദിനം 30. വ്യത്യസ്ത നിർമ്മാതാക്കളുടെയും മോഡലുകളുടെയും സെർവറുകൾ, വ്യത്യസ്ത ഓപ്പറേറ്റിംഗ് സിസ്റ്റങ്ങൾ അവയിൽ ഇൻസ്റ്റാൾ ചെയ്തേക്കാം, കൂടാതെ ഒരു ഹൈപ്പർവൈസർ ഉണ്ടായിരിക്കാം അല്ലെങ്കിൽ ഇല്ലായിരിക്കാം.

സജ്ജീകരണ പ്രക്രിയയിൽ എന്ത് പ്രവർത്തനങ്ങളാണ് ഉൾപ്പെടുത്തിയിരിക്കുന്നത് (ഓട്ടോമേഷൻ ഇല്ലാതെ):

• ഒരു കീബോർഡ്, മൗസ്, മോണിറ്റർ എന്നിവ സെർവറിലേക്ക് ബന്ധിപ്പിക്കുക;
• BIOS, RAID, IPMI കോൺഫിഗർ ചെയ്യുക;
• ഘടകം ഫേംവെയർ അപ്ഡേറ്റ്;
• ഒരു ഫയൽ സിസ്റ്റം ഇമേജ് വിന്യസിക്കുക (അല്ലെങ്കിൽ ഒരു ഹൈപ്പർവൈസർ ഇൻസ്റ്റാൾ ചെയ്ത് വെർച്വൽ മെഷീനുകൾ പകർത്തുക);

കുറിപ്പ്. പകരമായി, ഒരു ഓട്ടോ-റെസ്‌പോൺസ് ഫയൽ ഉപയോഗിച്ച് ഇൻസ്റ്റാളേഷൻ വഴി OS വിന്യാസം സാധ്യമാണ്. എന്നാൽ ഇത് ലേഖനത്തിൽ ചർച്ച ചെയ്യില്ല. ഈ പ്രവർത്തനം ചേർക്കുന്നത് ബുദ്ധിമുട്ടുള്ള കാര്യമല്ലെന്ന് നിങ്ങൾ ചുവടെ കാണുമെങ്കിലും.

• OS പാരാമീറ്ററുകൾ ക്രമീകരിക്കുക (ഹോസ്റ്റ് നാമം, IP, മുതലായവ).

ഈ സമീപനത്തിലൂടെ, ഓരോ സെർവറിലും ഒരേ ക്രമീകരണങ്ങൾ തുടർച്ചയായി നടപ്പിലാക്കുന്നു. അത്തരം ജോലിയുടെ കാര്യക്ഷമത വളരെ കുറവാണ്.

സെർവർ തയ്യാറാക്കൽ പ്രക്രിയയിൽ നിന്ന് മനുഷ്യ പങ്കാളിത്തം ഇല്ലാതാക്കുക എന്നതാണ് ഓട്ടോമേഷന്റെ സാരാംശം. കഴിയുന്നത്ര.

ഓട്ടോമേഷൻ പ്രവർത്തനങ്ങൾക്കിടയിലെ പ്രവർത്തനരഹിതമായ സമയം കുറയ്ക്കുകയും ഒന്നിലധികം സെർവറുകൾ ഒരേസമയം ലഭ്യമാക്കുന്നത് സാധ്യമാക്കുകയും ചെയ്യുന്നു. മാനുഷിക ഘടകങ്ങൾ മൂലമുള്ള പിശകുകളുടെ സാധ്യതയും ഗണ്യമായി കുറയുന്നു.

എങ്ങനെയാണ് സെർവറുകൾ സ്വയമേവ ക്രമീകരിച്ചിരിക്കുന്നത്?

എല്ലാ ഘട്ടങ്ങളും വിശദമായി വിശകലനം ചെയ്യാം.

നിങ്ങൾ ഒരു PXE ഇൻസ്റ്റലേഷൻ സെർവറായി ഉപയോഗിക്കുന്ന ഒരു Linux സെർവർ ഉണ്ട്. സേവനങ്ങൾ അതിൽ ഇൻസ്റ്റാൾ ചെയ്യുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്തു: DHCP, TFTP.

അതിനാൽ, ഞങ്ങൾ സെർവർ (കോൺഫിഗർ ചെയ്യേണ്ടത്) PXE വഴി ബൂട്ട് ചെയ്യുന്നു. ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് നമുക്ക് ഓർക്കാം:

• സെർവറിൽ നെറ്റ്‌വർക്ക് ബൂട്ട് തിരഞ്ഞെടുത്തു.
• സെർവർ നെറ്റ്‌വർക്ക് കാർഡിന്റെ PXE-ROM ലോഡ് ചെയ്യുകയും ഒരു നെറ്റ്‌വർക്ക് വിലാസം ലഭിക്കുന്നതിന് DHCP വഴി ഇൻസ്റ്റലേഷൻ സെർവറുമായി ബന്ധപ്പെടുകയും ചെയ്യുന്നു.
• DHCP ഇൻസ്റ്റലേഷൻ സെർവർ ഒരു വിലാസവും PXE വഴി കൂടുതൽ ഡൗൺലോഡ് ചെയ്യുന്നതിനുള്ള നിർദ്ദേശങ്ങളും നൽകുന്നു.
• ഇൻസ്റ്റലേഷൻ സെർവറിൽ നിന്നും PXE വഴി സെർവർ നെറ്റ്‌വർക്ക് ബൂട്ട്ലോഡർ ലോഡ് ചെയ്യുന്നു, PXE കോൺഫിഗറേഷൻ ഫയൽ അനുസരിച്ച് കൂടുതൽ ലോഡിംഗ് സംഭവിക്കുന്നു.
• ലഭിച്ച പാരാമീറ്ററുകൾ (കേർണൽ, initramfs, മൗണ്ട് പോയിന്റുകൾ, squashfs ഇമേജ് മുതലായവ) അടിസ്ഥാനമാക്കിയാണ് ബൂട്ട് സംഭവിക്കുന്നത്.

കുറിപ്പ്. BIOS മോഡ് വഴി PXE വഴി ബൂട്ട് ചെയ്യുന്നതിനെ കുറിച്ച് ലേഖനം വിവരിക്കുന്നു. നിലവിൽ, നിർമ്മാതാക്കൾ UEFI ബൂട്ട് മോഡ് സജീവമായി നടപ്പിലാക്കുന്നു. PXE-ക്ക്, DHCP സെർവറിന്റെ കോൺഫിഗറേഷനിലും ഒരു അധിക ബൂട്ട്ലോഡറിന്റെ സാന്നിധ്യത്തിലുമാണ് വ്യത്യാസം.

ഒരു PXE സെർവർ കോൺഫിഗറേഷന്റെ (pxelinux മെനു) ഉദാഹരണം നോക്കാം.

ഫയൽ pxelinux.cfg/default:

default menu.c32
prompt 0
timeout 100
menu title X5 PXE Boot Menu
LABEL InstallServer Menu
	MENU LABEL InstallServer
	KERNEL menu.c32
	APPEND pxelinux.cfg/installserver
LABEL VMware Menu
	MENU LABEL VMware ESXi Install
	KERNEL menu.c32
	APPEND pxelinux.cfg/vmware
LABEL toolkit // меню по умолчанию
	MENU LABEL Linux Scripting Toolkits
	MENU default
	KERNEL menu.c32
	APPEND pxelinux.cfg/toolkit // переход на следующее меню

ഫയൽ pxelinux.cfg/toolkit:

prompt 0
timeout 100
menu title X5 PXE Boot Menu
label mainmenu
    menu label ^Return to Main Menu
    kernel menu.c32
    append pxelinux.cfg/default
label x5toolkit-auto // по умолчанию — автоматический режим
        menu label x5 toolkit autoinstall
        menu default
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tk-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh CMDIS2=”…”
label x5toolkit-shell // для отладки - консоль
        menu label x5 toolkit shell
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tkcustom-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash CMDIS2=”…”

ഈ ഘട്ടത്തിലെ കേർണലും initramf-ഉം ഒരു ഇന്റർമീഡിയറ്റ് ലിനക്സ് ഇമേജാണ്, അതിന്റെ സഹായത്തോടെ സെർവറിന്റെ പ്രധാന തയ്യാറാക്കലും കോൺഫിഗറേഷനും നടക്കും.

നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ബൂട്ട്ലോഡർ നിരവധി പാരാമീറ്ററുകൾ കേർണലിലേക്ക് കൈമാറുന്നു. ഈ പരാമീറ്ററുകളിൽ ചിലത് കേർണൽ തന്നെ ഉപയോഗിക്കുന്നു. ചിലത് നമ്മുടെ സ്വന്തം ആവശ്യങ്ങൾക്ക് ഉപയോഗിക്കാം. ഇത് പിന്നീട് ചർച്ച ചെയ്യപ്പെടും, എന്നാൽ പാസാക്കിയ എല്ലാ പാരാമീറ്ററുകളും ഇന്റർമീഡിയറ്റ് ലിനക്സ് ഇമേജിൽ /proc/cmdline വഴി ലഭ്യമാകുമെന്ന് ഇപ്പോൾ നിങ്ങൾക്ക് ഓർക്കാം.

എനിക്ക് അവ എവിടെ നിന്ന് ലഭിക്കും, കേർണൽ, initramfs?
അടിസ്ഥാനമായി, നിങ്ങൾക്ക് ഏത് ലിനക്സ് വിതരണവും തിരഞ്ഞെടുക്കാം. തിരഞ്ഞെടുക്കുമ്പോൾ ഞങ്ങൾ ശ്രദ്ധിക്കുന്നത്:

• ബൂട്ട് ഇമേജ് സാർവത്രികമായിരിക്കണം (ഡ്രൈവറുകളുടെ ലഭ്യത, അധിക യൂട്ടിലിറ്റികൾ ഇൻസ്റ്റാൾ ചെയ്യാനുള്ള കഴിവ്);
• മിക്കവാറും, നിങ്ങൾ initramfs ഇച്ഛാനുസൃതമാക്കേണ്ടതുണ്ട്.

X5-നുള്ള ഞങ്ങളുടെ പരിഹാരത്തിൽ ഇത് എങ്ങനെയാണ് ചെയ്യുന്നത്? അടിസ്ഥാനമായി CentOS 7 തിരഞ്ഞെടുത്തു, നമുക്ക് ഇനിപ്പറയുന്ന ട്രിക്ക് പരീക്ഷിക്കാം: ഭാവി ഇമേജ് ഘടന തയ്യാറാക്കുക, ഒരു ആർക്കൈവിലേക്ക് പാക്ക് ചെയ്ത് ഒരു initramfs സൃഷ്ടിക്കുക, അതിനുള്ളിൽ നമ്മുടെ ഫയൽ സിസ്റ്റം ആർക്കൈവ് ഉണ്ടായിരിക്കും. ഇമേജ് ലോഡ് ചെയ്യുമ്പോൾ, ആർക്കൈവ് സൃഷ്ടിച്ച tmpfs പാർട്ടീഷനിലേക്ക് വികസിപ്പിക്കും. ഇതുവഴി, ആവശ്യമായ എല്ലാ യൂട്ടിലിറ്റികളുമുള്ള ഏറ്റവും കുറഞ്ഞതും എന്നാൽ പൂർണ്ണവുമായ ഒരു ലൈവ് ലിനക്സ് ഇമേജ് നമുക്ക് ലഭിക്കും, അതിൽ രണ്ട് ഫയലുകൾ മാത്രം ഉൾപ്പെടുന്നു: vmkernel, initramfs.

#создаем директории: 

mkdir -p /tftpboot/toolkit/CustomTK/rootfs /tftpboot/toolkit/CustomTK/initramfs/bin

#подготавливаем структуру:

yum groups -y install "Minimal Install" --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y install nfs-utils mariadb ntpdate mtools syslinux mdadm tbb libgomp efibootmgr dosfstools net-tools pciutils openssl make ipmitool OpenIPMI-modalias rng-tools --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y remove biosdevname --installroot=/tftpboot/toolkit/CustomTK/rootfs/

# подготавливаем initramfs:

wget https://busybox.net/downloads/binaries/1.31.0-defconfig-multiarch-musl/busybox-x86_64 -O /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
chmod a+x /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
cp /tftpboot/toolkit/CustomTK/rootfs/boot/vmlinuz-3.10.0-957.el7.x86_64 /tftpboot/toolkit/tkcustom-kernel

# создаем /tftpboot/toolkit/CustomTK/initramfs/init (ниже содержание скрипта):

#!/bin/busybox sh
/bin/busybox --install /bin
mkdir -p /dev /proc /sys /var/run /newroot
mount -t proc proc /proc
mount -o mode=0755 -t devtmpfs devtmpfs /dev
mkdir -p /dev/pts /dev/shm /dev/mapper /dev/vc
mount -t devpts -o gid=5,mode=620 devpts /dev/pts
mount -t sysfs sysfs /sys
mount -t tmpfs -o size=4000m tmpfs /newroot
echo -n "Extracting rootfs... "
xz -d -c -f rootfs.tar.xz | tar -x -f - -C /newroot
echo "done"
mkdir -p /newroot/dev /newroot/proc /newroot/sys
mount --move /sys  /newroot/sys
mount --move /proc /newroot/proc
mount --move /dev  /newroot/dev
exec switch_root /newroot /sbin/init

# упаковываем rootfs и initramfs:

cd /tftpboot/toolkit/CustomTK/rootfs
tar cJf /tftpboot/toolkit/CustomTK/initramfs/rootfs.tar.xz --exclude ./proc --exclude ./sys --exclude ./dev .
cd /tftpboot/toolkit/CustomTK/initramfs
find . -print0 | cpio --null -ov --format=newc | gzip -9 > /tftpboot/toolkit/tkcustom-initramfs-new.gz

അതിനാൽ ലോഡ് ചെയ്യേണ്ട കേർണലും initramf-കളും ഞങ്ങൾ വ്യക്തമാക്കിയിട്ടുണ്ട്. തൽഫലമായി, ഈ ഘട്ടത്തിൽ, PXE വഴി ഇന്റർമീഡിയറ്റ് ലിനക്സ് ഇമേജ് ലോഡ് ചെയ്യുന്നതിലൂടെ, ഞങ്ങൾക്ക് OS കൺസോൾ ലഭിക്കും.

മികച്ചത്, എന്നാൽ ഇപ്പോൾ ഞങ്ങളുടെ "ഓട്ടോമേഷൻ" ലേക്ക് നിയന്ത്രണം കൈമാറേണ്ടതുണ്ട്.

ഇതുപോലെ ചെയ്യാം.

ചിത്രം ലോഡുചെയ്‌തതിനുശേഷം, mount.sh സ്‌ക്രിപ്‌റ്റിലേക്ക് നിയന്ത്രണം കൈമാറാൻ ഞങ്ങൾ പദ്ധതിയിടുന്നുവെന്ന് നമുക്ക് അനുമാനിക്കാം.
autorun-ൽ mount.sh സ്ക്രിപ്റ്റ് ഉൾപ്പെടുത്താം. ഇത് ചെയ്യുന്നതിന് നിങ്ങൾ initramfs പരിഷ്കരിക്കേണ്ടതുണ്ട്:

• initramfs അൺപാക്ക് ചെയ്യുക (മുകളിലുള്ള initramfs ഓപ്ഷൻ ഞങ്ങൾ ഉപയോഗിക്കുകയാണെങ്കിൽ, ഇത് ആവശ്യമില്ല)
• സ്റ്റാർട്ടപ്പിൽ കോഡ് ഉൾപ്പെടുത്തുക, അത് /proc/cmdline വഴി കടന്നുപോകുന്ന പാരാമീറ്ററുകൾ വിശകലനം ചെയ്യുകയും കൂടുതൽ നിയന്ത്രണം കൈമാറുകയും ചെയ്യും;
• initramfs പായ്ക്ക് ചെയ്യുക.

കുറിപ്പ്. X5 ടൂൾകിറ്റിന്റെ കാര്യത്തിൽ, ലോഡിംഗ് നിയന്ത്രണം സ്ക്രിപ്റ്റിലേക്ക് മാറ്റുന്നു /opt/x5/toolkit/bin/hook.sh с помощью override.conf в getty tty1 (ExecStart=…)

അതിനാൽ, ചിത്രം ലോഡ് ചെയ്തു, അതിൽ mount.sh സ്ക്രിപ്റ്റ് autorun-ൽ ആരംഭിക്കുന്നു. അടുത്തതായി, mount.sh സ്‌ക്രിപ്റ്റ് എക്‌സിക്യൂഷൻ സമയത്ത് പാസാക്കിയ പരാമീറ്ററുകൾ (script_cmd=) വിശകലനം ചെയ്യുകയും ആവശ്യമായ പ്രോഗ്രാം/സ്ക്രിപ്റ്റ് സമാരംഭിക്കുകയും ചെയ്യുന്നു.

ലേബൽ ടൂൾകിറ്റ്-കാര്
കേർണൽ...
അനുബന്ധം... nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh

ലേബൽ ടൂൾകിറ്റ്-ഷെൽ
കേർണൽ...
അനുബന്ധം... nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash

ഇവിടെ ഇടതുവശത്ത് PXE മെനു, വലതുവശത്ത് കൺട്രോൾ ട്രാൻസ്ഫർ ഡയഗ്രം.

നിയന്ത്രണ കൈമാറ്റം ഞങ്ങൾ കണ്ടെത്തി. PXE മെനുവിന്റെ തിരഞ്ഞെടുപ്പിനെ ആശ്രയിച്ച്, യാന്ത്രിക കോൺഫിഗറേഷൻ സ്ക്രിപ്റ്റ് അല്ലെങ്കിൽ ഡീബഗ്ഗിംഗ് കൺസോൾ സമാരംഭിക്കുന്നു.

ഓട്ടോമാറ്റിക് കോൺഫിഗറേഷന്റെ കാര്യത്തിൽ, ഇൻസ്റ്റാളേഷൻ സെർവറിൽ നിന്ന് ആവശ്യമായ ഡയറക്‌ടറികൾ മൌണ്ട് ചെയ്‌തിരിക്കുന്നു, അതിൽ ഇവ ഉൾപ്പെടുന്നു:

• സ്ക്രിപ്റ്റുകൾ;
• വിവിധ സെർവറുകൾക്കായി സംരക്ഷിച്ച BIOS/UEFI ടെംപ്ലേറ്റുകൾ;
• ഫേംവെയർ;
• സെർവർ യൂട്ടിലിറ്റികൾ;
• രേഖകൾ

അടുത്തതായി, mount.sh സ്ക്രിപ്റ്റ്, സ്ക്രിപ്റ്റ് ഡയറക്ടറിയിൽ നിന്നും master-install.sh സ്ക്രിപ്റ്റിലേക്ക് നിയന്ത്രണം കൈമാറുന്നു.

സ്ക്രിപ്റ്റ് ട്രീ (അവ സമാരംഭിച്ച ക്രമം) ഇതുപോലെ കാണപ്പെടുന്നു:

• മാസ്റ്റർ-ഇൻസ്റ്റാൾ
• ഷെയർ ഫംഗ്‌ഷനുകൾ (പങ്കിട്ട പ്രവർത്തനങ്ങൾ)
• വിവരം (വിവര ഔട്ട്പുട്ട്)
• മോഡലുകൾ (സെർവർ മോഡലിനെ അടിസ്ഥാനമാക്കി ഇൻസ്റ്റലേഷൻ പാരാമീറ്ററുകൾ ക്രമീകരിക്കുന്നു)
• ready_utils (ആവശ്യമായ യൂട്ടിലിറ്റികളുടെ ഇൻസ്റ്റാളേഷൻ)
• fwupdate (ഫേംവെയർ അപ്ഡേറ്റ്)
• ഡയഗ് (എലിമെന്ററി ഡയഗ്നോസ്റ്റിക്സ്)
• biosconf (BIOS/UEFI ക്രമീകരണങ്ങൾ)
• ക്ലോക്ക്ഫിക്സ് (മദർബോർഡിൽ സമയം ക്രമീകരിക്കുക)
• srmconf (റിമോട്ട് ഇന്റർഫേസ് ഇന്റർഫേസ് കോൺഫിഗറേഷൻ)
• raidconf (ലോജിക്കൽ വോള്യങ്ങൾ ക്രമീകരിക്കുന്നു)

അതിലൊന്ന്:

• പ്രീഇൻസ്റ്റാൾ (ESXi പോലുള്ള OS അല്ലെങ്കിൽ ഹൈപ്പർവൈസർ ഇൻസ്റ്റാളറിലേക്ക് നിയന്ത്രണം കൈമാറുന്നു)
• ലയിപ്പിച്ച-ഇൻസ്റ്റാൾ (ചിത്രം അൺപാക്ക് ചെയ്യുന്നതിനുള്ള ഉടനടി ആരംഭം)

ഇപ്പോൾ നമുക്കറിയാം:

• PXE വഴി ഒരു സെർവർ എങ്ങനെ ബൂട്ട് ചെയ്യാം;
• നിങ്ങളുടെ സ്വന്തം സ്ക്രിപ്റ്റിലേക്ക് നിയന്ത്രണം എങ്ങനെ കൈമാറാം.

നമുക്ക് തുടരാം. ഇനിപ്പറയുന്ന ചോദ്യങ്ങൾ പ്രസക്തമായി.

• ഞങ്ങൾ തയ്യാറാക്കുന്ന സെർവർ എങ്ങനെ തിരിച്ചറിയാം?
• എന്ത് യൂട്ടിലിറ്റികൾ, എങ്ങനെ സെർവർ കോൺഫിഗർ ചെയ്യാം?
• ഒരു നിർദ്ദിഷ്‌ട സെർവറിനുള്ള ക്രമീകരണങ്ങൾ എങ്ങനെ നേടാം?

ഞങ്ങൾ തയ്യാറാക്കുന്ന സെർവർ എങ്ങനെ തിരിച്ചറിയാം?

ഇത് ലളിതമാണ് - DMI:

dmidecode –s system-product-name
dmidecode –s system-manufacturer
dmidecode –s system-serial-number

നിങ്ങൾക്ക് ആവശ്യമുള്ളതെല്ലാം ഇവിടെയുണ്ട്: വെണ്ടർ, മോഡൽ, സീരിയൽ നമ്പർ. ഈ വിവരങ്ങൾ എല്ലാ സെർവറുകളിലും ഉണ്ടെന്ന് നിങ്ങൾക്ക് ഉറപ്പില്ലെങ്കിൽ, നിങ്ങൾക്ക് അവരുടെ MAC വിലാസം ഉപയോഗിച്ച് അവരെ തിരിച്ചറിയാം. അല്ലെങ്കിൽ ഒരേ സമയം രണ്ട് വഴികളിലും, സെർവർ വെണ്ടർമാർ വ്യത്യസ്തമാണെങ്കിൽ ചില മോഡലുകളിൽ സീരിയൽ നമ്പറിനെക്കുറിച്ച് ഒരു വിവരവുമില്ല.

ലഭിച്ച വിവരങ്ങളുടെ അടിസ്ഥാനത്തിൽ, ഇൻസ്റ്റലേഷൻ സെർവറിൽ നിന്ന് നെറ്റ്വർക്ക് ഫോൾഡറുകൾ മൌണ്ട് ചെയ്യുകയും ആവശ്യമായ എല്ലാം ലോഡ് ചെയ്യുകയും ചെയ്യുന്നു (യൂട്ടിലിറ്റികൾ, ഫേംവെയർ മുതലായവ).

എന്ത് യൂട്ടിലിറ്റികൾ, എങ്ങനെ സെർവർ കോൺഫിഗർ ചെയ്യാം?

ചില നിർമ്മാതാക്കൾക്കായി ലിനക്സിനായി ഞാൻ യൂട്ടിലിറ്റികൾ നൽകും. വെണ്ടർമാരുടെ ഔദ്യോഗിക വെബ്സൈറ്റുകളിൽ എല്ലാ യൂട്ടിലിറ്റികളും ലഭ്യമാണ്.

ഫേംവെയർ ഉപയോഗിച്ച്, എല്ലാം വ്യക്തമാണെന്ന് ഞാൻ കരുതുന്നു. അവ സാധാരണയായി പാക്കേജുചെയ്ത എക്സിക്യൂട്ടബിൾ ഫയലുകളുടെ രൂപത്തിലാണ് വരുന്നത്. എക്സിക്യൂട്ടബിൾ ഫയൽ ഫേംവെയർ അപ്ഡേറ്റ് പ്രക്രിയ നിയന്ത്രിക്കുകയും റിട്ടേൺ കോഡ് റിപ്പോർട്ടുചെയ്യുകയും ചെയ്യുന്നു.

BIOS, IPMI എന്നിവ സാധാരണയായി ടെംപ്ലേറ്റുകൾ വഴിയാണ് ക്രമീകരിച്ചിരിക്കുന്നത്. ആവശ്യമെങ്കിൽ, ഡൗൺലോഡ് ചെയ്യുന്നതിന് മുമ്പ് ടെംപ്ലേറ്റ് എഡിറ്റുചെയ്യാനാകും.

ചില വെണ്ടർമാരിൽ നിന്നുള്ള റെയിഡ് യൂട്ടിലിറ്റികളും ഒരു ടെംപ്ലേറ്റ് ഉപയോഗിച്ച് ക്രമീകരിക്കാവുന്നതാണ്. ഇത് അങ്ങനെയല്ലെങ്കിൽ, നിങ്ങൾ ഒരു കോൺഫിഗറേഷൻ സ്ക്രിപ്റ്റ് എഴുതേണ്ടിവരും.

RAID സജ്ജീകരിക്കുന്നതിനുള്ള നടപടിക്രമം മിക്കപ്പോഴും ഇനിപ്പറയുന്നതാണ്:

• നിലവിലെ കോൺഫിഗറേഷൻ ഞങ്ങൾ അഭ്യർത്ഥിക്കുന്നു.
• ഇതിനകം ലോജിക്കൽ അറേകൾ ഉണ്ടെങ്കിൽ, ഞങ്ങൾ അവ മായ്‌ക്കും.
• എന്തൊക്കെ ഫിസിക്കൽ ഡിസ്കുകൾ ഉണ്ടെന്നും എത്രയെണ്ണം ഉണ്ടെന്നും നോക്കാം.
• ഒരു പുതിയ ലോജിക്കൽ അറേ സൃഷ്ടിക്കുക. ഒരു പിശക് സംഭവിച്ചാൽ ഞങ്ങൾ പ്രക്രിയ തടസ്സപ്പെടുത്തുന്നു.

ഒരു നിർദ്ദിഷ്‌ട സെർവറിനുള്ള ക്രമീകരണങ്ങൾ എങ്ങനെ നേടാം?

എല്ലാ സെർവറുകളുടെയും ക്രമീകരണങ്ങൾ ഇൻസ്റ്റാളേഷൻ സെർവറിൽ സംഭരിക്കപ്പെടുമെന്ന് നമുക്ക് അനുമാനിക്കാം. ഈ സാഹചര്യത്തിൽ, ഞങ്ങളുടെ ചോദ്യത്തിന് ഉത്തരം നൽകാൻ, ഇൻസ്റ്റാളേഷൻ സെർവറിലേക്ക് ക്രമീകരണങ്ങൾ എങ്ങനെ കൈമാറണമെന്ന് ഞങ്ങൾ ആദ്യം തീരുമാനിക്കണം.

ആദ്യം, നിങ്ങൾക്ക് ടെക്സ്റ്റ് ഫയലുകൾ ഉപയോഗിച്ച് ലഭിക്കും. (ഭാവിയിൽ, ക്രമീകരണങ്ങൾ കൈമാറുന്നതിനുള്ള ഒരു ഫോൾബാക്ക് രീതിയായി നിങ്ങൾ ഒരു ടെക്സ്റ്റ് ഫയൽ ഉപയോഗിക്കാൻ ആഗ്രഹിച്ചേക്കാം.)

നിങ്ങൾക്ക് ഇൻസ്റ്റലേഷൻ സെർവറിൽ ഒരു ടെക്സ്റ്റ് ഫയൽ "പങ്കിടാം". mount.sh സ്ക്രിപ്റ്റിലേക്ക് അതിന്റെ മൗണ്ട് ചേർക്കുക.

ഉദാഹരണത്തിന്, വരികൾ ഇതുപോലെ കാണപ്പെടും:

<സീരിയൽ നമ്പർ> <ഹോസ്റ്റ്നാമം> <സബ്നെറ്റ്>

ഈ ലൈനുകൾ എഞ്ചിനീയർ തന്റെ വർക്ക് മെഷീനിൽ നിന്ന് ഫയലിലേക്ക് മാറ്റും. തുടർന്ന്, ഒരു സെർവർ സജ്ജീകരിക്കുമ്പോൾ, ഒരു നിർദ്ദിഷ്ട സെർവറിനുള്ള പാരാമീറ്ററുകൾ ഫയലിൽ നിന്ന് വായിക്കും.

പക്ഷേ, ദീർഘകാലാടിസ്ഥാനത്തിൽ, സെർവർ ഇൻസ്റ്റാളേഷനുകളുടെ ക്രമീകരണങ്ങൾ, സംസ്ഥാനങ്ങൾ, ലോഗുകൾ എന്നിവ സംഭരിക്കുന്നതിന് ഒരു ഡാറ്റാബേസ് ഉപയോഗിക്കുന്നതാണ് നല്ലത്.

തീർച്ചയായും, ഒരു ഡാറ്റാബേസ് മാത്രം പോരാ, ഡാറ്റാബേസിലേക്ക് ഏത് ക്രമീകരണങ്ങൾ കൈമാറും എന്നതിന്റെ സഹായത്തോടെ നിങ്ങൾ ഒരു ക്ലയന്റ് ഭാഗം സൃഷ്ടിക്കേണ്ടതുണ്ട്. ഒരു ടെക്സ്റ്റ് ഫയലുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ഇത് നടപ്പിലാക്കാൻ കൂടുതൽ ബുദ്ധിമുട്ടാണ്, എന്നാൽ വാസ്തവത്തിൽ, എല്ലാം തോന്നുന്നത്ര ബുദ്ധിമുട്ടുള്ള കാര്യമല്ല. ഒരു ക്ലയന്റിന്റെ ഏറ്റവും കുറഞ്ഞ പതിപ്പ് എഴുതുന്നത് തികച്ചും സാദ്ധ്യമാണ്, അത് സ്വയം ഡാറ്റാബേസിലേക്ക് ഡാറ്റ കൈമാറും. ഭാവിയിൽ ക്ലയന്റ് പ്രോഗ്രാം സൌജന്യ മോഡിൽ മെച്ചപ്പെടുത്താൻ സാധിക്കും (റിപ്പോർട്ടുകൾ, പ്രിന്റിംഗ് ലേബലുകൾ, അറിയിപ്പുകൾ അയയ്ക്കൽ മുതലായവ മനസ്സിൽ വരുന്നവ).

ഡാറ്റാബേസിലേക്ക് ഒരു നിർദ്ദിഷ്ട അഭ്യർത്ഥന നടത്തുകയും സെർവർ സീരിയൽ നമ്പർ വ്യക്തമാക്കുകയും ചെയ്യുന്നതിലൂടെ, സെർവർ കോൺഫിഗർ ചെയ്യുന്നതിന് ആവശ്യമായ പാരാമീറ്ററുകൾ ഞങ്ങൾക്ക് ലഭിക്കും.

കൂടാതെ, ഒരു ടെക്‌സ്‌റ്റ് ഫയലിന്റെ കാര്യത്തിലെന്നപോലെ, ഒരേസമയം ആക്‌സസ് ചെയ്യുന്നതിന് ഞങ്ങൾ ലോക്കുകൾ കൊണ്ടുവരേണ്ടതില്ല.

നമുക്ക് എല്ലാ ഘട്ടങ്ങളിലും ഡാറ്റാബേസിലേക്ക് കോൺഫിഗറേഷൻ ലോഗ് എഴുതാനും തയ്യാറെടുപ്പ് ഘട്ടങ്ങളിലെ ഇവന്റുകളിലൂടെയും ഫ്ലാഗുകളിലൂടെയും ഇൻസ്റ്റാളേഷൻ പ്രക്രിയ നിയന്ത്രിക്കാനും കഴിയും.

എങ്ങനെയെന്ന് ഇപ്പോൾ നമുക്കറിയാം:

• PXE വഴി സെർവർ ബൂട്ട് ചെയ്യുക;
• ഞങ്ങളുടെ സ്ക്രിപ്റ്റിലേക്ക് നിയന്ത്രണം കൈമാറുക;
• അതിന്റെ സീരിയൽ നമ്പർ ഉപയോഗിച്ച് തയ്യാറാക്കേണ്ട സെർവർ തിരിച്ചറിയുക;
• ഉചിതമായ യൂട്ടിലിറ്റികൾ ഉപയോഗിച്ച് സെർവർ കോൺഫിഗർ ചെയ്യുക;
• ക്ലയന്റ് ഭാഗം ഉപയോഗിച്ച് ഇൻസ്റ്റലേഷൻ സെർവർ ഡാറ്റാബേസിലേക്ക് ക്രമീകരണങ്ങൾ കൈമാറുക.

എങ്ങനെയെന്ന് ഞങ്ങൾ കണ്ടെത്തി:

• ഇൻസ്റ്റാൾ ചെയ്ത സെർവർ ഡാറ്റാബേസിൽ നിന്ന് ആവശ്യമായ ക്രമീകരണങ്ങൾ സ്വീകരിക്കുന്നു;
• എല്ലാ തയ്യാറെടുപ്പ് പുരോഗതിയും ഡാറ്റാബേസിൽ രേഖപ്പെടുത്തിയിട്ടുണ്ട് (ലോഗുകൾ, ഇവന്റുകൾ, സ്റ്റേജ് ഫ്ലാഗുകൾ).

നിങ്ങൾ ഇൻസ്റ്റാൾ ചെയ്യുന്ന വിവിധ തരം സോഫ്‌റ്റ്‌വെയറുകളുടെ കാര്യമോ? ഒരു ഹൈപ്പർവൈസർ എങ്ങനെ ഇൻസ്റ്റാൾ ചെയ്യാം, ഒരു വിഎം പകർത്തി എല്ലാം കോൺഫിഗർ ചെയ്യാം?

ഒരു ഫയൽ സിസ്റ്റം ഇമേജ് (ലിനക്സ്) ഹാർഡ്‌വെയറിലേക്ക് വിന്യസിക്കുന്ന കാര്യത്തിൽ, എല്ലാം വളരെ ലളിതമാണ്:

• എല്ലാ സെർവർ ഘടകങ്ങളും സജ്ജീകരിച്ച ശേഷം, ഞങ്ങൾ ചിത്രം വിന്യസിക്കുന്നു.
• grub ബൂട്ട്ലോഡർ ഇൻസ്റ്റാൾ ചെയ്യുക.
• ആവശ്യമുള്ളതെല്ലാം ഞങ്ങൾ ക്രോട്ട് ചെയ്യുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്യുന്നു.

OS ഇൻസ്റ്റാളറിലേക്ക് എങ്ങനെ നിയന്ത്രണം കൈമാറാം (ഉദാഹരണമായി ESXi ഉപയോഗിക്കുന്നത്).

• ഓട്ടോമാറ്റിക് റെസ്‌പോൺസ് ഫയൽ (കിക്ക്‌സ്റ്റാർട്ട്) ഉപയോഗിച്ച് ഞങ്ങളുടെ സ്‌ക്രിപ്‌റ്റിൽ നിന്ന് ഹൈപ്പർവൈസർ ഇൻസ്റ്റാളറിലേക്കുള്ള നിയന്ത്രണം ഞങ്ങൾ സംഘടിപ്പിക്കുന്നു:
• ഡിസ്കിലെ നിലവിലുള്ള പാർട്ടീഷനുകൾ ഞങ്ങൾ ഇല്ലാതാക്കുന്നു.
• 500MB വലുപ്പമുള്ള ഒരു പാർട്ടീഷൻ ഉണ്ടാക്കുക.
• ഞങ്ങൾ ഇത് ബൂട്ട് ചെയ്യാവുന്നതായി അടയാളപ്പെടുത്തുന്നു.
• FAT32-ലേക്ക് ഫോർമാറ്റ് ചെയ്യുക.
• ഞങ്ങൾ ESXi ഇൻസ്റ്റലേഷൻ ഫയലുകൾ റൂട്ടിലേക്ക് പകർത്തുന്നു.
• syslinux ഇൻസ്റ്റാൾ ചെയ്യുന്നു.
• syslinux.cfg /syslinux/ എന്നതിലേക്ക് പകർത്തുക

default esxi
prompt 1
timeout 50
label esxi
kernel mboot.c32
append -c boot.cfg

• mboot.c32 /syslinux-ലേക്ക് പകർത്തുക.
• Boot.cfg-ൽ kernelopt=ks=ftp:// ഉണ്ടായിരിക്കണം. /ks_esxi.cfg
• ഞങ്ങൾ സെർവർ റീബൂട്ട് ചെയ്യുന്നു.

സെർവർ റീബൂട്ട് ചെയ്ത ശേഷം, സെർവറിന്റെ ഹാർഡ് ഡ്രൈവിൽ നിന്ന് ESXi ഇൻസ്റ്റാളർ ഡൗൺലോഡ് ചെയ്യും. ആവശ്യമായ എല്ലാ ഇൻസ്റ്റാളർ ഫയലുകളും മെമ്മറിയിലേക്ക് ലോഡുചെയ്യപ്പെടും, തുടർന്ന് നിർദ്ദിഷ്ട ഓട്ടോ-റെസ്‌പോൺസ് ഫയൽ അനുസരിച്ച് ESXi ഇൻസ്റ്റാളേഷൻ ആരംഭിക്കും.

ks_esxi.cfg എന്ന സ്വയം പ്രതികരണ ഫയലിൽ നിന്നുള്ള കുറച്ച് വരികൾ ഇതാ:

%firstboot --interpreter=busybox
…
# получаем серийный номер

SYSSN=$(esxcli hardware platform get | grep Serial | awk -F " " '{print $3}')

# получаем IP

IPADDRT=$(esxcli network ip interface ipv4 get | grep vmk0 | awk -F " " '{print $2}')
LAST_OCTET=$(echo $IPADDRT | awk -F'.' '{print $4}')

# подключаем NFS инсталл-сервера

esxcli storage nfs add -H is -s /srv/nfs_share -v nfsshare1

# копируем временные настройки ssh, для использования ssh-клиента

mv /etc/ssh /etc/ssh.tmp
cp -R /vmfs/volumes/nfsshare1/ssh /etc/
chmod go-r /etc/ssh/ssh_host_rsa_key

# копируем ovftool, для развертывания ВМ сейчас, плюс возможно пригодится позже

cp -R /vmfs/volumes/nfsshare1/ovftool /vmfs/volumes/datastore1/

# развертываем ВМ

/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM1 /vmfs/volumes/nfsshare1/VM_T/VM1.ova vi://root:[email protected]
/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM2 /vmfs/volumes/nfsshare1/VM_T/VM2.ova vi://root:[email protected]

# получаем строку с настройками нашего сервера

ssh root@is "mysql -h'192.168.0.1' -D'servers' -u'user' -p'secretpassword' -e "SELECT ... WHERE servers.serial='$SYSSN'"" | grep -v ^$ | sed 's/NULL//g' > /tmp/servers
...
# генерируем скрипт настройки сети

echo '#!/bin/sh' > /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip interface ipv4 set -i=vmk0 -t=static --ipv4=$IPADDR --netmask=$S_SUB || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip route ipv4 add -g=$S_GW -n=default || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
chmod a+x /vmfs/volumes/datastore1/netconf.sh

# задаем параметр guestinfo.esxihost.id, указываем в нем серийный номер

echo "guestinfo.esxihost.id = "$SYSSN"" >> /vmfs/volumes/datastore1/VM1/VM1.vmx
echo "guestinfo.esxihost.id = "$SYSSN"" >> /vmfs/volumes/datastore1/VM2/VM2.vmx
...
# обновляем информацию в базе

SYSNAME=$(esxcli hardware platform get | grep Product | sed 's/Product Name://' | sed 's/^ *//')
UUID=$(vim-cmd hostsvc/hostsummary | grep uuid | sed 's/ //g;s/,$//' | sed 's/^uuid="//;s/"$//')
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e "UPDATE servers ... SET ... WHERE servers.serial='$SYSSN'""
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e "INSERT INTO events ...""

# возвращаем настройки SSH

rm -rf /etc/ssh
mv /etc/ssh.tmp /etc/ssh

# настраиваем сеть и перезагружаемся

esxcli system hostname set --fqdn=esx-${G_NICK}.x5.ru
/vmfs/volumes/datastore1/netconf.sh
reboot

ഈ ഘട്ടത്തിൽ, ഹൈപ്പർവൈസർ ഇൻസ്റ്റാൾ ചെയ്യുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്യുന്നു, വിർച്ച്വൽ മെഷീനുകൾ പകർത്തുന്നു.

ഇപ്പോൾ വെർച്വൽ മെഷീനുകൾ എങ്ങനെ ക്രമീകരിക്കാം?

ഞങ്ങൾ അൽപ്പം വഞ്ചിച്ചു: ഇൻസ്റ്റാളേഷൻ സമയത്ത് ഞങ്ങൾ VM1.vmx ഫയലിൽ അതിഥിinfo.esxihost.id = "$SYSSN" എന്ന പാരാമീറ്റർ സജ്ജീകരിക്കുകയും അതിലെ ഫിസിക്കൽ സെർവറിന്റെ സീരിയൽ നമ്പർ സൂചിപ്പിക്കുകയും ചെയ്തു.

ഇപ്പോൾ, ആരംഭിച്ചതിന് ശേഷം, വെർച്വൽ മെഷീന് (ഇൻസ്റ്റാൾ ചെയ്ത vmware-ടൂൾസ് പാക്കേജിനൊപ്പം) ഈ പരാമീറ്റർ ആക്സസ് ചെയ്യാൻ കഴിയും:

ESXI_SN=$(vmtoolsd --cmd "info-get guestinfo.esxihost.id")

അതായത്, VM-ന് സ്വയം തിരിച്ചറിയാൻ കഴിയും (അതിന് ഫിസിക്കൽ ഹോസ്റ്റിന്റെ സീരിയൽ നമ്പർ അറിയാം), ഇൻസ്റ്റാളേഷൻ സെർവർ ഡാറ്റാബേസിലേക്ക് ഒരു അഭ്യർത്ഥന നടത്തുകയും കോൺഫിഗർ ചെയ്യേണ്ട പരാമീറ്ററുകൾ സ്വീകരിക്കുകയും ചെയ്യും. ഇതെല്ലാം ഒരു സ്ക്രിപ്റ്റിലേക്ക് കംപൈൽ ചെയ്‌തിരിക്കുന്നു, അതിഥികൾ vm ആരംഭിക്കുമ്പോൾ അത് സ്വയമേവ ലോഞ്ച് ചെയ്യപ്പെടും (എന്നാൽ ഒരിക്കൽ: RunOnce).

എങ്ങനെയെന്ന് ഇപ്പോൾ നമുക്കറിയാം:

• PXE വഴി സെർവർ ബൂട്ട് ചെയ്യുക;
• ഞങ്ങളുടെ സ്ക്രിപ്റ്റിലേക്ക് നിയന്ത്രണം കൈമാറുക;
• അതിന്റെ സീരിയൽ നമ്പർ ഉപയോഗിച്ച് തയ്യാറാക്കേണ്ട സെർവർ തിരിച്ചറിയുക;
• ഉചിതമായ യൂട്ടിലിറ്റികൾ ഉപയോഗിച്ച് സെർവർ കോൺഫിഗർ ചെയ്യുക;
• ക്ലയന്റ് ഭാഗം ഉപയോഗിച്ച് ഇൻസ്റ്റലേഷൻ സെർവർ ഡാറ്റാബേസിലേക്ക് ക്രമീകരണങ്ങൾ കൈമാറുക;
• esxi ഹൈപ്പർവൈസർ വിന്യസിക്കുന്നതും വെർച്വൽ മെഷീനുകൾ കോൺഫിഗർ ചെയ്യുന്നതും ഉൾപ്പെടെ വിവിധ തരം സോഫ്‌റ്റ്‌വെയറുകൾ കോൺഫിഗർ ചെയ്യുക (എല്ലാം സ്വയമേവ).

എങ്ങനെയെന്ന് ഞങ്ങൾ കണ്ടെത്തി:

• ഇൻസ്റ്റാൾ ചെയ്ത സെർവർ ഡാറ്റാബേസിൽ നിന്ന് ആവശ്യമായ ക്രമീകരണങ്ങൾ സ്വീകരിക്കുന്നു;
• എല്ലാ തയ്യാറെടുപ്പ് പുരോഗതിയും ഡാറ്റാബേസിൽ രേഖപ്പെടുത്തിയിട്ടുണ്ട് (ലോഗുകൾ, ഇവന്റുകൾ, സ്റ്റേജ് ഫ്ലാഗുകൾ).

താഴത്തെ വരി:

ഈ പരിഹാരത്തിന്റെ പ്രത്യേകത അതിന്റെ വഴക്കം, ലാളിത്യം, കഴിവുകൾ, ബഹുമുഖത എന്നിവയിലാണെന്ന് ഞാൻ വിശ്വസിക്കുന്നു.

നിങ്ങൾ എന്താണ് ചിന്തിക്കുന്നതെന്ന് ദയവായി അഭിപ്രായങ്ങളിൽ എഴുതുക.

അവലംബം: www.habr.com