Gerðu-það-sjálfur Bare-Metal Provisioning, eða Sjálfvirk undirbúningur netþjóna frá grunni

Halló, ég heiti Denis og eitt af starfssviðum mínum er þróun innviðalausna hjá X5. Í dag langar mig að deila með þér hvernig þú getur sett upp sjálfvirkt undirbúningskerfi fyrir netþjóna sem byggir á verkfærum sem eru aðgengileg almenningi. Að mínu mati er þetta áhugaverð, einföld og sveigjanleg lausn.

Með undirbúningi er átt við: breyttu nýjum netþjóni úr kassanum í fullstilltan netþjón með stýrikerfi. Linux eða með ESXi hypervisor (ekki er fjallað um uppsetningu Windows netþjóna í þessari grein).

Skilmálar:

• netþjónar - netþjónar sem þarf að stilla.
• uppsetningarþjónn er aðalþjónninn sem sér um allt undirbúningsferlið yfir netið.

Hvers vegna þarf sjálfvirkni?

Segjum að það sé verkefni: að undirbúa netþjóna gríðarlega frá grunni, í hámarki - 30 á dag. Netþjónar mismunandi framleiðenda og gerða, mismunandi stýrikerfi kunna að vera sett upp á þeim, og mega vera með ofurvisor eða ekki.

Hvaða aðgerðir eru innifaldar í uppsetningarferlinu (án sjálfvirkni):

• tengja lyklaborð, mús, skjá við netþjóninn;
• stilla BIOS, RAID, IPMI;
• uppfæra vélbúnaðar íhluta;
• setja upp skráarkerfismynd (eða setja upp hypervisor og afrita sýndarvélar);

Athugið. Að öðrum kosti er uppsetning stýrikerfis möguleg með uppsetningu með sjálfvirkri svarskrá. En um þetta verður ekki fjallað í greininni. Þó að þú munt sjá hér að neðan að það er ekki erfitt að bæta við þessari virkni.

• stilla OS breytur (hýsingarheiti, IP, osfrv.).

Með þessari nálgun eru sömu stillingar framkvæmdar í röð á hverjum netþjóni. Skilvirkni slíkrar vinnu er mjög lítil.

Kjarninn í sjálfvirkni er að útrýma þátttöku manna úr undirbúningsferli netþjónsins. Eins mikið og hægt er.

Sjálfvirkni dregur úr niður í miðbæ milli aðgerða og gerir það mögulegt að útvega marga netþjóna samtímis. Líkur á mistökum af völdum mannlegra þátta minnka líka mikið.

Hvernig eru netþjónar sjálfkrafa stilltir?

Við skulum greina öll stigin í smáatriðum.

Þú ert með Linux netþjón sem þú notar sem PXE uppsetningarþjón. Þjónusta er sett upp og stillt á það: DHCP, TFTP.

Svo, við ræsum netþjóninn (sem þarf að stilla) í gegnum PXE. Við skulum muna hvernig það virkar:

• Netræsing er valin á þjóninum.
• Miðlarinn hleður PXE-ROM netkortsins og hefur samband við uppsetningarþjóninn í gegnum DHCP til að fá netfang.
• DHCP uppsetningarþjónninn gefur út heimilisfang, svo og leiðbeiningar um frekara niðurhal í gegnum PXE.
• Miðlarinn hleður netræsiforritinu frá uppsetningarþjóninum í gegnum PXE, frekari hleðsla á sér stað samkvæmt PXE stillingarskránni.
• Ræsingin á sér stað byggt á mótteknum breytum (kjarna, initramfs, tengipunktum, squashfs mynd osfrv.).

Athugið. Greinin lýsir ræsingu í gegnum PXE í gegnum BIOS ham. Eins og er eru framleiðendur virkir að innleiða UEFI ræsiham. Fyrir PXE mun munurinn liggja í uppsetningu DHCP netþjónsins og tilvist viðbótar ræsiforritara.

Við skulum skoða dæmi um stillingar PXE netþjóns (pxelinux valmynd).

Skrá pxelinux.cfg/default:

default menu.c32
prompt 0
timeout 100
menu title X5 PXE Boot Menu
LABEL InstallServer Menu
	MENU LABEL InstallServer
	KERNEL menu.c32
	APPEND pxelinux.cfg/installserver
LABEL VMware Menu
	MENU LABEL VMware ESXi Install
	KERNEL menu.c32
	APPEND pxelinux.cfg/vmware
LABEL toolkit // меню по умолчанию
	MENU LABEL Linux Scripting Toolkits
	MENU default
	KERNEL menu.c32
	APPEND pxelinux.cfg/toolkit // переход на следующее меню

Skráin pxelinux.cfg/toolkit:

prompt 0
timeout 100
menu title X5 PXE Boot Menu
label mainmenu
    menu label ^Return to Main Menu
    kernel menu.c32
    append pxelinux.cfg/default
label x5toolkit-auto // по умолчанию — автоматический режим
        menu label x5 toolkit autoinstall
        menu default
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tk-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh CMDIS2=”…”
label x5toolkit-shell // для отладки - консоль
        menu label x5 toolkit shell
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tkcustom-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash CMDIS2=”…”

Kjarninn og initramfs á þessu stigi eru millistig Linux mynd, með hjálp sem aðal undirbúningur og uppsetning þjónsins mun fara fram.

Eins og þú sérð sendir ræsiforritið margar breytur til kjarnans. Sumar af þessum breytum eru notaðar af kjarnanum sjálfum. Og við getum notað suma í okkar eigin tilgangi. Þetta verður rætt síðar, en í bili geturðu bara muna að allar samþykktar breytur verða aðgengilegar í Linux millimyndinni í gegnum /proc/cmdline.

Hvar get ég fengið þá, kjarna og initramfs?
Sem grundvöllur geturðu valið hvaða Linux dreifingu sem er. Það sem við tökum eftir þegar við veljum:

• ræsimyndin verður að vera alhliða (framboð rekla, geta til að setja upp viðbótartól);
• Líklegast þarftu að sérsníða initramfs.

Hvernig er þetta gert í lausninni okkar fyrir X5? CentOS 7 var valið sem grunnur. Við skulum reyna eftirfarandi brellu: undirbúa framtíðarmyndbygginguna, pakka henni inn í skjalasafn og búa til initramfs, þar sem það verður skráarkerfisskjalasafnið okkar. Þegar myndin er hlaðin verður skjalasafnið stækkað í tmpfs skiptinguna sem búið var til. Þannig munum við fá lágmarks en samt fullgilda lifandi linux mynd með öllum nauðsynlegum tólum, sem samanstendur af aðeins tveimur skrám: vmkernel og initramfs.

#создаем директории: 

mkdir -p /tftpboot/toolkit/CustomTK/rootfs /tftpboot/toolkit/CustomTK/initramfs/bin

#подготавливаем структуру:

yum groups -y install "Minimal Install" --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y install nfs-utils mariadb ntpdate mtools syslinux mdadm tbb libgomp efibootmgr dosfstools net-tools pciutils openssl make ipmitool OpenIPMI-modalias rng-tools --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y remove biosdevname --installroot=/tftpboot/toolkit/CustomTK/rootfs/

# подготавливаем initramfs:

wget https://busybox.net/downloads/binaries/1.31.0-defconfig-multiarch-musl/busybox-x86_64 -O /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
chmod a+x /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
cp /tftpboot/toolkit/CustomTK/rootfs/boot/vmlinuz-3.10.0-957.el7.x86_64 /tftpboot/toolkit/tkcustom-kernel

# создаем /tftpboot/toolkit/CustomTK/initramfs/init (ниже содержание скрипта):

#!/bin/busybox sh
/bin/busybox --install /bin
mkdir -p /dev /proc /sys /var/run /newroot
mount -t proc proc /proc
mount -o mode=0755 -t devtmpfs devtmpfs /dev
mkdir -p /dev/pts /dev/shm /dev/mapper /dev/vc
mount -t devpts -o gid=5,mode=620 devpts /dev/pts
mount -t sysfs sysfs /sys
mount -t tmpfs -o size=4000m tmpfs /newroot
echo -n "Extracting rootfs... "
xz -d -c -f rootfs.tar.xz | tar -x -f - -C /newroot
echo "done"
mkdir -p /newroot/dev /newroot/proc /newroot/sys
mount --move /sys  /newroot/sys
mount --move /proc /newroot/proc
mount --move /dev  /newroot/dev
exec switch_root /newroot /sbin/init

# упаковываем rootfs и initramfs:

cd /tftpboot/toolkit/CustomTK/rootfs
tar cJf /tftpboot/toolkit/CustomTK/initramfs/rootfs.tar.xz --exclude ./proc --exclude ./sys --exclude ./dev .
cd /tftpboot/toolkit/CustomTK/initramfs
find . -print0 | cpio --null -ov --format=newc | gzip -9 > /tftpboot/toolkit/tkcustom-initramfs-new.gz

Þannig að við höfum tilgreint kjarnann og initramfs sem ætti að hlaða. Þar af leiðandi, á þessu stigi, með því að hlaða millistig linux myndinni í gegnum PXE, munum við fá OS stjórnborðið.

Frábært, en nú þurfum við að flytja stjórn yfir í „sjálfvirkni“ okkar.

Það er hægt að gera svona.

Gerum ráð fyrir að eftir að myndin er hlaðin ætlum við að flytja stjórn á mount.sh forskriftina.
Við skulum setja mount.sh forskriftina með í sjálfvirkri keyrslu. Til að gera þetta þarftu að breyta initramfs:

• pakkaðu upp initramfs (ef við notum initramfs valmöguleikann hér að ofan er þetta ekki krafist)
• innihalda kóða í ræsingu sem mun greina færibreyturnar sem fara í gegnum /proc/cmdline og flytja stjórn frekar;
• pakka initramfs.

Athugið. Þegar um er að ræða X5 verkfærakistuna er hleðslustjórnun flutt yfir á handritið /opt/x5/toolkit/bin/hook.sh с помощью override.conf в getty tty1 (ExecStart=…)

Þannig að myndin er hlaðin, þar sem mount.sh forskriftin byrjar á sjálfvirkri keyrslu. Næst greinir mount.sh forskriftin færibreyturnar sem hafa verið sendar (script_cmd=) meðan á framkvæmd stendur og ræsir nauðsynlegt forrit/forrit.

merki verkfærakista-bíll
kjarna...
append...nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh

merki verkfærakista-skel
kjarna...
append...nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash

Hér til vinstri er PXE valmyndin, hægra megin er stjórnaflutningsmyndin.

Við komumst að því að flytja eftirlitið. Það fer eftir vali á PXE valmyndinni, annað hvort sjálfvirka stillingarhandritið eða kembiforritið er ræst.

Ef um sjálfvirka uppsetningu er að ræða eru nauðsynlegar möppur settar upp frá uppsetningarþjóninum, sem innihalda:

• handrit;
• vistuð BIOS/UEFI sniðmát fyrir ýmsa netþjóna;
• vélbúnaðar;
• netþjónaforrit;
• logs

Næst flytur mount.sh forskriftin stjórn yfir á master-install.sh forskriftina úr handritaskránni.

Handritatréð (í þeirri röð sem þau eru ræst í) lítur einhvern veginn svona út:

• master-setja upp
• deiliaðgerðir (samnýttar aðgerðir)
• upplýsingar (upplýsingaúttak)
• módel (stilla uppsetningarfæribreytur byggðar á netþjónslíkaninu)
• prepare_utils (uppsetning nauðsynlegra tóla)
• fwupdate (fastbúnaðaruppfærsla)
• diag (grunngreining)
• biosconf (BIOS/UEFI stillingar)
• clockfix (stilla tímann á móðurborðinu)
• srmconf (stillingar fjarviðmótsviðmóts)
• raidconf (stilla rökrétt bindi)

einn af:

• foruppsetning (flytur stjórn til stýrikerfisins eða uppsetningarforritsins, eins og ESXi)
• sameinuð uppsetning (byrjun strax að taka upp myndina)

Nú vitum við:

• hvernig á að ræsa netþjón í gegnum PXE;
• hvernig á að flytja stjórn á eigin handrit.

Höldum áfram. Eftirfarandi spurningar urðu viðeigandi:

• Hvernig á að bera kennsl á netþjóninn sem við erum að undirbúa?
• Hvaða tól og hvernig á að stilla netþjóninn?
• Hvernig á að fá stillingar fyrir ákveðinn netþjón?

Hvernig á að bera kennsl á netþjóninn sem við erum að undirbúa?

Það er einfalt - DMI:

dmidecode –s system-product-name
dmidecode –s system-manufacturer
dmidecode –s system-serial-number

Allt sem þú þarft er hér: söluaðili, gerð, raðnúmer. Ef þú ert ekki viss um að þessar upplýsingar séu til staðar á öllum netþjónum geturðu auðkennt þær með MAC vistfangi þeirra. Eða á báða vegu á sama tíma, ef framleiðendur netþjóna eru ólíkir og á sumum gerðum eru einfaldlega engar upplýsingar um raðnúmerið.

Byggt á þeim upplýsingum sem berast eru netmöppur settar upp frá uppsetningarþjóninum og allt sem þarf er hlaðið (tólum, fastbúnaði osfrv.).

Hvaða tól og hvernig á að stilla netþjóninn?

Ég mun útvega tól fyrir Linux fyrir suma framleiðendur. Öll tól eru fáanleg á opinberum vefsíðum söluaðila.

Með fastbúnaðinum held ég að allt sé á hreinu. Þeir koma venjulega í formi pakkaða keyrsluskráa. Keyranlega skráin stjórnar uppfærsluferli vélbúnaðar og tilkynnir um skilakóðann.

BIOS og IPMI eru venjulega stillt í gegnum sniðmát. Ef nauðsyn krefur er hægt að breyta sniðmátinu áður en það er hlaðið niður.

RAID tól frá sumum söluaðilum er einnig hægt að stilla með því að nota sniðmát. Ef þetta er ekki raunin, þá verður þú að skrifa uppsetningarforskrift.

Aðferðin við að setja upp RAID er oftast sem hér segir:

• Við biðjum um núverandi uppsetningu.
• Ef það eru þegar til rökræn fylki, eyðum við þeim út.
• Við skulum skoða hvaða líkamlega diskar eru til staðar og hversu margir þeir eru.
• Búðu til nýtt rökrænt fylki. Við truflunum ferlið ef villur koma upp.

Hvernig á að fá stillingar fyrir ákveðinn netþjón?

Gerum ráð fyrir að stillingar allra netþjóna verði geymdar á uppsetningarþjóninum. Í þessu tilfelli, til að svara spurningunni okkar, verðum við fyrst að ákveða hvernig á að flytja stillingarnar á uppsetningarþjóninn.

Í fyrstu geturðu komist af með textaskrár. (Í framtíðinni gætirðu viljað nota textaskrá sem varaaðferð til að flytja stillingar.)

Þú getur „deilt“ textaskrá á uppsetningarþjóninum. Og bættu festingu þess við mount.sh forskriftina.

Línurnar munu til dæmis líta svona út:

<raðnúmer> <hostname> <undirnet>

Þessar línur verða fluttar í skrána af verkfræðingi úr vinnuvél sinni. Og síðan, þegar þú setur upp netþjón, verða færibreytur fyrir tiltekinn netþjón lesinn úr skránni.

En til lengri tíma litið er betra að nota gagnagrunn til að geyma stillingar, ástand og skrár yfir netþjónauppsetningar.

Auðvitað er gagnagrunnur einn og sér ekki nóg, og þú þarft að búa til biðlarahluta með hjálp sem stillingar verða fluttar yfir í gagnagrunninn. Þetta er erfiðara í framkvæmd miðað við textaskrá, en í raun er allt ekki eins erfitt og það virðist. Það er alveg mögulegt að skrifa lágmarksútgáfu af viðskiptavini sem mun einfaldlega flytja gögn í gagnagrunninn sjálfur. Og í framtíðinni verður hægt að bæta biðlaraforritið í frjálsum ham (skýrslur, prentun merkimiða, senda tilkynningar osfrv. sem kemur upp í hugann).

Með því að gera sérstaka beiðni til gagnagrunnsins og tilgreina raðnúmer þjónsins fáum við nauðsynlegar breytur til að stilla þjóninn.

Auk þess þurfum við ekki að koma með læsingar fyrir samtímis aðgang, eins og raunin er með textaskrá.

Við getum skrifað stillingarskrána í gagnagrunninn á öllum stigum og stjórnað uppsetningarferlinu með atburðum og merkjum undirbúningsstiganna.

Nú vitum við hvernig:

• ræstu netþjóninn í gegnum PXE;
• flytja stjórn á handritið okkar;
• auðkenna netþjóninn sem þarf að útbúa með raðnúmeri hans;
• stilla netþjóninn með því að nota viðeigandi tól;
• flytja stillingar yfir á gagnagrunn uppsetningarþjónsins með því að nota biðlarahlutann.

Við komumst að því hvernig:

• uppsetti þjónninn fær nauðsynlegar stillingar úr gagnagrunninum;
• öll undirbúningsframvinda er skráð í gagnagrunninn (dagskrár, atburðir, sviðsfánar).

Hvað með mismunandi gerðir hugbúnaðar sem þú setur upp? Hvernig á að setja upp hypervisor, afrita VM og stilla þetta allt?

Þegar um er að ræða uppsetningu á skráarkerfismynd (linux) á vélbúnað, þá er allt frekar einfalt:

• Eftir að hafa sett upp alla miðlaraíhluti, dreifum við myndinni.
• Settu upp grub ræsiforritið.
• Við chrootum og stillum allt sem þarf.

Hvernig á að flytja stjórn yfir í OS uppsetningarforritið (með því að nota ESXi sem dæmi).

• Við skipuleggjum flutning á stjórn frá handritinu okkar yfir í uppsetningarforritið hypervisor með því að nota sjálfvirka svarskrána (kickstart):
• Við eyðum núverandi skiptingum á disknum.
• Búðu til skipting með stærðinni 500MB.
• Við merkjum það sem ræsanlegt.
• Snið í FAT32.
• Við afritum ESXi uppsetningarskrárnar í rótina.
• Að setja upp syslinux.
• Afritaðu syslinux.cfg í /syslinux/

default esxi
prompt 1
timeout 50
label esxi
kernel mboot.c32
append -c boot.cfg

• Afritaðu mboot.c32 í /syslinux.
• Boot.cfg ætti að hafa kernelopt=ks=ftp:// /ks_esxi.cfg
• Við endurræsum netþjóninn.

Eftir að miðlarinn hefur endurræst sig mun ESXi uppsetningarforritið hlaða niður af harða diski miðlarans. Allar nauðsynlegar uppsetningarskrár verða hlaðnar inn í minnið og síðan hefst uppsetning ESXi, samkvæmt tilgreindri sjálfssvarsskrá.

Hér eru nokkrar línur úr sjálfssvarsskránni ks_esxi.cfg:

%firstboot --interpreter=busybox
…
# получаем серийный номер

SYSSN=$(esxcli hardware platform get | grep Serial | awk -F " " '{print $3}')

# получаем IP

IPADDRT=$(esxcli network ip interface ipv4 get | grep vmk0 | awk -F " " '{print $2}')
LAST_OCTET=$(echo $IPADDRT | awk -F'.' '{print $4}')

# подключаем NFS инсталл-сервера

esxcli storage nfs add -H is -s /srv/nfs_share -v nfsshare1

# копируем временные настройки ssh, для использования ssh-клиента

mv /etc/ssh /etc/ssh.tmp
cp -R /vmfs/volumes/nfsshare1/ssh /etc/
chmod go-r /etc/ssh/ssh_host_rsa_key

# копируем ovftool, для развертывания ВМ сейчас, плюс возможно пригодится позже

cp -R /vmfs/volumes/nfsshare1/ovftool /vmfs/volumes/datastore1/

# развертываем ВМ

/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM1 /vmfs/volumes/nfsshare1/VM_T/VM1.ova vi://root:[email protected]
/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM2 /vmfs/volumes/nfsshare1/VM_T/VM2.ova vi://root:[email protected]

# получаем строку с настройками нашего сервера

ssh root@is "mysql -h'192.168.0.1' -D'servers' -u'user' -p'secretpassword' -e "SELECT ... WHERE servers.serial='$SYSSN'"" | grep -v ^$ | sed 's/NULL//g' > /tmp/servers
...
# генерируем скрипт настройки сети

echo '#!/bin/sh' > /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip interface ipv4 set -i=vmk0 -t=static --ipv4=$IPADDR --netmask=$S_SUB || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip route ipv4 add -g=$S_GW -n=default || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
chmod a+x /vmfs/volumes/datastore1/netconf.sh

# задаем параметр guestinfo.esxihost.id, указываем в нем серийный номер

echo "guestinfo.esxihost.id = "$SYSSN"" >> /vmfs/volumes/datastore1/VM1/VM1.vmx
echo "guestinfo.esxihost.id = "$SYSSN"" >> /vmfs/volumes/datastore1/VM2/VM2.vmx
...
# обновляем информацию в базе

SYSNAME=$(esxcli hardware platform get | grep Product | sed 's/Product Name://' | sed 's/^ *//')
UUID=$(vim-cmd hostsvc/hostsummary | grep uuid | sed 's/ //g;s/,$//' | sed 's/^uuid="//;s/"$//')
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e "UPDATE servers ... SET ... WHERE servers.serial='$SYSSN'""
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e "INSERT INTO events ...""

# возвращаем настройки SSH

rm -rf /etc/ssh
mv /etc/ssh.tmp /etc/ssh

# настраиваем сеть и перезагружаемся

esxcli system hostname set --fqdn=esx-${G_NICK}.x5.ru
/vmfs/volumes/datastore1/netconf.sh
reboot

Á þessu stigi er hypervisorinn settur upp og stilltur og sýndarvélar afritaðar.

Hvernig á að stilla sýndarvélar núna?

Við svindlum aðeins: meðan á uppsetningu stóð settum við færibreytuna guestinfo.esxihost.id = "$SYSSN" í VM1.vmx skránni og tilgreindum raðnúmer líkamlega netþjónsins í henni.

Nú, eftir ræsingu, hefur sýndarvélin (með vmware-tools pakkann uppsettan) aðgang að þessari færibreytu:

ESXI_SN=$(vmtoolsd --cmd "info-get guestinfo.esxihost.id")

Það er, VM mun geta auðkennt sjálfan sig (það veit raðnúmer líkamlega hýsilsins), lagt fram beiðni til gagnagrunns uppsetningarþjónsins og tekið á móti breytunum sem þarf að stilla. Þetta er allt sett saman í handrit, sem ætti að ræsa sjálfkrafa þegar guestos vm byrjar (en einu sinni: RunOnce).

Nú vitum við hvernig:

• ræstu netþjóninn í gegnum PXE;
• flytja stjórn á handritið okkar;
• auðkenna netþjóninn sem þarf að útbúa með raðnúmeri hans;
• stilla netþjóninn með því að nota viðeigandi tól;
• flytja stillingar í gagnagrunn uppsetningarþjónsins með því að nota biðlarahlutann;
• stilla ýmsar gerðir hugbúnaðar, þar á meðal að setja upp esxi hypervisor og stilla sýndarvélar (allt sjálfkrafa).

Við komumst að því hvernig:

• uppsetti þjónninn fær nauðsynlegar stillingar úr gagnagrunninum;
• öll undirbúningsframvinda er skráð í gagnagrunninn (dagskrár, atburðir, sviðsfánar).

The botn lína:

Ég tel að sérstaða þessarar lausnar felist í sveigjanleika, einfaldleika, getu og fjölhæfni.

Vinsamlegast skrifaðu í athugasemdir hvað þér finnst.

Heimild: www.habr.com