עשה זאת בעצמך בר-מטאל אספקה, או הכנה אוטומטית של שרתים מאפס

שלום, אני דניס ואחד מתחומי הפעילות שלי הוא פיתוח פתרונות תשתית ב-X5. היום אני רוצה לשתף אתכם כיצד ניתן לפרוס מערכת אוטומטית להכנת שרת המבוססת על כלים זמינים לציבור. לדעתי מדובר בפתרון מעניין, פשוט וגמיש.

בהכנה אנו מתכוונים: להפוך שרת חדש מהקופסה לשרת מוגדר במלואו עם מערכת הפעלה. לינוקס או עם היפרוויזר ESXi (הפריסה של שרתי Windows אינה נדונה במאמר זה).

תנאים:

• שרתים - שרתים שצריך להגדיר.
• שרת ההתקנה הוא השרת הראשי המספק את כל תהליך ההכנה דרך הרשת.

מדוע יש צורך באוטומציה?

נניח שיש משימה: להכין שרתים מאפס מאפס, בשיא - 30 ליום. שרתים של יצרנים ודגמים שונים, מערכות הפעלה שונות עשויות להיות מותקנות עליהם, ויכול להיות שיש לו היפרוויזר או לא.

אילו פעולות כלולות בתהליך ההגדרה (ללא אוטומציה):

• לחבר מקלדת, עכבר, צג לשרת;
• להגדיר BIOS, RAID, IPMI;
• עדכון קושחה של רכיבים;
• לפרוס תמונת מערכת קבצים (או להתקין hypervisor ולהעתיק מכונות וירטואליות);

הערה. לחלופין, פריסת מערכת ההפעלה אפשרית באמצעות התקנה עם קובץ תגובה אוטומטית. אבל זה לא נדון במאמר. למרות שתראה להלן שהוספת פונקציונליות זו אינה קשה.

• הגדר פרמטרים של מערכת ההפעלה (שם מארח, IP וכו').

בגישה זו, אותן הגדרות מבוצעות ברצף בכל שרת. היעילות של עבודה כזו נמוכה מאוד.

המהות של אוטומציה היא ביטול השתתפות אנושית מתהליך הכנת השרת. עד כמה שאפשר.

אוטומציה מפחיתה את זמן ההשבתה בין פעולות ומאפשרת לספק מספר שרתים בו זמנית. גם הסבירות לטעויות כתוצאה מגורמים אנושיים פוחתת מאוד.

כיצד מוגדרים שרתים באופן אוטומטי?

בואו ננתח את כל השלבים בפירוט.

יש לך שרת לינוקס שאתה משתמש בו כשרת התקנה של PXE. שירותים מותקנים ומוגדרים בו: DHCP, TFTP.

אז, אנו מאתחלים את השרת (שצריך להגדיר) באמצעות PXE. בואו נזכור איך זה עובד:

• אתחול רשת נבחר בשרת.
• השרת טוען את ה-PXE-ROM של כרטיס הרשת ויוצר קשר עם שרת ההתקנה באמצעות DHCP כדי לקבל כתובת רשת.
• שרת ההתקנה של DHCP מנפיק כתובת, כמו גם הוראות להורדה נוספת דרך PXE.
• השרת טוען את מאתחול הרשת משרת ההתקנה באמצעות PXE, טעינה נוספת מתרחשת בהתאם לקובץ התצורה של PXE.
• האתחול מתרחש על סמך הפרמטרים שהתקבלו (קרנל, initramfs, נקודות הרכבה, תמונת squashfs וכו').

הערה. המאמר מתאר אתחול דרך PXE דרך מצב BIOS. נכון לעכשיו, יצרנים מיישמים באופן פעיל את מצב האתחול של UEFI. עבור PXE, ההבדל יהיה בתצורה של שרת ה-DHCP ובנוכחות של טוען אתחול נוסף.

בואו נסתכל על דוגמה של תצורת שרת PXE (תפריט pxelinux).

קובץ pxelinux.cfg/default:

default menu.c32
prompt 0
timeout 100
menu title X5 PXE Boot Menu
LABEL InstallServer Menu
	MENU LABEL InstallServer
	KERNEL menu.c32
	APPEND pxelinux.cfg/installserver
LABEL VMware Menu
	MENU LABEL VMware ESXi Install
	KERNEL menu.c32
	APPEND pxelinux.cfg/vmware
LABEL toolkit // меню по умолчанию
	MENU LABEL Linux Scripting Toolkits
	MENU default
	KERNEL menu.c32
	APPEND pxelinux.cfg/toolkit // переход на следующее меню

קובץ pxelinux.cfg/toolkit:

prompt 0
timeout 100
menu title X5 PXE Boot Menu
label mainmenu
    menu label ^Return to Main Menu
    kernel menu.c32
    append pxelinux.cfg/default
label x5toolkit-auto // по умолчанию — автоматический режим
        menu label x5 toolkit autoinstall
        menu default
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tk-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh CMDIS2=”…”
label x5toolkit-shell // для отладки - консоль
        menu label x5 toolkit shell
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tkcustom-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash CMDIS2=”…”

הקרנל וה-initramfs בשלב זה הם תמונת לינוקס ביניים, בעזרתה תתבצע ההכנה והקונפיגורציה העיקרית של השרת.

כפי שאתה יכול לראות, טוען האתחול מעביר פרמטרים רבים לקרנל. חלק מהפרמטרים הללו משמשים את הקרנל עצמו. ואנחנו יכולים להשתמש בחלק למטרות שלנו. זה יידון בהמשך, אבל לעת עתה אתה יכול פשוט לזכור שכל הפרמטרים שעברו יהיו זמינים בתמונת לינוקס הביניים דרך /proc/cmdline.

איפה אני יכול להשיג אותם, קרנל ו-initramfs?
כבסיס, אתה יכול לבחור כל הפצת לינוקס. למה אנחנו שמים לב בבחירה:

• תמונת האתחול חייבת להיות אוניברסלית (זמינות מנהלי התקנים, יכולת להתקין כלי עזר נוספים);
• סביר להניח שתצטרך להתאים אישית את initramfs.

איך זה נעשה בפתרון שלנו עבור X5? כבסיס נבחר CentOS 7. בואו ננסה את הטריק הבא: הכינו את מבנה התמונה העתידי, ארזו אותו לארכיון ויצירת initramfs שבתוכו יהיה ארכיון מערכת הקבצים שלנו. בעת טעינת התמונה, הארכיון יורחב למחיצת tmpfs שנוצרה. כך נקבל תמונת לינוקס חיה מינימלית אך מלאה עם כל הכלים הדרושים, המורכבת משני קבצים בלבד: vmkernel ו-initramfs.

#создаем директории: 

mkdir -p /tftpboot/toolkit/CustomTK/rootfs /tftpboot/toolkit/CustomTK/initramfs/bin

#подготавливаем структуру:

yum groups -y install "Minimal Install" --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y install nfs-utils mariadb ntpdate mtools syslinux mdadm tbb libgomp efibootmgr dosfstools net-tools pciutils openssl make ipmitool OpenIPMI-modalias rng-tools --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y remove biosdevname --installroot=/tftpboot/toolkit/CustomTK/rootfs/

# подготавливаем initramfs:

wget https://busybox.net/downloads/binaries/1.31.0-defconfig-multiarch-musl/busybox-x86_64 -O /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
chmod a+x /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
cp /tftpboot/toolkit/CustomTK/rootfs/boot/vmlinuz-3.10.0-957.el7.x86_64 /tftpboot/toolkit/tkcustom-kernel

# создаем /tftpboot/toolkit/CustomTK/initramfs/init (ниже содержание скрипта):

#!/bin/busybox sh
/bin/busybox --install /bin
mkdir -p /dev /proc /sys /var/run /newroot
mount -t proc proc /proc
mount -o mode=0755 -t devtmpfs devtmpfs /dev
mkdir -p /dev/pts /dev/shm /dev/mapper /dev/vc
mount -t devpts -o gid=5,mode=620 devpts /dev/pts
mount -t sysfs sysfs /sys
mount -t tmpfs -o size=4000m tmpfs /newroot
echo -n "Extracting rootfs... "
xz -d -c -f rootfs.tar.xz | tar -x -f - -C /newroot
echo "done"
mkdir -p /newroot/dev /newroot/proc /newroot/sys
mount --move /sys  /newroot/sys
mount --move /proc /newroot/proc
mount --move /dev  /newroot/dev
exec switch_root /newroot /sbin/init

# упаковываем rootfs и initramfs:

cd /tftpboot/toolkit/CustomTK/rootfs
tar cJf /tftpboot/toolkit/CustomTK/initramfs/rootfs.tar.xz --exclude ./proc --exclude ./sys --exclude ./dev .
cd /tftpboot/toolkit/CustomTK/initramfs
find . -print0 | cpio --null -ov --format=newc | gzip -9 > /tftpboot/toolkit/tkcustom-initramfs-new.gz

אז ציינו את הליבה וה-initramfs שיש לטעון. כתוצאה מכך, בשלב זה, על ידי טעינת תמונת הלינוקס הביניים דרך PXE, נקבל את קונסולת מערכת ההפעלה.

נהדר, אבל עכשיו אנחנו צריכים להעביר את השליטה ל"אוטומציה" שלנו.

אפשר לעשות את זה ככה.

נניח שלאחר טעינת התמונה אנו מתכננים להעביר את השליטה לסקריפט mount.sh.
בואו נכלול את הסקריפט mount.sh בהפעלה אוטומטית. כדי לעשות זאת תצטרך לשנות את initramfs:

• פרק את initramfs (אם אנו משתמשים באפשרות initramfs לעיל, זה לא נדרש)
• כלול קוד בהפעלה שינתח את הפרמטרים שהועברו דרך /proc/cmdline ויעביר את השליטה הלאה;
• לארוז initramfs.

הערה. במקרה של ערכת הכלים X5, בקרת הטעינה מועברת לסקריפט /opt/x5/toolkit/bin/hook.sh с помощью override.conf в getty tty1 (ExecStart=…)

אז, התמונה נטענת, שבה הסקריפט mount.sh מתחיל בהפעלה אוטומטית. לאחר מכן, הסקריפט mount.sh מנתח את הפרמטרים שעברו (script_cmd=) במהלך הביצוע ומפעיל את התוכנית/הסקריפט הדרוש.

ערכת כלים לתווית-המכונית
גַרעִין...
append...nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh

ערכת כלים לתווית-פָּגָז
גַרעִין...
append...nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash

כאן משמאל נמצא תפריט PXE, מימין תרשים העברת הבקרה.

הבנו את העברת השליטה. בהתאם לבחירת תפריט ה-PXE, מופעל או סקריפט התצורה האוטומטית או קונסולת ניפוי הבאגים.

במקרה של תצורה אוטומטית, הספריות הדרושות נטענות משרת ההתקנה, המכילות:

• תסריטים;
• תבניות BIOS/UEFI שמורות עבור שרתים שונים;
• קושחה;
• כלי עזר לשרת;
• יומנים

לאחר מכן, הסקריפט mount.sh מעביר את השליטה לסקריפט master-install.sh מספריית הסקריפטים.

עץ הסקריפטים (הסדר שבו הם מופעלים) נראה בערך כך:

• מאסטר-התקנה
• פונקציות שיתוף (פונקציות משותפות)
• מידע (פלט מידע)
• מודלים (הגדרת פרמטרי התקנה על סמך דגם השרת)
• prepare_utils (התקנה של כלי עזר נחוצים)
• fwupdate (עדכון קושחה)
• diag (אבחון יסודי)
• biosconf (הגדרות BIOS/UEFI)
• תיקון שעון (הגדרת השעה בלוח האם)
• srmconf (תצורת ממשק מרוחק)
• raidconf (הגדרת אמצעי אחסון לוגיים)

אחד מ:

• התקנה מוקדמת (העברת שליטה למערכת ההפעלה או למתקין ה-Hypervisor, כגון ESXi)
• מיזוג-התקנה (התחלה מיידית של פירוק התמונה)

עכשיו אנחנו יודעים:

• כיצד לאתחל שרת באמצעות PXE;
• כיצד להעביר שליטה לתסריט משלך.

בוא נמשיך. השאלות הבאות הפכו רלוונטיות:

• כיצד לזהות את השרת שאנו מכינים?
• אילו כלי עזר וכיצד להגדיר את השרת?
• איך מקבלים הגדרות עבור שרת ספציפי?

כיצד לזהות את השרת שאנו מכינים?

זה פשוט - DMI:

dmidecode –s system-product-name
dmidecode –s system-manufacturer
dmidecode –s system-serial-number

כל מה שאתה צריך נמצא כאן: ספק, דגם, מספר סידורי. אם אינך בטוח שמידע זה קיים בכל השרתים, תוכל לזהות אותם לפי כתובת ה-MAC שלהם. או בשתי הדרכים בו זמנית, אם ספקי השרתים שונים ובדגמים מסוימים פשוט אין מידע על המספר הסידורי.

בהתבסס על המידע המתקבל, תיקיות רשת מותקנות משרת ההתקנה וכל הדרוש נטען (כלי עזר, קושחה וכו').

אילו כלי עזר וכיצד להגדיר את השרת?

אני אספק כלי עזר עבור לינוקס עבור יצרנים מסוימים. כל כלי השירות זמינים באתרים הרשמיים של הספקים.

עם הקושחה, אני חושב שהכל ברור. הם בדרך כלל מגיעים בצורה של קבצי הפעלה ארוזים. קובץ ההפעלה שולט בתהליך עדכון הקושחה ומדווח על קוד ההחזרה.

BIOS ו-IPMI מוגדרים בדרך כלל באמצעות תבניות. במידת הצורך, ניתן לערוך את התבנית לפני ההורדה.

ניתן להגדיר כלי עזר ל-RAID מספקים מסוימים גם באמצעות תבנית. אם זה לא המקרה, תצטרך לכתוב סקריפט תצורה.

ההליך להגדרת RAID הוא לרוב כדלקמן:

• אנו מבקשים את התצורה הנוכחית.
• אם כבר יש מערכים לוגיים, אנחנו מוחקים אותם.
• בואו נסתכל אילו דיסקים פיזיים קיימים וכמה יש.
• צור מערך לוגי חדש. אנו מפסיקים את התהליך במקרה של שגיאה.

איך מקבלים הגדרות עבור שרת ספציפי?

נניח שההגדרות של כל השרתים יאוחסנו בשרת ההתקנה. במקרה זה, כדי לענות על השאלה שלנו, ראשית עלינו להחליט כיצד להעביר את ההגדרות לשרת ההתקנה.

בהתחלה, אתה יכול להסתדר עם קבצי טקסט. (בעתיד, ייתכן שתרצה להשתמש בקובץ טקסט כשיטה חזרה להעברת הגדרות.)

אתה יכול "לשתף" קובץ טקסט בשרת ההתקנה. והוסיפו את ה-mount שלו לסקריפט mount.sh.

השורות, למשל, ייראו כך:

<מספר סידורי> <שם מארח> <רשת משנה>

שורות אלו יועברו לתיק על ידי המהנדס ממכונת העבודה שלו. ולאחר מכן, בעת הגדרת שרת, הפרמטרים של שרת ספציפי יקראו מהקובץ.

אבל, בטווח הארוך, עדיף להשתמש במסד נתונים כדי לאחסן הגדרות, מצבים ויומנים של התקנות שרתים.

כמובן שבסיס נתונים לבדו לא מספיק, ותצטרכו ליצור חלק לקוח בעזרתו יועברו הגדרות למסד הנתונים. זה יותר קשה ליישם בהשוואה לקובץ טקסט, אבל למעשה, הכל לא קשה כמו שזה נראה. זה בהחלט אפשרי לכתוב גרסה מינימלית של לקוח שפשוט תעביר נתונים למסד הנתונים בעצמך. ובעתיד ניתן יהיה לשפר את תוכנת הלקוח במצב חינמי (דוחות, הדפסת תוויות, שליחת הודעות וכו' שעולה על הדעת).

באמצעות פנייה ספציפית למסד הנתונים וציון המספר הסידורי של השרת, נקבל את הפרמטרים הדרושים להגדרת השרת.

בנוסף, לא נצטרך להמציא מנעולים לגישה בו זמנית, כפי שקורה בקובץ טקסט.

נוכל לכתוב את יומן התצורה למאגר בכל השלבים ולשלוט בתהליך ההתקנה באמצעות אירועים ודגלים של שלבי ההכנה.

עכשיו אנחנו יודעים איך:

• אתחול השרת באמצעות PXE;
• להעביר את השליטה לתסריט שלנו;
• לזהות את השרת שיש להכין לפי המספר הסידורי שלו;
• להגדיר את השרת באמצעות כלי השירות המתאימים;
• העברת הגדרות למסד הנתונים של שרת ההתקנה באמצעות חלק הלקוח.

גילינו איך:

• השרת המותקן מקבל את ההגדרות הדרושות ממסד הנתונים;
• כל התקדמות ההכנה מתועדת במסד הנתונים (יומנים, אירועים, דגלי במה).

מה לגבי סוגי התוכנה השונים שאתה מתקין? כיצד להתקין hypervisor, להעתיק VM ולהגדיר את הכל?

במקרה של פריסת תמונת מערכת קבצים (לינוקס) לחומרה, הכל די פשוט:

• לאחר הגדרת כל רכיבי השרת, אנו פורסים את התמונה.
• התקן את טוען האתחול grub.
• אנו כורטים ומגדירים את כל מה שצריך.

כיצד להעביר את השליטה למתקין מערכת ההפעלה (באמצעות ESXi כדוגמה).

• אנו מארגנים את העברת השליטה מהסקריפט שלנו למתקין ה-Hypervisor באמצעות קובץ התגובה האוטומטית (kickstart):
• אנו מוחקים את המחיצות הנוכחיות בדיסק.
• צור מחיצה בגודל של 500MB.
• אנו מסמנים אותו כניתן לאתחול.
• פורמט ל-FAT32.
• אנו מעתיקים את קבצי ההתקנה של ESXi לשורש.
• התקנת syslinux.
• העתק את syslinux.cfg אל /syslinux/

default esxi
prompt 1
timeout 50
label esxi
kernel mboot.c32
append -c boot.cfg

• העתק את mboot.c32 ל-/syslinux.
• ל-boot.cfg צריך להיות kernelopt=ks=ftp:// /ks_esxi.cfg
• אנו מאתחלים את השרת.

לאחר אתחול השרת, מתקין ה-ESXi יוריד מהכונן הקשיח של השרת. כל קבצי ההתקנה הדרושים ייטענו לזיכרון ולאחר מכן תתחיל התקנת ESXi, בהתאם לקובץ התגובה האוטומטית שצוין.

הנה כמה שורות מקובץ התגובה האוטומטית ks_esxi.cfg:

%firstboot --interpreter=busybox
…
# получаем серийный номер

SYSSN=$(esxcli hardware platform get | grep Serial | awk -F " " '{print $3}')

# получаем IP

IPADDRT=$(esxcli network ip interface ipv4 get | grep vmk0 | awk -F " " '{print $2}')
LAST_OCTET=$(echo $IPADDRT | awk -F'.' '{print $4}')

# подключаем NFS инсталл-сервера

esxcli storage nfs add -H is -s /srv/nfs_share -v nfsshare1

# копируем временные настройки ssh, для использования ssh-клиента

mv /etc/ssh /etc/ssh.tmp
cp -R /vmfs/volumes/nfsshare1/ssh /etc/
chmod go-r /etc/ssh/ssh_host_rsa_key

# копируем ovftool, для развертывания ВМ сейчас, плюс возможно пригодится позже

cp -R /vmfs/volumes/nfsshare1/ovftool /vmfs/volumes/datastore1/

# развертываем ВМ

/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM1 /vmfs/volumes/nfsshare1/VM_T/VM1.ova vi://root:[email protected]
/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM2 /vmfs/volumes/nfsshare1/VM_T/VM2.ova vi://root:[email protected]

# получаем строку с настройками нашего сервера

ssh root@is "mysql -h'192.168.0.1' -D'servers' -u'user' -p'secretpassword' -e "SELECT ... WHERE servers.serial='$SYSSN'"" | grep -v ^$ | sed 's/NULL//g' > /tmp/servers
...
# генерируем скрипт настройки сети

echo '#!/bin/sh' > /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip interface ipv4 set -i=vmk0 -t=static --ipv4=$IPADDR --netmask=$S_SUB || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip route ipv4 add -g=$S_GW -n=default || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
chmod a+x /vmfs/volumes/datastore1/netconf.sh

# задаем параметр guestinfo.esxihost.id, указываем в нем серийный номер

echo "guestinfo.esxihost.id = "$SYSSN"" >> /vmfs/volumes/datastore1/VM1/VM1.vmx
echo "guestinfo.esxihost.id = "$SYSSN"" >> /vmfs/volumes/datastore1/VM2/VM2.vmx
...
# обновляем информацию в базе

SYSNAME=$(esxcli hardware platform get | grep Product | sed 's/Product Name://' | sed 's/^ *//')
UUID=$(vim-cmd hostsvc/hostsummary | grep uuid | sed 's/ //g;s/,$//' | sed 's/^uuid="//;s/"$//')
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e "UPDATE servers ... SET ... WHERE servers.serial='$SYSSN'""
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e "INSERT INTO events ...""

# возвращаем настройки SSH

rm -rf /etc/ssh
mv /etc/ssh.tmp /etc/ssh

# настраиваем сеть и перезагружаемся

esxcli system hostname set --fqdn=esx-${G_NICK}.x5.ru
/vmfs/volumes/datastore1/netconf.sh
reboot

בשלב זה, ה-Hypervisor מותקן ומוגדר, ומכונות וירטואליות מועתקות.

כיצד להגדיר מכונות וירטואליות כעת?

רימיתנו קצת: במהלך ההתקנה הגדרנו את הפרמטר guestinfo.esxihost.id = "$SYSSN" בקובץ VM1.vmx וציינו את המספר הסידורי של השרת הפיזי שבו.

כעת, לאחר ההפעלה, המחשב הוירטואלי (עם חבילת vmware-tools מותקנת) יכול לגשת לפרמטר זה:

ESXI_SN=$(vmtoolsd --cmd "info-get guestinfo.esxihost.id")

כלומר, ה-VM יוכל לזהות את עצמו (הוא יודע את המספר הסידורי של המארח הפיזי), לבצע בקשה למסד הנתונים של שרת ההתקנה ולקבל את הפרמטרים שצריך להגדיר. כל זה מורכב לתוך סקריפט, שאמור להיות מופעל אוטומטית כאשר guestos vm מתחיל (אבל פעם אחת: RunOnce).

עכשיו אנחנו יודעים איך:

• אתחול השרת באמצעות PXE;
• להעביר את השליטה לתסריט שלנו;
• לזהות את השרת שיש להכין לפי המספר הסידורי שלו;
• להגדיר את השרת באמצעות כלי השירות המתאימים;
• העברת הגדרות למסד הנתונים של שרת ההתקנה באמצעות חלק הלקוח;
• להגדיר סוגים שונים של תוכנות, כולל פריסת ה-esxi hypervisor והגדרת מכונות וירטואליות (הכל באופן אוטומטי).

גילינו איך:

• השרת המותקן מקבל את ההגדרות הדרושות ממסד הנתונים;
• כל התקדמות ההכנה מתועדת במסד הנתונים (יומנים, אירועים, דגלי במה).

השורה התחתונה:

אני מאמין שייחודו של פתרון זה טמון בגמישות, בפשטות, ביכולות וברבגוניות שלו.

אנא כתבו בתגובות מה דעתכם.

מקור: www.habr.com