طراحی مرکز داده مجازی

معرفی

یک سیستم اطلاعاتی از دیدگاه کاربر در GOST RV 51987 به خوبی تعریف شده است - "یک سیستم خودکار که نتیجه آن ارائه اطلاعات خروجی برای استفاده بعدی است." اگر ساختار داخلی را در نظر بگیریم، در اصل هر IS یک سیستم از الگوریتم های به هم پیوسته است که در کد پیاده سازی شده است. در مفهوم گسترده ای از تز تورینگ-چرچ، یک الگوریتم (یا IS) مجموعه ای از داده های ورودی را به مجموعه ای از داده های خروجی تبدیل می کند.
حتی می توان گفت که تبدیل داده های ورودی به معنای وجود یک سیستم اطلاعاتی است. بر این اساس، ارزش IS و کل مجموعه IS از طریق مقدار داده های ورودی و خروجی تعیین می شود.
با در نظر گرفتن این موضوع، طراحی باید شروع شود و مبتنی بر داده باشد و معماری و روش‌ها را با ساختار و اهمیت داده‌ها تطبیق دهد.

اطلاعات ذخیره شده
یک مرحله کلیدی در آماده سازی برای طراحی، به دست آوردن ویژگی های تمام مجموعه داده های برنامه ریزی شده برای پردازش و ذخیره سازی است. این ویژگی ها عبارتند از:
- حجم داده ها؛
- اطلاعات در مورد چرخه عمر داده ها (رشد داده های جدید، طول عمر، پردازش داده های قدیمی).
- طبقه بندی داده ها از نقطه نظر تأثیر بر تجارت اصلی شرکت (سه گانه محرمانه بودن، یکپارچگی، در دسترس بودن) همراه با شاخص های مالی (به عنوان مثال، هزینه از دست دادن داده ها در آخرین ساعت).
- جغرافیای پردازش داده ها (محل فیزیکی سیستم های پردازش)؛
- الزامات نظارتی برای هر کلاس داده (به عنوان مثال، قانون فدرال-152، PCI DSS).

سیستم های اطلاعاتی

داده ها نه تنها ذخیره می شوند، بلکه توسط سیستم های اطلاعاتی پردازش (تبدیل) می شوند. گام بعدی پس از به دست آوردن ویژگی های داده، کامل ترین موجودی سیستم های اطلاعاتی، ویژگی های معماری، وابستگی های متقابل و نیازمندی های زیرساختی در واحدهای معمولی برای چهار نوع منبع است:
- قدرت محاسباتی پردازنده؛
- مقدار RAM؛
- الزامات حجم و عملکرد سیستم ذخیره سازی داده ها؛
- الزامات برای شبکه انتقال داده (کانال های خارجی، کانال های بین اجزای IS).
در این مورد، باید برای هر سرویس/خدمات میکرو به عنوان بخشی از IS الزاماتی وجود داشته باشد.
به طور جداگانه، لازم به ذکر است که برای طراحی صحیح، در دسترس بودن داده ها در مورد تأثیر IS بر کسب و کار اصلی شرکت در قالب هزینه از کار افتادگی IS (روبل در ساعت) اجباری است.

مدل تهدید

باید یک مدل رسمی از تهدیدها وجود داشته باشد که از آن برای محافظت از داده ها/خدمات برنامه ریزی شده باشد. علاوه بر این، مدل تهدید نه تنها جنبه های محرمانه بودن، بلکه یکپارچگی و در دسترس بودن را نیز شامل می شود. آن ها مثلا:
- خرابی سرور فیزیکی؛
- خرابی سوئیچ بالای قفسه؛
- اختلال در کانال ارتباطی نوری بین مراکز داده؛
- خرابی کل سیستم ذخیره سازی عملیاتی.
در برخی موارد، مدل‌های تهدید نه تنها برای اجزای زیرساخت، بلکه برای سیستم‌های اطلاعاتی خاص یا اجزای آنها نیز نوشته می‌شوند، مانند خرابی DBMS با تخریب منطقی ساختار داده.
تمام تصمیمات در پروژه برای محافظت در برابر یک تهدید توصیف نشده غیر ضروری است.

ملزومات قانونی

اگر داده‌های در حال پردازش تابع قوانین خاصی باشد که توسط تنظیم‌کننده‌ها وضع شده است، اطلاعات مربوط به مجموعه داده‌ها و قوانین پردازش/ذخیره‌سازی مورد نیاز است.

اهداف RPO/RTO

طراحی هر نوع حفاظتی مستلزم داشتن شاخص های هدف از دست دادن داده و زمان بازیابی سرویس هدف برای هر یک از تهدیدات توصیف شده است.
در حالت ایده‌آل، RPO و RTO باید هزینه‌های مرتبط با از دست دادن داده و زمان خرابی را در واحد زمان داشته باشند.

تقسیم به استخرهای منابع

پس از جمع آوری تمام اطلاعات ورودی اولیه، اولین مرحله گروه بندی مجموعه داده ها و IP در استخرها بر اساس مدل های تهدید و الزامات قانونی است. نوع تقسیم بندی استخرهای مختلف - به صورت برنامه نویسی در سطح نرم افزار سیستم یا به صورت فیزیکی تعیین می شود.
مثال:
- مدار پردازش داده های شخصی کاملاً از نظر فیزیکی از سایر سیستم ها جدا شده است.
- نسخه های پشتیبان در یک سیستم ذخیره سازی جداگانه ذخیره می شوند.

در این حالت، استخرها می توانند به طور ناقص مستقل باشند، به عنوان مثال، دو مخزن از منابع محاسباتی تعریف شده است (قدرت پردازنده + رم) که از یک مخزن ذخیره داده واحد و یک مخزن منبع انتقال داده استفاده می کنند.

قدرت پردازش

چکیده، نیازهای قدرت پردازش یک مرکز داده مجازی شده بر حسب تعداد پردازنده‌های مجازی (vCPU) و نسبت تجمیع آن‌ها بر روی پردازنده‌های فیزیکی (pCPU) اندازه‌گیری می‌شوند. در این مورد خاص، 1 pCPU = 1 هسته پردازشگر فیزیکی (به استثنای Hyper-Threading). تعداد vCPU ها در تمام منابع تعریف شده جمع می شود (که هر کدام می توانند ضریب تلفیق خود را داشته باشند).
ضریب تثبیت برای سیستم های بارگذاری شده به صورت تجربی، بر اساس زیرساخت های موجود، یا از طریق نصب آزمایشی و آزمایش بار به دست می آید. برای سیستم های بدون بار، "بهترین عمل" استفاده می شود. به طور خاص، VMware نسبت متوسط ​​را 8:1 ذکر می کند.

حافظه عملیاتی

کل مورد نیاز RAM با جمع بندی ساده به دست می آید. استفاده از اشتراک بیش از حد RAM توصیه نمی شود.

منابع ذخیره سازی

الزامات ذخیره سازی صرفاً با جمع کردن همه استخرها بر اساس ظرفیت و عملکرد به دست می آید.
الزامات عملکرد در IOPS همراه با میانگین نسبت خواندن/نوشتن و در صورت لزوم حداکثر تأخیر پاسخ بیان می‌شود.
الزامات کیفیت خدمات (QoS) برای استخرها یا سیستم های خاص باید به طور جداگانه مشخص شود.

منابع شبکه داده

الزامات شبکه داده به سادگی با جمع کردن تمام استخرهای پهنای باند به دست می آید.
الزامات کیفیت خدمات (QoS) و تأخیر (RTT) برای استخرها یا سیستم های خاص باید به طور جداگانه مشخص شود.
به عنوان بخشی از الزامات منابع شبکه داده، الزامات برای جداسازی و/یا رمزگذاری ترافیک شبکه و مکانیسم های ترجیحی (802.1q، IPSec و غیره) نیز نشان داده شده است.

انتخاب معماری

این راهنما هیچ انتخاب دیگری به جز معماری x86 و مجازی سازی 100% سرور را مورد بحث قرار نمی دهد. بنابراین، انتخاب معماری زیرسیستم محاسباتی به انتخاب پلتفرم مجازی سازی سرور، فاکتور فرم سرور و الزامات کلی پیکربندی سرور بستگی دارد.

نکته کلیدی انتخاب، اطمینان از استفاده از یک رویکرد کلاسیک با جداسازی عملکردهای پردازش، ذخیره و انتقال داده یا یک رویکرد همگرا است.

معماری کلاسیک شامل استفاده از زیرسیستم های خارجی هوشمند برای ذخیره و انتقال داده ها می شود، در حالی که سرورها فقط قدرت پردازش و RAM را به مخزن مشترک منابع فیزیکی کمک می کنند. در موارد شدید، سرورها کاملاً ناشناس می شوند و نه تنها دیسک های خود را دارند، بلکه حتی یک شناسه سیستم ندارند. در این مورد، سیستم عامل یا هایپروایزر از رسانه فلش داخلی یا از یک سیستم ذخیره سازی اطلاعات خارجی (بوت از SAN) بارگیری می شود.
در چارچوب معماری کلاسیک، انتخاب بین تیغه ها و قفسه ها اساساً بر اساس اصول زیر انجام می شود:
- مقرون به صرفه (به طور متوسط، سرورهای Rack-mount ارزان تر هستند).
- چگالی محاسباتی (برای تیغه ها بیشتر)؛
- مصرف انرژی و اتلاف گرما (تیغه ها واحد ویژه بالاتری در هر واحد دارند).
— مقیاس پذیری و کنترل پذیری (تیغه ها معمولاً برای نصب های بزرگ به تلاش کمتری نیاز دارند).
- استفاده از کارت های توسعه (انتخاب بسیار محدود برای تیغه ها).
معماری همگرا (همچنین به عنوان شناخته شده است بیش از حد همگرا) شامل ترکیب عملکردهای پردازش و ذخیره سازی داده ها است که منجر به استفاده از دیسک های سرور محلی و در نتیجه کنار گذاشتن فاکتور شکل کلاسیک تیغه می شود. برای سیستم های همگرا، از سرورهای رک یا سیستم های خوشه ای استفاده می شود که چندین سرور تیغه ای و دیسک محلی را در یک مورد واحد ترکیب می کنند.

CPU/حافظه

برای محاسبه صحیح پیکربندی، باید نوع بار برای محیط یا هر یک از خوشه های مستقل را بدانید.
CPU محدود شده است - محیطی که از نظر عملکرد توسط قدرت پردازنده محدود شده است. افزودن رم از نظر عملکرد (تعداد VM در هر سرور) چیزی را تغییر نمی دهد.
محدود به حافظه - محیط محدود شده توسط RAM. رم بیشتر روی سرور به شما امکان می دهد ماشین های مجازی بیشتری را روی سرور اجرا کنید.
GB / MHz (GB / pCPU) - نسبت متوسط ​​مصرف RAM و قدرت پردازنده توسط این بار خاص. می توان از آن برای محاسبه مقدار حافظه مورد نیاز برای یک عملکرد معین و بالعکس استفاده کرد.

محاسبه پیکربندی سرور

ابتدا، شما باید انواع بار را تعیین کنید و در مورد ترکیب یا تقسیم استخرهای محاسباتی مختلف به خوشه‌های مختلف تصمیم بگیرید.
در مرحله بعد، برای هر یک از خوشه های تعریف شده، نسبت GB / MHz در یک بار شناخته شده از قبل تعیین می شود. اگر بار از قبل مشخص نیست، اما درک تقریبی از میزان استفاده از توان پردازنده وجود دارد، می‌توانید از نسبت‌های استاندارد vCPU:pCPU برای تبدیل نیازمندی‌های استخر به نسبت‌های فیزیکی استفاده کنید.

برای هر خوشه، مجموع نیازهای استخر vCPU را بر ضریب تقسیم کنید:
vCPUsum / vCPU:pCPU = pCPUsum - تعداد واحدهای فیزیکی مورد نیاز. هسته ها
pCPUsum / 1.25 = pCPUht - تعداد هسته های تنظیم شده برای Hyper-Threading
بیایید فرض کنیم که محاسبه یک خوشه با 190 هسته / 3.5 ترابایت RAM ضروری است. در عین حال، ما یک بار هدف 50٪ از قدرت پردازنده و 75٪ از RAM را می پذیریم.

pCPU
190
CPU Util
٪۱۰۰

یادداشت
3500
ابزار Mem
٪۱۰۰

پریز
هسته
Srv/CPU
Srv Mem
Srv/Mem

2
6
25,3
128
36,5

2
8
19,0
192
24,3

2
10
15,2
256
18,2

2
14
10,9
384
12,2

2
18
8,4
512
9,1

در این مورد، ما همیشه از گرد کردن به نزدیکترین عدد صحیح (=ROUNDUP(A1;0)) استفاده می کنیم.
از جدول مشخص می شود که چندین پیکربندی سرور برای شاخص های هدف متعادل هستند:
— 26 سرور 2*6c / 192 گیگابایت
— 19 سرور 2*10c / 256 گیگابایت
— 10 سرور 2*18c / 512 گیگابایت

سپس انتخاب این پیکربندی ها باید بر اساس عوامل اضافی مانند بسته حرارتی و خنک کننده موجود، سرورهای استفاده شده از قبل یا هزینه انجام شود.

ویژگی های انتخاب پیکربندی سرور

ماشین های مجازی گسترده اگر نیاز به میزبانی ماشین های مجازی گسترده (مقایسه با 1 گره NUMA یا بیشتر) باشد، توصیه می شود، در صورت امکان، سروری با پیکربندی انتخاب کنید که به این ماشین های مجازی اجازه می دهد در گره NUMA باقی بمانند. با تعداد زیاد ماشین های مجازی گسترده، خطر تکه تکه شدن منابع خوشه ای وجود دارد و در این حالت سرورهایی انتخاب می شوند که اجازه می دهند ماشین های مجازی گسترده تا حد امکان متراکم قرار گیرند.

اندازه دامنه شکست واحد.

انتخاب اندازه سرور نیز بر اساس اصل به حداقل رساندن دامنه شکست منفرد است. به عنوان مثال، هنگام انتخاب بین:
— 3 x 4*10c / 512 گیگابایت
— 6 x 2*10c / 256 گیگابایت
همه چیزهای دیگر برابر هستند، باید گزینه دوم را انتخاب کنید، زیرا وقتی یک سرور از کار می افتد (یا در حال نگهداری است)، نه 33٪ از منابع کلاستر، بلکه 17٪ از بین می رود. به همین ترتیب تعداد VM ها و IS های متاثر از تصادف به نصف کاهش می یابد.

محاسبه سیستم های ذخیره سازی کلاسیک بر اساس عملکرد

سیستم های ذخیره سازی کلاسیک همیشه با استفاده از بدترین سناریو محاسبه می شوند، به استثنای تأثیر حافظه پنهان عملیاتی و بهینه سازی عملیات.
به عنوان شاخص های اصلی عملکرد، عملکرد مکانیکی را از دیسک (IOPSdisk) می گیریم:
– 7.2k – 75 IOPS
– 10k – 125 IOPS
– 15k – 175 IOPS

در مرحله بعد، تعداد دیسک های موجود در مخزن دیسک با استفاده از فرمول زیر محاسبه می شود: = TotalIOPS * (RW + (1 –RW) * RAIDPen) / IOPSdisk. جایی که:
- TotalIOPS - کل عملکرد مورد نیاز در IOPS از استخر دیسک
- RW - درصد عملیات خواندن
- قلم RAID - جریمه RAID برای سطح RAID انتخاب شده

اطلاعات بیشتر در مورد RAID دستگاه و مجازات RAID را در اینجا بخوانید - عملکرد ذخیره سازی بخش اول. и عملکرد ذخیره سازی بخش دوم. и عملکرد ذخیره سازی قسمت سوم

بر اساس تعداد دیسک‌های حاصل، گزینه‌های ممکنی محاسبه می‌شوند که نیازهای ظرفیت ذخیره‌سازی را برآورده می‌کنند، از جمله گزینه‌هایی با ذخیره‌سازی چند سطحی.
محاسبه سیستم هایی که از SSD به عنوان لایه ذخیره سازی استفاده می کنند به طور جداگانه در نظر گرفته می شود.
ویژگی های سیستم های محاسبه با Flash Cache

حافظه پنهان فلش – یک نام مشترک برای تمام فناوری های اختصاصی برای استفاده از حافظه فلش به عنوان کش سطح دوم. هنگام استفاده از حافظه نهان فلش، سیستم ذخیره سازی معمولاً برای ارائه بار ثابت از دیسک های مغناطیسی محاسبه می شود، در حالی که پیک توسط حافظه پنهان ارائه می شود.
در این مورد، لازم است مشخصات بار و میزان محلی سازی دسترسی به بلوک های حجم ذخیره سازی را درک کنید. حافظه پنهان فلش یک فناوری برای بارهای کاری با پرس و جوهای بسیار بومی سازی شده است و عملاً برای حجم های بارگذاری شده یکنواخت (مانند سیستم های تحلیلی) قابل استفاده نیست.

محاسبه سیستم های هیبریدی رده پایین/میان رده

سیستم‌های ترکیبی طبقات پایین و متوسط ​​از ذخیره‌سازی چند سطحی با داده‌ها در حال حرکت بین سطوح بر اساس یک برنامه زمان‌بندی استفاده می‌کنند. در عین حال، اندازه بلوک ذخیره سازی چند سطحی برای بهترین مدل ها 256 مگابایت است. این ویژگی‌ها به ما اجازه نمی‌دهند که فناوری ذخیره‌سازی لایه‌ای را فناوری افزایش بهره‌وری بدانیم، همانطور که بسیاری از مردم به اشتباه معتقدند. ذخیره سازی چند سطحی در سیستم های طبقه پایین و متوسط، یک فناوری برای بهینه سازی هزینه های ذخیره سازی برای سیستم هایی با ناهمواری بار مشخص است.

برای ذخیره سازی طبقه ای، ابتدا عملکرد لایه بالایی محاسبه می شود، در حالی که لایه پایین ذخیره سازی تنها به ظرفیت ذخیره سازی از دست رفته کمک می کند. برای یک سیستم چند لایه هیبریدی، استفاده از فناوری حافظه پنهان فلش برای استخر چند لایه به منظور جبران کاهش عملکرد برای داده های گرم شده ناگهانی از سطح پایین اجباری است.

استفاده از SSD در یک مخزن دیسک ردیفی

استفاده از SSD در یک مخزن دیسک چند سطحی، بسته به اجرای خاص الگوریتم‌های کش فلش توسط یک سازنده مشخص، دارای تغییراتی است.
روش کلی سیاست ذخیره سازی برای یک دیسک استخر با سطح SSD ابتدا SSD است.
فقط کش فلش را بخوانید. برای یک حافظه کش فلش فقط خواندنی، لایه ذخیره سازی روی SSD با محلی سازی قابل توجهی از نوشته ها، صرف نظر از حافظه نهان، همراه است.
خواندن/نوشتن حافظه پنهان فلش. در مورد حافظه نهان فلش، اندازه کش نوشتن ابتدا روی حداکثر اندازه حافظه پنهان تنظیم می شود و لایه ذخیره سازی SSD تنها زمانی ظاهر می شود که اندازه کش برای سرویس دهی به کل بار کاری محلی کافی نباشد.
محاسبات عملکرد SSD و حافظه نهان هر بار بر اساس توصیه های سازنده انجام می شود، اما همیشه برای بدترین حالت ممکن.

منبع: www.habr.com