Виртуелизиран дизајн на центарот за податоци

Вовед

Информацискиот систем од гледна точка на корисникот е добро дефиниран во ГОСТ РВ 51987 - „автоматизиран систем, чиј резултат е презентација на излезни информации за последователна употреба“. Ако ја земеме предвид внатрешната структура, тогаш во суштина која било ИС е систем на меѓусебно поврзани алгоритми имплементирани во код. Во широка смисла на тезата Тјуринг-Црч, алгоритам (или IS) трансформира збир на влезни податоци во збир на излезни податоци.
Дури може да се каже дека трансформацијата на влезните податоци е смислата на постоењето на информациски систем. Соодветно на тоа, вредноста на IS и целиот комплекс на IS се одредува преку вредноста на влезните и излезните податоци.
Врз основа на ова, дизајнот мора да започне и да биде управуван од податоци, приспособувајќи ја архитектурата и методите на структурата и значењето на податоците.

Зачувани податоци
Клучна фаза во подготовката за дизајн е добивањето на карактеристиките на сите збирки податоци планирани за обработка и складирање. Овие карактеристики вклучуваат:
- Обем на податоци;
— Информации за животниот циклус на податоците (раст на нови податоци, животен век, обработка на застарени податоци);
— Класификација на податоците од гледна точка влијание врз основната дејност на компанијата (тријада на доверливост, интегритет, достапност) заедно со финансиските показатели (на пример, трошоците за загуба на податоци во последниот час);
— Географија на обработка на податоци (физичка локација на системите за обработка);
— Регулаторни барања за секоја класа на податоци (на пример, Федерален закон-152, PCI DSS).

Информациски системи

Податоците не само што се складираат, туку и се обработуваат (трансформираат) од информациските системи. Следниот чекор по добивањето на карактеристиките на податоците е најкомплетниот попис на информационите системи, нивните архитектонски карактеристики, меѓузависноста и барањата за инфраструктура во конвенционалните единици за четири типа ресурси:
— Пресметувачка моќ на процесорот;
— Количина на RAM меморија;
— Барања за обемот и перформансите на системот за складирање податоци;
— Барања за мрежата за пренос на податоци (надворешни канали, канали помеѓу компонентите на IS).
Во овој случај, мора да има барања за секоја услуга/микросервис како дел од ИС.
Одделно, неопходно е да се забележи дека, за правилен дизајн, достапноста на податоци за влијанието на ИС врз основната дејност на компанијата во форма на трошок за прекин на ИС (рубли на час) е задолжителна.

Модел на закана

Мора да постои формален модел на закани од кои се планира да се заштитат податоците/услугите. Покрај тоа, моделот за закана не вклучува само аспекти на доверливост, туку и интегритет и достапност. Оние. На пример:
— Дефект на физичкиот сервер;
— Дефект на прекинувачот од горниот дел од решетката;
— Нарушување на оптичкиот комуникациски канал помеѓу центрите за податоци;
— Дефект на целиот оперативен систем за складирање.
Во некои случаи, моделите за закана се напишани не само за инфраструктурни компоненти, туку и за специфични информациски системи или нивни компоненти, како што е дефект на DBMS со логично уништување на структурата на податоците.
Сите одлуки во рамките на проектот за заштита од неопишана закана се непотребни.

Регулаторни барања

Доколку податоците што се обработуваат подлежат на посебни правила утврдени од регулаторите, потребни се информации за збирките на податоци и правилата за обработка/чување.

Цели на RPO/RTO

Дизајнирањето на секаков вид заштита бара да се поседуваат целни индикатори за загуба на податоци и целно време за враќање на услугата за секоја од опишаните закани.
Идеално, RPO и RTO треба да имаат поврзани трошоци за загуба на податоци и прекини по единица време.

Поделба на базени на ресурси

По собирањето на сите првични влезни информации, првиот чекор е да се групираат множества на податоци и IP во базени врз основа на модели за закана и регулаторни барања. Се одредува типот на поделба на различни базени - програмски на ниво на системски софтвер или физички.
Примери:
— Колото што обработува лични податоци е целосно физички одвоено од другите системи;
— Резервните копии се чуваат на посебен систем за складирање.

Во овој случај, базените можат да бидат нецелосно независни, на пример, дефинирани се два базени на компјутерски ресурси (процесорска моќност + RAM), кои користат единствен базен за складирање податоци и единствен базен на ресурси за пренос на податоци.

Моќ на обработка

Апстракт, барањата за процесорска моќ на виртуелизиран центар за податоци се мерат во однос на бројот на виртуелни процесори (vCPU) и нивниот однос на консолидација на физичките процесори (pCPU). Во конкретниов случај, 1 pCPU = 1 физичко процесорско јадро (со исклучок на Hyper-Threading). Бројот на vCPU се сумира во сите дефинирани базени на ресурси (од кои секој може да има свој фактор на консолидација).
Коефициентот на консолидација за оптоварените системи се добива емпириски, врз основа на постоечката инфраструктура или преку пилот-инсталација и тестирање на оптоварување. За растоварените системи, се користи „најдобра практика“. Поточно, VMware го наведува просечниот сооднос 8:1.

RAM меморија

Вкупната потреба за RAM меморија се добива со едноставно собирање. Не се препорачува користење на прекумерна претплата на RAM меморија.

Ресурси за складирање

Барањата за складирање се добиваат со едноставно собирање на сите базени по капацитет и перформанси.
Барањата за изведба се изразени во IOPS во комбинација со просечен однос читање/запишување и, доколку е потребно, максимална латентност на одговорот.
Барањата за квалитет на услугата (QoS) за одредени базени или системи мора да се специфицираат посебно.

Ресурси на податочна мрежа

Барањата за податочната мрежа се добиваат со едноставно сумирање на сите базени на пропусниот опсег.
Барањата за квалитет на услугата (QoS) и доцнење (RTT) за одредени базени или системи треба да се специфицираат посебно.
Како дел од барањата за ресурсите на податочната мрежа, се наведени и барањата за изолација и/или шифрирање на мрежниот сообраќај и преферираните механизми (802.1q, IPSec, итн.).

Избор на архитектура

Овој водич не дискутира за друг избор освен архитектурата x86 и 100% виртуелизација на серверот. Затоа, изборот на архитектура на компјутерскиот потсистем се сведува на изборот на платформа за виртуелизација на серверот, факторот на формата на серверот и општите барања за конфигурација на серверот.

Клучната точка на избор е сигурноста за користење на класичен пристап со одвојување на функциите на обработка, складирање и пренос на податоци или конвергентен.

класична архитектура вклучува употреба на интелигентни надворешни потсистеми за складирање и пренос на податоци, додека серверите придонесуваат само процесорска моќ и RAM меморија во заедничкиот базен на физички ресурси. Во екстремни случаи, серверите стануваат целосно анонимни, немајќи само свои дискови, туку дури и системски идентификатор. Во овој случај, ОС или хипервизорот се вчитуваат од вграден флеш медиум или од надворешен систем за складирање податоци (подигање од SAN).
Во рамките на класичната архитектура, изборот помеѓу сечилата и лавиците се прави првенствено врз основа на следниве принципи:
— Ефективни (во просек, серверите со rack-mount се поевтини);
— Пресметувачка густина (поголема за сечилата);
— Потрошувачка на енергија и дисипација на топлина (ножевите имаат повисока специфична единица по единица);
— Приспособливост и контролирање (ножевите генерално бараат помал напор за големи инсталации);
- Употреба на картички за проширување (многу ограничен избор за сечила).
Конвергентна архитектура (исто така познато како хиперконвергирана) вклучува комбинирање на функциите на обработка и складирање на податоци, што доведува до употреба на локални серверски дискови и, како последица на тоа, напуштање на класичниот фактор на форма на сечилото. За конвергирани системи, се користат или rack сервери или кластер системи, комбинирајќи неколку blade сервери и локални дискови во еден случај.

Процесор/меморија

За правилно пресметување на конфигурацијата, треба да го разберете типот на оптоварување за околината или секој од независните кластери.
Врзан процесор – средина ограничена во перформансите со моќноста на процесорот. Додавањето RAM нема да промени ништо во однос на перформансите (број на VM по сервер).
Поврзана меморија – околина ограничена со RAM меморија. Повеќе RAM на серверот ви овозможува да извршите повеќе VM на серверот.
GB / MHz (GB / pCPU) - просечниот сооднос на потрошувачката на RAM меморија и моќноста на процесорот за ова конкретно оптоварување. Може да се користи за пресметување на потребната количина на меморија за дадена изведба и обратно.

Пресметка на конфигурација на серверот

Прво, треба да ги одредите сите видови оптоварување и да одлучите за комбинирање или делење на различни компјутерски базени во различни кластери.
Следно, за секоја од дефинираните кластери, односот GB / MHz се одредува при однапред познато оптоварување. Ако оптоварувањето не е однапред познато, но има грубо разбирање за нивото на искористување на енергијата на процесорот, можете да користите стандардни соодноси vCPU:pCPU за да ги конвертирате барањата на базенот во физички.

За секој кластер, поделете го збирот на барањата за базен на vCPU со коефициентот:
vCPUsum / vCPU:pCPU = pCPUsum – потребен број на физички единици. јадра
pCPUsum / 1.25 = pCPUht – број на јадра прилагодени за Hyper-Threading
Да претпоставиме дека е неопходно да се пресмета кластер со 190 јадра / 3.5 TB RAM меморија. Во исто време, прифаќаме целно оптоварување од 50% од моќноста на процесорот и 75% од RAM меморијата.

pCPU
190
CPU util
50%

Мем
3500
Мем алатка
75%

Грло
Основни
Srv/CPU
Срв Мем
Срв/Мем

2
6
25,3
128
36,5

2
8
19,0
192
24,3

2
10
15,2
256
18,2

2
14
10,9
384
12,2

2
18
8,4
512
9,1

Во овој случај, секогаш користиме заокружување до најблискиот цел број (=ROUNDUP(A1;0)).
Од табелата станува очигледно дека неколку конфигурации на серверот се избалансирани за целните индикатори:
— 26 сервери 2*6c / 192 GB
— 19 сервери 2*10c / 256 GB
— 10 сервери 2*18c / 512 GB

Изборот на овие конфигурации потоа мора да се направи врз основа на дополнителни фактори, како што се термички пакет и достапно ладење, веќе користени сервери или цена.

Карактеристики на избор на конфигурација на серверот

Широки VMs. Ако е неопходно да се хостираат широки VM (споредливи со 1 NUMA јазол или повеќе), се препорачува, доколку е можно, да се избере сервер со конфигурација што дозволува таквите VM да останат во јазолот NUMA. Со голем број на широки VM, постои опасност од фрагментација на ресурсите на кластерот, а во овој случај се избираат сервери кои овозможуваат да се сместат широки VM што е можно погусто.

Големина на домен за единечна неуспешност.

Изборот на големината на серверот исто така се заснова на принципот на минимизирање на доменот на единечен неуспех. На пример, при изборот помеѓу:
— 3 x 4*10c / 512 GB
— 6 x 2*10c / 256 GB
Сите други работи се еднакви, мора да ја изберете втората опција, бидејќи кога еден сервер не успее (или се одржува), не се губат 33% од ресурсите на кластерот, туку 17%. На ист начин, бројот на ВМ и ИС погодени од несреќата е преполовен.

Пресметка на класични системи за складирање врз основа на перформансите

Класичните системи за складирање секогаш се пресметуваат со користење на најлошото сценарио, со исклучок на влијанието на оперативниот кеш и оптимизацијата на операциите.
Како основни индикатори за изведба, ги земаме механичките перформанси од дискот (IOPSdisk):
– 7.2k – 75 IOPS
– 10k – 125 IOPS
– 15k – 175 IOPS

Следно, бројот на дискови во базенот на дискот се пресметува со следнава формула: = TotalIOPS * ( RW + (1 –RW) * RAIDPen) / IOPS-диск. Каде:
- TotalIOPS – вкупни потребни перформанси во IOPS од базенот на дискот
- RW – процент на операции за читање
- RAID пенкало – RAID казна за избраното ниво на RAID

Прочитајте повеќе за Device RAID и RAID казната овде - Перформанси на складирање. Дел Еден. и Перформанси на складирање. Втор дел. и Перформанси на складирање. Трет дел

Врз основа на добиениот број на дискови, се пресметуваат можните опции кои ги задоволуваат барањата за капацитет за складирање, вклучувајќи опции со складирање на повеќе нивоа.
Пресметката на системи кои користат SSD како слој за складирање се разгледува одделно.
Карактеристики на системи за пресметување со Flash Cache

Флеш кеш – заедничко име за сите сопствени технологии за користење на флеш меморија како кеш од второ ниво. Кога користите флеш кеш, системот за складирање обично се пресметува да обезбеди стабилно оптоварување од магнетни дискови, додека врвот го опслужува кешот.
Во овој случај, неопходно е да се разбере профилот на оптоварување и степенот на локализација на пристапот до блоковите на волумени за складирање. Флеш кешот е технологија за оптоварување на работа со високо локализирани прашања и практично не е применлива за рамномерно вчитани томови (како за аналитички системи).

Пресметка на хибридни системи од низок/среден опсег

Хибридните системи од пониската и средната класа користат складирање на повеќе нивоа со податоци што се движат помеѓу нивоата на распоред. Во исто време, големината на блокот за складирање на повеќе нивоа за најдобрите модели е 256 MB. Овие карактеристики не ни дозволуваат да ја сметаме технологијата за складирање на нивоа за технологија за зголемување на продуктивноста, како што многу луѓе погрешно веруваат. Складирање на повеќе нивоа во системи од ниска и средна класа е технологија за оптимизирање на трошоците за складирање за системи со изразена нерамномерност на оптоварувањето.

За складирање на нивоа, прво се пресметуваат перформансите на горниот слој, додека долниот степен на складирање се смета дека придонесува само за капацитетот за складирање што недостасува. За хибриден систем со повеќе нивоа, задолжително е да се користи технологија за флеш кеш за базенот со повеќе нивоа со цел да се компензира намалувањето на перформансите за ненадејно загреаните податоци од пониското ниво.

Користење на SSD во базен со нивоа на дискови

Употребата на SSD-дискови во базен со повеќе нивоа на дискови има варијации, во зависност од специфичната имплементација на алгоритмите за флеш кеш од даден производител.
Општата практика на политика за складирање за диск базен со ниво на SSD е прво SSD.
Само за читање флеш кеш. За флеш кеш само за читање, слојот за складирање на SSD доаѓа со значителна локализација на записите, без оглед на кешот.
Читање/пишување Flash Cache. Во случај на флеш кеш, големината на кешот за запишување прво се поставува на максималната големина на кешот, а нивото за складирање на SSD се појавува само кога големината на кешот е недоволна за сервисирање на целиот локализиран обем на работа.
Пресметките на перформансите на SSD и кешот се прават секој пат врз основа на препораките на производителот, но секогаш за најлошото сценарио.

Извор: www.habr.com