Oblikovanje virtualiziranega podatkovnega centra

Oblikovanje virtualiziranega podatkovnega centra

Predstavitev

Informacijski sistem z vidika uporabnika je dobro opredeljen v GOST RV 51987 - "avtomatiziran sistem, katerega rezultat je predstavitev izhodnih informacij za nadaljnjo uporabo." Če upoštevamo notranjo strukturo, potem je v bistvu vsak IS sistem med seboj povezanih algoritmov, implementiranih v kodo. V širšem pomenu Turing-Churchove teze algoritem (ali IS) pretvori niz vhodnih podatkov v niz izhodnih podatkov.
Lahko bi celo rekli, da je transformacija vhodnih podatkov smisel obstoja informacijskega sistema. Skladno s tem se vrednost IS in celotnega kompleksa IS določa preko vrednosti vhodnih in izhodnih podatkov.
Na podlagi tega se mora začeti načrtovanje, ki mora temeljiti na podatkih, arhitekturo in metode pa prilagoditi strukturi in pomenu podatkov.

Shranjeni podatki
Ključna faza priprave na projektiranje je pridobivanje karakteristik vseh nizov podatkov, ki so predvideni za obdelavo in shranjevanje. Te značilnosti vključujejo:
- obseg podatkov;
— Informacije o življenjskem ciklu podatkov (rast novih podatkov, življenjska doba, obdelava zastarelih podatkov);
— Razvrstitev podatkov z vidika vpliv na osnovno dejavnost podjetja (triada zaupnost, integriteta, dostopnost) skupaj s finančnimi kazalci (na primer stroški izgube podatkov v zadnji uri);
— Geografija obdelave podatkov (fizična lokacija sistemov obdelave);
— Regulativne zahteve za vsak razred podatkov (na primer Zvezni zakon-152, PCI DSS).

Informacijski sistemi

Podatki se ne le shranjujejo, ampak jih informacijski sistemi tudi obdelujejo (preoblikujejo). Naslednji korak po pridobitvi podatkovnih karakteristik je čim popolnejši popis informacijskih sistemov, njihovih arhitekturnih značilnosti, soodvisnosti in infrastrukturnih zahtev v konvencionalnih enotah za štiri vrste virov:
— računalniška moč procesorja;
— količina RAM-a;
— zahteve glede obsega in zmogljivosti sistema za shranjevanje podatkov;
— Zahteve za omrežje za prenos podatkov (zunanji kanali, kanali med komponentami IS).
V tem primeru morajo obstajati zahteve za vsako storitev/mikrostoritev kot del IS.
Ločeno je treba opozoriti, da je za pravilno načrtovanje obvezna razpoložljivost podatkov o vplivu IS na osnovno dejavnost podjetja v obliki stroškov izpadov IS (rubljev na uro).

Model grožnje

Obstajati mora formalni model groženj, pred katerimi se načrtuje zaščita podatkov/storitev. Poleg tega model groženj ne vključuje le vidikov zaupnosti, temveč tudi celovitost in razpoložljivost. Tisti. Na primer:
— Okvara fizičnega strežnika;
— Okvara zgornjega stikala;
— Prekinitev optičnega komunikacijskega kanala med podatkovnimi centri;
— Napaka celotnega operativnega sistema za shranjevanje.
V nekaterih primerih so modeli groženj napisani ne samo za infrastrukturne komponente, ampak tudi za specifične informacijske sisteme ali njihove komponente, kot je okvara DBMS z logičnim uničenjem podatkovne strukture.
Vse odločitve znotraj projekta za zaščito pred neopisano grožnjo so nepotrebne.

Regulativne zahteve

Če za podatke, ki se obdelujejo, veljajo posebna pravila, ki jih določijo regulatorji, so potrebne informacije o nizih podatkov in pravilih obdelave/shranjevanja.

cilji RPO/RTO

Oblikovanje katere koli vrste zaščite zahteva ciljne indikatorje izgube podatkov in ciljni čas obnovitve storitve za vsako od opisanih groženj.
V idealnem primeru bi morala imeti RPO in RTO povezane stroške izgube podatkov in izpadov na enoto časa.

Oblikovanje virtualiziranega podatkovnega centra

Razdelitev na bazene virov

Po zbiranju vseh začetnih vhodnih informacij je prvi korak združevanje podatkovnih nizov in IP-jev v skupine na podlagi modelov groženj in regulativnih zahtev. Določi se način delitve različnih bazenov - programsko na nivoju sistemske programske opreme ali fizično.
Primeri:
— vezje za obdelavo osebnih podatkov je popolnoma fizično ločeno od drugih sistemov;
— Varnostne kopije so shranjene v ločenem sistemu za shranjevanje.

V tem primeru so lahko bazeni nepopolno neodvisni, definirani sta na primer dve bazeni računalniških virov (procesorska moč + RAM), ki uporabljata eno pomnilniško področje in eno vira virov za prenos podatkov.

Procesna moč

Oblikovanje virtualiziranega podatkovnega centra

Povzetek, zahteve za procesorsko moč virtualiziranega podatkovnega centra se merijo glede na število virtualnih procesorjev (vCPU) in njihovo razmerje konsolidacije na fizičnih procesorjih (pCPU). V tem posebnem primeru je 1 pCPU = 1 fizično procesorsko jedro (razen Hyper-Threading). Število vCPE-jev se sešteje v vseh definiranih skupinah virov (od katerih ima lahko vsak svoj konsolidacijski faktor).
Konsolidacijski koeficient za obremenjene sisteme se pridobi empirično, na podlagi obstoječe infrastrukture ali s pilotno namestitvijo in obremenitvenim testiranjem. Za neobremenjene sisteme se uporablja "najboljša praksa". Natančneje, VMware navaja povprečno razmerje 8:1.

Operativni pomnilnik

Skupna zahteva po RAM-u se izračuna s preprostim seštevanjem. Prekomerna naročnina na RAM ni priporočljiva.

Sredstva za shranjevanje

Zahteve za shranjevanje se pridobijo s preprostim seštevanjem vseh bazenov glede na zmogljivost in zmogljivost.
Zahteve glede zmogljivosti so izražene v IOPS skupaj s povprečnim razmerjem branja/pisanja in, če je potrebno, največjo zakasnitvijo odziva.
Zahteve za kakovost storitve (QoS) za določena področja ali sisteme je treba določiti ločeno.

Viri podatkovnega omrežja

Zahteve podatkovnega omrežja se pridobijo s preprostim seštevanjem vseh skupin pasovne širine.
Zahteve glede kakovosti storitve (QoS) in zakasnitve (RTT) za določena področja ali sisteme je treba določiti ločeno.
Kot del zahtev za vire podatkovnega omrežja so navedene tudi zahteve za izolacijo in/ali šifriranje omrežnega prometa ter prednostni mehanizmi (802.1q, IPSec itd.).

Izbira arhitekture

Ta priročnik ne obravnava nobene druge izbire razen arhitekture x86 in 100-odstotne virtualizacije strežnika. Zato je izbira arhitekture računalniškega podsistema odvisna od izbire platforme za virtualizacijo strežnika, faktorja oblike strežnika in splošnih zahtev glede konfiguracije strežnika.

Ključna točka izbire je gotovost uporabe klasičnega pristopa z ločevanjem funkcij obdelave, shranjevanja in prenosa podatkov ali konvergentnega.

klasična arhitektura vključuje uporabo inteligentnih zunanjih podsistemov za shranjevanje in prenos podatkov, medtem ko strežniki prispevajo le procesorsko moč in RAM k skupnemu bazenu fizičnih virov. V skrajnih primerih postanejo strežniki popolnoma anonimni, saj nimajo le lastnih diskov, ampak niti sistemskega identifikatorja. V tem primeru se operacijski sistem ali hipervizor naloži z vgrajenega bliskovnega medija ali iz zunanjega sistema za shranjevanje podatkov (boot from SAN).
V okviru klasične arhitekture izbira med lopaticami in regali temelji predvsem na naslednjih načelih:
— Stroškovno učinkovit (v povprečju so strežniki v omari cenejši);
— Računska gostota (višja za rezila);
— Poraba energije in odvajanje toplote (rezila imajo višjo specifično enoto na enoto);
— Prilagodljivost in nadzor (rezila na splošno zahtevajo manj napora za velike instalacije);
- Uporaba razširitvenih kartic (zelo omejena izbira rezin).
Konvergentna arhitektura (poznan tudi kot hiperkonvergirano) gre za združevanje funkcij obdelave in shranjevanja podatkov, kar vodi v uporabo lokalnih strežniških diskov in posledično opustitev klasične oblike rezin. Za konvergenčne sisteme se uporabljajo strežniki v omarah ali sistemi v gruči, ki združujejo več rezinskih strežnikov in lokalnih diskov v enem ohišju.

CPE/pomnilnik

Za pravilen izračun konfiguracije morate razumeti vrsto obremenitve okolja ali vsakega od neodvisnih grozdov.
CPE vezan – okolje, omejeno glede delovanja z močjo procesorja. Dodajanje RAM-a ne bo spremenilo ničesar v smislu zmogljivosti (število VM-jev na strežnik).
Vezan na spomin – okolje omejeno z RAM-om. Več RAM-a na strežniku vam omogoča zagon več navideznih strojev na strežniku.
GB / MHz (GB / pCPU) – povprečno razmerje porabe RAM-a in moči procesorja s to posebno obremenitvijo. Uporablja se lahko za izračun potrebne količine pomnilnika za določeno zmogljivost in obratno.

Izračun konfiguracije strežnika

Oblikovanje virtualiziranega podatkovnega centra

Najprej morate določiti vse vrste obremenitev in se odločiti za združevanje ali razdelitev različnih računalniških skupin v različne gruče.
Nato se za vsako od definiranih skupin določi razmerje GB/MHz pri vnaprej znani obremenitvi. Če obremenitev ni znana vnaprej, vendar obstaja grobo razumevanje ravni izkoriščenosti moči procesorja, lahko uporabite standardna razmerja vCPU:pCPU za pretvorbo zahtev glede skupine v fizične.

Za vsako gručo delite vsoto zahtev glede področja vCPU s koeficientom:
vCPUsum / vCPU:pCPU = pCPUsum – potrebno število fizičnih enot. jedra
pCPUsum / 1.25 = pCPUht – število jeder prilagojeno za Hyper-Threading
Predpostavimo, da je treba izračunati gručo s 190 jedri / 3.5 TB RAM-a. Hkrati sprejemamo ciljno obremenitev 50 % moči procesorja in 75 % RAM-a.

PCPE
190
CPU util
50%

spomin
3500
Pripomoček Mem
75%

Vtičnica
Core
Srv/CPU
Srv Mem
Srv/Mem

2
6
25,3
128
36,5

2
8
19,0
192
24,3

2
10
15,2
256
18,2

2
14
10,9
384
12,2

2
18
8,4
512
9,1

V tem primeru vedno uporabimo zaokroževanje navzgor na najbližje celo število (=ROUNDUP(A1;0)).
Iz tabele postane očitno, da je več konfiguracij strežnika uravnoteženih za ciljne kazalnike:
— 26 strežnikov 2*6c / 192 GB
— 19 strežnikov 2*10c / 256 GB
— 10 strežnikov 2*18c / 512 GB

Izbira teh konfiguracij mora nato temeljiti na dodatnih dejavnikih, kot so toplotni paket in razpoložljivo hlajenje, že uporabljeni strežniki ali stroški.

Značilnosti izbire konfiguracije strežnika

Široki VM. Če je treba gostiti široke VM (primerljive z 1 vozliščem NUMA ali več), je priporočljivo, če je mogoče, izbrati strežnik s konfiguracijo, ki omogoča, da taki VM ostanejo znotraj vozlišča NUMA. Pri velikem številu širokih VM obstaja nevarnost razdrobljenosti sredstev gruče in v tem primeru so izbrani strežniki, ki omogočajo čim bolj gosto postavitev širokih VM.

Velikost domene z eno napako.

Izbira velikosti strežnika prav tako temelji na načelu minimiziranja domene posamezne napake. Na primer, ko izbirate med:
— 3 x 4*10c / 512 GB
— 6 x 2*10c / 256 GB
Če so ostali pogoji enaki, morate izbrati drugo možnost, saj ko en strežnik odpove (ali se vzdržuje), se ne izgubi 33% virov gruče, ampak 17%. Na enak način se število VM in IS, ki jih je prizadela nesreča, prepolovi.

Izračun klasičnih skladiščnih sistemov glede na zmogljivost

Oblikovanje virtualiziranega podatkovnega centra

Klasični pomnilniški sistemi so vedno izračunani po najslabšem možnem scenariju, pri čemer je izključen vpliv operativnega predpomnilnika in optimizacije delovanja.
Kot osnovne indikatorje zmogljivosti vzamemo mehansko zmogljivost diska (IOPSdisk):
– 7.2k – 75 IOPS
– 10k – 125 IOPS
– 15k – 175 IOPS

Nato se število diskov v diskovnem področju izračuna po naslednji formuli: = TotalIOPS * ( RW + (1 –RW) * RAIDPen) / IOPSdisk. Kje:
- TotalIOPS – skupna zahtevana zmogljivost v IOPS iz diskovnega področja
- RW – odstotek operacij branja
- RAID pero – Kazen RAID za izbrano raven RAID

Preberite več o Device RAID in RAID Penalty tukaj - Zmogljivost shranjevanja. Prvi del. и Zmogljivost shranjevanja. Drugi del. и Zmogljivost shranjevanja. Tretji del

Na podlagi dobljenega števila diskov se izračunajo možne možnosti, ki izpolnjujejo zahteve glede zmogljivosti pomnilnika, vključno z možnostmi z večnivojskim pomnilnikom.
Izračun sistemov, ki uporabljajo SSD kot pomnilniško plast, je obravnavan posebej.
Značilnosti računskih sistemov s predpomnilnikom Flash

flash-cache – skupno ime za vse lastniške tehnologije za uporabo bliskovnega pomnilnika kot predpomnilnika druge ravni. Pri uporabi bliskovnega predpomnilnika je sistem za shranjevanje običajno izračunan tako, da zagotavlja enakomerno obremenitev z magnetnih diskov, medtem ko vrh služi predpomnilniku.
V tem primeru je treba razumeti profil obremenitve in stopnjo lokalizacije dostopa do blokov prostorov za shranjevanje. Flash cache je tehnologija za delovne obremenitve z visoko lokaliziranimi poizvedbami in je praktično neuporabna za enakomerno naložene količine (na primer za analitične sisteme).

Izračun hibridnih sistemov nižjega/srednjega razreda

Hibridni sistemi nižjega in srednjega razreda uporabljajo večnivojsko shranjevanje podatkov s premikanjem podatkov med nivoji po urniku. Hkrati je velikost večnivojskega pomnilniškega bloka za najboljše modele 256 MB. Te lastnosti nam ne omogočajo, da bi tehnologijo večplastnega shranjevanja obravnavali kot tehnologijo za povečanje produktivnosti, kot mnogi zmotno verjamejo. Večnivojsko shranjevanje v sistemih nižjega in srednjega razreda je tehnologija za optimizacijo stroškov skladiščenja za sisteme z izrazito neenakomerno obremenitvijo.

Pri večplastnem shranjevanju se najprej izračuna zmogljivost najvišje ravni, medtem ko se šteje, da spodnja raven shranjevanja samo prispeva k manjkajoči zmogljivosti shranjevanja. Za hibridni večnivojski sistem je obvezna uporaba tehnologije bliskovnega predpomnilnika za večnivojsko skupino, da se kompenzira zmanjšanje zmogljivosti za nenadoma segrete podatke z nižje ravni.

Uporaba SSD-ja v stopenjskem diskovnem področju

Oblikovanje virtualiziranega podatkovnega centra

Uporaba SSD-jev v večnivojskem diskovnem področju ima različice, odvisno od specifične implementacije algoritmov bliskovnega predpomnilnika s strani določenega proizvajalca.
Splošna praksa politike shranjevanja za diskovno področje z ravnijo SSD je SSD najprej.
Flash Cache samo za branje. Pri bliskovnem predpomnilniku, ki je samo za branje, je plast za shranjevanje na SSD-ju opremljena s precejšnjo lokalizacijo pisanja, ne glede na predpomnilnik.
Branje/pisanje Flash Cache. V primeru bliskovnega predpomnilnika je velikost zapisovalnega predpomnilnika najprej nastavljena na največjo velikost predpomnilnika, raven shranjevanja SSD pa se prikaže šele, ko velikost predpomnilnika ne zadošča za celotno lokalizirano delovno obremenitev.
Izračuni zmogljivosti SSD in predpomnilnika se izvedejo vsakič na podlagi priporočil proizvajalca, vendar vedno za najslabši možni scenarij.

Vir: www.habr.com

Dodaj komentar