Úvod
Informačný systém z pohľadu používateľa je dobre definovaný v GOST RV 51987 - „automatizovaný systém, ktorého výsledkom je prezentácia výstupných informácií na následné použitie“. Ak vezmeme do úvahy vnútornú štruktúru, potom v podstate každý IS je systém vzájomne prepojených algoritmov implementovaných v kóde. V širšom zmysle tézy Turing-Church algoritmus (alebo IS) transformuje súbor vstupných údajov na súbor výstupných údajov.
Dalo by sa dokonca povedať, že transformácia vstupných údajov je zmyslom existencie informačného systému. Podľa toho sa hodnota IS a celého komplexu IS určuje cez hodnotu vstupných a výstupných údajov.
Na základe toho musí návrh začať a musí byť riadený údajmi, pričom architektúra a metódy sa musia prispôsobiť štruktúre a významu údajov.
Uložené dáta
Kľúčovou etapou prípravy na návrh je získanie charakteristík všetkých súborov údajov plánovaných na spracovanie a uloženie. Tieto vlastnosti zahŕňajú:
- objem dát;
— Informácie o životnom cykle údajov (nárast nových údajov, životnosť, spracovanie neaktuálnych údajov);
— Klasifikácia údajov z hľadiska vplyv na hlavnú činnosť spoločnosti (triáda dôvernosti, integrity, dostupnosti) spolu s finančnými ukazovateľmi (napríklad náklady na stratu údajov za poslednú hodinu);
— Geografia spracovania údajov (fyzické umiestnenie systémov spracovania);
— Regulačné požiadavky pre každú triedu údajov (napríklad federálny zákon-152, PCI DSS).
Informačné systémy
Dáta nie sú len uchovávané, ale aj spracovávané (transformované) informačnými systémami. Ďalším krokom po získaní dátových charakteristík je čo najúplnejšia inventarizácia informačných systémov, ich architektonických prvkov, vzájomných závislostí a požiadaviek na infraštruktúru v konvenčných jednotkách pre štyri typy zdrojov:
— výpočtový výkon procesora;
- množstvo pamäte RAM;
— Požiadavky na objem a výkon systému ukladania údajov;
— Požiadavky na sieť na prenos údajov (externé kanály, kanály medzi komponentmi IS).
V tomto prípade musia existovať požiadavky na každú službu/mikroslužbu ako súčasť IS.
Samostatne je potrebné poznamenať, že pre správny návrh je povinná dostupnosť údajov o vplyve IS na hlavnú činnosť spoločnosti vo forme nákladov na prestoje IS (v rubľoch za hodinu).
Model ohrozenia
Musí existovať formálny model hrozieb, pred ktorými sa plánuje ochrana údajov/služieb. Okrem toho model hrozby zahŕňa nielen aspekty dôvernosti, ale aj integritu a dostupnosť. Tie. Napríklad:
— Porucha fyzického servera;
— Porucha prepínača v hornej časti stojana;
— Prerušenie optického komunikačného kanála medzi dátovými centrami;
— Porucha celého prevádzkového skladovacieho systému.
V niektorých prípadoch sa modely hrozieb píšu nielen pre komponenty infraštruktúry, ale aj pre špecifické informačné systémy alebo ich komponenty, ako napríklad zlyhanie DBMS s logickou deštrukciou dátovej štruktúry.
Všetky rozhodnutia v rámci projektu na ochranu pred nepopísanou hrozbou sú zbytočné.
Regulačné požiadavky
Ak spracúvané údaje podliehajú osobitným pravidlám stanoveným regulačnými orgánmi, vyžadujú sa informácie o súboroch údajov a pravidlách spracovania/uchovávania.
RPO/RTO ciele
Navrhovanie akéhokoľvek typu ochrany vyžaduje mať cieľové indikátory straty údajov a cieľový čas obnovy služby pre každú z opísaných hrozieb.
V ideálnom prípade by RPO a RTO mali mať spojené náklady na stratu údajov a prestoje za jednotku času.
Rozdelenie do zdrojov
Po zhromaždení všetkých počiatočných vstupných informácií je prvým krokom zoskupenie súborov údajov a IP do skupín na základe modelov hrozieb a regulačných požiadaviek. Určuje sa typ rozdelenia rôznych poolov – programovo na úrovni systémového softvéru alebo fyzicky.
Príklady:
— Okruh spracúvajúci osobné údaje je úplne fyzicky oddelený od iných systémov;
— Zálohy sú uložené na samostatnom úložnom systéme.
V tomto prípade môžu byť fondy neúplne nezávislé, napríklad sú definované dva fondy výpočtových zdrojov (výkon procesora + RAM), ktoré využívajú jeden fond na ukladanie dát a jeden fond zdrojov na prenos dát.
Výkon spracovania
Abstrakt, požiadavky na výpočtový výkon virtualizovaného dátového centra sa merajú z hľadiska počtu virtuálnych procesorov (vCPU) a ich konsolidačného pomeru na fyzických procesoroch (pCPU). V tomto konkrétnom prípade 1 pCPU = 1 fyzické jadro procesora (okrem Hyper-Threadingu). Počet vCPU sa sčítava vo všetkých definovaných fondoch zdrojov (každý z nich môže mať svoj vlastný konsolidačný faktor).
Konsolidačný koeficient pre zaťažené systémy sa získava empiricky na základe existujúcej infraštruktúry alebo prostredníctvom pilotnej inštalácie a záťažového testovania. Pre nezaťažené systémy sa používa „najlepšia prax“. Konkrétne VMware uvádza priemerný pomer 8:1.
Operatívna pamäť
Celková potreba RAM sa získa jednoduchým sčítaním. Používanie nadmerného odberu pamäte RAM sa neodporúča.
Úložné prostriedky
Požiadavky na úložisko sa získajú jednoduchým sčítaním všetkých fondov podľa kapacity a výkonu.
Požiadavky na výkon sú vyjadrené v IOPS v kombinácii s priemerným pomerom čítania/zápisu a v prípade potreby s maximálnou latenciou odozvy.
Požiadavky na kvalitu služby (QoS) pre špecifické oblasti alebo systémy musia byť špecifikované samostatne.
Zdroje dátovej siete
Požiadavky na dátovú sieť sa získajú jednoduchým sčítaním všetkých oblastí šírky pásma.
Požiadavky na kvalitu služby (QoS) a latenciu (RTT) pre špecifické oblasti alebo systémy by sa mali špecifikovať samostatne.
V rámci požiadaviek na zdroje dátovej siete sú uvedené aj požiadavky na izoláciu a/alebo šifrovanie sieťovej prevádzky a preferované mechanizmy (802.1q, IPSec atď.).
Výber architektúry
Táto príručka sa nezaoberá žiadnou inou voľbou ako architektúrou x86 a 100% virtualizáciou serverov. Preto výber architektúry výpočtového subsystému závisí od výberu serverovej virtualizačnej platformy, serverového faktora a všeobecných požiadaviek na konfiguráciu servera.
Kľúčovým bodom výberu je istota použitia klasického prístupu s oddelením funkcií spracovania, ukladania a prenosu dát alebo konvergentným.
klasickej architektúry zahŕňa použitie inteligentných externých podsystémov na ukladanie a prenos údajov, zatiaľ čo servery prispievajú iba výpočtovým výkonom a pamäťou RAM do spoločného fondu fyzických zdrojov. V extrémnych prípadoch sa servery stávajú úplne anonymnými, majú nielen vlastné disky, ale dokonca ani systémový identifikátor. V tomto prípade sa OS alebo hypervízor načíta zo vstavaného flash média alebo z externého systému na ukladanie dát (boot zo SAN).
V rámci klasickej architektúry sa výber medzi lopatkami a stojanmi vykonáva predovšetkým na základe nasledujúcich princípov:
— Nákladovo efektívne (v priemere sú rackové servery lacnejšie);
— Výpočtová hustota (vyššia pre lopatky);
— spotreba energie a rozptyl tepla (lopatky majú vyššiu mernú jednotku na jednotku);
— Škálovateľnosť a ovládateľnosť (čepele vo všeobecnosti vyžadujú menšie úsilie pre veľké inštalácie);
- Použitie rozširujúcich kariet (veľmi obmedzený výber pre čepele).
Konvergentná architektúra (taktiež známy ako hyperkonvergovaný) zahŕňa kombináciu funkcií spracovania a ukladania dát, čo vedie k používaniu lokálnych serverových diskov a v dôsledku toho k opusteniu klasického blade form factora. Pre konvergované systémy sa používajú buď rackové servery alebo klastrové systémy, ktoré kombinujú niekoľko blade serverov a lokálnych diskov v jednom prípade.
CPU/pamäť
Ak chcete správne vypočítať konfiguráciu, musíte pochopiť typ zaťaženia pre prostredie alebo každý z nezávislých klastrov.
CPU viazaný – prostredie obmedzené výkonom procesorom. Pridaním pamäte RAM sa z hľadiska výkonu (počet VM na server) nič nezmení.
Pamäť viazaná – prostredie obmedzené RAM. Viac pamäte RAM na serveri vám umožňuje spustiť na serveri viac virtuálnych počítačov.
GB / MHz (GB / pCPU) – priemerný pomer spotreby RAM a výkonu procesora pri tejto konkrétnej záťaži. Dá sa použiť na výpočet požadovaného množstva pamäte pre daný výkon a naopak.
Výpočet konfigurácie servera
Najprv musíte určiť všetky typy záťaže a rozhodnúť sa o kombinácii alebo rozdelení rôznych výpočtových oblastí do rôznych klastrov.
Ďalej sa pre každý z definovaných klastrov určí pomer GB/MHz pri vopred známom zaťažení. Ak zaťaženie nie je vopred známe, ale existuje približná predstava o úrovni využitia výkonu procesora, môžete použiť štandardné pomery vCPU:pCPU na prevod požiadaviek fondu na fyzické.
Pre každý klaster vydeľte súčet požiadaviek na oblasť vCPU koeficientom:
vCPUsum / vCPU:pCPU = pCPUsum – požadovaný počet fyzických jednotiek. jadrá
pCPUsum / 1.25 = pCPUht – počet jadier upravený pre Hyper-Threading
Predpokladajme, že je potrebné vypočítať klaster so 190 jadrami / 3.5 TB RAM. Zároveň akceptujeme cieľovú záťaž 50 % výkonu procesora a 75 % RAM.
pCPU
190
využitie CPU
50%
Pamäť
3500
Nástroj Mem
75%
Zásuvka
Jadro
Srv/CPU
Srv Mem
Srv/Mem
2
6
25,3
128
36,5
2
8
19,0
192
24,3
2
10
15,2
256
18,2
2
14
10,9
384
12,2
2
18
8,4
512
9,1
V tomto prípade vždy používame zaokrúhlenie nahor na najbližšie celé číslo (=ROUNDUP(A1;0)).
Z tabuľky je zrejmé, že niekoľko konfigurácií serverov je vyvážených pre cieľové ukazovatele:
— 26 serverov 2*6c / 192 GB
— 19 serverov 2*10c / 256 GB
— 10 serverov 2*18c / 512 GB
Voľba týchto konfigurácií sa potom musí vykonať na základe ďalších faktorov, ako je tepelný balík a dostupné chladenie, už použité servery alebo cena.
Funkcie výberu konfigurácie servera
Široké VM. Ak je potrebné hostiť široké virtuálne počítače (porovnateľné s 1 uzlom NUMA alebo viac), odporúča sa, ak je to možné, vybrať server s konfiguráciou, ktorá takýmto virtuálnym počítačom umožňuje zostať v uzle NUMA. Pri veľkom počte širokých VM existuje nebezpečenstvo fragmentácie klastrových prostriedkov a v tomto prípade sa vyberajú servery, ktoré umožňujú umiestniť široké VM čo najhustejšie.
Veľkosť domény s jedným zlyhaním.
Výber veľkosti servera je tiež založený na princípe minimalizácie jedinej domény zlyhania. Napríklad pri výbere medzi:
— 3 x 4*10c / 512 GB
— 6 x 2*10c / 256 GB
Ak sú všetky ostatné veci rovnaké, musíte zvoliť druhú možnosť, pretože keď jeden server zlyhá (alebo je udržiavaný), nie je stratených 33% klastrových zdrojov, ale 17%. Rovnakým spôsobom sa počet VM a IS zasiahnutých haváriou zníži na polovicu.
Výpočet klasických úložných systémov na základe výkonu
Klasické úložné systémy sú vždy vypočítané s použitím najhoršieho scenára, s vylúčením vplyvu operačnej vyrovnávacej pamäte a optimalizácie operácií.
Ako základné ukazovatele výkonu berieme mechanický výkon z disku (IOPSdisk):
– 7.2 k – 75 IOPS
– 10 k – 125 IOPS
– 15 k – 175 IOPS
Potom sa počet diskov v diskovej oblasti vypočíta pomocou nasledujúceho vzorca: = TotalIOPS * ( RW + (1 –RW) * RAIDPen) / IOPSdisk. Kde:
- TotalIOPS – celkový požadovaný výkon v IOPS z diskovej oblasti
- RW – percento operácií čítania
- RAID pero – Pokuta RAID pre zvolenú úroveň RAID
Prečítajte si viac o RAID zariadení a penalizácii RAID tu - и и
Na základe výsledného počtu diskov sa vypočítajú možné možnosti, ktoré spĺňajú požiadavky na kapacitu úložiska, vrátane možností s viacúrovňovým úložiskom.
Výpočet systémov používajúcich SSD ako úložnú vrstvu sa posudzuje samostatne.
Vlastnosti výpočtových systémov s Flash Cache
flash-cache – spoločný názov pre všetky proprietárne technológie na používanie flash pamäte ako vyrovnávacej pamäte druhej úrovne. Pri použití flash vyrovnávacej pamäte je úložný systém zvyčajne vypočítaný tak, aby poskytoval stabilné zaťaženie z magnetických diskov, zatiaľ čo špičku obsluhuje vyrovnávacia pamäť.
V tomto prípade je potrebné pochopiť profil zaťaženia a stupeň lokalizácie prístupu k blokom úložných objemov. Flash cache je technológia pre pracovné zaťaženia s vysoko lokalizovanými dotazmi a je prakticky nepoužiteľná pre rovnomerne načítané zväzky (napríklad pre analytické systémy).
Výpočet hybridných systémov nižšej a strednej triedy
Hybridné systémy nižšej a strednej triedy využívajú viacúrovňové úložisko s presúvaním údajov medzi úrovňami podľa plánu. Zároveň je veľkosť viacúrovňového úložného bloku pre najlepšie modely 256 MB. Tieto vlastnosti nám neumožňujú považovať technológiu vrstveného úložiska za technológiu na zvýšenie produktivity, ako sa mnohí mylne domnievajú. Viacúrovňové úložisko v systémoch nízkej a strednej triedy je technológia na optimalizáciu nákladov na úložisko pre systémy s výraznou nerovnomernosťou zaťaženia.
V prípade viacúrovňového úložiska sa najprv vypočíta výkon hornej vrstvy, zatiaľ čo spodná vrstva úložiska sa považuje len za príspevok k chýbajúcej úložnej kapacite. Pre hybridný viacvrstvový systém je povinné používať technológiu flash cache pre viacvrstvový fond, aby sa kompenzoval pokles výkonu pre náhle zahriatie údajov z nižšej úrovne.
Používanie jednotky SSD v oblasti viacúrovňových diskov
Použitie SSD vo viacúrovňovej diskovej oblasti má variácie v závislosti od konkrétnej implementácie algoritmov flash cache daným výrobcom.
Všeobecnou praxou politiky ukladania pre diskovú oblasť s úrovňou SSD je SSD ako prvý.
Flash Cache iba na čítanie. Pre flash cache len na čítanie prichádza úložná vrstva na SSD s významnou lokalizáciou zápisov bez ohľadu na cache.
Čítanie/zápis Flash Cache. V prípade vyrovnávacej pamäte flash sa veľkosť vyrovnávacej pamäte pre zápis najprv nastaví na maximálnu veľkosť vyrovnávacej pamäte a vrstva úložiska SSD sa zobrazí iba vtedy, keď veľkosť vyrovnávacej pamäte nestačí na obsluhu celého lokalizovaného pracovného zaťaženia.
Výpočty výkonu SSD a vyrovnávacej pamäte sa robia zakaždým na základe odporúčaní výrobcu, ale vždy pre najhorší scenár.
Zdroj: hab.com