Dizajn i virtualizuar i qendrës së të dhënave

Dizajn i virtualizuar i qendrës së të dhënave

Paraqitje

Një sistem informacioni nga këndvështrimi i përdoruesit është i përcaktuar mirë në GOST RV 51987 - "një sistem i automatizuar, rezultati i të cilit është prezantimi i informacionit dalës për përdorim të mëvonshëm". Nëse marrim parasysh strukturën e brendshme, atëherë në thelb çdo IS është një sistem algoritmesh të ndërlidhura të zbatuara në kod. Në një kuptim të gjerë të tezës Turing-Church, një algoritëm (ose IS) transformon një grup të dhënash hyrëse në një grup të dhënash dalëse.
Madje mund të thuhet se transformimi i të dhënave hyrëse është kuptimi i ekzistencës së një sistemi informacioni. Prandaj, vlera e IS dhe e gjithë kompleksit IS përcaktohet përmes vlerës së të dhënave hyrëse dhe dalëse.
Bazuar në këtë, dizajni duhet të fillojë dhe të jetë i drejtuar nga të dhënat, duke përshtatur arkitekturën dhe metodat me strukturën dhe rëndësinë e të dhënave.

Të dhënat e ruajtura
Një fazë kyçe në përgatitjen për dizajn është marrja e karakteristikave të të gjitha grupeve të të dhënave të planifikuara për përpunim dhe ruajtje. Këto karakteristika përfshijnë:
- Vëllimi i të dhënave;
— Informacion rreth ciklit jetësor të të dhënave (rritja e të dhënave të reja, jetëgjatësia, përpunimi i të dhënave të vjetruara);
— Klasifikimi i të dhënave nga pikëpamja ndikimi në biznesin kryesor të kompanisë (treshe e konfidencialitetit, integritetit, disponueshmërisë) së bashku me treguesit financiarë (për shembull, kostoja e humbjes së të dhënave në orën e fundit);
— Gjeografia e përpunimit të të dhënave (vendndodhja fizike e sistemeve të përpunimit);
— Kërkesat rregullatore për secilën klasë të të dhënave (për shembull, Ligji Federal-152, PCI DSS).

Sistemet e Informacionit

Të dhënat jo vetëm që ruhen, por edhe përpunohen (transformohen) nga sistemet e informacionit. Hapi tjetër pas marrjes së karakteristikave të të dhënave është inventarizimi më i plotë i sistemeve të informacionit, tiparet e tyre arkitekturore, ndërvarësitë dhe kërkesat e infrastrukturës në njësitë konvencionale për katër lloje burimesh:
— Fuqia llogaritëse e procesorit;
- Sasia e RAM-it;
— Kërkesat për vëllimin dhe performancën e sistemit të ruajtjes së të dhënave;
— Kërkesat për rrjetin e transmetimit të të dhënave (kanale të jashtme, kanale ndërmjet komponentëve IS).
Në këtë rast, duhet të ketë kërkesa për çdo shërbim/mikroshërbim si pjesë e IS.
Më vete, është e nevojshme të theksohet se, për një dizajn të saktë, disponueshmëria e të dhënave mbi ndikimin e IS në biznesin kryesor të kompanisë në formën e kostos së kohës së ndërprerjes së IS (rubla në orë) është e detyrueshme.

Modeli i kërcënimit

Duhet të ekzistojë një model formal i kërcënimeve nga i cili planifikohet të mbrohen të dhënat/shërbimet. Për më tepër, modeli i kërcënimit përfshin jo vetëm aspektet e konfidencialitetit, por edhe integritetin dhe disponueshmërinë. Ato. Për shembull:
— Dështimi i serverit fizik;
— Dështimi i ndërprerësit në krye;
— Ndërprerja e kanalit të komunikimit optik ndërmjet qendrave të të dhënave;
— Dështimi i të gjithë sistemit operativ të ruajtjes.
Në disa raste, modelet e kërcënimit shkruhen jo vetëm për komponentët e infrastrukturës, por edhe për sistemet specifike të informacionit ose përbërësit e tyre, siç është dështimi i DBMS me shkatërrim logjik të strukturës së të dhënave.
Të gjitha vendimet brenda projektit për t'u mbrojtur nga një kërcënim i papërshkruar janë të panevojshme.

Kerkesat rregullatore

Nëse të dhënat që përpunohen u nënshtrohen rregullave të veçanta të vendosura nga rregullatorët, kërkohet informacion në lidhje me grupet e të dhënave dhe rregullat e përpunimit/ruajtjes.

Objektivat RPO/RTO

Dizenjimi i çdo lloj mbrojtjeje kërkon të kesh tregues të synuar të humbjes së të dhënave dhe të synosh kohën e rikuperimit të shërbimit për secilin nga kërcënimet e përshkruara.
Në mënyrë ideale, RPO dhe RTO duhet të kenë kosto shoqëruese të humbjes së të dhënave dhe kohës së ndërprerjes për njësi të kohës.

Dizajn i virtualizuar i qendrës së të dhënave

Ndarja në grupe burimesh

Pas mbledhjes së të gjithë informacionit fillestar të hyrjes, hapi i parë është grupimi i grupeve të të dhënave dhe IP-së në grupe bazuar në modelet e kërcënimit dhe kërkesat rregullatore. Lloji i ndarjes së grupeve të ndryshme përcaktohet - programatikisht në nivelin e softuerit të sistemit ose fizikisht.
Shembuj:
— Qarku që përpunon të dhënat personale është plotësisht i ndarë fizikisht nga sistemet e tjera;
— Kopjet rezervë ruhen në një sistem të veçantë ruajtjeje.

Në këtë rast, grupet mund të jenë jo plotësisht të pavarura, për shembull, përcaktohen dy grupe burimesh kompjuterike (fuqia e procesorit + RAM), të cilat përdorin një grup të vetëm të ruajtjes së të dhënave dhe një grup të vetëm burimesh të transmetimit të të dhënave.

Fuqia përpunuese

Dizajn i virtualizuar i qendrës së të dhënave

Abstrakt, kërkesat e fuqisë përpunuese të një qendre të dhënash të virtualizuar maten në terma të numrit të procesorëve virtualë (vCPU) dhe raportit të tyre të konsolidimit në procesorët fizikë (pCPU). Në këtë rast të veçantë, 1 pCPU = 1 bërthamë procesori fizik (duke përjashtuar Hyper-Threading). Numri i vCPU-ve është përmbledhur në të gjitha grupet e burimeve të përcaktuara (secila prej të cilave mund të ketë faktorin e vet të konsolidimit).
Koeficienti i konsolidimit për sistemet e ngarkuara merret në mënyrë empirike, bazuar në infrastrukturën ekzistuese, ose nëpërmjet instalimit pilot dhe testimit të ngarkesës. Për sistemet e shkarkuara, përdoret "praktika më e mirë". Në mënyrë të veçantë, VMware citon raportin mesatar si 8:1.

kujtesë e gjallë

Kërkesa totale për RAM-in merret me një përmbledhje të thjeshtë. Nuk rekomandohet përdorimi i mbiabonimit në RAM.

Burimet e ruajtjes

Kërkesat e ruajtjes merren thjesht duke përmbledhur të gjitha grupet sipas kapacitetit dhe performancës.
Kërkesat e performancës shprehen në IOPS të kombinuara me një raport mesatar lexim/shkrim dhe, nëse është e nevojshme, një vonesë maksimale të përgjigjes.
Kërkesat për cilësinë e shërbimit (QoS) për grupe ose sisteme specifike duhet të specifikohen veçmas.

Burimet e rrjetit të të dhënave

Kërkesat e rrjetit të të dhënave merren thjesht duke përmbledhur të gjitha grupet e gjerësisë së brezit.
Kërkesat për cilësinë e shërbimit (QoS) dhe vonesën (RTT) për grupe ose sisteme specifike duhet të specifikohen veçmas.
Si pjesë e kërkesave për burimet e rrjetit të të dhënave, tregohen gjithashtu kërkesat për izolimin dhe/ose enkriptimin e trafikut të rrjetit dhe mekanizmat e preferuar (802.1q, IPSec, etj.).

Zgjedhja e arkitekturës

Ky udhëzues nuk diskuton asnjë zgjedhje tjetër përveç arkitekturës x86 dhe virtualizimit 100% të serverit. Prandaj, zgjedhja e arkitekturës së nënsistemit kompjuterik varet nga zgjedhja e platformës së virtualizimit të serverit, faktori i formës së serverit dhe kërkesat e përgjithshme të konfigurimit të serverit.

Pika kryesore e zgjedhjes është siguria e përdorimit të një qasjeje klasike me ndarje të funksioneve të përpunimit, ruajtjes dhe transmetimit të të dhënave ose një konvergjente.

arkitekturës klasike përfshin përdorimin e nënsistemeve të jashtme inteligjente për ruajtjen dhe transmetimin e të dhënave, ndërsa serverët kontribuojnë vetëm fuqinë përpunuese dhe RAM-in në grupin e përbashkët të burimeve fizike. Në raste ekstreme, serverët bëhen plotësisht anonimë, duke pasur jo vetëm disqet e tyre, por as edhe një identifikues të sistemit. Në këtë rast, OS ose hipervizori ngarkohet nga media flash e integruar ose nga një sistem i jashtëm i ruajtjes së të dhënave (boot nga SAN).
Në kuadrin e arkitekturës klasike, zgjedhja midis teheve dhe rafteve bëhet kryesisht bazuar në parimet e mëposhtme:
— Me kosto efektive (mesatarisht, serverët e montimit në raft janë më të lirë);
— Dendësia llogaritëse (më e lartë për tehet);
— Konsumi i energjisë dhe shpërndarja e nxehtësisë (thikat kanë një njësi specifike më të lartë për njësi);
— Shkallueshmëria dhe kontrollueshmëria (thikat në përgjithësi kërkojnë më pak përpjekje për instalime të mëdha);
- Përdorimi i kartave të zgjerimit (zgjedhje shumë e kufizuar për tehet).
Arkitektura konvergjente (i njohur edhe si hiperkonverguar) përfshin kombinimin e funksioneve të përpunimit dhe ruajtjes së të dhënave, gjë që çon në përdorimin e disqeve të serverëve lokalë dhe, si pasojë, braktisjen e faktorit klasik të formës së tehut. Për sistemet e konvergjuara, përdoren ose serverë rafte ose sisteme grupimi, duke kombinuar disa serverë blade dhe disqe lokale në një rast të vetëm.

CPU/Memoria

Për të llogaritur saktë konfigurimin, duhet të kuptoni llojin e ngarkesës për mjedisin ose secilin prej grupeve të pavarura.
CPU i lidhur – një mjedis i kufizuar në performancë nga fuqia e procesorit. Shtimi i RAM-it nuk do të ndryshojë asgjë për sa i përket performancës (numri i VM-ve për server).
Memoria e lidhur – mjedis i kufizuar nga RAM. Më shumë RAM në server ju lejon të ekzekutoni më shumë VM në server.
GB / MHz (GB / pCPU) - raporti mesatar i konsumit të RAM dhe fuqisë së procesorit me një ngarkesë specifike të caktuar. Mund të përdoret për të llogaritur sasinë e kërkuar të memories për një performancë të caktuar dhe anasjelltas.

Llogaritja e konfigurimit të serverit

Dizajn i virtualizuar i qendrës së të dhënave

Së pari, ju duhet të përcaktoni të gjitha llojet e ngarkesës dhe të vendosni për kombinimin ose ndarjen e grupeve të ndryshme kompjuterike në grupime të ndryshme.
Më pas, për secilin prej grupeve të përcaktuara, raporti GB / MHz përcaktohet me një ngarkesë të njohur paraprakisht. Nëse ngarkesa nuk dihet paraprakisht, por ka një kuptim të përafërt të nivelit të përdorimit të fuqisë së procesorit, mund të përdorni raportet standarde vCPU:pCPU për të kthyer kërkesat e grupit në ato fizike.

Për çdo grup, ndani shumën e kërkesave të grupit të vCPU me koeficientin:
vCPUsum / vCPU:pCPU = pCPUsum – numri i kërkuar i njësive fizike. bërthamat
pCPUsum / 1.25 = pCPUht – numri i bërthamave të rregulluara për Hyper-Threading
Le të supozojmë se është e nevojshme të llogaritet një grup me 190 bërthama / 3.5 TB RAM. Në të njëjtën kohë, ne pranojmë një ngarkesë të synuar prej 50% të fuqisë së procesorit dhe 75% të RAM-it.

pCPU
190
CPU util
50%

Mem
3500
Shërbimi Mem
75%

Fole
Bërthamë
Srv/CPU
Srv Mem
Srv/Mem

2
6
25,3
128
36,5

2
8
19,0
192
24,3

2
10
15,2
256
18,2

2
14
10,9
384
12,2

2
18
8,4
512
9,1

Në këtë rast, ne përdorim gjithmonë rrumbullakimin deri në numrin e plotë më të afërt (=ROUNDUP(A1;0)).
Nga tabela bëhet e qartë se disa konfigurime të serverit janë të balancuara për treguesit e synuar:
— 26 serverë 2*6c / 192 GB
— 19 serverë 2*10c / 256 GB
— 10 serverë 2*18c / 512 GB

Zgjedhja e këtyre konfigurimeve duhet të bëhet më pas në bazë të faktorëve shtesë, si paketa termike dhe ftohja e disponueshme, serverët e përdorur tashmë ose kostoja.

Karakteristikat e zgjedhjes së një konfigurimi të serverit

VM të gjera. Nëse është e nevojshme të priten VM të gjera (të krahasueshme me 1 nyje NUMA ose më shumë), rekomandohet, nëse është e mundur, të zgjidhni një server me një konfigurim që lejon që VM të tilla të qëndrojnë brenda nyjes NUMA. Me një numër të madh të VM-ve të gjera, ekziston rreziku i fragmentimit të burimeve të grupimit dhe në këtë rast zgjidhen serverë që lejojnë vendosjen sa më të dendur të VM-ve të gjera.

Madhësia e një domeni të vetëm dështimi.

Zgjedhja e madhësisë së serverit bazohet gjithashtu në parimin e minimizimit të domenit të vetëm të dështimit. Për shembull, kur zgjidhni midis:
— 3 x 4*10c / 512 GB
— 6 x 2*10c / 256 GB
Të gjitha gjërat e tjera duke qenë të barabarta, duhet të zgjidhni opsionin e dytë, pasi kur një server dështon (ose mirëmbahet), humbet jo 33% e burimeve të grupimit, por 17%. Në të njëjtën mënyrë, numri i VM-ve dhe IS-ve të prekura nga aksidenti është përgjysmuar.

Llogaritja e sistemeve klasike të ruajtjes bazuar në performancën

Dizajn i virtualizuar i qendrës së të dhënave

Sistemet klasike të ruajtjes llogariten gjithmonë duke përdorur skenarin më të keq, duke përjashtuar ndikimin e cache-it operacional dhe optimizimin e operacioneve.
Si tregues bazë të performancës, marrim performancën mekanike nga disku (IOPSdisk):
– 7.2k – 75 IOPS
– 10k – 125 IOPS
– 15k – 175 IOPS

Më pas, numri i disqeve në grupin e diskut llogaritet duke përdorur formulën e mëposhtme: = TotalIOPS * ( RW + (1 –RW) * RAIDPen) / IOPSdisk. Ku:
- TotalIOPS – performanca totale e kërkuar në IOPS nga grupi i diskut
- RW – përqindja e operacioneve të leximit
- RAIDpen – Dënim RAID për nivelin e zgjedhur RAID

Lexoni më shumë rreth Device RAID dhe RAID Penalty këtu - Performanca e ruajtjes. Pjesa e pare. и Performanca e ruajtjes. Pjesa e dyte. и Performanca e ruajtjes. Pjesa e tretë

Bazuar në numrin rezultues të disqeve, llogariten opsionet e mundshme që plotësojnë kërkesat e kapacitetit të ruajtjes, duke përfshirë opsionet me ruajtje në shumë nivele.
Llogaritja e sistemeve që përdorin SSD si shtresë ruajtëse konsiderohet veçmas.
Karakteristikat e llogaritjes së sistemeve me Flash Cache

flash-cache – një emër i përbashkët për të gjitha teknologjitë e pronarit për përdorimin e memories flash si një cache të nivelit të dytë. Kur përdorni një cache flash, sistemi i ruajtjes zakonisht llogaritet të sigurojë një ngarkesë të qëndrueshme nga disqet magnetike, ndërsa kulmi shërbehet nga cache.
Në këtë rast, është e nevojshme të kuptohet profili i ngarkesës dhe shkalla e lokalizimit të aksesit në blloqet e vëllimeve të ruajtjes. Flash cache është një teknologji për ngarkesat e punës me pyetje shumë të lokalizuara dhe është praktikisht e pazbatueshme për vëllime të ngarkuara në mënyrë uniforme (si për shembull për sistemet analitike).

Llogaritja e sistemeve hibride të nivelit të ulët/të mesëm

Sistemet hibride të klasave të ulëta dhe të mesme përdorin ruajtje me shumë nivele me të dhëna që lëvizin midis niveleve sipas një plani. Në të njëjtën kohë, madhësia e bllokut të ruajtjes me shumë nivele për modelet më të mira është 256 MB. Këto veçori nuk na lejojnë ta konsiderojmë teknologjinë e ruajtjes me nivele një teknologji për rritjen e produktivitetit, siç besojnë gabimisht shumë njerëz. Ruajtja me shumë nivele në sistemet e klasës së ulët dhe të mesme është një teknologji për optimizimin e kostove të ruajtjes për sistemet me pabarazi të theksuar të ngarkesës.

Për ruajtjen me nivele, së pari llogaritet performanca e nivelit të sipërm, ndërsa niveli i poshtëm i ruajtjes konsiderohet se kontribuon vetëm në kapacitetin e ruajtjes që mungon. Për një sistem hibrid me shumë nivele, është e detyrueshme të përdoret teknologjia e cache-it flash për grupin me shumë nivele, në mënyrë që të kompensohet zvogëlimi i performancës për të dhënat e nxehta të papritura nga niveli më i ulët.

Përdorimi i një SSD në një grup disku me nivele

Dizajn i virtualizuar i qendrës së të dhënave

Përdorimi i SSD-ve në një grup disqesh me shumë nivele ka ndryshime, në varësi të zbatimit specifik të algoritmeve të cache flash nga një prodhues i caktuar.
Praktika e përgjithshme e politikës së ruajtjes për një grup disku me nivel SSD është së pari SSD.
Lexo vetëm Flash Cache. Për një cache flash vetëm për lexim, shtresa e ruajtjes në SSD vjen me lokalizim të konsiderueshëm të shkrimeve, pavarësisht nga cache.
Lexoni/Shkruani Flash Cache. Në rastin e cache-it flash, madhësia e cache-it të shkrimit vendoset fillimisht në madhësinë maksimale të cache-it dhe niveli i ruajtjes së SSD shfaqet vetëm kur madhësia e cache-it është e pamjaftueshme për të shërbyer të gjithë ngarkesën e lokalizuar të punës.
Llogaritjet e performancës së SSD dhe cache bëhen çdo herë në bazë të rekomandimeve të prodhuesit, por gjithmonë për skenarin më të keq.

Burimi: www.habr.com

Shto një koment