Hyrje
Sistemi informatik nga pikĂ«pamja e pĂ«rdoruesit pĂ«rcaktohet mirĂ« nĂ« GOST RV 51987 â "sistemi i automatizuar, rezultati i funksionimit tĂ« tĂ« cilit Ă«shtĂ« paraqitja e informacionit tĂ« dalĂ« pĂ«r pĂ«rdorim tĂ« mĂ«passhĂ«m". NĂ«se shqyrtojmĂ« strukturĂ«n e brendshme, çdo IS Ă«shtĂ« esencialisht njĂ« sistem i algoritmeve tĂ« ndĂ«rlidhura tĂ« realizuara nĂ« kod. NĂ« njĂ« kuptim tĂ« gjerĂ« tĂ« tezĂ«s sĂ« Turing-Ăurchit, algoritmi (dhe rrjedhimisht IS) realizon transformimin e njĂ« grupi tĂ« dhĂ«nash hyrĂ«se nĂ« njĂ« grup tĂ« dhĂ«nash dalĂ«se.
Mund të thuhet madje se në transformimin e të dhënave hyrëse qëndron kuptimi i ekzistencës së sistemit informatik. Si rrjedhim, vlera e IS dhe e gjithë kompleksit të IS përcaktohet përmes vlerës së të dhënave hyrëse dhe dalëse.
Duke u bazuar në këtë, projektimi duhet të fillojë dhe të marrë si bazë të dhënat, duke përshtatur arkitekturën dhe metodat me strukturën dhe rëndësinë e të dhënave.
Të dhënat e ruajtura
Një hap kyç i përgatitjes për projektim është marrja e karakteristikave të të gjitha grupeve të dhënash, të planifikuara për përpunim dhe ruajtje. Këto karakteristika përfshijnë:
â VĂ«llimi i tĂ« dhĂ«nave;
â Informacion mbi ciklin e jetĂ«s sĂ« tĂ« dhĂ«nave (rritja e tĂ« dhĂ«nave tĂ« reja, koha e jetĂ«s, pĂ«rpunimi i tĂ« dhĂ«nave tĂ« vjetra);
â Klasifikimi i tĂ« dhĂ«nave nga pikĂ«pamja e ndikimit nĂ« biznesin kryesor tĂ« kompanisĂ« (triada e konfidencialitetit, integritetit, disponueshmĂ«risĂ«) sĂ« bashku me treguesit financiarĂ« (p.sh. kosto e humbjes sĂ« tĂ« dhĂ«nave pĂ«r orĂ«n e fundit);
â Gjeografia e pĂ«rpunimit tĂ« tĂ« dhĂ«nave (vendndodhja fizike e sistemeve tĂ« pĂ«rpunimit);
â KĂ«rkesat e rregullatorĂ«ve pĂ«r çdo klasĂ« tĂ« dhĂ«nash (p.sh. FZ-152, PCI DSS).
Sistemet informatik
Të dhënat jo vetëm ruhen, por gjithashtu bëhen objekt i përpunimit (transformimit) nga sistemet informatik. Hapi i ardhshëm pas marrjes së karakteristikave të të dhënave është inventarizimi sa më të plotë të sistemeve informatik, veçoritë e tyre arkitektonike, varësitë dhe kërkesat për infrastrukturë në njësi konvencionale për katër lloje burimesh:
â Fuqia llogaritĂ«se e procesorit;
â VĂ«llimi i memories operative;
â KĂ«rkesat pĂ«r vĂ«llimin dhe performancĂ«n e sistemit tĂ« ruajtjes sĂ« tĂ« dhĂ«nave;
â KĂ«rkesat pĂ«r rrjetin e komunikimit tĂ« tĂ« dhĂ«nave (kanalet e jashtme, kanalet midis komponenteve tĂ« IS).
Kërkesat duhet të jenë për çdo shërbim/mikroshërbim që bën pjesë në sistemin e informacionit.
ĂshtĂ« e rĂ«ndĂ«sishme tĂ« theksohet se pĂ«r projektimin e saktĂ« nevojiten tĂ« dhĂ«na mbi ndikimin e sistemit tĂ« informacionit nĂ« biznesin kryesor tĂ« kompanisĂ« nĂ« formĂ«n e kostos sĂ« ndaljes sĂ« sistemit tĂ« informacionit (rubla nĂ« orĂ«).
Modeli i kërcënimeve
Në mënyrë të detyrueshme, duhet të ekzistojë një model formal i kërcënimeve për të cilat planifikohet mbrojtja e të dhënave/shërbimeve. Ky model i kërcënimeve përmban jo vetëm aspektet e privatësisë, por gjithashtu të integritetit dhe disponueshmërisë. Pra, për shembull:
â DĂ«shtimi i serverit fizik;
â DĂ«shtimi i switch-it top-of-the-rack;
â Prerja e kanalit optik tĂ« lidhjes midis Qendrave tĂ« tĂ« DhĂ«nave;
â DĂ«shtimi i plotĂ« i memorieve operative tĂ« ruajtjes sĂ« tĂ« dhĂ«nave.
Në disa raste, modelet e kërcënimeve shkruhen jo vetëm për komponentët infrastrukturorë, por edhe për sisteme të veçanta informacioni ose për komponentët e tyre, siç është dështimi i DBMS me shkatërrimin logjik të strukturës së të dhënave.
Të gjitha zgjidhjet brenda projektit për mbrojtjen nga kërcënimet e pa përshkruara janë të tepërta.
Kërkesat e rregullatorëve
Nëse të dhënat e përpunuara bien nën regjimin e rregullave speciale të vendosura nga rregullatorët, është e nevojshme të sigurohet informacion mbi grumbujt e të dhënave dhe rregullat e përpunimit/ruajtjes.
Të dhënat e synuara RPO/RTO
Projektimi i çdo lloji mbrojtjeje kërkon ekzistencën e treguesve të humbjes së synuar të të dhënave dhe kohës së synuar për rikuperimin e shërbimit për çdo nga kërcënimet e përmendura.
Në këtë rast, në mënyrë ideale, RPO dhe RTO duhet të kenë kosto të asocuara për humbjen e të dhënave dhe ndaljen në një njësi kohe.
Ndara në grupe burimesh
Pas mbledhjes sĂ« gjithĂ« informacionit fillestar, hapi i parĂ« Ă«shtĂ« grupimi i setĂ«ve tĂ« tĂ« dhĂ«nave dhe sistemeve tĂ« informacionit nĂ« grupe, duke u bazuar nĂ« modelet e kĂ«rcĂ«nimeve dhe kĂ«rkesat e rregullatorĂ«ve. PĂ«rcaktohet lloji i ndarjes sĂ« grupeve tĂ« ndryshme â programore nĂ« nivelin e softuerit sistemor ose fizikisht.
Shembuj:
â Konturi qĂ« pĂ«rpunon tĂ« dhĂ«na personale, Ă«shtĂ« krejtĂ«sisht fizikisht i ndarĂ« nga sistemet e tjera;
â Kopjet rezervĂ« ruhen nĂ« njĂ« sistem tĂ« veçantĂ« tĂ« ruajtjes sĂ« tĂ« dhĂ«nave.
Në këtë rast, grupet mund të kenë varësi të paplotë, për shembull, përcaktohen dy grupe të burimeve kompjuterike (kapaciteti i procesorit + memoria operative), të cilat përdorin një grup të vetëm të ruajtjes së të dhënave dhe një grup të vetëm të burimeve të transmetimit të të dhënave.
Kapaciteti i procesorit
Nevojat abstrakte për fuqinë procesorike të Qendrës të Dhënash të virtualizuar matet në numrin e procesorëve virtualë (vCPU) dhe koeficientin e konsolidimit të tyre në procesorët fizikë (pCPU). Në këtë rast konkret, 1 pCPU = 1 bërthamë fizike procesori (pa marrë parasysh Hyper-Threading). Numri i vCPU-së sumohet për të gjithë grupet e përcaktuara të burimeve (secili prej të cilëve mund të ketë koeficientin e tij të konsolidimit).
Koeficienti i konsolidimit për sistemet e ngarkuara merret empirikisht, duke u bazuar në infrastrukturën ekzistuese, ose gjatë instalimeve pilot dhe testimeve të ngarkesës. Për sistemet që nuk janë të ngarkuara, zbatohen praktikat më të mira. Në veçanti, VMware e quan koeficientin mesatar 8:1.
Memoria operuese
Kërkesa totale përmemorie të përkohshme merret nëpërmjet një mbledhjeje të thjeshtë. Përdorimi i mbishkrimit përmemorie nuk rekomandohet.
Burimet e ruajtjes
Kërkesat për burimet e ruajtjes përcaktohen nëpërmjet një mbledhjeje të thjeshtë të të gjithë grupeve sipas volumit dhe performancës.
Kërkesat për performancë shprehen në IOPS në kombinim me raportin mesatar të leximit/shkrimit dhe, nëse është e nevojshme, me vonesën maksimale të përgjigjes.
Veçmas duhen specifikuar kërkesat për garantimin e cilësisë së shërbimit (QoS) për grupe ose sisteme specifike.
Burimet e rrjetit të transfertës së të dhënave
Kërkesat për rrjetin e transfertës së të dhënave përcaktohen nga mbledhja e të gjithë grupeve të kapacitetit.
Veçmas duhen specifikuar kërkesat për garantimin e cilësisë së shërbimit (QoS) dhe vonesave (RTT) për grupe ose sisteme specifike.
Në kuadër të kërkesave për burimet e rrjetit të transfertës së të dhënave, gjithashtu përcaktohen kërkesat për izolimin dhe/ose enkriptimin e trafikut të rrjetit dhe mekanizmat e preferuar (802.1q, IPSec, etj.)
Zgjedhja e arkitekturës
Në kuadër të këtij udhëzimi nuk merret në shqyrtim asnjë zgjedhje tjetër përveç arkitekturës x86 dhe virtualizimit 100% të serverëve. Prandaj, zgjedhja e arkitekturës së nënstrukturës kompjuterike përmbledh zgjedhjen e platformës së virtualizimit të serverëve, formës serverëve dhe kërkesave të përgjithshme për konfigurimin e serverëve.
Një pikë kyçe e zgjedhjes është qartësia në përdorimin e qasjes klasike me ndarjen e funksioneve të përpunimit, ruajtjes dhe transmetimit të të dhënave ose konvergjente.
Arkitektura klasike përfshin përdorimin e sistemeve inteligjente të jashtme për ruajtjen dhe transferimin e të dhënave, ndërsa serverët kontribuojnë në grupin e përgjithshëm të burimeve fizike vetëm me kapacitetin e procesorit dhe memorjes operative. Në rastin ekstrem, serverët bëhen plotësisht anonimë, pa jo vetëm disqe të veta, por as një identifikues sistemor. Në këtë rast përdoret ngarkimi i OS ose i hypervizorit nga media flash të integruara ose nga një sistem të jashtëm të ruajtjes së të dhënave (boot from SAN).
Brenda arkitekturës klasike, zgjedhja midis blade dhe rack zakonisht bëhet përparësisht sipas parimeve të mëposhtme:
â Efikasiteti ekonomik (nĂ« mesatare, serverĂ«t e raftit janĂ« mĂ« tĂ« lirĂ«);
â DendĂ«sia e pĂ«rpunimit (ndĂ«r blade Ă«shtĂ« mĂ« e lartĂ«);
â Konsumi i energjisĂ« dhe nxehtĂ«sia (ndĂ«r blade Ă«shtĂ« mĂ« e lartĂ« pĂ«r njĂ«si);
â ShkallueshmĂ«ria dhe menaxhueshmĂ«ria (blade nĂ« pĂ«rgjithĂ«si kĂ«rkojnĂ« mĂ« pak pĂ«rpjekje nĂ« instalime tĂ« mĂ«dha);
â PĂ«rdorimi i kartave zgjeruese (pĂ«r blade, zgjedhja Ă«shtĂ« shumĂ« e kufizuar).
Arkitektura konvergjente (njohur gjithashtu si hiperkonvergjente) parashikon kombinimin e funksioneve të përpunimit dhe ruajtjes së të dhënave, që çon në përdorimin e disqeve lokale të serverëve dhe si pasojë heqjen dorë nga formati klasik i blade. Për sistemet konvergjente përdoren ose serverë të raftit, ose sisteme klasteri që bashkojnë në një karakht disa serverë blade dhe disqe lokale.
CPU / Memory
Për të llogaritur saktë konfigurimin, është e nevojshme të kuptohet tipi i ngarkesës për ambientin ose për çdo klaster të pavarur.
CPU bound â ambient qĂ« Ă«shtĂ« i kufizuar nga fuqia pĂ«rpunuese e procesorit. Shtimi i memorjes operative nuk do tĂ« ndryshojĂ« asgjĂ« nĂ« aspektin e performancĂ«s (numrit tĂ« VM-ve nĂ« server).
Memory bound â ambient qĂ« Ă«shtĂ« i kufizuar nga memoria operative. NjĂ« sasi mĂ« e madhe e memorjes operative nĂ« server lejon tĂ« nisni mĂ« shumĂ« VM nĂ« server.
GB / MHz (GB / pCPU) â raporti mesatar i konsumit tĂ« kĂ«saj ngarkese specifike tĂ« memorjes operative dhe fuqisĂ« pĂ«rpunuese. Mund tĂ« pĂ«rdoret pĂ«r llogaritjen e volumit tĂ« nevojshĂ«m tĂ« memorjes pĂ«r njĂ« performancĂ« tĂ« caktuar dhe anasjelltas.
Llogaritja e konfigurimit të serverit
Së pari, është e nevojshme të përcaktohen të gjithë llojet e ngarkesave dhe të merret një vendim për të bashkuar apo ndarë grupe të ndryshme kompjuterike në klastere të ndryshme.
Më pas, për secilin nga klasterët e përcaktuar, përcaktohet raporti GB / MHz me ngarkesën e njohur paraprakisht. Nëse ngarkesa nuk është e njohur paraprakisht, por ka një kuptim të përafërt të nivelit të ngarkesës së kapacitetit të procesorëve, mund të përdoren koeficientët standardë vCPU:pCPU për të shndërruar kërkesat e pushtimeve në fizike.
Për çdo klaster, shumën e kërkesave të pushtimeve vCPU e ndajmë me koeficientin:
vCPUshumĂ« / vCPU:pCPU = pCPUshumĂ« â numri i kĂ«rkuar i nĂŒve fizike
pCPUshumĂ« / 1.25 = pCPUht â numri i nĂŒve me korrigjim pĂ«r Hyper-Threading
Supozoni se nevojitet tĂ« llogaritet njĂ« klaster me 190 nĂŒve / 3.5TB RAM. NĂ« kĂ«tĂ« rast, pranojmĂ« njĂ« ngarkesĂ« tĂ« synuar prej 50% tĂ« kapacitetit tĂ« procesorĂ«ve dhe 75% pĂ«r memorien operuese.
pCPU
190
Kapaciteti CPU
50%
Mem
3500
Kapaciteti Mem
75%
Socket
Core
Srv / CPU
Srv Mem
Srv / Mem
2
6
25,3
128
36,5
2
8
19,0
192
24,3
2
10
15,2
256
18,2
2
14
10,9
384
12,2
2
18
8,4
512
9,1
Në këtë rast, gjithmonë përdorim rrounding për drejtë ndihmës në numrin më të afërt lart (=ROUNDUP(A1;0)).
Nga tabela bëhet e qartë se disa konfigurime serverësh janë të balancuara sipas treguesve të synuar:
â 26 serverĂ« 2*6c / 192 GB
â 19 serverĂ« 2*10c / 256 GB
â 10 serverĂ« 2*18c / 512 GB
Zgjedhja nga këto konfigurime duhet bërë më pas duke u bazuar në faktorë të tjerë, siç janë paketa termike dhe ftohja e disponueshme, serverët që tashmë përdoren, ose kostot.
Veçoritë e zgjedhjes së konfigurimit të serverit
VM të gjera. Nëse është e nevojshme të vendosen VM të gjera (të krahasueshme me 1 nod NUMA dhe më shumë) rekomandohet të zgjidhen serverë me konfigurim që lejon këto VM të mbeten brenda nodit NUMA. Me një numër të madh VM të gjera rrezikohet fragmentimi i burimeve të klasterit dhe në këtë rast zgjidhen serverët që lejojnë vendosjen e VM-ve të gjera sa më ngushtë.
Madhësia e domenit të dështimit të vetëm.
Zgjedhja e madhësisë së serverit gjithashtu bëhet në përputhje me parimin e minimizimit të domenit të dështimit të vetëm. Për shembull, kur zgjidhni midis:
â 3 x 4*10c / 512 GB
â 6 x 2*10c / 256 GB
Nëse të gjitha janë të barabarta, duhet të zgjidhet opsioni i dytë, sepse me dështimin e një serveri (apo gjatë shërbimit) humbet jo 33% e burimeve të klasterit, por 17%. Po ashtu, numri i VM dhe IХ që u preken nga ndodhia reduktohet me gjysmën.
Llogaritja e ruajtjes tradicionale bazuar në performancë
Ruajtja tradicionale gjithmonë llogaritet sipas skenarit më të keq (worst case scenario), duke ekskluduar ndikimin e caches operativ dhe optimizimin e operacioneve.
Si tregues themelor të performancës, pranojmë performancën mekanike nga disku (IOPSdisk):
â 7.2k â 75 IOPS
â 10k â 125 IOPS
â 15k â 175 IOPS
MĂ« pas numri i diskeve nĂ« grupin e disqeve llogaritet sipas formulĂ«s sĂ« mĂ«poshtme: = TotalIOPS * ( RW + (1 âRW) * RAIDPen) / IOPSdisk. Ku:
â TotalIOPS â performanca totale e kĂ«rkuar nĂ« IOPS nga grupi i disqeve
â RW â pĂ«rqindja e operacioneve tĂ« leximit
â RAIDpen â penalizimi RAID pĂ«r nivelin e zgjedhur tĂ« RAID
MĂ« teper rreth pajisjes RAID dhe RAID Penalty flitet kĂ«tu â dhe dhe
Duke u bazuar në numrin e marrë të disqeve, llogariten mundësitë e mundshme që plotësojnë kërkesat për kapacitetin e ruajtjes, duke përfshirë mundësi me ruajtje në nivele.
Llogaritja e sistemeve duke përdorur SSD si nivel ruajtjeje shqyrtohet veçmas.
Karakteristikat e llogaritjes së sistemeve me Flash Cache
Flash Cache â emri i pĂ«rgjithshĂ«m pĂ«r tĂ« gjitha teknologjitĂ« e markĂ«s qĂ« pĂ«rdorin kujtesĂ«n flash si cache tĂ« nivelit tĂ« dytĂ«. Kur pĂ«rdoret cache flash, ruajtja llogaritet zakonisht pĂ«r tĂ« siguruar ngarkesĂ«n e vendosur nga disqet magnetike, ndĂ«rsa kulmin e shĂ«rben cache.
Në këtë rast është e nevojshme të kuptohet profili i ngarkesës dhe shkalla e lokalizimit të kërkesave për blloqet e ruajtjes. Flash cache është teknologji për ngarkesa me lokalizim të lartë të kërkesave, dhe thuajse nuk aplikohet për volume të ngarkuar njëlloj (si për shembull në sistemet analitike).
Llogaritja e sistemeve hibride low-end / mid-range
Sistemet hibride të klasës së ulët dhe mesme përdorin ruajtje në nivele me lëvizjen e të dhënave midis niveleve sipas një orari. Në këtë rast, madhësia e bllokut të ruajtjes në nivele në modelet më të mira është 256 MB. Këto karakteristika nuk lejojnë që teknologjia e ruajtjes në nivele të konsiderohet teknologji për të rritur performancën, siç gabimisht mendon shumë. Ruajtja në nivele në sistemet e klasës së ulët dhe mesme është një teknologji për optimizimin e kostos së ruajtjes për sistemet me ngarkesa të dukshme jo të barabarta.
Për ruajtjen me shumë nivele, herë pas here llogaritet kryesisht performanca e nivelit të sipërm, ndërsa niveli i poshtëm i ruajtjes konsiderohet vetëm si kontribues i kapacitetit të ruajtjes që mungon. Për një sistem hibrid me shumë nivele, përdorimi i teknologjisë së keshit të flash është i domosdoshëm për një rezervuar të shumë niveleve me qëllim kompensimin e humbjes së performancës për të dhënat që ngrohen papritmas nga niveli i poshtëm.
Përdorimi i SSD në rezervuarin e shumë niveleve
Përdorimi i SSD në rezervuarin e shumë niveleve ka variacione, në varësi të veçorive të realizimit të algoritmeve të keshit të flash nga ky prodhues.
Praktika e përgjithshme e politikës së ruajtjes për rezervuarin disk me nivel SSD - SSD first.
Kesh Flash vetëm për lexim. Për keshin e flash vetëm për lexim, niveli i ruajtjes në SSD shfaqet kur operacionet e shkrimit lokalizohen në masë të madhe përveç keshit.
Kesh Flash Leximin / Shkrimin. Në rastin e keshit të flash për shkrim, fillimisht vendoset maksimumi i keshit, dhe niveli i ruajtjes në SSD shfaqet vetëm kur ka mungesë të madhësisë së keshit për të përballuar të gjithë ngarkesën e lokalizuar.
Llogaritja e performancës së SSD dhe keshit bëhet çdo herë në përputhje me rekomandimet e prodhuesit, por gjithmonë për rastin më të keq.
Burimi: habr.com
