Å ajÄ rakstÄ es vÄlÄtos runÄt par visu Flash AccelStor masÄ«vu funkcijÄm, kas strÄdÄ ar vienu no populÄrÄkajÄm virtualizÄcijas platformÄm - VMware vSphere. Jo Ä«paÅ”i koncentrÄjieties uz tiem parametriem, kas palÄ«dzÄs iegÅ«t maksimÄlu efektu, izmantojot tik jaudÄ«gu rÄ«ku kÄ All Flash.
AccelStor NeoSapphireā¢ Visi Flash masÄ«vi ir vai mezglu ierÄ«ces, kuru pamatÄ ir SSD diskdziÅi ar bÅ«tiski atŔķirÄ«gu pieeju datu uzglabÄÅ”anas koncepcijas ievieÅ”anai un piekļuves organizÄÅ”anai, izmantojot patentÄtu tehnoloÄ£iju ļoti populÄro RAID algoritmu vietÄ. MasÄ«vi nodroÅ”ina bloÄ·Ätu piekļuvi saimniekiem, izmantojot Fibre Channel vai iSCSI saskarnes. TaisnÄ«bas labad jÄatzÄ«mÄ, ka modeļiem ar ISCSI interfeisu kÄ patÄ«kams bonuss ir arÄ« piekļuve failiem. Bet Å”ajÄ rakstÄ mÄs koncentrÄsimies uz bloku protokolu izmantoÅ”anu kÄ visproduktÄ«vÄko All Flash.
Visu AccelStor masÄ«va un VMware vSphere virtualizÄcijas sistÄmas kopÄ«gas darbÄ«bas izvietoÅ”anas un turpmÄkÄs konfigurÄÅ”anas procesu var iedalÄ«t vairÄkos posmos:
- Savienojumu topoloÄ£ijas un SAN tÄ«kla konfigurÄcijas ievieÅ”ana;
- Visu Flash masīva iestatīŔana;
- ESXi saimniekdatoru konfigurÄÅ”ana;
- VirtuÄlo maŔīnu iestatÄ«Å”ana.
KÄ aparatÅ«ras paraugi tika izmantoti AccelStor NeoSapphireā¢ Fibre Channel masÄ«vi un iSCSI masÄ«vi. BÄzes programmatÅ«ra ir VMware vSphere 6.7U1.
Pirms Å”ajÄ rakstÄ aprakstÄ«to sistÄmu izvietoÅ”anas ļoti ieteicams izlasÄ«t VMware dokumentÄciju par veiktspÄjas problÄmÄm ( ) un iSCSI iestatÄ«jumi ()
Savienojuma topoloÄ£ija un SAN tÄ«kla konfigurÄcija
GalvenÄs SAN tÄ«kla sastÄvdaļas ir HBA ESXi saimniekdatoros, SAN slÄdži un masÄ«vu mezgli. Tipiska Å”Äda tÄ«kla topoloÄ£ija izskatÄ«tos Å”Ädi:
Termins SlÄdzis Å”eit attiecas gan uz atseviŔķu fizisko slÄdzi vai slÄdžu kopu (Fabric), gan uz ierÄ«ci, kas tiek koplietota starp dažÄdiem pakalpojumiem (VSAN Fibre Channel gadÄ«jumÄ un VLAN iSCSI gadÄ«jumÄ). Divu neatkarÄ«gu slÄdžu/audumu izmantoÅ”ana novÄrsÄ«s iespÄjamo atteices punktu.
TieÅ”a saimniekdatoru savienoÅ”ana ar masÄ«vu, kaut arÄ« tiek atbalstÄ«ta, nav ieteicama. Visu Flash masÄ«vu veiktspÄja ir diezgan augsta. Un maksimÄlajam Ätrumam ir jÄizmanto visi masÄ«va porti. TÄpÄc vismaz viena slÄdža klÄtbÅ«tne starp saimniekdatoriem un NeoSapphireā¢ ir obligÄta.
Divu portu klÄtbÅ«tne resursdatora HBA ir arÄ« obligÄta prasÄ«ba, lai sasniegtu maksimÄlu veiktspÄju un nodroÅ”inÄtu kļūdu toleranci.
Izmantojot Fibre Channel saskarni, zonÄjums ir jÄkonfigurÄ, lai novÄrstu iespÄjamÄs sadursmes starp ierosinÄtÄjiem un mÄrÄ·iem. Zonas ir veidotas pÄc principa "viens iniciatora ports - viens vai vairÄki masÄ«va porti".
Ja izmantojat savienojumu, izmantojot iSCSI, ja izmantojat slÄdzi, kas koplietots ar citiem pakalpojumiem, iSCSI trafiks ir obligÄti jÄnodala atseviÅ”Ä·Ä VLAN. Ir arÄ« ļoti ieteicams iespÄjot atbalstu Jumbo Frames (MTU = 9000), lai palielinÄtu pakeÅ”u lielumu tÄ«klÄ un tÄdÄjÄdi samazinÄtu pieskaitÄmÄs informÄcijas apjomu pÄrraides laikÄ. TomÄr ir vÄrts atcerÄties, ka pareizai darbÄ«bai ir jÄmaina MTU parametrs visos tÄ«kla komponentos gar Ä·Ädi āiniciator-switch-targetā.
Visu Flash masīva iestatīŔana
MasÄ«vs tiek piegÄdÄts klientiem ar jau izveidotÄm grupÄm . TÄpÄc nav jÄveic nekÄdas darbÄ«bas, lai diskus apvienotu vienÄ struktÅ«rÄ. Jums tikai jÄizveido vajadzÄ«gÄ izmÄra un daudzuma apjomi.
ÄrtÄ«bas labad ir funkcionalitÄte, lai vienlaikus izveidotu vairÄkus noteikta izmÄra sÄjumus. PÄc noklusÄjuma tiek izveidoti plÄni sÄjumi, jo tas ļauj efektÄ«vÄk izmantot pieejamo krÄtuves vietu (tostarp atbalstu Space Reclamation). RunÄjot par veiktspÄju, starpÄ«ba starp "plÄnajiem" un "biezajiem" tilpumiem nepÄrsniedz 1%. TomÄr, ja vÄlaties āizspiest visu suluā no masÄ«va, vienmÄr varat pÄrvÄrst jebkuru āplÄnuā tilpumu ābiezÄā. Bet jÄatceras, ka Å”Äda operÄcija ir neatgriezeniska.
TÄlÄk atliek āpublicÄtā izveidotos sÄjumus un iestatÄ«t tiem piekļuves tiesÄ«bas no saimniekiem, izmantojot ACL (IP adreses iSCSI un WWPN FC) un fizisku atdalÄ«Å”anu ar masÄ«va portiem. iSCSI modeļiem tas tiek darÄ«ts, izveidojot mÄrÄ·i.
FC modeļiem publicÄÅ”ana notiek, izveidojot LUN katram masÄ«va portam.
Lai paÄtrinÄtu iestatÄ«Å”anas procesu, saimniekdatorus var apvienot grupÄs. TurklÄt, ja resursdators izmanto daudzportu FC HBA (kas praksÄ visbiežÄk notiek), sistÄma automÄtiski nosaka, ka Å”Äda HBA porti pieder vienam resursdatoram, pateicoties WWPN, kas atŔķiras ar vienu. AbÄm saskarnÄm tiek atbalstÄ«ta arÄ« Target/LUN pakeÅ”u izveide.
SvarÄ«ga piezÄ«me, lietojot iSCSI saskarni, ir vienlaikus izveidot vairÄkus mÄrÄ·us sÄjumiem, lai palielinÄtu veiktspÄju, jo mÄrÄ·a rindu nevar mainÄ«t, un tÄ faktiski bÅ«s sastrÄgums.
ESXi saimniekdatoru konfigurÄÅ”ana
ESXi resursdatora pusÄ pamata konfigurÄcija tiek veikta saskaÅÄ ar pilnÄ«bÄ paredzÄto scenÄriju. iSCSI savienojuma procedÅ«ra:
- Pievienojiet programmatūras iSCSI adapteri (nav nepiecieŔams, ja tas jau ir pievienots vai ja izmantojat aparatūras iSCSI adapteri);
- Izveidot vSwitch, caur kuru tiks iSCSI trafiks, un pievienojot tam fizisku augŔupsaiti un VMkernal;
- Masīva adreŔu pievienoŔana Dynamic Discovery;
- Datu krÄtuves izveide
Dažas svarīgas piezīmes:
- VispÄrÄ«gÄ gadÄ«jumÄ, protams, var izmantot esoÅ”u vSwitch, bet atseviŔķa vSwitch gadÄ«jumÄ saimniekdatora iestatÄ«jumu pÄrvaldÄ«ba bÅ«s daudz vienkÄrÅ”Äka.
- Lai izvairÄ«tos no veiktspÄjas problÄmÄm, pÄrvaldÄ«bas un iSCSI trafika ir jÄnodala atseviŔķÄs fiziskÄs saitÄs un/vai VLAN.
- VMkernal IP adresÄm un atbilstoÅ”ajiem masÄ«va All Flash portiem ir jÄatrodas vienÄ apakÅ”tÄ«klÄ, arÄ« veiktspÄjas problÄmu dÄļ.
- Lai nodroÅ”inÄtu kļūdu toleranci saskaÅÄ ar VMware noteikumiem, vSwitch ir jÄbÅ«t vismaz divÄm fiziskÄm augÅ”upsaitÄm
- Ja tiek izmantoti Jumbo Frames, jums ir jÄmaina gan vSwitch, gan VMkernal MTU
- BÅ«tu lietderÄ«gi atgÄdinÄt, ka saskaÅÄ ar VMware ieteikumiem fiziskajiem adapteriem, kas tiks izmantoti darbam ar iSCSI trafiku, ir nepiecieÅ”ams konfigurÄt Teaming un Failover. Jo Ä«paÅ”i katram VMkernal jÄdarbojas tikai ar vienu augÅ”upsaiti, otrajai augÅ”upsaitei jÄbÅ«t pÄrslÄgtai uz neizmantoto režīmu. Lai nodroÅ”inÄtu kļūdu toleranci, jums jÄpievieno divi VMkernali, no kuriem katrs darbosies, izmantojot savu augÅ”upsaiti.
VMkernel adapteris (vmk#)
FiziskÄ tÄ«kla adapteris (vmnic#)
vmk1 (Storage01)
Aktīvie adapteri
vmnic2
Nelietoti adapteri
vmnic3
vmk2 (Storage02)
Aktīvie adapteri
vmnic3
Nelietoti adapteri
vmnic2
Lai izveidotu savienojumu, izmantojot Fibre Channel, nav jÄveic nekÄdas iepriekÅ”Äjas darbÄ«bas. JÅ«s varat nekavÄjoties izveidot datu krÄtuvi.
PÄc datu krÄtuves izveides jums ir jÄpÄrliecinÄs, ka Round Robin politika ceļiem uz Target/LUN tiek izmantota kÄ visefektÄ«vÄkÄ.
PÄc noklusÄjuma VMware iestatÄ«jumi nodroÅ”ina Ŕīs politikas izmantoÅ”anu saskaÅÄ ar shÄmu: 1000 pieprasÄ«jumi pa pirmo ceļu, nÄkamie 1000 pieprasÄ«jumi pa otro ceļu utt. Å Äda mijiedarbÄ«ba starp saimniekdatoru un divu kontrolieru masÄ«vu bÅ«s nelÄ«dzsvarota. TÄpÄc mÄs iesakÄm iestatÄ«t parametru Round Robin politika = 1, izmantojot Esxcli/PowerCLI.
Parametrus
Esxcli:
- NorÄdiet pieejamos LUN
esxcli krÄtuves nmp ierÄ«Äu saraksts
- KopÄjiet ierÄ«ces nosaukumu
- Mainīt Round Robin politiku
esxcli krÄtuves nmp psp roundrobin deviceconfig set ātype=iops āiops=1 ādevice=āDevice_IDā
LielÄkÄ daļa mÅ«sdienu lietojumprogrammu ir paredzÄtas lielu datu pakeÅ”u apmaiÅai, lai maksimÄli palielinÄtu joslas platuma izmantoÅ”anu un samazinÄtu CPU slodzi. TÄpÄc ESXi pÄc noklusÄjuma izdod I/O pieprasÄ«jumus atmiÅas ierÄ«cei gabalos lÄ«dz 32767 KB. TomÄr dažos gadÄ«jumos mazÄku gabalu apmaiÅa bÅ«s produktÄ«vÄka. AccelStor masÄ«viem ir Å”Ädi scenÄriji:
- VirtuÄlÄ maŔīna izmanto UEFI, nevis mantoto BIOS
- Izmanto vSphere replikÄciju
Å Ädiem scenÄrijiem ir ieteicams mainÄ«t parametra Disk.DiskMaxIOSize vÄrtÄ«bu uz 4096.
iSCSI savienojumiem ieteicams mainÄ«t PieteikÅ”anÄs taimauta parametru uz 30 (noklusÄjums 5), lai palielinÄtu savienojuma stabilitÄti un atspÄjotu DelayedAck aizkavi pÄrsÅ«tÄ«to pakeÅ”u apstiprinÄÅ”anai. Abas opcijas ir vSphere Client: Host ā KonfigurÄt ā KrÄtuve ā KrÄtuves adapteri ā iSCSI adaptera papildu opcijas
Diezgan smalks punkts ir datu krÄtuvei izmantoto sÄjumu skaits. Skaidrs, ka pÄrvaldÄ«bas ÄrtÄ«bai ir vÄlme izveidot vienu lielu apjomu visam masÄ«va apjomam. TomÄr vairÄku sÄjumu un attiecÄ«gi datu krÄtuves klÄtbÅ«tne labvÄlÄ«gi ietekmÄ kopÄjo veiktspÄju (vairÄk par rindÄm tÄlÄk). TÄpÄc mÄs iesakÄm izveidot vismaz divus sÄjumus.
VÄl salÄ«dzinoÅ”i nesen VMware ieteica ierobežot virtuÄlo maŔīnu skaitu vienÄ datu krÄtuvÄ, lai atkal iegÅ«tu pÄc iespÄjas augstÄku veiktspÄju. TaÄu Å”obrÄ«d, Ä«paÅ”i lÄ«dz ar VDI izplatÄ«bu, Ŕī problÄma vairs nav tik aktuÄla. Bet tas neatceļ ilgstoÅ”o noteikumu - izplatÄ«t virtuÄlÄs maŔīnas, kurÄm nepiecieÅ”ama intensÄ«va IO, dažÄdos datu krÄtuvÄs. Lai noteiktu optimÄlo virtuÄlo maŔīnu skaitu vienÄ sÄjumÄ, nekas nav labÄks par tÄs infrastruktÅ«rÄ.
VirtuÄlo maŔīnu iestatÄ«Å”ana
Iestatot virtuÄlÄs maŔīnas, nav Ä«paÅ”u prasÄ«bu, vai drÄ«zÄk tÄs ir diezgan parastas:
- AugstÄkÄs iespÄjamÄs VM versijas izmantoÅ”ana (saderÄ«ba)
- UzmanÄ«gÄk ir iestatÄ«t RAM lielumu, ievietojot virtuÄlÄs maŔīnas blÄ«vi, piemÄram, VDI (jo pÄc noklusÄjuma startÄÅ”anas laikÄ tiek izveidots lappuses fails, kas atbilst RAM izmÄram, kas patÄrÄ lietderÄ«go ietilpÄ«bu un ietekmÄ pÄdÄjais priekÅ”nesums)
- Izmantojiet IO ziÅÄ produktÄ«vÄkÄs adaptera versijas: tÄ«kla tips VMXNET 3 un SCSI tips PVSCSI
- Izmantojiet Thick Provision Eager Zeroed diska tipu maksimÄlai veiktspÄjai un Thin Provisioning, lai maksimÄli izmantotu krÄtuves vietu
- Ja iespÄjams, ierobežojiet kritisko iekÄrtu, kas nav I/O, darbÄ«bu, izmantojot virtuÄlÄ diska ierobežojumu
- Noteikti instalÄjiet VMware rÄ«kus
PiezÄ«mes par rindÄm
Rinda (vai neizpildÄ«tie I/O) ir ievades/izvades pieprasÄ«jumu (SCSI komandu) skaits, kas jebkurÄ laikÄ gaida apstrÄdi konkrÄtai ierÄ«cei/lietojumprogrammai. Rindas pÄrpildes gadÄ«jumÄ tiek izdotas QFULL kļūdas, kas galu galÄ palielina latentuma parametru. Izmantojot diska (vÄrpstas) uzglabÄÅ”anas sistÄmas, teorÄtiski, jo augstÄka rinda, jo augstÄka ir to veiktspÄja. TomÄr jums nevajadzÄtu to ļaunprÄtÄ«gi izmantot, jo QFULL ir viegli nokļūt. Visu Flash sistÄmu gadÄ«jumÄ, no vienas puses, viss ir nedaudz vienkÄrÅ”Äk: galu galÄ masÄ«vam ir latentumi, kas ir par kÄrtas mazÄki, un tÄpÄc visbiežÄk nav nepiecieÅ”ams atseviŔķi regulÄt rindu lielumu. Bet no otras puses, dažos lietoÅ”anas scenÄrijos (spÄcÄ«ga IO prasÄ«bu novirze konkrÄtÄm virtuÄlajÄm maŔīnÄm, maksimÄlas veiktspÄjas testi utt.) ir ja ne jÄmaina rindu parametri, tad vismaz jÄsaprot kÄdi rÄdÄ«tÄji. var panÄkt, un, galvenais, kÄdos veidos.
PaÅ”Ä AccelStor All Flash masÄ«vÄ nav ierobežojumu attiecÄ«bÄ uz sÄjumiem vai I/O portiem. Ja nepiecieÅ”ams, pat viens sÄjums var saÅemt visus masÄ«va resursus. VienÄ«gais rindas ierobežojums attiecas uz iSCSI mÄrÄ·iem. Å Ä« iemesla dÄļ iepriekÅ” tika norÄdÄ«ta nepiecieÅ”amÄ«ba katram sÄjumam izveidot vairÄkus (ideÄlÄ gadÄ«jumÄ lÄ«dz 8 gabaliem) mÄrÄ·us, lai pÄrvarÄtu Å”o ierobežojumu. AtkÄrtosim arÄ« to, ka AccelStor masÄ«vi ir ļoti produktÄ«vi risinÄjumi. TÄpÄc, lai sasniegtu maksimÄlo Ätrumu, jÄizmanto visi sistÄmas interfeisa porti.
ESXi saimniekdatora pusÄ situÄcija ir pilnÄ«gi atŔķirÄ«ga. Pats saimnieks piemÄro praksi par vienlÄ«dzÄ«gu piekļuvi resursiem visiem dalÄ«bniekiem. TÄpÄc viesu OS un HBA ir atseviŔķas IO rindas. Rindas uz viesu OS tiek apvienotas no rindÄm uz virtuÄlo SCSI adapteri un virtuÄlo disku:
Rinda uz HBA ir atkarÄ«ga no konkrÄtÄ veida/pÄrdevÄja:
VirtuÄlÄs maŔīnas galÄ«go veiktspÄju noteiks zemÄkais rindas dziļuma ierobežojums starp resursdatora komponentiem.
Pateicoties Ŕīm vÄrtÄ«bÄm, mÄs varam novÄrtÄt darbÄ«bas rÄdÄ«tÄjus, ko varam iegÅ«t konkrÄtÄ konfigurÄcijÄ. PiemÄram, mÄs vÄlamies uzzinÄt virtuÄlÄs maŔīnas teorÄtisko veiktspÄju (bez bloku piesaistes) ar latentumu 0.5 ms. Tad tÄ IOPS = (1,000/latents) * NenokÄrtotie I/O (rindas dziļuma ierobežojums)
piemÄri
piemÄrs 1
- FC Emulex HBA adapteris
- Viena virtuÄlÄ maŔīna katrÄ datu krÄtuvÄ
- VMware ParavirtuÄlais SCSI adapteris
Å eit rindas dziļuma ierobežojumu nosaka Emulex HBA. TÄpÄc IOPS = (1000/0.5)*32 = 64K
piemÄrs 2
- VMware iSCSI programmatūras adapteris
- Viena virtuÄlÄ maŔīna katrÄ datu krÄtuvÄ
- VMware ParavirtuÄlais SCSI adapteris
Å eit rindas dziļuma ierobežojumu jau nosaka ParavirtuÄlais SCSI adapteris. TÄpÄc IOPS = (1000/0.5)*64 = 128K
Visu Flash AccelStor masÄ«vu populÄrÄkie modeļi (piemÄram, ) spÄj nodroÅ”inÄt 700K IOPS rakstÄ«Å”anas veiktspÄju 4K blokÄ. Ar Å”Ädu bloka izmÄru ir diezgan skaidrs, ka viena virtuÄlÄ maŔīna nevar ielÄdÄt Å”Ädu masÄ«vu. Lai to izdarÄ«tu, jums bÅ«s nepiecieÅ”amas 11 (piemÄram, 1) vai 6 (piemÄram, 2) virtuÄlÄs maŔīnas.
TÄ rezultÄtÄ, pareizi konfigurÄjot visas virtuÄlÄ datu centra aprakstÄ«tÄs sastÄvdaļas, jÅ«s varat iegÅ«t ļoti iespaidÄ«gus rezultÄtus veiktspÄjas ziÅÄ.
4K izlases veidÄ, 70% lasÄ«Å”anas/30% rakstÄ«Å”anas
PatiesÄ«bÄ reÄlÄ pasaule ir daudz sarežģītÄka, nekÄ to var aprakstÄ«t ar vienkÄrÅ”u formulu. Viens saimniekdators vienmÄr mitina vairÄkas virtuÄlÄs maŔīnas ar dažÄdÄm konfigurÄcijÄm un IO prasÄ«bÄm. Un I/O apstrÄdi apstrÄdÄ resursdatora procesors, kura jauda nav bezgalÄ«ga. TÄtad, lai atraisÄ«tu visu to paÅ”u potenciÄlu patiesÄ«bÄ jums bÅ«s nepiecieÅ”ami trÄ«s saimnieki. TurklÄt lietojumprogrammas, kas darbojas virtuÄlajÄs maŔīnÄs, veic savus pielÄgojumus. TÄpÄc precÄ«zai izmÄra noteikÅ”anai piedÄvÄjam Visi Flash masÄ«vi klienta infrastruktÅ«rÄ, veicot reÄlus paÅ”reizÄjos uzdevumus.
Avots: www.habr.com
