Šiame straipsnyje norėčiau pakalbėti apie visų „Flash AccelStor“ masyvų funkcijas, veikiančias su viena populiariausių virtualizacijos platformų – „VMware vSphere“. Visų pirma atkreipkite dėmesį į tuos parametrus, kurie padės gauti maksimalų efektą naudojant tokį galingą įrankį kaip „All Flash“.
„AccelStor NeoSapphire™“ yra visos „Flash“ matricos arba mazginiai įrenginiai, pagrįsti SSD diskais, turintys iš esmės skirtingą požiūrį į duomenų saugojimo koncepcijos įgyvendinimą ir prieigos prie jos organizavimą naudojant patentuotą technologiją vietoj labai populiarių RAID algoritmų. Masyvai suteikia blokinę prieigą prie pagrindinio kompiuterio per Fibre Channel arba iSCSI sąsajas. Teisybės dėlei pažymime, kad modeliai su ISCSI sąsaja taip pat turi prieigą prie failų kaip malonią premiją. Tačiau šiame straipsnyje mes sutelksime dėmesį į blokų protokolų naudojimą kaip produktyviausią „All Flash“.
Visas „AccelStor“ masyvo ir „VMware vSphere“ virtualizavimo sistemos diegimo ir vėlesnės konfigūracijos procesas gali būti suskirstytas į kelis etapus:
- Ryšių topologijos ir SAN tinklo konfigūravimo diegimas;
- Visų „Flash“ masyvo nustatymas;
- ESXi hostų konfigūravimas;
- Virtualių mašinų nustatymas.
„AccelStor NeoSapphire™ Fibre Channel“ ir „iSCSI“ matricos buvo naudojamos kaip aparatinės įrangos pavyzdžiai. Pagrindinė programinė įranga yra VMware vSphere 6.7U1.
Prieš diegiant šiame straipsnyje aprašytas sistemas, labai rekomenduojama perskaityti VMware dokumentaciją apie našumo problemas ( ) ir iSCSI nustatymus ()
Ryšio topologija ir SAN tinklo konfigūracija
Pagrindiniai SAN tinklo komponentai yra HBA ESXi pagrindiniuose kompiuteriuose, SAN jungikliai ir masyvo mazgai. Tipiška tokio tinklo topologija atrodytų taip:
Sąvoka „Switch“ čia reiškia ir atskirą fizinį jungiklį arba jungiklių rinkinį („Fabric“), ir įrenginį, dalijamą tarp skirtingų paslaugų (VSAN „Fiber Channel“ atveju ir VLAN „iSCSI“ atveju). Naudojant du nepriklausomus jungiklius / audinius, galimas gedimo taškas bus pašalintas.
Tiesioginis kompiuterių prijungimas prie masyvo, nors ir palaikomas, labai nerekomenduojamas. Visų „Flash“ masyvų našumas yra gana didelis. O norint pasiekti maksimalų greitį, turi būti naudojami visi masyvo prievadai. Todėl bent vienas jungiklis tarp pagrindinio kompiuterio ir NeoSapphire™ yra privalomas.
Dviejų prievadų buvimas pagrindiniame HBA taip pat yra privalomas reikalavimas norint pasiekti maksimalų našumą ir užtikrinti atsparumą gedimams.
Naudojant Fibre Channel sąsają, zonavimas turi būti sukonfigūruotas taip, kad būtų išvengta galimų iniciatorių ir taikinių susidūrimų. Zonos sukurtos pagal principą „vienas iniciatoriaus prievadas – vienas ar daugiau masyvo prievadų“.
Jei naudojate ryšį per iSCSI, kai naudojate jungiklį, bendrinamą su kitomis paslaugomis, būtina atskirti iSCSI srautą atskirame VLAN. Taip pat labai rekomenduojama įjungti Jumbo Frames (MTU = 9000) palaikymą, kad būtų padidintas paketų dydis tinkle ir sumažintas papildomos informacijos kiekis perdavimo metu. Tačiau verta atsiminti, kad norint tinkamai veikti, būtina pakeisti MTU parametrą visuose tinklo komponentuose grandinėje „iniciator-switch-target“.
Visų „Flash“ masyvo nustatymas
Masyvas pristatomas klientams su jau suformuotomis grupėmis . Todėl nereikia imtis jokių veiksmų norint sujungti pavaras į vieną struktūrą. Jums tereikia sukurti reikiamo dydžio ir kiekio tomus.
Patogumui yra funkcija, leidžianti vienu metu sukurti kelis tam tikro dydžio tomus. Pagal numatytuosius nustatymus sukuriami ploni tomai, nes tai leidžia efektyviau išnaudoti turimą saugyklos vietą (įskaitant Space Reclamation palaikymą). Kalbant apie našumą, skirtumas tarp „plonų“ ir „storų“ tūrių neviršija 1%. Tačiau jei norite „išspausti visas sultis“ iš masyvo, bet kokį „ploną“ tūrį visada galite paversti „storu“. Tačiau reikia atsiminti, kad tokia operacija yra negrįžtama.
Toliau belieka „paskelbti“ sukurtus tomus ir nustatyti prieigos prie jų teises iš pagrindinio kompiuterio naudojant ACL (IP adresus iSCSI ir WWPN FC) ir fizinį atskyrimą masyvo prievadais. iSCSI modeliuose tai atliekama sukuriant tikslą.
FC modeliuose paskelbimas vyksta sukuriant LUN kiekvienam masyvo prievadui.
Norint pagreitinti sąrankos procesą, pagrindinius kompiuterius galima sujungti į grupes. Be to, jei pagrindinis kompiuteris naudoja kelių prievadų FC HBA (kas praktikoje dažniausiai nutinka), tada sistema automatiškai nustato, kad tokio HBA prievadai priklauso vienam pagrindiniam kompiuteriui dėl WWPN, kurie skiriasi vienu. Target/LUN paketinis kūrimas taip pat palaikomas abiejose sąsajose.
Svarbi pastaba naudojant iSCSI sąsają yra vienu metu sukurti kelis tomų tikslus, kad padidėtų našumas, nes taikinio eilė negali būti pakeista ir iš tikrųjų bus kliūtis.
ESXi Hosts konfigūravimas
ESXi pagrindinio kompiuterio pusėje pagrindinė konfigūracija atliekama pagal visiškai tikėtiną scenarijų. iSCSI prisijungimo procedūra:
- Pridėti programinės įrangos iSCSI adapterį (nereikia, jei jis jau pridėtas arba jei naudojate aparatinę iSCSI adapterį);
- Sukurti vSwitch, per kurį praeis iSCSI srautas, ir pridėti prie jo fizinį uplink ir VMkernal;
- Masyvo adresų įtraukimas į „Dynamic Discovery“;
- Duomenų saugyklos kūrimas
Keletas svarbių pastabų:
- Bendru atveju, žinoma, galite naudoti esamą vSwitch, tačiau atskiro vSwitch atveju valdyti pagrindinio kompiuterio nustatymus bus daug lengviau.
- Norint išvengti našumo problemų, valdymo ir iSCSI srautą būtina atskirti į atskiras fizines nuorodas ir (arba) VLAN.
- „VMkernal“ IP adresai ir atitinkami „All Flash“ masyvo prievadai turi būti tame pačiame potinklyje, vėlgi dėl našumo problemų.
- Kad būtų užtikrintas atsparumas gedimams pagal VMware taisykles, vSwitch turi turėti bent dvi fizines uplinks
- Jei naudojami Jumbo Frames, turite pakeisti „vSwitch“ ir „VMkernal“ MTU
- Būtų naudinga priminti, kad pagal VMware rekomendacijas fiziniams adapteriams, kurie bus naudojami dirbti su iSCSI srautu, būtina sukonfigūruoti Teaming ir Failover. Visų pirma, kiekvienas VMkernal turi veikti tik per vieną aukštyn, antrasis turi būti perjungtas į nenaudojamą režimą. Kad būtų užtikrintas atsparumas gedimams, reikia pridėti du VMkernalus, kurių kiekvienas veiks per savo uplink.
VMkernel adapteris (vmk#)
Fizinis tinklo adapteris (vmnic#)
vmk1 (Storage01)
Aktyvūs adapteriai
vmnic2
Nenaudojami adapteriai
vmnic3
vmk2 (Storage02)
Aktyvūs adapteriai
vmnic3
Nenaudojami adapteriai
vmnic2
Norint prisijungti per Fibre Channel, nereikia atlikti jokių išankstinių veiksmų. Galite iš karto sukurti duomenų saugyklą.
Sukūrę duomenų saugyklą, turite įsitikinti, kad „Round Robin“ strategija keliams į tikslą / LUN naudojama kaip našiausia.
Pagal numatytuosius nustatymus VMware nustatymai numato šios politikos naudojimą pagal schemą: 1000 užklausų per pirmąjį kelią, kitos 1000 užklausų per antrąjį kelią ir kt. Tokia sąveika tarp pagrindinio kompiuterio ir dviejų valdiklių masyvo bus nesubalansuota. Todėl rekomenduojame per Esxcli / PowerCLI nustatyti parametrą Round Robin politika = 1.
Parametrai
Esxcli:
- Išvardykite galimus LUN
esxcli saugyklos nmp įrenginių sąrašas
- Nukopijuokite įrenginio pavadinimą
- Pakeiskite „Round Robin“ politiką
esxcli saugyklos nmp psp roundrobin įrenginio konfigūracijos rinkinys —type=iops —iops=1 —device=“Device_ID”
Dauguma šiuolaikinių programų yra skirtos keistis dideliais duomenų paketais, siekiant maksimaliai išnaudoti pralaidumą ir sumažinti procesoriaus apkrovą. Todėl ESXi pagal numatytuosius nustatymus išsiunčia įvesties / išvesties užklausas į saugojimo įrenginį dalimis iki 32767 KB. Tačiau kai kuriais atvejais produktyviau bus pakeisti mažesnius gabalus. „AccelStor“ masyvuose yra šie scenarijai:
- Virtuali mašina naudoja UEFI, o ne Legacy BIOS
- Naudoja vSphere replikaciją
Tokiems scenarijams rekomenduojama pakeisti parametro Disk.DiskMaxIOSize reikšmę į 4096.
iSCSI ryšiams rekomenduojama pakeisti prisijungimo skirtojo laiko parametrą į 30 (numatytasis 5), kad padidintumėte ryšio stabilumą ir išjungtumėte DelayedAck delsą, skirtą persiųstų paketų patvirtinimams. Abi parinktys yra „vSphere Client“: Priegloba → Konfigūruoti → Saugykla → Saugyklos adapteriai → Išplėstinės iSCSI adapterio parinktys
Gana subtilus dalykas yra duomenų saugyklai naudojamų tomų skaičius. Akivaizdu, kad siekiant palengvinti valdymą, norima sukurti vieną didelį tomą visam masyvo tūriui. Tačiau kelių tomų ir atitinkamai duomenų saugyklos buvimas turi teigiamą poveikį bendram našumui (daugiau apie eiles žemiau). Todėl rekomenduojame sukurti bent du tomus.
Dar palyginti neseniai VMware patarė apriboti virtualių mašinų skaičių vienoje duomenų saugykloje, kad būtų pasiektas kuo didesnis našumas. Tačiau dabar, ypač plintant VDI, ši problema nebėra tokia opi. Tačiau tai nepanaikina seniai galiojančios taisyklės – platinti virtualias mašinas, kurioms reikalingas intensyvus IO, įvairiose duomenų saugyklose. Norint nustatyti optimalų virtualių mašinų skaičių viename tome, nėra nieko geriau nei savo infrastruktūroje.
Virtualių mašinų nustatymas
Nustatant virtualias mašinas nėra specialių reikalavimų, tiksliau, jie yra gana įprasti:
- Aukščiausios įmanomos VM versijos naudojimas (suderinamumas)
- Atidžiau nustatykite RAM dydį, kai virtualios mašinos talpinamos tankiai, pavyzdžiui, į VDI (nes pagal nutylėjimą paleidžiant sukuriamas RAM dydžio proporcingas puslapio failas, kuris sunaudoja naudingos talpos ir turi įtakos galutinis pasirodymas)
- Naudokite produktyviausias IO adapterio versijas: tinklo tipą VMXNET 3 ir SCSI tipą PVSCSI
- Naudokite Thick Provision Eager Zeroed disko tipą, kad pasiektumėte maksimalų našumą, ir Thin Provisioning, kad maksimaliai išnaudotumėte saugyklos vietą
- Jei įmanoma, apribokite ne I/O svarbių mašinų veikimą naudodami virtualiojo disko ribą
- Būtinai įdiekite VMware Tools
Pastabos apie eiles
Eilė (arba neįvykdytos įvesties/išvesties) yra įvesties/išvesties užklausų (SCSI komandų), kurios bet kuriuo metu laukia apdorojimo konkrečiam įrenginiui/programai, skaičius. Eilės perpildymo atveju išduodamos QFULL klaidos, dėl kurių galiausiai padidėja delsos parametras. Naudojant disko (verpstės) saugojimo sistemas, teoriškai, kuo didesnė eilė, tuo didesnis jų našumas. Tačiau neturėtumėte tuo piktnaudžiauti, nes į QFULL lengva patekti. „All Flash“ sistemų atveju, viena vertus, viskas yra kiek paprasčiau: juk masyve yra dydžiu mažesnės uždelsos, todėl dažniausiai nereikia atskirai reguliuoti eilių dydžio. Bet iš kitos pusės, kai kuriuose naudojimo scenarijuose (stiprus IO reikalavimų pakreipimas konkrečioms virtualioms mašinoms, maksimalaus našumo testai ir pan.) būtina jei ne keisti eilių parametrus, tai bent jau suprasti, kokie rodikliai. galima pasiekti, o svarbiausia – kokiais būdais.
Pačiame „AccelStor All Flash“ masyve nėra jokių apribojimų, susijusių su apimtimis ar įvesties / išvesties prievadais. Jei reikia, net vienas tomas gali gauti visus masyvo išteklius. Vienintelis eilės apribojimas yra skirtas iSCSI tikslams. Būtent dėl šios priežasties, norint įveikti šią ribą, aukščiau buvo nurodyta, kad kiekvienam tomui reikia sukurti keletą (idealiu atveju iki 8 vienetų) taikinių. Taip pat pakartokime, kad „AccelStor“ masyvai yra labai produktyvūs sprendimai. Todėl, norėdami pasiekti maksimalų greitį, turėtumėte naudoti visus sistemos sąsajos prievadus.
ESXi prieglobos pusėje situacija yra visiškai kitokia. Pats šeimininkas taiko vienodos prieigos prie išteklių visiems dalyviams praktiką. Todėl svečio OS ir HBA yra atskiros IO eilės. Eilės į svečio OS sujungiamos iš eilių į virtualų SCSI adapterį ir virtualųjį diską:
Eilė į HBA priklauso nuo konkretaus tipo / pardavėjo:
Galutinį virtualios mašinos našumą lems žemiausia eilės gylio riba tarp pagrindinio kompiuterio komponentų.
Šių verčių dėka galime įvertinti veiklos rodiklius, kuriuos galime gauti tam tikroje konfigūracijoje. Pavyzdžiui, norime sužinoti teorinį virtualios mašinos veikimą (be bloko surišimo), kurios delsa yra 0.5 ms. Tada jo IOPS = (1,000 XNUMX / delsa) * Neįvykdyti įėjimai / išėjimai (eilės gylio riba)
pavyzdžiai
Pavyzdys 1
- FC Emulex HBA adapteris
- Viena VM duomenų saugykloje
- VMware Paravirtualus SCSI adapteris
Čia eilės gylio ribą nustato Emulex HBA. Todėl IOPS = (1000/0.5)*32 = 64K
Pavyzdys 2
- VMware iSCSI programinės įrangos adapteris
- Viena VM duomenų saugykloje
- VMware Paravirtualus SCSI adapteris
Čia eilės gylio ribą jau nustato paravirtualus SCSI adapteris. Todėl IOPS = (1000/0.5)*64 = 128K
Populiariausi visų „Flash AccelStor“ masyvų modeliai (pvz., ) gali užtikrinti 700K IOPS rašymo našumą esant 4K blokui. Esant tokiam bloko dydžiui, visiškai akivaizdu, kad viena virtuali mašina negali įkelti tokio masyvo. Norėdami tai padaryti, jums reikės 11 (pavyzdžiui, 1) arba 6 (pavyzdžiui, 2) virtualių mašinų.
Dėl to teisingai sukonfigūruodami visus aprašytus virtualaus duomenų centro komponentus, galite gauti labai įspūdingų našumo rezultatų.
4K atsitiktinis, 70 % skaitymo / 30 % rašymo
Tiesą sakant, realus pasaulis yra daug sudėtingesnis, nei galima apibūdinti naudojant paprastą formulę. Viename pagrindiniame kompiuteryje visada yra kelios virtualios mašinos su skirtingomis konfigūracijomis ir IO reikalavimais. O I/O apdorojimą tvarko pagrindinis procesorius, kurio galia nėra begalinė. Taigi, norėdami išnaudoti visą to paties potencialą realiai jums reikės trijų šeimininkų. Be to, virtualiose mašinose veikiančios programos atlieka savo pakeitimus. Todėl tiksliam dydžiui siūlome Visi Flash masyvai kliento infrastruktūroje atliekant realias dabartines užduotis.
Šaltinis: www.habr.com