Sa artikulong ito, nais kong pag-usapan ang tungkol sa mga tampok ng Lahat ng mga array ng Flash AccelStor na gumagana sa isa sa mga pinakasikat na platform ng virtualization - VMware vSphere. Sa partikular, tumuon sa mga parameter na iyon na makakatulong sa iyong makuha ang maximum na epekto mula sa paggamit ng napakahusay na tool gaya ng All Flash.
AccelStor NeoSapphire™ Lahat ng mga array ng Flash ay o node device batay sa mga SSD drive na may panimula na naiibang diskarte sa pagpapatupad ng konsepto ng pag-iimbak ng data at pag-aayos ng access dito gamit ang proprietary technology sa halip na ang napakasikat na RAID algorithm. Ang mga array ay nagbibigay ng block access sa mga host sa pamamagitan ng Fiber Channel o mga interface ng iSCSI. Upang maging patas, tandaan namin na ang mga modelo na may interface ng ISCSI ay mayroon ding file access bilang magandang bonus. Ngunit sa artikulong ito ay tututuon natin ang paggamit ng mga block protocol bilang ang pinakaproduktibo para sa Lahat ng Flash.
Ang buong proseso ng pag-deploy at kasunod na pagsasaayos ng magkasanib na operasyon ng hanay ng AccelStor at ang sistema ng virtualization ng VMware vSphere ay maaaring hatiin sa ilang mga yugto:
- Pagpapatupad ng topology ng koneksyon at pagsasaayos ng SAN network;
- Pagse-set up ng Lahat ng Flash array;
- Pag-configure ng mga host ng ESXi;
- Pag-set up ng mga virtual machine.
Ang mga array ng AccelStor NeoSapphire™ Fiber Channel at mga array ng iSCSI ay ginamit bilang sample na hardware. Ang batayang software ay VMware vSphere 6.7U1.
Bago i-deploy ang mga system na inilarawan sa artikulong ito, lubos na inirerekomenda na basahin mo ang dokumentasyon mula sa VMware tungkol sa mga isyu sa pagganap ( ) at mga setting ng iSCSI ()
Topology ng koneksyon at configuration ng SAN network
Ang mga pangunahing bahagi ng isang network ng SAN ay mga HBA sa mga host ng ESXi, mga switch ng SAN at mga node ng array. Ang isang tipikal na topology para sa naturang network ay magiging ganito:
Ang terminong Switch dito ay tumutukoy sa parehong hiwalay na pisikal na switch o set ng mga switch (Fabric), at isang device na ibinahagi sa pagitan ng iba't ibang serbisyo (VSAN sa kaso ng Fiber Channel at VLAN sa kaso ng iSCSI). Ang paggamit ng dalawang independiyenteng switch/Fabrics ay mag-aalis ng posibleng punto ng pagkabigo.
Ang direktang koneksyon ng mga host sa array, bagama't suportado, ay lubos na hindi inirerekomenda. Medyo mataas ang performance ng All Flash arrays. At para sa maximum na bilis, dapat gamitin ang lahat ng port ng array. Samakatuwid, ang pagkakaroon ng hindi bababa sa isang switch sa pagitan ng mga host at NeoSapphire™ ay sapilitan.
Ang pagkakaroon ng dalawang port sa host HBA ay isa ring mandatoryong kinakailangan upang makamit ang maximum na pagganap at matiyak ang fault tolerance.
Kapag gumagamit ng interface ng Fiber Channel, dapat i-configure ang zoning upang maalis ang mga posibleng banggaan sa pagitan ng mga initiator at target. Ang mga zone ay binuo sa prinsipyo ng "isang initiator port - isa o higit pang array port."
Kung gagamit ka ng koneksyon sa pamamagitan ng iSCSI sa kaso ng paggamit ng switch na ibinahagi sa iba pang mga serbisyo, kinakailangan na ihiwalay ang trapiko ng iSCSI sa loob ng isang hiwalay na VLAN. Lubos ding inirerekumenda na paganahin ang suporta para sa Jumbo Frames (MTU = 9000) upang palakihin ang laki ng mga packet sa network at sa gayon ay bawasan ang dami ng overhead na impormasyon sa panahon ng paghahatid. Gayunpaman, ito ay nagkakahalaga ng pag-alala na para sa tamang operasyon kinakailangan na baguhin ang parameter ng MTU sa lahat ng mga bahagi ng network kasama ang chain na "initiator-switch-target".
Pagse-set up ng Lahat ng Flash array
Ang array ay inihahatid sa mga customer na may nabuo nang mga grupo . Samakatuwid, walang mga aksyon na kailangang gawin upang pagsamahin ang mga drive sa isang solong istraktura. Kailangan mo lamang lumikha ng mga volume ng kinakailangang laki at dami.
Para sa kaginhawahan, mayroong functionality para sa paggawa ng batch ng ilang volume ng isang ibinigay na laki nang sabay-sabay. Bilang default, ang mga manipis na volume ay nilikha, dahil nagbibigay-daan ito para sa mas mahusay na paggamit ng magagamit na espasyo sa imbakan (kabilang ang suporta para sa Space Reclamation). Sa mga tuntunin ng pagganap, ang pagkakaiba sa pagitan ng "manipis" at "makapal" na mga volume ay hindi lalampas sa 1%. Gayunpaman, kung gusto mong "ipitin ang lahat ng juice" mula sa isang array, maaari mong palaging i-convert ang anumang "manipis" na volume sa isang "makapal". Ngunit dapat tandaan na ang naturang operasyon ay hindi maibabalik.
Susunod, nananatili itong "i-publish" ang mga nilikhang volume at itakda ang mga karapatan sa pag-access sa kanila mula sa mga host gamit ang mga ACL (mga IP address para sa iSCSI at WWPN para sa FC) at pisikal na paghihiwalay sa pamamagitan ng mga array port. Para sa mga modelo ng iSCSI ito ay ginagawa sa pamamagitan ng paglikha ng isang Target.
Para sa mga modelo ng FC, ang pag-publish ay nangyayari sa pamamagitan ng paglikha ng isang LUN para sa bawat port ng array.
Upang mapabilis ang proseso ng pag-setup, maaaring pagsamahin ang mga host sa mga grupo. Bukod dito, kung ang host ay gumagamit ng isang multiport na FC HBA (na sa pagsasanay ay madalas na nangyayari), awtomatikong tinutukoy ng system na ang mga port ng naturang HBA ay nabibilang sa isang host salamat sa mga WWPN na naiiba sa isa. Ang paggawa ng batch ng Target/LUN ay sinusuportahan din para sa parehong mga interface.
Ang isang mahalagang tala kapag ginagamit ang interface ng iSCSI ay ang lumikha ng maramihang mga target para sa mga volume nang sabay-sabay upang mapataas ang pagganap, dahil ang pila sa target ay hindi mababago at epektibong magiging isang bottleneck.
Pag-configure ng mga ESXi Host
Sa panig ng host ng ESXi, ang pangunahing pagsasaayos ay isinasagawa ayon sa isang ganap na inaasahang senaryo. Pamamaraan para sa koneksyon ng iSCSI:
- Magdagdag ng Software iSCSI Adapter (hindi kinakailangan kung naidagdag na ito, o kung gumagamit ka ng Hardware iSCSI Adapter);
- Paglikha ng vSwitch kung saan dadaan ang trapiko ng iSCSI, at pagdaragdag ng pisikal na uplink at VMkernal dito;
- Pagdaragdag ng mga array address sa Dynamic Discovery;
- Paglikha ng Datastore
Ilang mahahalagang tala:
- Sa pangkalahatang kaso, siyempre, maaari kang gumamit ng isang umiiral na vSwitch, ngunit sa kaso ng isang hiwalay na vSwitch, ang pamamahala sa mga setting ng host ay magiging mas madali.
- Kinakailangang paghiwalayin ang Pamamahala at trapiko ng iSCSI sa magkahiwalay na pisikal na mga link at/o mga VLAN upang maiwasan ang mga problema sa pagganap.
- Ang mga IP address ng VMkernal at ang mga kaukulang port ng All Flash array ay dapat nasa parehong subnet, muli dahil sa mga isyu sa pagganap.
- Para matiyak ang fault tolerance ayon sa mga panuntunan ng VMware, ang vSwitch ay dapat magkaroon ng hindi bababa sa dalawang pisikal na uplink
- Kung Jumbo Frame ang ginamit, kailangan mong baguhin ang MTU ng parehong vSwitch at VMkernal
- Magiging kapaki-pakinabang na ipaalala sa iyo na ayon sa mga rekomendasyon ng VMware para sa mga pisikal na adapter na gagamitin upang gumana sa trapiko ng iSCSI, kinakailangang i-configure ang Teaming at Failover. Sa partikular, ang bawat VMkernal ay dapat gumana sa pamamagitan lamang ng isang uplink, ang pangalawang uplink ay dapat ilipat sa hindi nagamit na mode. Para sa fault tolerance, kailangan mong magdagdag ng dalawang VMkernals, na ang bawat isa ay gagana sa pamamagitan ng sarili nitong uplink.
VMkernel Adapter (vmk#)
Pisikal na Network Adapter (vmnic#)
vmk1 (Storage01)
Mga Aktibong Adapter
vmnic2
Mga Hindi Nagamit na Adapter
vmnic3
vmk2 (Storage02)
Mga Aktibong Adapter
vmnic3
Mga Hindi Nagamit na Adapter
vmnic2
Walang kinakailangang mga paunang hakbang upang kumonekta sa pamamagitan ng Fiber Channel. Makakagawa ka kaagad ng Datastore.
Pagkatapos gawin ang Datastore, kailangan mong tiyakin na ang patakaran ng Round Robin para sa mga path patungo sa Target/LUN ay ginagamit bilang ang pinakamahusay na gumaganap.
Bilang default, ang mga setting ng VMware ay nagbibigay para sa paggamit ng patakarang ito ayon sa scheme: 1000 kahilingan sa unang landas, ang susunod na 1000 kahilingan sa pamamagitan ng pangalawang landas, atbp. Ang ganitong pakikipag-ugnayan sa pagitan ng host at ng two-controller array ay magiging hindi balanse. Samakatuwid, inirerekomenda namin ang pagtatakda ng patakarang Round Robin = 1 parameter sa pamamagitan ng Esxcli/PowerCLI.
Mga Parameter
Para sa Esxcli:
- Ilista ang mga magagamit na LUN
esxcli storage nmp listahan ng device
- Kopyahin ang Pangalan ng Device
- Baguhin ang Round Robin Policy
esxcli storage nmp psp roundrobin deviceconfig set —type=iops —iops=1 —device=“Device_ID”
Karamihan sa mga modernong application ay idinisenyo upang makipagpalitan ng malalaking data packet upang ma-maximize ang paggamit ng bandwidth at mabawasan ang pagkarga ng CPU. Samakatuwid, ang ESXi bilang default ay naglalabas ng mga kahilingan ng I/O sa storage device sa mga tipak na hanggang 32767KB. Gayunpaman, para sa ilang mga sitwasyon, ang pagpapalitan ng mas maliliit na piraso ay magiging mas produktibo. Para sa mga hanay ng AccelStor, ito ang mga sumusunod na sitwasyon:
- Gumagamit ang virtual machine ng UEFI sa halip na Legacy BIOS
- Gumagamit ng vSphere Replication
Para sa mga ganitong sitwasyon, inirerekomendang baguhin ang halaga ng parameter ng Disk.DiskMaxIOSize sa 4096.
Para sa mga koneksyon sa iSCSI, inirerekumenda na baguhin ang parameter ng Login Timeout sa 30 (default 5) upang mapataas ang katatagan ng koneksyon at huwag paganahin ang DelayedAck delay para sa mga kumpirmasyon ng mga ipinasa na packet. Ang parehong mga opsyon ay nasa vSphere Client: Host → Configure → Storage → Storage Adapters → Advanced Options para sa iSCSI adapter
Ang isang medyo banayad na punto ay ang bilang ng mga volume na ginamit para sa datastore. Malinaw na para sa kadalian ng pamamahala, mayroong isang pagnanais na lumikha ng isang malaking volume para sa buong dami ng array. Gayunpaman, ang pagkakaroon ng maraming volume at, nang naaayon, ang datastore ay may kapaki-pakinabang na epekto sa pangkalahatang pagganap (higit pa tungkol sa mga pila sa ibaba). Samakatuwid, inirerekomenda namin ang paglikha ng hindi bababa sa dalawang volume.
Hanggang kamakailan lamang, ipinayo ng VMware na limitahan ang bilang ng mga virtual machine sa isang datastore, muli upang makuha ang pinakamataas na posibleng pagganap. Gayunpaman, ngayon, lalo na sa pagkalat ng VDI, ang problemang ito ay hindi na talamak. Ngunit hindi nito kinakansela ang matagal nang tuntunin - upang ipamahagi ang mga virtual machine na nangangailangan ng masinsinang IO sa iba't ibang datastore. Upang matukoy ang pinakamainam na bilang ng mga virtual machine bawat volume, walang mas mahusay kaysa sa sa loob ng imprastraktura nito.
Pag-set up ng mga virtual machine
Walang mga espesyal na kinakailangan kapag nagse-set up ng mga virtual machine, o mas karaniwan ang mga ito:
- Gamit ang pinakamataas na posibleng bersyon ng VM (compatibility)
- Mas maingat na itakda ang laki ng RAM kapag naglalagay ng mga virtual machine nang makapal, halimbawa, sa VDI (dahil bilang default, sa pagsisimula, ang isang file ng pahina na may sukat na katumbas ng RAM ay nilikha, na kumonsumo ng kapaki-pakinabang na kapasidad at may epekto sa panghuling pagganap)
- Gamitin ang pinakaproduktibong bersyon ng adaptor sa mga tuntunin ng IO: uri ng network na VMXNET 3 at uri ng SCSI na PVSCSI
- Gamitin ang Thick Provision Eager Zeroed disk type para sa maximum na performance at Thin Provisioning para sa maximum storage space utilization
- Kung maaari, limitahan ang pagpapatakbo ng mga non-I/O critical machine gamit ang Virtual Disk Limit
- Tiyaking i-install ang VMware Tools
Mga Tala sa Queues
Ang Queue (o Outstanding I/Os) ay ang bilang ng mga kahilingan sa input/output (SCSI commands) na naghihintay para sa pagproseso sa anumang oras para sa isang partikular na device/application. Sa kaso ng pag-apaw ng queue, ang mga error sa QFULL ay ibinibigay, na sa huli ay nagreresulta sa pagtaas sa parameter ng latency. Kapag gumagamit ng mga sistema ng imbakan ng disk (spindle), ayon sa teorya, mas mataas ang pila, mas mataas ang kanilang pagganap. Gayunpaman, hindi mo ito dapat abusuhin, dahil madali itong tumakbo sa QFULL. Sa kaso ng Lahat ng mga sistema ng Flash, sa isang banda, ang lahat ay medyo mas simple: pagkatapos ng lahat, ang array ay may mga latency na mga order ng magnitude na mas mababa at samakatuwid, kadalasan, hindi na kailangang hiwalay na ayusin ang laki ng mga pila. Ngunit sa kabilang banda, sa ilang mga sitwasyon sa paggamit (malakas na skew sa mga kinakailangan ng IO para sa mga partikular na virtual machine, mga pagsubok para sa maximum na pagganap, atbp.) Ito ay kinakailangan, kung hindi upang baguhin ang mga parameter ng queues, pagkatapos ay hindi bababa sa upang maunawaan kung ano ang mga tagapagpahiwatig maaaring makamit, at, ang pangunahing bagay ay sa anong mga paraan.
Sa mismong hanay ng AccelStor All Flash ay walang mga limitasyon kaugnay ng mga volume o I/O port. Kung kinakailangan, kahit isang volume ay makakatanggap ng lahat ng mga mapagkukunan ng array. Ang tanging limitasyon sa pila ay para sa mga target ng iSCSI. Ito ay para sa kadahilanang ito na ang pangangailangan na lumikha ng ilang (pinakamainam na hanggang 8 piraso) na mga target para sa bawat volume ay ipinahiwatig sa itaas upang malampasan ang limitasyong ito. Ulitin din natin na ang mga hanay ng AccelStor ay napaka-produktibong solusyon. Samakatuwid, dapat mong gamitin ang lahat ng interface port ng system upang makamit ang maximum na bilis.
Sa panig ng host ng ESXi, ang sitwasyon ay ganap na naiiba. Inilapat mismo ng host ang pagsasanay ng pantay na pag-access sa mga mapagkukunan para sa lahat ng kalahok. Samakatuwid, may mga hiwalay na IO queue para sa guest OS at HBA. Ang mga queue sa guest OS ay pinagsama mula sa mga queues hanggang sa virtual SCSI adapter at virtual disk:
Ang pila sa HBA ay depende sa partikular na uri/vendor:
Ang panghuling pagganap ng virtual machine ay matutukoy ng pinakamababang limitasyon sa Lalim ng Queue sa mga bahagi ng host.
Salamat sa mga halagang ito, maaari naming suriin ang mga tagapagpahiwatig ng pagganap na maaari naming makuha sa isang partikular na configuration. Halimbawa, gusto naming malaman ang teoretikal na pagganap ng isang virtual machine (nang walang block binding) na may latency na 0.5ms. Pagkatapos nito IOPS = (1,000/latency) * Natitirang I/Os (Limitasyon sa Lalim ng Pila)
Mga halimbawa
halimbawa 1
- FC Emulex HBA Adapter
- Isang VM bawat datastore
- VMware Paravirtual SCSI Adapter
Dito tinutukoy ng Emulex HBA ang limitasyon sa Lalim ng Queue. Samakatuwid IOPS = (1000/0.5)*32 = 64K
halimbawa 2
- VMware iSCSI Software Adapter
- Isang VM bawat datastore
- VMware Paravirtual SCSI Adapter
Dito natukoy na ng Paravirtual SCSI Adapter ang limitasyon sa Lalim ng Queue. Samakatuwid IOPS = (1000/0.5)*64 = 128K
Mga nangungunang modelo ng Lahat ng mga array ng Flash AccelStor (halimbawa, ) ay may kakayahang maghatid ng 700K IOPS write performance sa 4K block. Sa ganoong laki ng block, medyo halata na ang isang virtual machine ay hindi kayang mag-load ng ganoong array. Upang gawin ito, kakailanganin mo ng 11 (halimbawa 1) o 6 (halimbawa 2) virtual machine.
Bilang resulta, sa tamang pagsasaayos ng lahat ng inilarawang bahagi ng isang virtual data center, makakakuha ka ng napakakahanga-hangang mga resulta sa mga tuntunin ng pagganap.
4K Random, 70% Read/30% Write
Sa katunayan, ang totoong mundo ay mas kumplikado kaysa sa mailarawan sa isang simpleng formula. Ang isang host ay palaging nagho-host ng maraming virtual machine na may iba't ibang mga pagsasaayos at mga kinakailangan sa IO. At ang pagproseso ng I/O ay pinangangasiwaan ng host processor, na ang kapangyarihan ay hindi walang hanggan. Kaya, upang i-unlock ang buong potensyal ng pareho sa katotohanan, kakailanganin mo ng tatlong host. Dagdag pa, ang mga application na tumatakbo sa loob ng mga virtual machine ay gumagawa ng sarili nilang mga pagsasaayos. Samakatuwid, para sa tumpak na sukat ay nag-aalok kami Lahat ng Flash array sa loob ng imprastraktura ng customer sa totoong kasalukuyang mga gawain.
Pinagmulan: www.habr.com