Kumusta tanan! Uban niini nga artikulo, ang AERODISK nagbukas sa usa ka blog sa Habré. Hurry, mga kauban!
Ang miaging mga artikulo bahin sa Habré naghisgot sa mga pangutana bahin sa arkitektura ug sukaranan nga pag-configure sa mga sistema sa pagtipig. Niining artikuloha atong hisgotan ang usa ka pangutana nga wala pa mahisgoti kaniadto, apan kanunay nga gipangutana - bahin sa pagtugot sa sayup sa mga sistema sa pagtipig sa AERODISK ENGINE. Buhaton sa among team ang tanan aron masiguro nga ang sistema sa pagtipig sa AERODISK mohunong sa pagtrabaho, i.e. bungkaga kini.
Nahitabo nga ang mga artikulo bahin sa kasaysayan sa among kompanya, bahin sa among mga produkto, ingon man usa ka pananglitan sa malampuson nga pagpatuman nagbitay na sa Habré, diin Daghang salamat sa among mga kauban - TS Solution ug Softline nga mga kompanya.
Busa, dili ko magbansay sa mga kahanas sa pagdumala sa copy-paste dinhi, apan maghatag lang ug mga link sa mga orihinal niini nga mga artikulo:
Gusto usab nako ipaambit ang maayong balita. Apan magsugod ako, siyempre, sa problema. Kami, isip usa ka batan-on nga tigbaligya, taliwala sa ubang mga gasto, kanunay nga nag-atubang sa kamatuoran nga daghang mga inhenyero ug mga administrador ang wala mahibal-an kung giunsa ang pag-operate sa among sistema sa pagtipig.
Klaro nga ang pagdumala sa kadaghanan sa mga sistema sa pagtipig parehas nga hitsura gikan sa punto sa panglantaw sa usa ka administrador, apan ang matag tiggama adunay kaugalingon nga mga kinaiya. Ug dili kami eksepsiyon dinhi.
Busa, aron mapasimple ang tahas sa pagbansay sa mga espesyalista sa IT, nakahukom kami nga igugol karong tuiga ang libre nga edukasyon. Aron mahimo kini, sa daghang dagkong mga siyudad sa Russia nag-abli kami sa usa ka network sa AERODISK Competence Centers, diin ang bisan kinsa nga interesado nga teknikal nga espesyalista makahimo sa kurso nga hingpit nga walay bayad ug makadawat og sertipiko sa pagdumala sa mga sistema sa pagtipig sa AERODISK ENGINE.
Sa matag Competence Center mag-instalar kami og usa ka hingpit nga demo stand gikan sa sistema sa pagtipig sa AERODISK ug usa ka pisikal nga server, diin ang among magtutudlo magpahigayon og face-to-face nga pagbansay. Imantala namo ang eskedyul sa trabaho sa mga Sentro sa Kompetensya sa ilang panagway, apan giablihan na namo ang usa ka sentro sa Nizhny Novgorod ug sunod ang siyudad sa Krasnodar. Mahimo kang magpalista alang sa pagbansay gamit ang mga link sa ubos. Ania ang nahibal-an karon nga kasayuran bahin sa mga lungsod ug petsa:
- Nizhny Novgorod (OPEN NA – pwede ka magpalista dinhi );
Hangtud sa Abril 16, 2019, mahimo nimong bisitahan ang sentro sa bisan unsang oras sa pagtrabaho, ug sa Abril 16, 2019, usa ka dako nga kurso sa pagbansay ang ipahigayon. - Krasnodar (OPENING SOON - pwede ka magpalista dinhi );
Gikan sa Abril 9 hangtod Abril 25, 2019, mahimo nimong bisitahan ang sentro sa bisan unsang oras sa pagtrabaho, ug sa Abril 25, 2019, usa ka dako nga kurso sa pagbansay ang organisado. - Екатеринбург (OPENING SOON, sunda ang impormasyon sa among website o sa Habré);
Mayo-Hunyo 2019. - Новосибирск (Sunda ang impormasyon sa among website o sa Habré);
Oktubre 2019. - Красноярск (Sunda ang impormasyon sa among website o sa Habré);
Nobyembre 2019.
Ug, siyempre, kung ang Moscow dili layo kanimo, nan sa bisan unsang oras mahimo nimong bisitahan ang among opisina sa Moscow ug moagi sa parehas nga pagbansay.
Tanan. Nahuman na ang pagpamaligya, magpadayon kita sa teknolohiya!
Sa Habré kanunay namong imantala ang mga teknikal nga artikulo bahin sa among mga produkto, mga pagsulay sa pagkarga, mga pagtandi, mga bahin sa paggamit ug makapaikag nga mga pagpatuman.
Mga pagsulay sa pag-crash sa sistema sa pagtipig sa AERODISK ENGINE N2, pagsulay sa kusog
PASIDAAN! Human mabasa ang artikulo, mahimo nimong isulti: maayo, siyempre, susihon sa vendor ang iyang kaugalingon aron ang tanan molihok "nga adunay usa ka bang," mga kondisyon sa greenhouse, ug uban pa. Ako motubag: walay ingon niana! Dili sama sa among langyaw nga mga kakompetensya, kami nahimutang dinhi, duol kanimo, ug mahimo ka kanunay nga moanhi kanamo (sa Moscow o bisan unsang Komite Sentral) ug sulayan ang among sistema sa pagtipig sa bisan unsang paagi. Busa, dili kaayo makatarunganon alang kanato ang pag-adjust sa mga resulta ngadto sa usa ka sulundon nga hulagway sa kalibutan, tungod kay Sayon ra kaayo mi masusi. Para sa mga tapolan kaayo sa pag-adto ug wala’y oras, mahimo namon nga i-organisar ang layo nga pagsulay. Kami adunay usa ka espesyal nga lab alang niini. Kontaka kami.
ACHTUNG-2! Kini nga pagsulay dili usa ka pagsulay sa pagkarga, tungod kay dinhi lang ta sa fault tolerance ang atong giatiman. Sa pila ka semana, mag-andam kami usa ka labi ka kusgan nga baroganan ug ipahigayon ang pagsulay sa pagkarga sa sistema sa pagtipig, nga imantala ang mga resulta dinhi (sa ingon, gidawat ang mga hangyo alang sa mga pagsulay).
So, buwag na ta.
pagsulay stand
Ang among baruganan naglangkob sa mosunod nga hardware:
- 1 x Aerodisk Engine N2 storage system (2 controllers, 64GB cache, 8xFC ports 8Gb/s, 4xEthernet ports 10Gb/s SFP+, 4xEthernet ports 1Gb/s); Ang mosunod nga mga disk gi-install sa sistema sa pagtipig:
- 4 x SAS SSD disks 900 GB;
- 12 x SAS 10k disks 1,2 TB;
- 1 x Pisikal nga server nga adunay Windows Server 2016 (2xXeon E5 2667 v3, 96GB RAM, 2xFC port 8Gb/s, 2xEthernet port 10Gb/s SFP+);
- 2 x SAN 8G switch;
- 2 x LAN 10G switch;
Gikonektar namo ang server ngadto sa storage system pinaagi sa mga switch pinaagi sa FC ug 10G Ethernet. Ang stand diagram anaa sa ubos.
Ang mga sangkap nga among gikinahanglan, sama sa MPIO ug iSCSI initiator, gi-install sa Windows Server.
Ang mga zone gi-configure sa mga switch sa FC, ang katugbang nga mga VLAN gi-configure sa mga switch sa LAN, ug ang MTU 9000 gi-install sa mga storage port, switch, ug host (kung giunsa ang pagbuhat sa tanan nga gihulagway sa among dokumentasyon, mao nga dili namon ihulagway kini nga proseso dinhi).
Pamaagi sa Pagsulay
Ang plano sa crash test mao ang mosunod:
- Pagsusi sa kapakyasan sa FC ug Ethernet port.
- Pagsusi sa pagkapakyas sa kuryente.
- Pagsusi sa kapakyasan sa controller.
- Pagsusi sa disk failure sa usa ka grupo/pool.
Ang tanan nga mga pagsulay himuon sa ilawom sa sintetikong mga kondisyon sa pagkarga, nga among himuon pinaagi sa programa nga IOMETER. Sa parehas nga paagi, himuon namon ang parehas nga mga pagsulay, apan sa ilawom sa mga kondisyon sa pagkopya sa dagkong mga file sa sistema sa pagtipig.
Ang IOmeter config mao ang mosunod:
- Basaha/Isulat – 70/30
- Block - 128k (nakahukom kami nga hugasan ang mga sistema sa pagtipig sa dagkong mga bloke)
- Gidaghanon sa mga hilo - 128 (nga susama kaayo sa produktibo nga karga)
- Bug-os nga Random
- Gidaghanon sa mga Trabaho - 4 (2 alang sa FC, 2 alang sa iSCSI)
Ang pagsulay adunay mga mosunod nga katuyoan:
- Siguroha nga ang sintetikong load ug proseso sa pagkopya dili makabalda o makapahinabog mga sayop ubos sa lain-laing mga senaryo sa kapakyasan.
- Siguruha nga ang proseso sa pagbalhin sa mga pantalan, mga controller, ug uban pa igo nga awtomatiko ug wala magkinahanglan mga aksyon sa tagdumala kung adunay mga kapakyasan (nga mao, sa panahon sa mga failover, wala kami maghisgot bahin sa mga kapakyasan, siyempre).
- Siguroha nga ang impormasyon sa mga log gipakita sa husto.
Pag-andam sa host ug storage system
Among gi-configure ang block access sa storage system gamit ang FC ug Ethernet ports (FC ug iSCSI, matag usa). Ang mga lalaki gikan sa TS Solution gihulagway sa detalye kung giunsa kini buhaton sa miaging artikulo (). Ug, siyempre, walay mikanselar sa mga manwal ug mga kurso.
Nagtukod kami usa ka hybrid nga grupo gamit ang tanan nga mga drive nga naa kanamo. 2 SSD disk ang gidugang sa cache, 2 SSD disk ang gidugang isip dugang storage tier (Online-tier). Gigrupo namo ang 12 ka SAS10k drive ngadto sa RAID-60P (triple parity) aron masusi ang kapakyasan sa tulo ka drive sa grupo sa makausa. Usa ka disk ang nahabilin alang sa autoreplacement.
Gikonektar namo ang duha ka LUN (usa pinaagi sa FC, usa pinaagi sa iSCSI).
Ang tag-iya sa duha ka LUN mao ang Engine-0 controller
Sugdan nato ang pagsulay
Among gipalihok ang IOMETER gamit ang config sa ibabaw.
Nagrekord kami og throughput nga 1.8 GB/s ug latency nga 3 milliseconds. Walay mga sayop (Total Error Count).
Sa parehas nga oras, gikan sa lokal nga drive nga "C" sa among host, parehas namon nga nagsugod sa pagkopya sa duha ka dagkong 100GB nga mga file sa FC ug iSCSI storage LUNs (nagmaneho sa E ug G sa Windows), gamit ang ubang mga interface.
Sa ibabaw mao ang proseso sa pagkopya sa LUN FC, sa ubos sa iSCSI.
Pagsulay #1: Pag-disable sa I/O ports
Giduol namon ang sistema sa pagtipig gikan sa luyo))) ug uban ang gamay nga paglihok sa kamot among gibira ang tanan nga mga kable sa FC ug Ethernet 10G gikan sa controller sa Engine-0. Morag ang usa ka tiglimpyo nga babaye nga adunay mop miagi ug nakahukom sa paghugas sa salog diin ang snot nahimutang ug ang mga kable naghigda (ie ang controller nagtrabaho gihapon, apan ang I / O ports patay).
Atong tan-awon ang IOMETER ug pagkopya sa mga file. Ang throughput mikunhod ngadto sa 0,5 GB/s, apan dali nga mibalik sa iyang kanhi nga lebel (sa mga 4-5 segundos). Walay mga sayop.
Ang pagkopya sa mga file wala mohunong, adunay pagkunhod sa katulin, apan dili kini kritikal (gikan sa 840 MB / s kini nahulog sa 720 MB / s). Ang pagkopya wala mihunong.
Gitan-aw namon ang mga log sa sistema sa pagtipig ug nakita ang usa ka mensahe bahin sa dili magamit nga mga pantalan ug ang awtomatik nga pagbalhin sa grupo.
Gisultihan usab kami sa panel sa impormasyon nga ang tanan dili kaayo maayo sa mga pantalan sa FC.
Ang sistema sa pagtipig nakalahutay sa kapakyasan sa I/O ports malampuson.
Pagsulay No. 2. Pag-disable sa storage controller
Hapit diha-diha dayon (pagkahuman sa pag-plug sa mga kable balik sa storage system) nakahukom kami nga tapuson ang storage system pinaagi sa pagbira sa controller gikan sa chassis.
Pag-usab miduol kami sa sistema sa pagtipig gikan sa luyo (gusto namo kini))) ug niining higayona among gibira ang Engine-1 controller, nga niining higayona mao ang tag-iya sa RDG (diin ang grupo mibalhin).
Ang sitwasyon sa IOmeter mao ang mosunod. Ang I/O mihunong mga 5 segundos. Ang mga sayop dili matigom.
Human sa 5 segundos, ang I/O mipadayon sa halos parehas nga throughput, apan adunay mga latency nga 35 milliseconds (latency gitul-id human sa mga pipila ka minuto). Ingon sa makita gikan sa mga screenshot, ang Total error count value mao ang 0, sa ato pa, walay mga sayop sa pagsulat o pagbasa.
Atong tan-awon ang pagkopya sa atong mga file. Sama sa imong nakita, wala kini nabalda, adunay gamay nga pagkunhod sa pasundayag, apan sa kinatibuk-an ang tanan mibalik sa parehas nga ~ 800 MB / s.
Moadto kami sa sistema sa pagtipig ug makita ang usa ka tunglo sa panel sa impormasyon nga ang Engine-1 controller dili magamit (siyempre, gipatay namo kini).
Nakita usab namo ang susama nga entry sa mga troso.
Ang storage controller naluwas usab sa kapakyasan malampuson.
Pagsulay No. 3: Pagdiskonekta sa suplay sa kuryente.
Sa kaso lang, nagsugod kami pagkopya sa mga file pag-usab, apan wala mihunong sa IOMETER.
Gibira namo ang power supply unit.
Laing alerto ang gidugang sa storage system sa information panel.
Usab sa menu sa mga sensor atong makita nga ang mga sensor nga may kalabutan sa gikuha nga suplay sa kuryente nahimong pula.
Ang sistema sa pagtipig nagpadayon sa pagtrabaho. Ang pagkapakyas sa yunit sa suplay sa kuryente wala sa bisan unsang paagi makaapekto sa operasyon sa sistema sa pagtipig; gikan sa punto sa pagtan-aw sa host, ang katulin sa pagkopya ug ang mga timailhan sa IOMETER nagpabilin nga wala mausab.
Nakapasar ang power failure test malampuson.
Sa wala pa ang katapusang pagsulay, nakahukom kami nga ibalik ang sistema sa pagtipig og gamay, ibalik ang controller ug power supply unit, ug ibutang usab ang mga kable sa pagkahan-ay, nga malipayong gipahibalo kanamo sa storage system nga adunay berde nga mga icon sa health panel niini. .
Pagsulay No. 4. Pagkapakyas sa tulo ka mga disk sa usa ka grupo
Sa wala pa kini nga pagsulay, naghimo kami usa ka dugang nga lakang sa pagpangandam. Ang tinuod mao nga ang sistema sa pagtipig sa ENGINE naghatag usa ka mapuslanon kaayo nga butang - lainlaing mga palisiya sa pagtukod pag-usab. Gisulat sa TS Solution ang bahin sa kini nga bahin sa sayo pa, apan atong hinumdoman ang esensya niini. Ang tagdumala sa pagtipig mahimong magtino sa prayoridad alang sa alokasyon sa kahinguhaan sa panahon sa pagtukod pag-usab. Bisan sa direksyon sa pasundayag sa I/O, kana mao, ang pagtukod pag-usab mas dugay, apan wala’y pagkubkob sa pasundayag. O sa direksyon sa tulin sa pagtukod pag-usab, apan ang pagka-produktibo makunhuran. O usa ka balanse nga kapilian. Tungod kay ang pasundayag sa pagtipig sa panahon sa pagtukod pag-usab sa disk group kanunay nga sakit sa ulo sa admin, among sulayan ang usa ka palisiya nga adunay bias sa pasundayag sa I / O ug sa gasto sa katulin sa pagtukod pag-usab.
Karon atong susihon ang disk failure. Gitugotan usab namo ang pagrekord sa mga LUN (mga file ug IOMETER). Tungod kay kita adunay usa ka grupo nga adunay triple parity (RAID-60P), kini nagpasabot nga ang sistema kinahanglan nga makasugakod sa kapakyasan sa tulo ka mga disk, ug human sa kapakyasan, ang auto-replacement kinahanglan nga molihok, ang usa ka disk kinahanglan nga mopuli sa usa sa mga napakyas. sa RDG, ug ang pagtukod pag-usab kinahanglan magsugod niini.
Sugdi. Una, pinaagi sa storage interface, atong i-highlight ang mga disk nga gusto natong ibira (aron dili masipyat ug ibira ang autochange disk).
Gisusi namon ang indikasyon sa hardware. OK ra ang tanan, nakita namon ang tulo nga gipasiugda nga mga disk.
Ug gikuha namo kining tulo ka mga disk.
Atong tan-awon kung unsa ang naa sa host. Ug didto... walay espesyal nga nahitabo.
Ang mga indikasyon sa pagkopya (mas taas sila kaysa sa sinugdanan, tungod kay ang cache nag-init) ug ang IOMETER dili kaayo mabag-o kung gikuha ang mga disk ug gisugdan ang pagtukod pag-usab (sa sulod sa 5-10%).
Atong tan-awon kung unsa ang naa sa sistema sa pagtipig.
Sa status sa grupo, nakita nato nga nagsugod na ang proseso sa restructuring ug hapit na mahuman.
Sa kalabera sa RDG imong makita nga ang 2 ka mga disk anaa sa pula nga kahimtang, ug ang usa gipulihan na. Wala na didto ang autoreplacement disk; gipulihan niini ang 3rd failed disk. Ang pagtukod pag-usab nagkinahanglan og pipila ka mga minuto, pagsulat sa mga file kung ang 3 nga mga disk napakyas wala mabalda, ug ang performance sa I/O wala kaayo mausab.
Ang pagsulay sa kapakyasan sa disk siguradong nakapasar malampuson.
konklusyon
Niini nga punto, nakahukom kami nga hunongon ang kapintasan batok sa mga sistema sa pagtipig. Atong i-summarize:
- Pagsusi sa kapakyasan sa FC port - malampuson
- Pagsusi sa pagkapakyas sa Ethernet port - malampuson
- Pagsusi sa kapakyasan sa controller - malampuson
- Power Failure Test - Malampuson
- Pagsusi sa disk failure sa grouppool - malampuson
Wala’y bisan usa sa mga kapakyasan nga mihunong sa pagrekord o hinungdan sa mga sayup sa sintetikong pagkarga; siyempre, adunay usa ka naigo sa pasundayag (ug nahibal-an namon kung giunsa kini pagbuntog, nga buhaton namon sa dili madugay), apan tungod kay kini mga segundo, kini madawat ra. Panapos: ang pagtugot sa sayup sa tanan nga mga sangkap sa sistema sa pagtipig sa AERODISK nagtrabaho sa lebel, wala’y mga punto sa kapakyasan.
Dayag nga, sa usa ka artikulo dili namo masulayan ang tanan nga mga senaryo sa kapakyasan, apan gisulayan namon nga tabonan ang labing inila. Busa, palihug ipadala ang imong mga komentaryo, mga sugyot alang sa umaabot nga mga publikasyon ug, siyempre, igo nga pagsaway. Malipay kami nga maghisgot (o mas maayo pa, pag-adto sa pagbansay, gi-duplicate nako ang iskedyul kung mahimo)! Hangtod sa bag-ong mga pagsulay!
- Nizhny Novgorod (OPEN NA – pwede ka magpalista dinhi );
Hangtud sa Abril 16, 2019, mahimo nimong bisitahan ang sentro sa bisan unsang oras sa pagtrabaho, ug sa Abril 16, 2019, usa ka dako nga kurso sa pagbansay ang ipahigayon. - Krasnodar (OPENING SOON - pwede ka magpalista dinhi );
Gikan sa Abril 9 hangtod Abril 25, 2019, mahimo nimong bisitahan ang sentro sa bisan unsang oras sa pagtrabaho, ug sa Abril 25, 2019, usa ka dako nga kurso sa pagbansay ang organisado. - Екатеринбург (OPENING SOON, sunda ang impormasyon sa among website o sa Habré);
Mayo-Hunyo 2019. - Новосибирск (Sunda ang impormasyon sa among website o sa Habré);
Oktubre 2019. - Красноярск (Sunda ang impormasyon sa among website o sa Habré);
Nobyembre 2019.
Source: www.habr.com