Kini nga artikulo gisulat aron matabangan ka sa pagpili sa husto nga solusyon alang sa imong kaugalingon ug masabtan ang mga kalainan tali sa SDS sama sa Gluster, Ceph ug Vstorage (Virtuozzo).
Ang teksto naggamit sa mga link sa mga artikulo nga adunay mas detalyado nga pagbutyag sa pipila ka mga problema, mao nga ang mga paghubit mahimong mubo kutob sa mahimo, gamit ang mga yawe nga punto nga walaβy kinahanglan nga fluff ug pasiuna nga kasayuran nga mahimo nimo, kung gusto nimo, nga independente nga makuha sa Internet.
Sa tinuud, siyempre, ang mga hilisgutan nga gipatungha nanginahanglan mga tono sa teksto, apan sa modernong kalibutan labi pa ug daghang mga tawo ang dili gusto nga magbasa daghang))), aron dali ka makabasa ug makapili, ug kung adunay usa ka butang. dili klaro, sunda ang mga link o google dili klaro nga mga pulong))), ug kini nga artikulo sama sa usa ka transparent wrapper alang niining lawom nga mga hilisgutan, nga nagpakita sa pagpuno - ang mga nag-unang yawe nga mga punto sa matag desisyon.
gluster
Magsugod kita sa Gluster, nga aktibong gigamit sa mga tiggama sa hyperconverged nga mga plataporma nga adunay SDS base sa open source alang sa mga virtual nga palibot ug makita sa RedHat website sa storage section, diin makapili ka gikan sa duha ka opsyon sa SDS: Gluster o Ceph.
Ang Gluster naglangkob sa usa ka stack sa mga maghuhubad - mga serbisyo nga naghimo sa tanan nga buluhaton sa pag-apod-apod sa mga file, ug uban pa. Ang Brick usa ka serbisyo nga nagserbisyo sa usa ka disk, Ang Volume usa ka volume (pool) nga naghiusa niini nga mga tisa. Sunod moabut ang serbisyo alang sa pag-apod-apod sa mga file ngadto sa mga grupo gamit ang DHT (apod-apod nga hash table) function. Dili namo iapil ang serbisyo sa Sharding sa paghulagway tungod kay ang mga link sa ubos maghulagway sa mga problema nga nalangkit niini.
Kung nagsulat, ang tibuuk nga file gitipigan sa tisa ug ang kopya niini dungan nga gisulat sa tisa sa ikaduhang server. Sunod, ang ikaduhang file isulat sa ikaduhang grupo sa duha ka brick (o labaw pa) sa lain-laing mga server.
Kung ang mga file gibana-bana nga parehas nga gidak-on ug ang gidaghanon naglangkob lamang sa usa ka grupo, nan ang tanan maayo, apan ubos sa ubang mga kondisyon ang mosunod nga mga problema motungha gikan sa mga paghulagway:
- ang luna sa mga grupo gigamit nga dili patas, kini nagdepende sa gidak-on sa mga file ug kung walay igo nga luna sa grupo sa pagsulat sa usa ka file, makadawat ka og usa ka sayup, ang file dili isulat ug dili iapod-apod ngadto sa laing grupo ;
- sa pagsulat sa usa ka file, ang IO moadto lamang sa usa ka grupo, ang uban walay trabaho;
- dili nimo makuha ang IO sa tibuok volume sa pagsulat sa usa ka file;
- ug ang kinatibuk-ang konsepto tan-awon nga dili kaayo produktibo tungod sa kakulang sa pag-apod-apod sa datos ngadto sa mga bloke, diin mas sayon ββang pagbalanse ug pagsulbad sa problema sa uniporme nga pag-apod-apod, ug dili sama sa karon nga ang tibuok nga file moadto sa usa ka block.
Gikan sa opisyal nga paghulagway wala usab kami boluntaryo nga nakasabut nga ang gluster naglihok ingon pagtipig sa file sa ibabaw sa klasiko nga hardware RAID. Adunay mga pagsulay sa pag-uswag sa pagputol sa (Sharding) nga mga file ngadto sa mga bloke, apan kining tanan usa ka pagdugang nga nagpahamtang sa mga pagkawala sa pasundayag sa naa na nga pamaagi sa arkitektura, lakip ang paggamit sa ingon nga libre nga gipang-apod-apod nga mga sangkap nga adunay mga limitasyon sa pasundayag sama sa Fuse. Walay metadata nga mga serbisyo, nga naglimite sa performance ug fault tolerance nga kapabilidad sa storage sa dihang nag-apod-apod sa mga file ngadto sa mga block. Mas maayo nga performance indicators mahimong maobserbahan sa "Distributed Replicated" configuration ug ang gidaghanon sa mga node kinahanglan nga labing menos 6 aron maorganisar ang usa ka kasaligan nga replica 3 nga adunay labing maayo nga pag-apod-apod sa load.
Kini nga mga nahibal-an adunay kalabotan usab sa paghulagway sa kasinatian sa gumagamit ug kon itandi sa , ug adunay usab usa ka paghulagway sa kasinatian nga nagdala ngadto sa usa ka pagsabut niini nga mas produktibo ug mas kasaligan nga configuration
Gipakita sa hulagway ang pag-apod-apod sa load sa pagsulat sa duha ka mga file, diin ang mga kopya sa unang file gipang-apod-apod sa unang tulo ka mga server, nga gihiusa ngadto sa volume 0 nga grupo, ug ang tulo ka mga kopya sa ikaduhang file gibutang sa ikaduhang grupo nga volume1 sa tulo mga server. Ang matag server adunay usa ka disk.
Ang kinatibuk-ang konklusyon mao nga mahimo nimong gamiton ang Gluster, apan uban ang pagsabut nga adunay mga limitasyon sa pasundayag ug pagtugot sa sayup nga nagmugna mga kalisud sa ilawom sa pipila nga mga kondisyon sa usa ka solusyon nga hyperconverged, diin kinahanglan usab ang mga kapanguhaan alang sa pag-compute nga daghang mga virtual nga palibot.
Adunay usab pipila ka Gluster performance indicators nga mahimong makab-ot ubos sa pipila ka mga kondisyon, limitado sa
Si Ceph
Karon atong tan-awon si Ceph gikan sa mga paghulagway sa arkitektura nga akong nahimo Adunay usab usa ka pagtandi tali sa , diin masabtan dayon nimo nga mas maayo nga i-deploy ang Ceph sa bulag nga mga server, tungod kay ang mga serbisyo niini nanginahanglan sa tanan nga mga kahinguhaan sa hardware nga gikarga.
arkitektura mas komplikado kay sa Gluster ug adunay mga serbisyo sama sa mga serbisyo sa metadata, apan ang tibuok stack sa mga sangkap medyo komplikado ug dili kaayo flexible alang sa paggamit niini sa usa ka virtualization nga solusyon. Ang datos gitipigan sa mga bloke, nga tan-awon nga mas produktibo, apan sa hierarchy sa tanan nga mga serbisyo (mga sangkap), adunay mga pagkawala ug latency ubos sa pipila ka mga load ug mga kondisyon sa emerhensya, pananglitan ang mosunod
Gikan sa paghulagway sa arkitektura, ang kasingkasing CRUSH, salamat nga gipili ang lokasyon alang sa pagtipig sa datos. Sunod moabut ang PG - kini ang labing lisud nga abstraction (lohikal nga grupo) nga masabtan. Kinahanglan ang mga PG para mas epektibo si CRUSH. Ang nag-unang katuyoan sa PG mao ang pag-grupo sa mga butang aron makunhuran ang konsumo sa kapanguhaan, madugangan ang pasundayag ug kadali. Ang pag-address sa mga butang direkta, tagsa-tagsa, nga walay paghiusa niini ngadto sa usa ka PG mahimong mahal kaayo. Ang OSD usa ka serbisyo alang sa matag indibidwal nga disk.
Ang usa ka cluster mahimong adunay usa o daghang data pool alang sa lain-laing mga katuyoan ug adunay lain-laing mga setting. Ang mga pool gibahin sa mga grupo sa pagbutang. Ang mga grupo sa placement nagtipig sa mga butang nga gi-access sa mga kliyente. Dinhi matapos ang lohikal nga lebel, ug magsugod ang pisikal nga lebel, tungod kay ang matag grupo sa pagbutang gi-assign sa usa ka panguna nga disk ug daghang mga replica disk (pila ka eksakto ang nagdepende sa hinungdan sa pagkopya sa pool). Sa laing pagkasulti, sa lohikal nga lebel ang butang gitipigan sa usa ka piho nga grupo sa pagbutang, ug sa pisikal nga lebel - sa mga disk nga gi-assign niini. Sa kini nga kaso, ang mga disk mahimong pisikal nga nahimutang sa lainlaing mga node o bisan sa lainlaing mga sentro sa datos.
Sa kini nga laraw, ang mga grupo sa pagbutang ingon usa ka kinahanglanon nga lebel alang sa pagka-flexible sa tibuuk nga solusyon, apan sa parehas nga oras, ingon usa ka dugang nga sumpay sa kini nga kadena, nga dili boluntaryo nga nagsugyot sa pagkawala sa produktibo. Pananglitan, sa pagsulat sa data, ang sistema kinahanglan nga bahinon kini ngadto sa niini nga mga grupo ug unya sa pisikal nga lebel ngadto sa mga nag-unang disk ug mga disk alang sa mga replika. Kana mao, ang Hash function nagtrabaho sa pagpangita ug pagsal-ot sa usa ka butang, apan adunay usa ka side effect - kini taas kaayo nga gasto ug mga pagdili sa pagtukod pag-usab sa hash (sa pagdugang o pagtangtang sa usa ka disk). Ang laing problema sa hash mao ang tin-aw nga gilansang nga lokasyon sa datos nga dili mausab. Kana mao, kung sa usa ka paagi ang disk naa sa ilawom sa dugang nga pagkarga, nan ang sistema walaβy higayon nga dili magsulat niini (pinaagi sa pagpili sa lain nga disk), ang hash function nag-obligar sa datos nga mahimutang sumala sa lagda, bisan unsa pa ka daotan. ang disk mao, mao nga si Ceph mokaon og daghang panumduman sa pagtukod pag-usab sa PG sa kaso sa pag-ayo sa kaugalingon o pagdugang sa pagtipig. Ang konklusyon mao nga maayo ang pagtrabaho ni Ceph (bisan hinay), apan kung walaβy scaling, mga kahimtang sa emerhensya, o mga update.
Adunay, siyempre, mga kapilian alang sa pagdugang sa pasundayag pinaagi sa pag-cache ug pagpaambit sa cache, apan kini nanginahanglan maayo nga hardware ug adunay mga pagkawala. Apan sa kinatibuk-an, si Ceph mas madanihon kay sa Gluster alang sa pagka-produktibo. Ingon usab, kung gigamit kini nga mga produkto, kinahanglan nga tagdon ang usa ka hinungdanon nga hinungdan - kini usa ka taas nga lebel sa katakus, kasinatian ug propesyonalismo nga adunay dako nga gibug-aton sa Linux, tungod kay hinungdanon kaayo ang pag-deploy, pag-configure ug pagpadayon sa tanan nga husto, nga nagpahamtang ug dugang responsibilidad ug palas-anon sa tagdumala.
Vstorage
Ang arkitektura tan-awon nga mas makapaikag , nga mahimong magamit kauban sa usa ka hypervisor sa parehas nga mga node, sa parehas , apan importante kaayo nga i-configure ang tanan sa husto aron makab-ot ang maayong performance. Kana mao, ang pag-deploy sa ingon nga produkto gikan sa kahon sa bisan unsang pagsumpo nga walaβy pagtagad sa mga rekomendasyon uyon sa arkitektura dali ra kaayo, apan dili mabungahon.
Unsa ang mahimo nga mag-uban alang sa pagtipig sunod sa mga serbisyo sa kvm-qemu hypervisor, ug kini pipila ra nga mga serbisyo diin nakit-an ang usa ka compact optimal hierarchy sa mga sangkap: serbisyo sa kliyente nga gi-mount pinaagi sa FUSE (giusab, dili bukas nga gigikanan), serbisyo sa metadata sa MDS (Metadata service), serbisyo Chunk service data blocks, nga sa pisikal nga lebel katumbas sa usa ka disk ug kana lang. Sa termino sa katulin, siyempre, labing maayo nga gamiton ang usa ka fault-tolerant scheme nga adunay duha ka mga replika, apan kung mogamit ka og caching ug mga log sa SSD drive, nan ang error-tolerant coding (pagpapas sa coding o raid6) mahimong desenteng overclocked sa usa ka hybrid scheme o mas maayo pa sa tanang flash. Adunay pipila ka mga disbentaha sa EC (erase coding): kung mag-ilis sa usa ka bloke sa datos, kinahanglan nga kalkulahon pag-usab ang mga kantidad sa parity. Aron malaktawan ang mga pagkawala nga may kalabutan sa kini nga operasyon, si Ceph nagsulat sa EC nga gilangan ug ang mga problema sa pasundayag mahimong mahitabo sa panahon sa usa ka piho nga hangyo, kung, pananglitan, ang tanan nga mga bloke kinahanglan basahon, ug sa kaso sa Virtuozzo Storage, ang pagsulat sa nabag-o nga mga bloke gihimo. gamit ang "log-structured file system" nga pamaagi, nga nagpamenos sa gasto sa pagkalkula sa parity. Aron mabanabana ang gibana-bana nga mga kapilian nga adunay pagpadali sa pagtrabaho nga adunay ug wala ang EC, adunay - ang mga numero mahimong gibana-bana depende sa katukma nga coefficient sa tiggama sa kagamitan, apan ang resulta sa mga kalkulasyon usa ka maayong tabang sa pagplano sa pag-configure.
Ang usa ka yano nga diagram sa mga sangkap sa pagtipig wala magpasabut nga kini nga mga sangkap dili masuhop apan kung imong kuwentahon ang tanan nga mga gasto daan, makasalig ka sa kolaborasyon sunod sa hypervisor.
Adunay usa ka laraw alang sa pagtandi sa pagkonsumo sa mga kahinguhaan sa hardware sa mga serbisyo sa pagtipig sa Ceph ug Virtuozzo.
Kung kaniadto posible nga itandi ang Gluster ug Ceph gamit ang daan nga mga artikulo, gamit ang labing hinungdanon nga mga linya gikan kanila, nan sa Virtuozzo mas lisud. Walaβy daghang mga artikulo bahin sa kini nga produkto ug ang kasayuran mahimo ra makuha gikan sa dokumentasyon sa o sa Russian kon atong ikonsiderar ang Vstorage isip storage nga gigamit sa pipila ka hyperconverged solusyon sa mga kompanya sama sa ug Acronis.
Ako mosulay sa pagtabang sa usa ka paghulagway niini nga arkitektura, mao nga adunay usa ka gamay nga dugang nga teksto, apan kini nagkinahanglan og daghang panahon sa pagsabot sa dokumentasyon sa imong kaugalingon, ug ang kasamtangan nga dokumentasyon magamit lamang ingon nga usa ka pakisayran pinaagi sa pag-usab sa lamesa. sa sulod o pagpangita pinaagi sa keyword.
Atong tagdon ang proseso sa pagrekord sa usa ka hybrid nga pag-configure sa hardware nga adunay mga sangkap nga gihulagway sa ibabaw: ang pagrekord nagsugod sa pag-adto sa node diin gisugdan kini sa kliyente (ang serbisyo sa FUSE mount point), apan ang Metadata Service (MDS) master component siyempre. idirekta ang kliyente direkta sa gusto nga serbisyo sa tipak (storage service CS blocks), nga mao, ang MDS wala moapil sa proseso sa pagrekord, apan nagdumala lamang sa serbisyo sa gikinahanglan nga tipak. Sa kinatibuk-an, makahatag kami usa ka analohiya sa pagrekord sa pagbubo sa tubig sa mga baril. Ang matag baril usa ka 256MB data block.
Kana mao, ang usa ka disk usa ka piho nga gidaghanon sa ingon nga mga baril, nga mao, ang gidaghanon sa disk nga gibahin sa 256MB. Ang matag kopya giapud-apod sa usa ka node, ang ikaduha hapit parehas sa lain nga node, ug uban pa ... Kung kami adunay tulo nga mga replika ug adunay mga SSD disk alang sa cache (alang sa pagbasa ug pagsulat sa mga troso), unya ang pagkumpirma sa pagsulat mahitabo pagkahuman sa pagsulat ang log sa SSD, ug ang parallel reset gikan sa SSD magpadayon sa HDD, nga daw sa background. Sa kaso sa tulo ka mga replika, ang rekord mabuhat pagkahuman sa pagkumpirma gikan sa SSD sa ikatulo nga node. Morag ang kadaghanon sa katulin sa pagsulat sa tulo ka mga SSD mahimong bahinon sa tulo ug makuha namon ang katulin sa pagsulat sa usa ka kopya, apan ang mga kopya gisulat nga managsama ug ang katulin sa Latency sa network kasagaran mas taas kaysa sa SSD, ug sa tinuud ang pasundayag sa pagsulat magdepende sa network. Niini nga bahin, aron makita ang tinuod nga IOPS, kinahanglan nimo nga husto nga i-load ang tibuuk nga Vstorage pinaagi sa , nga mao, pagsulay sa tinuod nga load, ug dili panumduman ug cache, diin gikinahanglan nga tagdon ang husto nga gidak-on sa block sa datos, gidaghanon sa mga hilo, ug uban pa.
Ang gihisgutan sa ibabaw nga recording log sa SSD naglihok sa paagi nga sa diha nga ang data mosulod niini, kini dayon basahon sa serbisyo ug gisulat sa HDD. Adunay daghang mga serbisyo sa metadata (MDS) matag cluster ug ang ilang gidaghanon gitino sa usa ka korum, nga molihok sumala sa Paxos algorithm. Gikan sa punto sa panglantaw sa kliyente, ang FUSE mount point usa ka cluster storage folder nga dungan nga makita sa tanang node sa cluster, ang matag node adunay gi-mount nga kliyente sumala niini nga prinsipyo, mao nga kini nga storage anaa sa matag node.
Alang sa paghimo sa bisan unsa nga gihulagway sa ibabaw nga mga pamaagi, kini mao ang importante kaayo, sa pagplano ug deployment yugto, sa husto nga pag-configure sa network, diin adunay pagbalanse tungod sa aggregation ug sa husto nga pagpili sa network channel bandwidth. Sa aggregation, importante nga pilion ang hustong hashing mode ug frame sizes. Adunay usab usa ka kusog kaayo nga kalainan gikan sa SDS nga gihulagway sa ibabaw, kini usa ka fuse nga adunay teknolohiya nga paspas nga agianan sa Virtuozzo Storage. Nga, agig dugang sa moderno nga fuse, dili sama sa ubang mga open source nga solusyon, kamahinungdanon nga nagdugang sa IOPS ug nagtugot kanimo nga dili limitado sa pinahigda o bertikal nga scaling. Sa kinatibuk-an, kon itandi sa mga arkitektura nga gihulagway sa ibabaw, kini nga usa ka tan-awon nga mas gamhanan, apan alang sa ingon nga kalipay, siyempre, kamo kinahanglan nga mopalit sa mga lisensya, dili sama sa Ceph ug Gluster.
Sa pag-summarize, mahimo natong i-highlight ang tumoy sa tulo: Ang Virtuozzo Storage nag-una sa mga termino sa pasundayag ug kasaligan sa arkitektura, si Ceph ang nakakuha sa ikaduha nga lugar, ug ang Gluster nakakuha sa ikatulo nga lugar.
Ang mga pamatasan diin gipili ang Virtuozzo Storage: kini usa ka kamalaumon nga hugpong sa mga sangkap sa arkitektura, gi-moderno alang sa kini nga pamaagi sa Fuse nga adunay paspas nga agianan, usa ka flexible nga set sa mga pag-configure sa hardware, gamay nga pagkonsumo sa kapanguhaan ug ang abilidad sa pagpaambit sa pag-compute (computing/virtualization), nga mao, kini mao ang bug-os nga angay alang sa usa ka hyperconverged solusyon , nga siya mao ang bahin sa. Ang ikaduha nga dapit mao ang Ceph tungod kay kini usa ka mas produktibo nga arkitektura kumpara sa Gluster, tungod sa operasyon niini sa mga bloke, ingon man usab sa mas flexible nga mga sitwasyon ug ang abilidad sa pagtrabaho sa mas dagkong mga cluster.
Adunay mga plano nga isulat ang pagtandi tali sa vSAN, Space Direct Storage, Vstorage ug Nutanix Storage, pagsulay sa Vstorage sa HPE ug Huawei nga kagamitan, ingon man mga senaryo alang sa paghiusa sa Vstorage sa mga eksternal nga sistema sa pagtipig sa hardware, mao nga kung gusto nimo ang artikulo, mahimo kini nindot nga makakuha og feedback gikan kanimo , nga makadugang sa kadasig alang sa bag-ong mga artikulo, nga gikonsiderar ang imong mga komento ug mga pangandoy.
Source: www.habr.com