Fa'atusatusaga pu'upu'u o le fausaga SDS po'o le su'eina o se fa'aputuga talafeagai (GlusterVsCephVsVirtuozzoStorage)

O lenei tusiga na tusia e fesoasoani ia te oe e filifili le fofo saʻo mo oe lava ma malamalama i eseesega i le va o le SDS e pei o Gluster, Ceph ma Vstorage (Virtuozzo).

O loʻo faʻaogaina e le tusitusiga fesoʻotaʻiga i tala faʻatasi ma se faʻamatalaga auiliili o nisi faʻafitauli, o lea o faʻamatalaga o le a faʻapuupuu pe a mafai, faʻaaoga manatu autu e aunoa ma le faʻafefeteina ma faʻamatalaga faʻamatalaga e mafai, pe a e manaʻo ai, maua tutoʻatasi i luga ole Initaneti.

O le mea moni, o le mea moni, o autu na laga e manaʻomia ai leo o tusitusiga, ae i le lalolagi faʻaonaponei e toʻatele tagata e le fiafia e faitau tele))), o lea e mafai ai ona e faitau vave ma fai se filifiliga, ma pe a iai se mea. le manino, mulimuli i sooga poʻo google le manino upu))), ma o lenei tusiga e pei o se afifi manino mo nei autu loloto, faʻaalia le faʻatumu - o mea autu autu o filifiliga taʻitasi.

fa'afefete

Sei o tatou amata i le Gluster, lea o loʻo faʻaaogaina malosi e le au gaosiga o hyperconverged platforms ma le SDS e faʻavae i luga o punaoa tatala mo siosiomaga faʻapitoa ma e mafai ona maua i luga o le upega tafaʻilagi a RedHat i le vaega e teu ai, lea e mafai ai ona e filifili mai filifiliga SDS e lua: Gluster poʻo Ceph.

Gluster e aofia ai se faaputuga o faaliliu - auaunaga e faia uma galuega o le tufatufaina o faila, ma isi. Pili o se auaunaga e tautua ai le tisiki se tasi, Volume o se voluma (vaivai) e tuufaatasia ai nei piliki. E soso'o mai le 'au'aunaga mo le tufatufaina atu o faila i vaega e fa'aaoga ai le DHT (distributed hash table). Matou te le aofia ai le auaunaga Sharding i le faʻamatalaga talu ai o fesoʻotaʻiga o loʻo i lalo o le a faʻamatalaina ai faʻafitauli e fesoʻotaʻi ma ia.

Pe a tusitusi, o le faila atoa o loʻo teuina i piliki ma o lana kopi o loʻo tusia i le taimi e tasi i piliki i luga o le server lona lua. O le isi, o le faila lona lua o le a tusia i le vaega lona lua o piliki e lua (pe sili atu) i luga o sapalai eseese.

Afai o faila e tutusa le tele ma le voluma e naʻo le tasi le vaega, ona lelei lea o mea uma, ae i lalo o isi tulaga o le a tulaʻi mai faʻafitauli nei mai faʻamatalaga:

• avanoa i vaega e faʻaaogaina le tutusa, e faʻalagolago i le tele o faila ma afai e le lava le avanoa i le vaega e tusi ai se faila, o le ae mauaina se mea sese, o le faila o le a le tusia ma o le a le toe tufatufaina atu i se isi vaega. ;
• pe a tusia se faila se tasi, o le IO e alu naʻo le tasi vaega, o isi e leai se aoga;
• e le mafai ona e mauaina le IO o le voluma atoa pe a tusia se faila se tasi;
• ma o le manatu lautele e foliga mai e le aoga ona o le le lava o le tufatufaina o faʻamatalaga i totonu o poloka, lea e faigofie ai ona faapaleni ma foia le faafitauli o le tufatufaina atu o toniga, ae le o le taimi nei e alu le faila atoa i se poloka.

Mai le faʻamatalaga aloaia tusiata fale matou te malamalama foʻi e faapea o le gluster e galue e pei o le teuina o faila i luga o le RAID meafaigaluega masani. Sa i ai taumafaiga tau atina'e e tipi (Sharding) faila i poloka, ae o nei mea uma o se faʻaopoopoga e tuʻuina atu ai le gau o le faʻatinoga i luga o le fausaga o loʻo i ai nei, faʻatasi ai ma le faʻaogaina o ia vaega faʻasalalau faʻatasi ma faʻatapulaʻa faʻatinoga e pei o Fuse. E leai ni 'au'aunaga metadata, lea e fa'atapula'aina ai le fa'atinoga ma le fa'apalepale fa'aletonu o le teuina pe a fa'asoa faila i poloka. E mafai ona matauina faʻailoga sili atu o faʻatinoga i le faʻatulagaina o le "Distributed Replicated" ma le numera o nodes e tatau ona le itiiti ifo i le 6 e faʻapipiʻi ai se faʻataʻitaʻiga faʻalagolago 3 faʻatasi ai ma le tufatufaina lelei o uta.

O nei suʻesuʻega e fesoʻotaʻi foʻi ma le faʻamatalaga o le tagata faʻaoga fa'afefete ma pe a faatusatusa i Sefe, ma o loʻo i ai foi se faʻamatalaga o le poto masani e taʻitaʻia ai le malamalama i lenei faʻatulagaga sili atu ona aoga ma sili atu ona faʻatuatuaina “Toeupe Faasoaina”.


O le ata o loʻo faʻaalia ai le tufatufaina o uta pe a tusia ni faila se lua, lea e tufatufaina atu kopi o le faila muamua i luga o le tolu auʻaunaga muamua, lea e tuʻufaʻatasia i le voluma 0 vaega, ma tolu kopi o le faila lona lua e tuʻuina i luga o le vaega lona lua volume1 o le tolu. 'au'auna. E tofu le server ma le tisiki e tasi.

O le faʻamatalaga lautele e mafai ona e faʻaogaina Gluster, ae faʻatasi ai ma le malamalama o le ai ai ni tapulaʻa i le faʻatinoga ma le faʻapalepale faʻaletonu e mafua ai faigata i lalo o nisi tulaga o le hyperconverged solution, lea e manaʻomia ai foʻi punaoa mo le faʻatulagaina o uta o siosiomaga faʻapitoa.

E iai fo'i nisi fa'ailoga fa'atinoga o Gluster e mafai ona ausia i lalo o nisi tulaga, fa'agata i faapalepale sese.

Sefe

Sei o tatou tilotilo ia Ceph mai faʻamatalaga faʻataʻitaʻiga na mafai ona ou faia maua. E i ai foi se faatusatusaga i le va Glusterfs ma Ceph, lea e mafai ai ona e vave malamalama e fautuaina le faʻapipiʻiina o Ceph i luga o 'auʻaunaga eseese, talu ai o ana 'auʻaunaga e manaʻomia uma punaoa meafaigaluega i lalo o le uta.

atiga Sefe e sili atu le lavelave nai lo Gluster ma o loʻo i ai auaunaga e pei o metadata auaunaga, ae o le faaputuga atoa o vaega e fai si lavelave ma e le faigofie tele mo le faʻaaogaina i se vaifofo virtualization. O faʻamaumauga o loʻo teuina i poloka, e foliga mai e sili atu ona aoga, ae i le faʻatulagaina o auaunaga uma (vaega), o loʻo i ai le gau ma le taofiofia i lalo o nisi o avega ma tulaga faʻafuaseʻi, mo se faʻataʻitaʻiga o mea nei. tala.

Mai le faʻamatalaga o le fausaga, o le fatu o le CRUSH, faʻafetai lea e filifilia ai le nofoaga mo le teuina o faʻamaumauga. E soso'o mai le PG - o le fa'amatalaga sili ona faigata (vaega talafeagai) e malamalama ai. PG e manaʻomia e faʻaleleia atili ai le CRUSH. O le fa'amoemoe autu o le PG o le fa'avasegaina o mea e fa'aitiitia ai le fa'aaogaina o punaoa, fa'ateleina le fa'atinoga ma le fa'ateleina. O le tu'uina sa'o o mea faitino, ta'ito'atasi, e aunoa ma le tu'ufa'atasia i totonu o se PG o le a taugata tele. O le OSD ose tautua mo tisiki ta'itasi.

E mafai e se fuifui ona maua se tasi po'o le tele o fa'amaumauga mo fa'amoemoega 'ese'ese ma fa'atasi ai ma fa'atulagaga eseese. Ua vaevaeina vaitaele i ni vaega e tuu ai. O vaega fa'apipi'i e teu mea e maua e tagata fa'atau. O le mea lea e gata ai le tulaga talafeagai, ma amata le tulaga faaletino, aua o vaega taitasi e tuʻuina atu e tuʻuina atu le tasi tisiki autu ma le tele o kopi kopi (pe fia tonu e faʻalagolago i le faʻaogaina o le vaitaele). I se isi faaupuga, i le tulaga talafeagai o loʻo teuina le mea i totonu o se vaega faʻapipiʻi faʻapitoa, ma i le tulaga faʻaletino - i luga o tisiki ua tofia i ai. I lenei tulaga, o tisiketi e mafai ona maua i luga o pona eseese poʻo i totonu o nofoaga autu faʻamatalaga eseese.

I lenei polokalame, o vaega faʻapipiʻi e foliga mai o se tulaga talafeagai mo le fetuutuunai o le fofo atoa, ae i le taimi lava e tasi, o se fesoʻotaʻiga faaopoopo i lenei filifili, lea e faʻaalia ai le leiloa o le gaosiga. Mo se faʻataʻitaʻiga, pe a tusia faʻamatalaga, e manaʻomia e le faiga ona vaevaeina i vaega nei ona oʻo lea i le tulaga faʻaletino i totonu o le tisiki autu ma tisiki mo faʻataʻitaʻiga. O lona uiga, o le galuega Hash e galue pe a suʻesuʻe ma faʻaofi se mea, ae o loʻo i ai se aʻafiaga - e matua maualuga lava tau ma faʻatapulaʻa i le toe fausia o le hash (pe a faʻaopoopo pe aveese se disk). O le isi faʻafitauli hash o le faʻaogaina manino o le nofoaga o faʻamaumauga e le mafai ona suia. O lona uiga, afai o le disk o loʻo i lalo o le mamafa o le avega, ona le maua lea e le polokalama le avanoa e le tusi ai i ai (e ala i le filifilia o se isi tisiki), o le hash function e faʻamalosia ai faʻamaumauga e tuʻu e tusa ai ma le tulafono, tusa lava po o le a le leaga. o le tisiki, o lea e 'ai e Ceph le tele o manatua pe a toe fausia le PG i le tulaga o le faʻamaloloina o le tagata lava ia poʻo le faʻateleina o le teuina. O le faaiuga o le Ceph e galue lelei (e ui lava i le lemu), ae naʻo pe a leai se faʻailoga, faʻalavelave faʻafuaseʻi, poʻo faʻafouga.

O loʻo i ai, ioe, filifiliga mo le faʻateleina o le faʻatinoga e ala i le faʻaogaina ma le faʻasoaina o le cache, ae o lenei mea e manaʻomia ai meafaigaluega lelei ma o le ai ai pea le gau. Ae o le aotelega, e sili atu le faʻaosoosoga o Ceph nai lo Gluster mo le gaosiga. E le gata i lea, pe a faʻaaogaina nei oloa, e tatau ona amanaʻia se mea taua - o se tulaga maualuga lea o le agavaʻa, poto masani ma faʻapolofesa faʻatasi ai ma le faamamafa tele i luga o Linux, talu ai e taua tele le faʻapipiʻiina, faʻapipiʻi ma lagolagoina mea uma saʻo, lea e sili atu ai le tele o tiute ma avega i le pule.

Vteteu

E sili atu le manaia o le fausaga Virtuozzo teuina(Vstorage), lea e mafai ona faʻaogaina faʻatasi ma se hypervisor i luga o nodes tutusa, i luga ole tutusa gutu, ae e taua tele le faʻatulagaina saʻo mea uma e ausia ai le faʻatinoga lelei. O lona uiga, o le faʻapipiʻiina o sea oloa mai le atigipusa i luga o soʻo se faatulagaga e aunoa ma le amanaia o fautuaga e tusa ai ma le fausaga o le a matua faigofie lava, ae le aoga.

O le a le mea e mafai ona ola faʻatasi mo le teuina i tafatafa o le auaunaga a le kvm-qemu hypervisor, ma o ni nai auaunaga ia na maua ai se faʻasologa sili ona lelei o vaega na maua: auaunaga tagata faʻatau e faʻapipiʻiina e ala i le FUSE (suia, e le o se punaoa tatala), MDS metadata service (Metadata service), auaunaga Chunk service blocks data, lea i le tulaga faaletino e tutusa ma le tasi tisiki ma na o le pau lava. E tusa ai ma le saoasaoa, ioe, e sili ona lelei le faʻaogaina o se faʻaoga faʻaletonu ma ni kopi se lua, ae afai e te faʻaogaina le faʻaogaina ma ogalaau i luga o SSD, ona mafai lea ona faʻaogaina le faʻaogaina o mea sese ( tape coding poʻo le raid6) i luga o se. faiga hybrid pe sili atu i luga o flash uma. O loʻo i ai se faʻaletonu i le EC ( tape coding): pe a suia le tasi poloka faʻamaumauga, e tatau ona toe faʻatusatusa le aofaʻi o le parite. Ina ia aloese mai tupe leiloa e fesoʻotaʻi ma lenei taʻaloga, e tusi atu Ceph i le EC faʻatuai ma faʻafitauli faʻatinoga e mafai ona tupu i le taimi o se talosaga, pe a, mo se faʻataʻitaʻiga, e tatau ona faitau poloka uma, ma i le tulaga o le Virtuozzo Storage, o le tusiaina o poloka suiga e faia. fa'aogaina le fa'aogaina o le "log-structured file system", lea e fa'aiti'itia ai tau fa'atusatusaga. Ina ia fa'atatau i filifiliga i le fa'avavevaveina o galuega fa'atasi ma le leai o se EC, e iai calculator. - o fuainumera e mafai ona faʻatatau e faʻatatau i le saʻo saʻo o le gaosiga o meafaigaluega, ae o le taunuuga o faʻatusatusaga o se fesoasoani lelei i le fuafuaina o le faʻatulagaga.

O se ata faigofie o vaega e teu ai e le faapea o nei vaega e le mitiia punaoa uamea, ae afai e te fuafua muamua tau uma, e mafai ona e faʻamoemoe i le galulue faʻatasi i tafatafa o le hypervisor.
O loʻo i ai se fuafuaga mo le faʻatusatusaina o le faʻaaogaina o punaoa meafaigaluega e Ceph ma Virtuozzo auaunaga teuina.

Afai na mafai muamua ona faʻatusatusa Gluster ma Ceph e faʻaaoga ai tala tuai, faʻaaoga laina sili ona taua mai ia i latou, ona faʻatasi ai lea ma Virtuozzo e sili atu ona faigata. E le tele ni tala e uiga i lenei oloa ma faʻamatalaga e mafai ona aoina mai faʻamaumauga i luga i le Igilisi poʻo le Rusia pe a tatou manatu Vstorage o se teuina faʻaaogaina i nisi hyperconverged fofo i kamupani e pei o Rosplatforma ma Acronis.

O le a ou taumafai e fesoasoani i se faʻamatalaga o lenei fausaga, o lea o le a i ai sina faʻamatalaga, ae e manaʻomia le tele o le taimi e malamalama ai oe lava i faʻamaumauga, ma o faʻamaumauga o loʻo iai e mafai ona faʻaaogaina e fai ma faʻamatalaga e ala i le toe iloiloina o le laulau. o mea o lo'o i totonu po'o le su'esu'eina e ala i upu autu.

Sei o tatou mafaufau i le faagasologa o le pueina i totonu o se faʻaogaina o masini faʻapipiʻi faʻatasi ma vaega o loʻo faʻamatalaina i luga: o le puʻeina e amata ona alu i le node lea na amataina ai e le kalani (le FUSE mount point service), ae o le Metadata Service (MDS) matai vaega o le a mautinoa lava. fa'atonu sa'o le tagata o tausia i le 'au'aunaga pusi mana'omia (poloka CS tautua teu), o lona uiga, e le auai le MDS i le fa'asologa o le pu'eina, ae na'o le fa'atonuina o le tautua i le pusa mana'omia. I se tulaga lautele, e mafai ona tatou tuʻuina atu se faʻataʻitaʻiga i le pueina ma le sasaa o vai i totonu o paelo. O paelo taʻitasi o se poloka faʻamaumauga 256MB.

O lona uiga, o le tasi tisiki o se numera patino o ia paelo, o lona uiga, o le voluma tisiki e vaevaeina i le 256MB. O kopi taʻitasi e tufatufa atu i le tasi node, o le lona lua e toetoe lava tutusa ma le isi node, ma isi ... Afai e tolu a matou kopi ma o loʻo i ai SSD disks mo le faʻaoga (mo le faitau ma le tusia o ogalaau), ona faʻamaonia lea o le tusitusi pe a uma ona tusitusi. le ogalaau i le SSD, ma toe setiina tutusa mai le SSD o le a faaauau pea i luga o le HDD, e pei o i tua. I le tulaga o faʻataʻitaʻiga e tolu, o le a faia le faʻamaumauga pe a maeʻa le faʻamaoniga mai le SSD o le node lona tolu. Atonu e foliga mai o le aofaʻi o le saoasaoa tusitusi o le tolu SSDs e mafai ona vaevaeina i le tolu ma o le a tatou maua le saoasaoa tusitusi o le tasi kopi, ae o kopi o loʻo tusia tutusa ma le fesoʻotaʻiga Latency saoasaoa e masani ona maualuga atu nai lo le SSD, ma o le mea moni o le a faʻalagolago le faatinoga o le tusitusi i luga o le upega tafailagi. I lenei tulaga, ina ia mafai ona e vaʻai i le IOPS moni, e tatau ona e utaina saʻo le Vstorage atoa e metotia, o lona uiga, faʻataʻitaʻiina le uta moni, ae le o le manatua ma le faʻaogaina, pe a manaʻomia le amanaʻiaina o le saʻo saʻo poloka poloka, numera o filo, ma isi.

O le faʻamaumauga o loʻo taʻua i luga i luga o le SSD e galue i se auala o le taimi lava e maua ai faʻamatalaga, e vave ona faitau e le tautua ma tusi i le HDD. E tele 'au'aunaga metadata (MDS) i le fuifui ma o latou numera e fuafuaina e se korama, lea e galue e tusa ai ma le Paxos algorithm. Mai le vaaiga a le tagata o tausia, o le FUSE mount point o se pusa teu oloa e mafai ona vaaia i le taimi e tasi i nodes uma i totonu o le fuifui, o pona taitasi ei ai se tagata faʻapipiʻi e tusa ai ma lenei mataupu faavae, o lea e avanoa ai lenei teuina i node taitasi.

Mo le faʻatinoga o soʻo se auala o loʻo faʻamatalaina i luga, e taua tele, i le fuafuaga ma le faʻapipiʻiina o le laasaga, ia faʻapipiʻi saʻo le fesoʻotaʻiga, lea o le ai ai le paleni ona o le faʻapipiʻiina ma le filifilia saʻo o le bandwidth channel network. I le tu'ufa'atasiga, e taua tele le filifilia o le sa'o sa'o o le fa'aogaina o le fa'asologa ma le fa'avaa tele. O loʻo i ai foi se eseesega malosi tele mai le SDS o loʻo faʻamatalaina i luga, o le fuse lea ma tekinolosi auala vave i le Virtuozzo Storage. Lea, i le faaopoopo atu i le fuse faʻaonaponei, e le pei o isi faʻamatalaga tatala punaoa, faʻateleina le IOPS ma faʻatagaina oe e le faʻamapulaʻaina e ala i luga o le faʻalava poʻo le faʻalava. I se tulaga lautele, pe a faʻatusatusa i faʻataʻitaʻiga o loʻo faʻamatalaina i luga, o lenei mea e sili atu le mamana, ae mo na fiafiaga, ioe, e tatau ona e faʻatau laisene, e le pei o Ceph ma Gluster.

I le aotelega, e mafai ona tatou faʻamaonia le pito i luga o le tolu: Virtuozzo Storage e muamua i tulaga o le faʻatinoga ma le faʻamaoni o le fausaga, Ceph e maua le tulaga lua, ma Gluster e maua le tulaga tolu.

O le taʻiala na filifilia ai le Virtuozzo Storage: o se seti sili ona lelei o mea faʻataʻitaʻiga, faʻaonaponei mo lenei Fuse auala ma le auala vave, o se seti fetuutuunai o faʻatonuga meafaigaluega, faʻaitiitia le faʻaaogaina o punaoa ma le mafai ona faʻasoa ma faʻatusatusa (computing/virtualization), o lona uiga, e matua talafeagai mo se fofo hyperconverged , lea o ia o se vaega o. Lona lua o le Ceph aua o se fausaga sili atu ona aoga pe a faʻatusatusa ia Gluster, ona o lona faʻaogaina i poloka, faʻapea foʻi ma faʻataʻitaʻiga sili atu ona fetuutuunai ma le mafai ona galue i fuifui tetele.

O loʻo i ai fuafuaga e tusi se faʻatusatusaga i le va o le vSAN, Space Direct Storage, Vstorage ma Nutanix Storage, faʻataʻitaʻiga Vstorage i HPE ma meafaigaluega Huawei, faʻapea foʻi ma faʻataʻitaʻiga mo le tuʻufaʻatasia o le Vstorage ma le faʻapipiʻiina o masini komepiuta, o lea afai e te fiafia i le tusiga, o le a manaia le maua mai o fa'amatalaga mai ia te oe , lea e mafai ona fa'ateleina ai le fa'aosofiaga mo tala fou, ma amana'ia au fa'amatalaga ma mana'oga.

puna: www.habr.com