Sehlooho sena se ngotsoe ho u thusa ho ikhethela tharollo e nepahetseng le ho utloisisa phapang pakeng tsa SDS e kang Gluster, Ceph le Vstorage (Virtuozzo).
Sengoloa se sebelisa lihokela tsa lingoliloeng tse nang le tlhaiso-leseling e batsi ea mathata a itseng, kahoo litlhaloso li tla ba tse khutšoane ka hohle kamoo ho ka khonehang, li sebelisa lintlha tsa bohlokoa ntle le tlhaiso-leseling e sa hlokahaleng le selelekela seo u ka se fumanang inthaneteng, haeba u lakatsa.
Ha e le hantle, lihlooho tse hlahisitsoeng li hloka lithane tsa mongolo, empa lefatšeng la kajeno batho ba bangata ha ba rate ho bala haholo))), kahoo u ka bala ka potlako le ho etsa khetho, 'me haeba ho na le ntho e itseng. ha e hlake, latela likhokahano kapa mantsoe a sa hlakang a google))), mme sengoloa sena se tšoana le sekoaelo se pepeneneng sa lihlooho tsena tse tebileng, se bonts'ang ho tlatsoa - lintlha tsa bohlokoa tsa qeto ka 'ngoe.
Monyetla
A re qaleng ka Gluster, e sebelisoang ka mafolofolo ke baetsi ba li-platform tsa hyperconverged tse nang le SDS tse thehiloeng mohloling o bulehileng bakeng sa libaka tsa sebele 'me li ka fumanoa webosaeteng ea RedHat sebakeng sa polokelo, moo o ka khethang likhethong tse peli tsa SDS: Gluster kapa Ceph.
Gluster e na le sehlopha sa bafetoleli - litšebeletso tse etsang mosebetsi oohle oa ho aba lifaele, joalo-joalo. Setene ke tšebeletso e sebeletsang disk e le 'ngoe, Volume ke volume (pool) e kopanyang litene tsena. E latelang ho tla ts'ebeletso ea ho aba lifaele ka lihlopha ho sebelisa ts'ebetso ea DHT (tafole ea hash). Re ke ke ra kenyelletsa tšebeletso ea Sharding tlhalosong kaha lihokelo tse ka tlase li tla hlalosa mathata a amanang le eona.
Ha u ngola, faele eohle e bolokiloe ka setene 'me kopi ea eona e ngotsoe ka nako e le' ngoe ho setene ho seva sa bobeli. Ka mor'a moo, faele ea bobeli e tla ngoloa ho sehlopha sa bobeli sa litene tse peli (kapa ho feta) ho li-server tse fapaneng.
Haeba lifaele li batla li lekana ka boholo 'me molumo o na le sehlopha se le seng feela, joale ntho e' ngoe le e 'ngoe e hantle, empa tlas'a maemo a mang mathata a latelang a tla hlaha ho tsoa litlhaloso:
- Sebaka ka lihlopha se sebelisoa ka tsela e sa tšoaneng, ho itšetlehile ka boholo ba lifaele, 'me haeba ho se na sebaka se lekaneng sehlopheng sa ho ngola faele, u tla fumana phoso, faele e ke ke ea ngoloa' me e ke ke ea abeloa ho sehlopha se seng. ;
- ha u ngola faele e le 'ngoe, IO e ea sehlopheng se le seng feela, tse ling kaofela ha li sebetse;
- u ke ke ua fumana IO ea molumo kaofela ha u ngola faele e le 'ngoe;
- 'me mohopolo o akaretsang o shebahala o sa hlahise litholoana ka lebaka la khaello ea kabo ea data ho li-blocks, moo ho leng bonolo ho leka-lekanya le ho rarolla bothata ba ho ajoa ha junifomo, mme eseng joalo ka ha hona joale faele eohle e kena block.
Ho tsoa ho tlhaloso ea molao re boetse re utloisisa ka boomo hore gluster e sebetsa e le polokelo ea lifaele ka holim'a lisebelisoa tsa khale tsa RAID. Ho bile le liteko tsa nts'etsopele ea ho khaola lifaele (Sharding) hore e be li-blocks, empa sena sohle ke tlatsetso e behang tahlehelo ea ts'ebetso molemong oa meralo e seng e ntse e le teng, hammoho le ts'ebeliso ea likarolo tse joalo tse ajoang ka bolokolohi le mefokolo ea ts'ebetso joalo ka Fuse. Ha ho na lits'ebeletso tsa metadata, tse fokotsang ts'ebetso le bokhoni ba ho mamella liphoso tsa polokelo ha o abela lifaele ka li-blocks. Lipontšo tse ntle tsa ts'ebetso li ka bonoa ka tlhophiso ea "Distributed Replicated" mme palo ea li-node e lokela ho ba bonyane 6 ho hlophisa replica e tšepahalang ea 3 e nang le kabo e nepahetseng ea mojaro.
Liphuputso tsena li boetse li amana le tlhaloso ea phihlelo ea mosebedisi le ha e bapisoa le , hape ho na le tlhaloso ea phihlelo e lebisang kutloisisong ea tlhophiso ena e hlahisang litholoana le e tšepahalang haholoanyane
Setšoantšo se bonts'a kabo ea mojaro ha u ngola lifaele tse peli, moo likopi tsa faele ea pele li ajoang ho li-server tse tharo tsa pele, tse kopantsoeng ho sehlopha sa 0, 'me likopi tse tharo tsa faele ea bobeli li behiloe sehlopheng sa bobeli sa volume1 ho tse tharo. li-server. Seva e 'ngoe le e' ngoe e na le disk e le 'ngoe.
Qeto e akaretsang ke hore u ka sebelisa Gluster, empa ka kutloisiso ea hore ho tla ba le mefokolo ts'ebetsong le mamello ea phoso e bakang mathata tlas'a maemo a itseng a tharollo ea hyperconverged, moo lisebelisoa li hlokahalang bakeng sa meroalo ea k'homphieutha ea libaka tse tloaelehileng.
Hape ho na le matšoao a ts'ebetso ea Gluster a ka finyelloang tlas'a maemo a itseng, a lekanyelitsoeng ho
Seph
Joale a re shebeng Ceph ho tsoa litlhalosong tsa meaho eo ke khonneng ho e etsa Hape ho na le papiso pakeng tsa , moo o ka utloisisang hang-hang hore ho bohlokoa ho sebelisa Ceph ho li-server tse fapaneng, kaha litšebeletso tsa eona li hloka lisebelisoa tsohle tsa hardware tlas'a mojaro.
mehaho e rarahane ho feta Gluster mme ho na le lits'ebeletso tse joalo ka lits'ebeletso tsa metadata, empa palo eohle ea likarolo e rarahane ebile ha e fetohe haholo bakeng sa ho e sebelisa ka tharollo ea virtualization. Lintlha li bolokoa ka li-blocks, tse shebahalang li hlahisa litholoana tse ngata, empa boemong bo phahameng ba litšebeletso tsohle (likarolo), ho na le tahlehelo le latency tlas'a meroalo e itseng le maemo a tšohanyetso, mohlala, tse latelang.
Ho latela tlhaloso ea meralo, pelo ke CRUSH, ka lebaka leo sebaka sa ho boloka data se khethiloeng. Ka mor'a moo ho tla PG - ena ke tlhaloso e thata ka ho fetisisa (sehlopha se utloahalang) ho utloisisa. Li-PG lia hlokahala ho etsa hore CRUSH e sebetse haholoanyane. Morero o ka sehloohong oa PG ke ho hlophisa lintho ho fokotsa tšebeliso ea lisebelisoa, ho eketsa ts'ebetso le scalability. Ho sebetsana le lintho ka kotloloho, ka bonngoe, ntle le ho li kopanya ho PG ho tla bitsa chelete e ngata haholo. OSD ke tšebeletso bakeng sa disk e 'ngoe le e' ngoe.
Sehlopha se ka ba le letamo le le leng kapa tse ngata tsa data bakeng sa merero e fapaneng le ka litlhophiso tse fapaneng. Matamo a arotsoe ka lihlopha tsa ho beha. Lihlopha tsa ho beha lintho li boloka lintho tseo bareki ba li fihlelang. Mona ke moo boemo bo utloahalang bo fellang teng, 'me boemo ba' mele bo qala, hobane sehlopha se seng le se seng sa ho bea se abeloa disk e le 'ngoe e kholo le li-disk tse ngata tsa replica (ke tse kae tse itšetlehileng ka mokhoa oa ho pheta-pheta letamo). Ka mantsoe a mang, boemong bo utloahalang ntho e bolokiloe sehlopheng se itseng sa ho behoa, 'me boemong ba' mele - ho li-disk tse abetsoeng ho tsona. Tabeng ena, li-disk li ka ba teng 'meleng libakeng tse fapaneng kapa esita le litsing tse fapaneng tsa data.
Lenaneong lena, lihlopha tsa ho beoa li shebahala e le boemo bo hlokahalang bakeng sa ho feto-fetoha ha tharollo eohle, empa ka nako e ts'oanang, e le sehokelo se eketsehileng sa ketane ena, e fanang ka maikutlo a ho lahleheloa ke tlhahiso ka boithatelo. Mohlala, ha o ngola data, sistimi e hloka ho e arola ka lihlopha tsena ebe boemong ba 'mele ho disk e kholo le li-disk bakeng sa likopi. Ke hore, mosebetsi oa Hash o sebetsa ha o batla le ho kenya ntho, empa ho na le phello e ka thōko - ke litšenyehelo tse phahameng haholo le lithibelo tsa ho tsosolosa hash (ha o eketsa kapa o tlosa disk). Bothata bo bong ba hash ke sebaka se hlakileng sa data se ke keng sa fetoloa. Ka mantsoe a mang, haeba ka tsela e itseng disk e le tlas'a mojaro o eketsehileng, tsamaiso ha e na monyetla oa ho e ngolla (ka ho khetha disk e 'ngoe), mosebetsi oa hash o tlama hore data e be teng ho ea ka molao, ho sa tsotellehe hore na e mpe hakae. disk ke, kahoo Ceph o ja mohopolo o mongata ha o tsosolosa PG tabeng ea ho ipholisa kapa ho eketsa polokelo. Qeto ke hore Ceph e sebetsa hantle (leha e le butle), empa feela ha ho se na sekhahla, maemo a tšohanyetso, kapa lintlafatso.
Ho na le, ehlile, ho na le likhetho tsa ho eketsa ts'ebetso ka ho arolelana caching le cache, empa sena se hloka hardware e ntle mme ho ntse ho tla ba le tahlehelo. Empa ka kakaretso, Ceph e shebahala e leka ho feta Gluster bakeng sa tlhahiso. Hape, ha u sebelisa lihlahisoa tsena, hoa hlokahala ho ela hloko ntlha ea bohlokoa - ena ke boemo bo phahameng ba bokhoni, phihlelo le botsebi ka ho hatisa haholo Linux, kaha ho bohlokoa haholo ho tsamaisa, ho hlophisa le ho boloka ntho e 'ngoe le e' ngoe ka nepo, se behang boikarabelo le moroalo le ho feta ho motsamaisi.
Vstorage
Mehaho e shebahala e thahasellisa le ho feta , e ka sebelisoang hammoho le hypervisor ka li-node tse tšoanang, ka ho tšoanang , empa ho bohlokoa haholo ho hlophisa ntho e ngoe le e ngoe ka nepo ho fihlela ts'ebetso e ntle. Ke hore, ho tsamaisa sehlahisoa se joalo ho tloha lebokoseng la tlhophiso leha e le efe ntle le ho ela hloko likhothaletso ho ea ka mohaho ho tla ba bonolo haholo, empa ho se be le tlhahiso.
Ke eng e ka bang teng bakeng sa polokelo haufi le lits'ebeletso tsa kvm-qemu hypervisor, 'me tsena ke litšebeletso tse' maloa feela moo ho fumanoeng sehlopha sa maemo a holimo sa likaroloana: tšebeletso ea bareki e kenngoa ka FUSE (e fetotsoeng, eseng mohloli o bulehileng), tšebeletso ea metadata ea MDS. (Tšebeletso ea Metadata), tšebeletso ea Chunk service blocks, eo boemong ba 'mele e lekanang le disk e le' ngoe 'me ke eona feela. Mabapi le lebelo, ehlile, ho nepahetse ho sebelisa sekema se mamellang liphoso se nang le likopi tse peli, empa haeba u sebelisa caching le li-log ho li-drive tsa SSD, li-coding tse mamellang liphoso (ho hlakola coding kapa raid6) li ka koaheloa ka mokhoa o hlomphehang hybrid scheme kapa e betere ho feta tsohle. Ho na le bofokoli bo itseng ka EC (hlakola coding): ha u fetola "data block" e le 'ngoe, ho hlokahala hore u boele u bale palo ea palo. E le ho qoba tahlehelo e amanang le ts'ebetso ena, Ceph o ngolla EC ka mokhoa o fokolisitsoeng mme mathata a ts'ebetso a ka etsahala nakong ea kopo e itseng, ha, ka mohlala, li-blocks tsohle li lokela ho baloa, 'me tabeng ea Virtuozzo Storage, ho ngola ho fetotsoe li-blocks. e etsoa ka mokhoa oa "log-structured file system", e leng ho fokotsang litšenyehelo tsa palo ea palo. Ho hakanya hoo e ka bang likhetho ka ho potlakisa mosebetsi le ntle le EC, ho na le - lipalo li ka ba tse hakanyetsoang ho itšetlehile ka coefficient e nepahetseng ea moetsi oa thepa, empa phello ea lipalo ke thuso e ntle ea ho rera ho hlophisoa.
Setšoantšo se bonolo sa likarolo tsa polokelo ha se bolele hore likarolo tsena ha li monye empa haeba u bala litšenyehelo tsohle esale pele, u ka itšetleha ka tšebelisano haufi le hypervisor.
Ho na le leano la ho bapisa ts'ebeliso ea lisebelisoa tsa hardware ke Ceph le lits'ebeletso tsa polokelo ea Virtuozzo.
Haeba pele ho moo ho ne ho khoneha ho bapisa Gluster le Ceph ho sebelisa lihlooho tsa khale, ho sebelisa mela ea bohlokoa ka ho fetisisa ho bona, joale ka Virtuozzo ho thata haholoanyane. Ha ho na lingoliloeng tse ngata mabapi le sehlahisoa sena mme tlhaiso-leseling e ka fumanoa feela ho tsoa litokomaneng ho ea pele kapa ka Serussia haeba re nka Vstorage e le polokelo e sebelisoang ho litharollo tse ling tsa hyperconverged lik'hamphani tse kang le Acronis.
Ke tla leka ho thusa ka tlhaloso ea mohaho ona, kahoo ho tla ba le mongolo o monyenyane, empa ho nka nako e ngata ho utloisisa litokomane ka bouena, 'me litokomane tse teng li ka sebelisoa feela e le boitsebiso ka ho tsosolosa tafole. ya dikahare kapa ho batlisisa ka lebitso la sehlooho.
Ha re nahaneng ka ts'ebetso ea ho rekota ka har'a tlhophiso ea lisebelisoa tse nyalisitsoeng tse nang le likarolo tse hlalositsoeng kaholimo: ho rekota ho qala ho ea sebakeng seo moreki a se qalileng ho sona (tšebeletso ea FUSE mount point), empa karolo e kholo ea Metadata Service (MDS) e tla ba teng. tsamaisa moreki ka kotloloho ho ts'ebeletso e lakatsehang ea chunk (ts'ebeletso ea polokelo ea CS blocks), ke hore, MDS ha e kenye letsoho ts'ebetsong ea ho rekota, empa e tsamaisa feela ts'ebeletso ho chunk e hlokahalang. Ka kakaretso, re ka fana ka papiso ea ho rekota ka ho tšela metsi ka libarele. Moqomo o mong le o mong ke 256MB data block.
Ke hore, disk e le 'ngoe ke palo e itseng ea libarele tse joalo, ke hore, molumo oa disk o arotsoe ke 256MB. Kopi e 'ngoe le e' ngoe e abeloa ho node e le 'ngoe, ea bobeli e batla e tšoana le node e' ngoe, joalo-joalo. log ho SSD, 'me ho tsosolosa ho tšoanang ho tloha ho SSD ho tla tsoela pele ho HDD, joalokaha eka e ka morao. Tabeng ea likopi tse tharo, rekoto e tla etsoa kamora netefatso e tsoang ho SSD ea node ea boraro. Ho ka 'na ha bonahala eka kakaretso ea lebelo la ho ngola la li-SSD tse tharo li ka aroloa ka tse tharo' me re tla fumana lebelo la ho ngola la replica e le 'ngoe, empa likopi li ngotsoe ka tsela e tšoanang' me marang-rang a Latency lebelo hangata a phahame ho feta a SSD, 'me ha e le hantle mosebetsi oa ho ngola o tla itšetleha ka marang-rang. Tabeng ena, e le hore u bone IOPS ea sebele, u lokela ho kenya Vstorage eohle ka nepo , ke hore, ho leka mojaro oa 'nete, eseng mohopolo le cache, moo ho hlokahalang ho ela hloko boholo bo nepahetseng ba block block, palo ea likhoele, joalo-joalo.
Lenane la ho rekota le boletsoeng ka holimo ho SSD le sebetsa ka tsela eo hang ha data e kena ho eona, hang-hang e baloa ke tšebeletso ebe e ngolloa HDD. Ho na le lits'ebeletso tse 'maloa tsa metadata (MDS) ka sehlopha ka seng mme palo ea tsona e khethoa ke quorum, e sebetsang ho latela algorithm ea Paxos. Ho ea ka pono ea mofani, sebaka sa FUSE mount point ke foldara ea polokelo ea lihlopha e bonahalang ka nako e le 'ngoe ho li-node tsohle ka har'a sehlopha, node e' ngoe le e 'ngoe e na le mofani ea behiloeng ho latela molao-motheo ona, kahoo polokelo ena e fumaneha ho node e' ngoe le e 'ngoe.
Bakeng sa ts'ebetso ea leha e le efe ea mekhoa e hlalositsoeng ka holimo, ke habohlokoa haholo, sethaleng sa moralo le ho tsamaisoa, ho lokisa marang-rang ka nepo, moo ho tla ba le ho leka-lekanya ka lebaka la ho bokellana le ho khethoa ka mokhoa o nepahetseng oa marang-rang a marang-rang a marang-rang. Ka ho kopanya, ho bohlokoa ho khetha mokhoa o nepahetseng oa hashing le boholo ba foreimi. Hape ho na le phapang e matla haholo ho tloha ho SDS e hlalositsoeng ka holimo, ena ke fuse e nang le theknoloji ea tsela e potlakileng ho Virtuozzo Storage. Eo, ntle le fuse ea sejoale-joale, ho fapana le litharollo tse ling tsa mohloli o bulehileng, e eketsa IOPS haholo mme e o lumella hore o se ke oa fokotsoa ke sekala se otlolohileng kapa se otlolohileng. Ka kakaretso, ha ho bapisoa le mehaho e hlalositsoeng ka holimo, ena e shebahala e le matla haholo, empa bakeng sa monate o joalo, ha e le hantle, o hloka ho reka li-license, ho fapana le Ceph le Gluster.
Ho akaretsa, re ka totobatsa sehlohlolong sa tse tharo: Virtuozzo Storage e nka sebaka sa pele mabapi le ts'ebetso le ts'epahalo ea meaho, Ceph e nka sebaka sa bobeli, 'me Gluster e nka sebaka sa boraro.
Mekhoa eo Virtuozzo Storage e khethiloeng ka eona: ke sete e nepahetseng ea likarolo tsa meralo, e ntlafalitsoeng bakeng sa mokhoa ona oa Fuse ka tsela e potlakileng, sete e feto-fetohang ea meralo ea lisebelisoa, tšebeliso e fokolang ea lisebelisoa le bokhoni ba ho arolelana komporo (computing / virtualization), ke hore, e loketse ka ho feletseng bakeng sa tharollo ea hyperconverged , eo a leng karolo ea eona. Sebaka sa bobeli ke Ceph hobane ke mohaho o hlahisang litholoana ha o bapisoa le Gluster, ka lebaka la ts'ebetso ea eona ka li-blocks, hammoho le maemo a fetohang haholoanyane le bokhoni ba ho sebetsa ka lihlopha tse kholoanyane.
Ho na le merero ea ho ngola papiso pakeng tsa vSAN, Space Direct Storage, Vstorage le Nutanix Storage, ho hlahloba Vstorage ho thepa ea HPE le ea Huawei, hammoho le maemo a ho kopanya Vstorage le mekhoa ea polokelo ea thepa ea ka ntle, kahoo haeba u ratile sehlooho sena, e ka ba ke monate ho fumana maikutlo a tsoang ho uena, e leng se ka eketsang tšusumetso bakeng sa lihlooho tse ncha, ho nahanela maikutlo le litakatso tsa hau.
Source: www.habr.com