Chaidh an artaigil seo a sgrìobhadh gus do chuideachadh le bhith a’ taghadh am fuasgladh ceart dhut fhèin agus a’ tuigsinn nan eadar-dhealachaidhean eadar SDS leithid Gluster, Ceph agus Vstorage (Virtuozzo).
Bidh an teacsa a’ cleachdadh cheanglaichean gu artaigilean le foillseachadh nas mionaidiche air cuid de dhuilgheadasan, agus mar sin bidh na tuairisgeulan cho goirid ‘s a ghabhas, a’ cleachdadh prìomh phuingean às aonais fluff neo-riatanach agus fiosrachadh tòiseachaidh as urrainn dhut, ma thogras tu, fhaighinn gu neo-eisimeileach air an eadar-lìn.
Gu dearbh, gu dearbh, feumaidh na cuspairean a chaidh a thogail tònaichean an teacsa, ach anns an t-saoghal ùr-nodha cha toil le barrachd is barrachd dhaoine tòrr a leughadh))), gus an urrainn dhut leughadh gu sgiobalta agus roghainn a dhèanamh, agus ma tha rudeigin ann. chan eil e soilleir, lean na ceanglaichean no google faclan neo-shoilleir))), agus tha an artaigil seo coltach ri còmhdach follaiseach airson na cuspairean domhainn sin, a’ sealltainn an lìonadh - prìomh phuingean gach co-dhùnadh.
cluasair
Feuch an tòisich sinn le Gluster, a tha gu gnìomhach air a chleachdadh le luchd-saothrachaidh àrd-ùrlaran hyperconverged le SDS stèidhichte air stòr fosgailte airson àrainneachdan brìgheil agus a lorgar air làrach-lìn RedHat anns an roinn stòraidh, far am faod thu taghadh bho dhà roghainn SDS: Gluster no Ceph.
Tha Gluster air a dhèanamh suas de chruach de eadar-theangairean - seirbheisean a bhios a’ coileanadh an obair gu lèir ann a bhith a’ sgaoileadh fhaidhlichean, msaa. Is e seirbheis a th’ ann am breige a tha a’ toirt seirbheis do aon diosc, is e tomhas-lìonaidh (amar) a th’ ann an Volume a bhios ag aonachadh nam breigichean sin. An uairsin thig an t-seirbheis airson faidhlichean a sgaoileadh gu buidhnean a’ cleachdadh gnìomh DHT (clàr hash sgaoilte). Cha toir sinn a-steach an t-seirbheis Sharding san tuairisgeul oir bheir na ceanglaichean gu h-ìosal cunntas air na duilgheadasan co-cheangailte ris.
Nuair a bhios tu a’ sgrìobhadh, tha am faidhle gu lèir air a stòradh ann am breige agus tha an leth-bhreac aige air a sgrìobhadh aig an aon àm gu breige air an dàrna frithealaiche. An uairsin, thèid an dàrna faidhle a sgrìobhadh chun dàrna buidheann de dhà bhreig (no barrachd) air diofar luchd-frithealaidh.
Ma tha na faidhlichean timcheall air an aon mheud agus nach eil anns an tomhas ach aon bhuidheann, tha a h-uile dad gu math, ach fo chumhachan eile thig na duilgheadasan a leanas bho na tuairisgeulan:
- tha àite ann am buidhnean air a chleachdadh gu mì-chothromach, tha e an urra ri meud nam faidhlichean agus mura h-eil àite gu leòr sa bhuidheann airson faidhle a sgrìobhadh, gheibh thu mearachd, cha tèid am faidhle a sgrìobhadh agus cha tèid a sgaoileadh gu buidheann eile ;
- nuair a bhios tu a’ sgrìobhadh aon fhaidhle, cha tèid IO ach gu aon bhuidheann, tha an còrr leisg;
- chan urrainn dhut IO den leabhar gu lèir fhaighinn nuair a bhios tu a’ sgrìobhadh aon fhaidhle;
- agus tha am bun-bheachd coitcheann a 'coimhead nas lugha de chinneasachd air sgàth dìth sgaoileadh dàta a-steach do bhlocaichean, far a bheil e nas fhasa a bhith a' cothromachadh agus a 'fuasgladh duilgheadas sgaoileadh èideadh, agus chan ann mar a tha am faidhle gu lèir a' dol a-steach do bhloc.
Bhon tuairisgeul oifigeil tha sinn cuideachd gu neo-eisimeileach a’ tighinn chun tuigse gu bheil gluster ag obair mar stòradh fhaidhlichean a bharrachd air bathar-cruaidh clasaigeach RAID. Chaidh oidhirpean leasachaidh a dhèanamh gus faidhlichean (Sharding) a ghearradh ann am blocaichean, ach tha seo uile na chur-ris a chuireas call coileanaidh air an dòigh ailtireil a th’ ann mar-thà, a bharrachd air a bhith a’ cleachdadh a leithid de cho-phàirtean a tha air an sgaoileadh gu saor le crìochan coileanaidh mar Fuse. Chan eil seirbheisean meata-dàta ann, a tha a’ cuingealachadh coileanadh agus comas fulangas locht an stòraidh nuair a bhios iad a’ sgaoileadh fhaidhlichean gu blocaichean. Faodar comharran coileanaidh nas fheàrr fhaicinn leis an rèiteachadh “Air a chuairteachadh air ath-aithris” agus bu chòir an àireamh de nodan a bhith co-dhiù 6 gus mac-samhail earbsach 3 a chuir air dòigh leis an cuairteachadh luchd as fheàrr.
Tha na co-dhùnaidhean sin cuideachd co-cheangailte ris an tuairisgeul air eòlas an neach-cleachdaidh agus an coimeas ri , agus tha cunntas ann cuideachd air an eòlas a tha a’ leantainn gu tuigse air an rèiteachadh seo a tha nas cinneasaiche agus nas earbsaiche
Tha an dealbh a’ sealltainn cuairteachadh luchdan nuair a thathar a’ sgrìobhadh dà fhaidhle, far a bheil lethbhric den chiad fhaidhle air an sgaoileadh thairis air a’ chiad trì frithealaichean, a tha air an cur còmhla anns a’ bhuidheann leabhar 0, agus trì leth-bhreacan den dàrna faidhle air an cur air an dàrna buidheann leabhar1 de thrì. seirbhisich. Tha aon diosc aig gach frithealaiche.
Is e an co-dhùnadh coitcheann gun urrainn dhut Gluster a chleachdadh, ach leis an tuigse gum bi cuingealachaidhean ann an coileanadh agus fulangas sgàinidhean a chruthaicheas duilgheadasan fo chumhachan sònraichte de fhuasgladh hyperconverged, far a bheil feum air goireasan cuideachd airson luchdan coimpiutaireachd de àrainneachdan brìgheil.
Tha cuid de chomharran coileanaidh Gluster ann cuideachd a ghabhas coileanadh fo chumhachan sònraichte, cuibhrichte gu
ceph
A-nis leig dhuinn sùil a thoirt air Ceph bho na tuairisgeulan ailtireachd a b’ urrainn dhomh Tha coimeas ann cuideachd eadar , far an tuig thu sa bhad gu bheil e ciallach Ceph a chuir air frithealaichean fa leth, leis gu bheil feum aig na seirbheisean aige air na goireasan bathar-cruaidh gu lèir fo luchd.
ailtireachd nas iom-fhillte na Gluster agus tha seirbheisean ann leithid seirbheisean meata-dàta, ach tha an stac iomlan de cho-phàirtean gu math toinnte agus chan eil e gu math sùbailte airson a chleachdadh ann am fuasgladh virtualization. Tha an dàta air a stòradh ann am blocaichean, a tha a’ coimhead nas cinneasaiche, ach ann an rangachd nan seirbheisean uile (co-phàirtean), tha call agus latency fo luchdan sònraichte agus suidheachaidhean èiginneach, mar eisimpleir na leanas
Bho thuairisgeul na h-ailtireachd, tha an cridhe CRUSH, le taing dha gu bheil an t-àite airson dàta a stòradh air a thaghadh. An ath rud thig PG - is e seo an tarraing as duilghe (buidheann loidsigeach) a thuigsinn. Tha feum air PGn gus CRUSH a dhèanamh nas èifeachdaiche. Is e prìomh adhbhar PG stuthan a chuir còmhla gus caitheamh ghoireasan a lughdachadh, coileanadh àrdachadh agus scalability. Bhiodh e gu math daor dèiligeadh ri nithean gu dìreach, leotha fhèin, gun a bhith gan cur còmhla ann am PG. Tha OSD na sheirbheis airson gach diosc fa leth.
Faodaidh aon no iomadh cruinneachadh dàta a bhith aig brabhsair airson diofar adhbharan agus le diofar shuidheachaidhean. Tha amaran air an roinn ann am buidhnean suidheachaidh. Bidh buidhnean suidheachaidh a’ stòradh stuthan a gheibh teachdaichean. Seo far a bheil an ìre loidsigeach a’ tighinn gu crìch, agus an ìre fiosaigeach a’ tòiseachadh, leis gu bheil aon phrìomh diosc agus grunn diosc mac-samhail air a thoirt do gach buidheann suidheachaidh (cia mheud a tha dìreach an urra ri factar mac-samhail an amar). Ann am faclan eile, aig an ìre loidsigeach tha an nì air a stòradh ann am buidheann suidheachaidh sònraichte, agus aig an ìre fiosaigeach - air na diosgan a tha air an sònrachadh dha. Anns a 'chùis seo, faodar na diosgan a shuidheachadh gu corporra air diofar nodan no eadhon ann an ionadan dàta eadar-dhealaichte.
Anns an sgeama seo, tha buidhnean suidheachaidh a 'coimhead mar ìre riatanach airson sùbailteachd an fhuasglaidh gu lèir, ach aig an aon àm, mar cheangal a bharrachd san t-sreath seo, a tha gu neo-eisimeileach a' moladh call cinneasachd. Mar eisimpleir, nuair a bhios tu a 'sgrìobhadh dàta, feumaidh an siostam a roinn anns na buidhnean sin agus an uairsin aig an ìre fiosaigeach a-steach don phrìomh chlàr agus diosgan airson mac-samhail. Is e sin, bidh gnìomh Hash ag obair nuair a bhios tu a ’lorg agus a’ cuir a-steach nì, ach tha taobh-buaidh ann - tha e na chosgais àrd agus cuingeachaidhean air an hash ath-thogail (nuair a thèid diosg a chuir ris no a thoirt air falbh). Is e duilgheadas hash eile suidheachadh dàta soilleir nach gabh atharrachadh. Is e sin, ma tha dòigh air choireigin air an diosc fo luchd nas motha, chan eil cothrom aig an t-siostam gun a bhith a’ sgrìobhadh thuige (le bhith a’ taghadh diosc eile), tha gnìomh hash ag iarraidh gum bi an dàta air a shuidheachadh a rèir na riaghailt, ge bith dè cho dona. tha an diosc, agus mar sin bidh Ceph ag ithe mòran cuimhne nuair a bhios e ag ath-thogail am PG gun fhios nach bi e fèin-slànachadh no a’ meudachadh stòradh. Is e an co-dhùnadh gu bheil Ceph ag obair gu math (ged a tha e slaodach), ach dìreach nuair nach eil sgèileadh, suidheachaidhean èiginneach no ùrachaidhean ann.
Tha, gu dearbh, roghainnean ann airson coileanadh àrdachadh tro thasgadh agus roinneadh tasgadan, ach tha feum air bathar-cruaidh math agus bidh call ann fhathast. Ach san fharsaingeachd, tha Ceph a’ coimhead nas buailtiche na Gluster airson cinneasachd. Cuideachd, nuair a bhios tu a 'cleachdadh nan stuthan sin, feumar aire a thoirt do fheart cudromach - is e ìre àrd de chomas, eòlas agus proifeiseantachd a tha seo le cuideam mòr air Linux, oir tha e glè chudromach a bhith a' cleachdadh, a 'rèiteachadh agus a' toirt taic do gach nì gu ceart, a tha a’ cur eadhon barrachd uallach agus eallach air an rianadair.
Vstòradh
Tha an ailtireachd a 'coimhead eadhon nas inntinniche , a dh'fhaodar a chleachdadh còmhla ri hypervisor air na h-aon nodan, air an aon rud , ach tha e glè chudromach a h-uile càil a rèiteachadh gu ceart gus coileanadh math a choileanadh. Is e sin, bidh e gu math furasta a leithid de thoradh a chuir a-mach às a ’bhogsa air rèiteachadh sam bith gun a bhith a’ toirt aire do na molaidhean a rèir an ailtireachd, ach gun a bhith cinneasach.
Dè as urrainn a bhith ann airson stòradh ri taobh seirbheisean an kvm-qemu hypervisor, agus is e seo dìreach beagan sheirbheisean far an deach rangachd cho-phàirtean as fheàrr a lorg: seirbheis teachdaiche air a chuir suas tro FUSE (atharraichte, chan e stòr fosgailte), seirbheis meata-dàta MDS (Seirbheis meata-dàta), blocaichean dàta seirbheis seirbheis Chunk, a tha aig an ìre fiosaigeach co-ionann ri aon diosc agus sin uile. A thaobh astar, gu dearbh, tha e nas fheàrr sgeama fulangach lochdan a chleachdadh le dà mhac-samhail, ach ma chleachdas tu caching agus logaichean air draibhearan SSD, faodar còdadh fulangach mearachd (còdadh sguabaidh no raid6) a chuir thairis gu dòigheil air a sgeama tar-chinealach no eadhon nas fheàrr air a h-uile flash. Tha beagan eas-bhuannachd ann le EC (còdadh sguabaidh às): nuair a dh’ atharraicheas tu aon bhloca dàta, feumar na suimean co-ionannachd ath-àireamhachadh. Gus faighinn seachad air na call co-cheangailte ris an obair seo, bidh Ceph a’ sgrìobhadh gu EC ann an dòigh air a chuir dheth agus faodaidh duilgheadasan coileanaidh tachairt tro iarrtas sònraichte, nuair, mar eisimpleir, feumar na blocaichean uile a leughadh, agus a thaobh Virtuozzo Storage, sgrìobhadh blocaichean atharraichte. air a dhèanamh a’ cleachdadh an dòigh-obrach “siostam faidhle le structar log”, a lughdaicheas cosgaisean àireamhachaidh co-ionannachd. Gus tuairmse a dhèanamh air na roghainnean le luathachadh obrach le agus às aonais EC, tha - faodaidh na figearan a bhith tuairmseach a rèir co-èifeachd cruinneas neach-dèanamh an uidheamachd, ach tha toradh an àireamhachaidh na chuideachadh math ann a bhith a’ dealbhadh an rèiteachaidh.
Chan eil diagram sìmplidh de cho-phàirtean stòraidh a 'ciallachadh nach eil na co-phàirtean sin a' gabhail a-steach ach ma nì thu cunntas air a h-uile cosgais ro-làimh, faodaidh tu cunntadh air co-obrachadh ri taobh an hypervisor.
Tha sgeama ann airson coimeas a dhèanamh eadar caitheamh ghoireasan bathar-cruaidh le seirbheisean stòraidh Ceph agus Virtuozzo.
Ma bha e comasach roimhe coimeas a dhèanamh eadar Gluster agus Ceph a 'cleachdadh seann artaigilean, a' cleachdadh nan loidhnichean as cudromaiche bhuapa, an uairsin le Virtuozzo tha e nas duilghe. Chan eil mòran artaigilean air an toradh seo agus chan fhaighear fiosrachadh ach bho na sgrìobhainnean air adhart no ann an Ruisis ma tha sinn a 'beachdachadh air Vstorage mar stòradh a thathar a' cleachdadh ann an cuid de fhuasglaidhean hyperconverged ann an companaidhean leithid agus Acronis.
Feuchaidh mi ri cuideachadh le tuairisgeul air an ailtireachd seo, agus mar sin bidh beagan a bharrachd teacsa ann, ach bheir e tòrr ùine thu fhèin na sgrìobhainnean a thuigsinn, agus chan urrainnear na sgrìobhainnean a th’ ann mar-thà a chleachdadh ach mar iomradh le bhith ag ath-sgrùdadh a’ bhùird de shusbaint no sgrùdadh le prìomh fhacal.
Beachdaichidh sinn air a ’phròiseas clàraidh ann an rèiteachadh bathar-cruaidh tar-chinealach leis na pàirtean a tha air am mìneachadh gu h-àrd: bidh an clàradh a’ tòiseachadh a ’dol chun nód bhon do thòisich an neach-dèiligidh e (seirbheis puing mount FUSE), ach gu dearbh bidh prìomh phàirt Seirbheis Metadata (MDS). stiùir an neach-dèiligidh gu dìreach chun t-seirbheis pìos a tha thu ag iarraidh (blocaichean CS seirbheis stòraidh), is e sin, chan eil MDS a’ gabhail pàirt sa phròiseas clàraidh, ach dìreach a’ stiùireadh na seirbheis chun phìos a tha a dhìth. San fharsaingeachd, is urrainn dhuinn coimeas a dhèanamh ri clàradh le bhith a’ dòrtadh uisge a-steach do bharaillean. Tha gach baraille na bhloca dàta 256MB.
Is e sin, is e aon diosc àireamh sònraichte de bharaillean mar sin, is e sin, an tomhas diosc air a roinn le 256MB. Tha gach leth-bhreac air a sgaoileadh gu aon nód, an dàrna fear cha mhòr co-shìnte ri nód eile, msaa... Ma tha trì mac-samhail againn agus gu bheil diosgan SSD ann airson tasgadan (airson clàran leughaidh is sgrìobhaidh), thig dearbhadh air an sgrìobhadh às deidh sgrìobhadh. leanaidh an log chun SSD, agus ath-shuidheachadh co-shìnte bhon SSD air an HDD, mar gum biodh air a’ chùl. Ann an cùis trì mac-samhail, thèid an clàr a ghealltainn às deidh dearbhadh bhon SSD den treas nód. Is dòcha gu bheil e coltach gum faodar suim astar sgrìobhaidh trì SSDs a roinn le trì agus gheibh sinn astar sgrìobhaidh aon mac-samhail, ach tha na lethbhric sgrìobhte ann an co-shìnte agus tha astar Latency lìonra mar as trice nas àirde na astar an SSD, agus gu dearbh bidh an coileanadh sgrìobhaidh an urra ris an lìonra. A thaobh seo, gus fìor IOPS fhaicinn, feumaidh tu an Vstorage gu lèir a luchdachadh gu ceart , is e sin, a’ dèanamh deuchainn air an fhìor luchd, agus chan e cuimhne agus tasgadan, far am feumar suim a ghabhail de mheud ceart a’ bhloca dàta, an àireamh de snàithleanan, msaa.
Bidh an log clàraidh gu h-àrd air an SSD ag obair ann an dòigh gus am bi an dàta air a leughadh sa bhad leis an t-seirbheis agus air a sgrìobhadh chun HDD. Tha grunn sheirbheisean meata-dàta (MDS) anns gach buidheann agus tha an àireamh aca air a dhearbhadh le cuòram, a bhios ag obair a rèir algairim Paxos. Bho thaobh an neach-dèiligidh, is e pasgan stòraidh brabhsair a th’ ann am puing mount FUSE a tha ri fhaicinn aig an aon àm leis a h-uile nod sa bhuidheann, tha neach-dèiligidh suidhichte aig gach nód a rèir a’ phrionnsapail seo, agus mar sin tha an stòradh seo ri fhaighinn airson gach nód.
Airson coileanadh aon de na dòighean a chaidh a mhìneachadh gu h-àrd, tha e glè chudromach, aig ìre dealbhaidh is cleachdadh, an lìonra a rèiteachadh gu ceart, far am bi cothromachadh ann mar thoradh air cruinneachadh agus leud-bann seanail lìonra air a thaghadh gu ceart. Ann an cruinneachadh, tha e cudromach am modh hashing ceart agus meudan frèam a thaghadh. Tha eadar-dhealachadh fìor làidir ann cuideachd bhon SDS a chaidh a mhìneachadh gu h-àrd, is e seo fuse le teicneòlas slighe luath ann an Stòradh Virtuozzo. A tha, a bharrachd air an fhiùis ùr-nodha, eu-coltach ri fuasglaidhean stòr fosgailte eile, a ’meudachadh IOPS gu mòr agus a’ leigeil leat gun a bhith cuibhrichte le sgèileadh còmhnard no dìreach. San fharsaingeachd, an taca ris na h-ailtirean a chaidh a mhìneachadh gu h-àrd, tha an tè seo a 'coimhead nas cumhachdaiche, ach airson a leithid de thlachd, gu dearbh, feumaidh tu ceadan a cheannach, eu-coltach ri Ceph agus Gluster.
Mar gheàrr-chunntas, is urrainn dhuinn mullach nan trì a shoilleireachadh: bidh Virtuozzo Storage a’ gabhail àite an toiseach a thaobh coileanadh agus earbsachd na h-ailtireachd, Ceph a’ gabhail an dàrna àite, agus Gluster a’ gabhail an treas àite.
Na slatan-tomhais leis an deach Virtuozzo Storage a thaghadh: tha e na sheata as fheàrr de phàirtean ailtireil, air ùrachadh airson an dòigh-obrach Fuse seo le slighe luath, seata sùbailte de rèiteachaidhean bathar-cruaidh, nas lugha de chaitheamh ghoireasan agus an comas roinneadh le coimpiutaireachd (coimpiutaireachd / mas-fhìor), is e sin, tha e gu tur freagarrach airson fuasgladh hyperconverged , a tha e na phàirt dheth. Is e Ceph an dàrna àite leis gu bheil e na ailtireachd nas cinneasaiche an taca ri Gluster, air sgàth gu bheil e ag obair ann am blocaichean, a bharrachd air suidheachaidhean nas sùbailte agus an comas a bhith ag obair ann an cruinneachaidhean nas motha.
Tha planaichean ann coimeas a sgrìobhadh eadar vSAN, Space Direct Storage, Vstorage agus Nutanix Storage, a’ dèanamh deuchainn air Vstorage air uidheamachd HPE agus Huawei, a bharrachd air suidheachaidhean airson Vstorage fhilleadh a-steach le siostaman stòraidh bathar-cruaidh taobh a-muigh, mar sin nam bu toil leat an artaigil, bhiodh e tha e math fios air ais fhaighinn bhuat , a dh’ fhaodadh àrdachadh a thoirt air brosnachadh airson artaigilean ùra, a’ toirt aire do na beachdan agus na miannan agad.
Source: www.habr.com