Ua kākau ʻia kēia ʻatikala e kōkua iā ʻoe e koho i ka hopena kūpono no ʻoe iho a hoʻomaopopo i nā ʻokoʻa ma waena o SDS e like me Gluster, Ceph a me Vstorage (Virtuozzo).
Hoʻohana ka kikokikona i nā loulou i nā ʻatikala me ka hōʻike kikoʻī ʻana i kekahi mau pilikia, no laila e pōkole nā wehewehe e like me ka hiki, me ka hoʻohana ʻana i nā kī nui me ka ʻole o ka fluff pono ʻole a me ka ʻike hoʻolauna e hiki iā ʻoe, inā makemake ʻoe, loaʻa kūʻokoʻa ma ka Pūnaewele.
ʻO kaʻoiaʻiʻo,ʻo nā kumuhana i hāpaiʻia e koi i nā leo o ka kikokikona, akā i kēia ao hou aʻoi aku ka nui o ka poʻe i makemakeʻole e heluhelu nui))), no laila hiki iāʻoe ke heluhelu wikiwiki a koho, a inā he mea. ʻaʻole maopopo, e hahai i nā loulou a i ʻole nā huaʻōlelo maopopo ʻole google))), a ua like kēia ʻatikala me kahi ʻāpana akaka no kēia mau kumuhana hohonu, e hōʻike ana i ka hoʻopiha - nā kumu nui o kēlā me kēia hoʻoholo.
ʻO Gluster
E hoʻomaka kākou me Gluster, ka mea i hoʻohana ikaika ʻia e nā mea hana o ka hyperconverged platforms me SDS e pili ana i ka open source no ka virtual environment a hiki ke loaʻa ma ka pūnaewele RedHat ma ka ʻāpana mālama, kahi e hiki ai iā ʻoe ke koho mai nā koho SDS ʻelua: Gluster a i ʻole Ceph.
Aia ʻo Gluster i kahi pūʻulu o nā unuhi - nā lawelawe e hana i nā hana āpau o ka hāʻawi ʻana i nā faila, etc. ʻO Brick kahi lawelawe e lawelawe ai i hoʻokahi disk, ʻo ka Volume he volume (pool) e hoʻohui i kēia mau pōhaku. Ma hope aʻe e hele mai ka lawelawe no ka hāʻawi ʻana i nā faila i nā hui me ka hoʻohana ʻana i ka hana DHT (distributed hash table). ʻAʻole mākou e hoʻokomo i ka lawelawe Sharding i ka wehewehe ʻana no ka mea e wehewehe nā loulou ma lalo nei i nā pilikia pili me ia.
I ke kākau ʻana, mālama ʻia ka faila holoʻokoʻa i loko o ka brick a ua kākau ʻia kāna kope i ka brick ma ka lua o ke kikowaena. A laila, e kākau ʻia ka faila ʻelua i ka hui ʻelua o nā pōhaku lepo ʻelua (a ʻoi aku paha) ma nā kikowaena like ʻole.
Inā like ka nui o nā faila a hoʻokahi pūʻulu wale nō ka nui, a laila maikaʻi nā mea a pau, akā ma lalo o nā kūlana ʻē aʻe e kū mai nā pilikia mai ka wehewehe ʻana:
- Hoʻohana like ʻole ʻia ka wahi ma nā pūʻulu, pili ia i ka nui o nā faila a inā ʻaʻole lawa ka wahi o ka hui e kākau ai i kahi faila, e loaʻa iā ʻoe kahi hewa, ʻaʻole kākau ʻia ka faila a ʻaʻole e hāʻawi hou ʻia i kahi hui ʻē aʻe. ;
- i ke kākau ʻana i hoʻokahi faila, hele ʻo IO i hoʻokahi pūʻulu wale nō, ʻo ke koena he palaualelo;
- ʻAʻole hiki iā ʻoe ke loaʻa IO o ka leo holoʻokoʻa i ke kākau ʻana i hoʻokahi faila;
- a ke nānā aku nei ka manaʻo maʻamau ma muli o ka nele o ka hāʻawi ʻana i ka ʻikepili i loko o nā poloka, kahi e maʻalahi ai ke kaulike a hoʻoponopono i ka pilikia o ka hāʻawi like ʻana, ʻaʻole e like me kēia manawa ke hele nei ka faila holoʻokoʻa i kahi poloka.
Mai ka wehewehe kūhelu Hoʻomaopopo pū mākou i ka hana ʻana o ka gluster ma ke ʻano he waihona ma luna o ka RAID lako maʻamau. Aia nā ho'āʻo hoʻomohala e ʻoki i nā faila (Sharding) i loko o nā poloka, akā he mea hoʻohui kēia a pau e hoʻokau i nā poho o ka hana ma ke ʻano hoʻolālā e kū nei, a me ka hoʻohana ʻana i nā ʻāpana i hāʻawi manuahi ʻia me nā palena hana e like me Fuse. ʻAʻohe lawelawe metadata, e kaupalena ana i ka hana a me ka hiki ke hoʻomanawanui hewa o ka waihona i ka wā e puunaue ana i nā faila i nā poloka. Hiki ke ʻike ʻia nā hōʻailona hana ʻoi aku ka maikaʻi me ka hoʻonohonoho "Distributed Replicated" a ʻo ka helu o nā nodes ma ka liʻiliʻi he 6 e hoʻonohonoho i kahi kope hilinaʻi 3 me ka hāʻawi ʻana i ka ukana maikaʻi loa.
Ua pili pū kēia mau ʻike i ka wehewehe ʻana o ka ʻike mea hoʻohana a ke hoohalikeia me , a aia kekahi wehewehe o ka ʻike e alakaʻi ana i ka hoʻomaopopo ʻana i kēia hoʻonohonoho ʻoi aku ka ʻoi aku ka maikaʻi a me ka hilinaʻi
Hōʻike ke kiʻi i ka hāʻawi ʻana i ka ukana i ka wā e kākau ai i ʻelua faila, kahi e māhele ʻia ai nā kope o ka faila mua ma nā kikowaena mua ʻekolu, i hui pū ʻia i loko o ka pūʻulu 0, a kau ʻia ʻekolu kope o ka faila lua ma ka lua o ka pūʻulu volume1 o ʻekolu. nā kikowaena. Hoʻokahi diski kēlā me kēia kikowaena.
ʻO ka hopena maʻamau, hiki iā ʻoe ke hoʻohana iā Gluster, akā me ka hoʻomaopopo ʻana e loaʻa nā palena i ka hana a me ka hoʻomanawanui hewa e hana i nā pilikia ma lalo o kekahi mau kūlana o kahi hopena hyperconverged, kahi e pono ai nā kumuwaiwai no ka helu helu o nā kaiapuni virtual.
Aia kekahi mau hōʻailona hana Gluster i hiki ke hoʻokō ʻia ma lalo o kekahi mau kūlana, i kaupalena ʻia
ʻO Ceph
I kēia manawa, e nānā kākou iā Ceph mai ka wehewehe ʻana i ka hale hana i hiki iaʻu Aia kekahi hoʻohālikelike ma waena , kahi e hiki ai iā ʻoe ke hoʻomaopopo koke he mea aʻoaʻo e kau iā Ceph ma nā kikowaena ʻokoʻa, no ka mea e koi ana kāna mau lawelawe i nā kumuwaiwai āpau ma lalo o ka ukana.
kuhikuhipuʻuone ʻoi aku ka paʻakikī ma mua o Gluster a aia nā lawelawe e like me nā lawelawe metadata, akā ʻoi aku ka paʻakikī o ka pūʻulu holoʻokoʻa o nā ʻāpana a ʻaʻole maʻalahi loa no ka hoʻohana ʻana iā ia i kahi hopena virtualization. Mālama ʻia ka ʻikepili i loko o nā poloka, ʻoi aku ka maikaʻi o ka nānā ʻana, akā i ka hierarchy o nā lawelawe āpau (nā ʻāpana), aia nā poho a me ka latency ma lalo o kekahi mau ukana a me nā kūlana pilikia, e like me kēia.
Mai ka wehewehe ʻana o ka hoʻolālā, ʻo CRUSH ka puʻuwai, mahalo i kahi i koho ʻia ai ka wahi no ka mālama ʻana i ka ʻikepili. Ma hope aʻe e hele mai ana ʻo PG - ʻo ia ka abstraction paʻakikī loa (hui pūʻulu) e hoʻomaopopo. Pono nā PG e hoʻoikaika i ka CRUSH. ʻO ke kumu nui o PG ka hui pū ʻana i nā mea e hōʻemi i ka hoʻohana ʻana i nā kumuwaiwai, hoʻonui i ka hana a me ka scalability. ʻO ke kamaʻilio pololei ʻana i nā mea, hoʻokahi, me ka ʻole o ka hoʻohui ʻana iā lākou i loko o kahi PG e uku nui ʻia. He lawelawe ʻo OSD no kēlā me kēia diski.
Hiki i kahi hui ke loaʻa i hoʻokahi a i ʻole he nui nā waihona ʻikepili no nā kumu like ʻole a me nā hoʻonohonoho like ʻole. Hoʻokaʻawale ʻia nā loko i nā hui hoʻonohonoho. Mālama nā hui hoʻonohonoho i nā mea i hiki i nā mea kūʻai ke komo. ʻO kēia kahi e pau ai ka pae loiloi, a hoʻomaka ka pae kino, no ka mea, ua hāʻawi ʻia kēlā me kēia pūʻulu hoʻonohonoho i hoʻokahi disks nui a me kekahi mau kope kope (ʻehia ka nui o nā mea i hilinaʻi ʻia i ke kumu hoʻohālikelike kolamu). I nā huaʻōlelo ʻē aʻe, ma ka pae logical e mālama ʻia ka mea i kahi hui hoʻonohonoho kikoʻī, a ma ka pae kino - ma nā disks i hāʻawi ʻia iā ia. I kēia hihia, hiki ke loaʻa kino nā disks ma nā nodes ʻokoʻa a i ʻole ma nā kikowaena ʻikepili like ʻole.
Ma kēia papahana, ua like nā pūʻulu hoʻokomo i kahi pae kūpono no ka maʻalahi o ka hopena holoʻokoʻa, akā i ka manawa like, ma ke ʻano he loulou hou i kēia kaulahao, e hōʻike ana i ka nalowale o ka huahana. No ka laʻana, i ke kākau ʻana i ka ʻikepili, pono e hoʻokaʻawale ka ʻōnaehana i kēia mau pūʻulu a laila ma ka pae kino i loko o ka disk nui a me nā disks no nā replicas. ʻO ia hoʻi, hana ka hana Hash i ka wā e ʻimi ai a hoʻokomo i kahi mea, akā aia kahi hopena ʻaoʻao - he kiʻekiʻe loa nā kumukūʻai a me nā kapu i ke kūkulu hou ʻana i ka hash (ke hoʻohui a wehe paha i kahi disk). ʻO kekahi pilikia hash ʻo ia ka wahi i hoʻopaʻa ʻia o ka ʻikepili i hiki ʻole ke hoʻololi. ʻO ia hoʻi, inā ma lalo o ka hoʻonui nui ʻana o ka disk, a laila ʻaʻole hiki i ka ʻōnaehana ke kākau iā ia (ma ke koho ʻana i kahi disk ʻē aʻe), ʻo ka hana hash e koi i ka ʻikepili e loaʻa e like me ke kānāwai, ʻaʻohe mea ʻino. ʻO ka disk, no laila ʻai nui ʻo Ceph i ka hoʻomanaʻo i ka wā e kūkulu hou ai i ka PG i ka hihia o ka ho'ōla ponoʻī a hoʻonui paha i ka mālama. ʻO ka hopena, he hana maikaʻi ʻo Ceph (ʻoiai me ka mālie), akā inā ʻaʻohe scaling, nā kūlana pilikia, a i ʻole nā hōʻano hou.
Aia nō, ʻoiaʻiʻo, nā koho no ka hoʻonui ʻana i ka hana ma o ka caching a me ka kaʻana ʻana i ka cache, akā pono kēia i ka lako lako maikaʻi a e mau ana nā poho. Akā ma ka laulā, ʻoi aku ka hoʻowalewale ʻo Ceph ma mua o Gluster no ka huahana. Eia kekahi, i ka wā e hoʻohana ai i kēia mau huahana, pono e noʻonoʻo i kahi mea koʻikoʻi - he kiʻekiʻe kiʻekiʻe kēia o ka mākaukau, ʻike a me ka ʻoihana me ka manaʻo nui ma Linux, no ka mea he mea nui ia e kau, hoʻonohonoho a mālama pono i nā mea āpau. ʻo ia ka mea e hoʻokau nui aku i ke kuleana a me ke kaumaha ma luna o ka luna hoʻoponopono.
Vstorage
ʻOi aku ka hoihoi o ka hoʻolālā , hiki ke hoʻohana pū ʻia me kahi hypervisor ma nā nodes like, ma ka like , akā he mea nui e hoʻonohonoho pono i nā mea āpau e hoʻokō i ka hana maikaʻi. ʻO ia hoʻi, ʻo ka lawe ʻana i kēlā huahana mai ka pahu ma kahi hoʻonohonoho me ka ʻole e noʻonoʻo i nā ʻōlelo aʻoaʻo e like me ka hoʻolālā e maʻalahi loa, akā ʻaʻole huahua.
He aha ka mea hiki ke noho pū no ka mālama ʻana ma hope o nā lawelawe o ka kvm-qemu hypervisor, a he mau lawelawe liʻiliʻi kēia i loaʻa ai kahi hierarchy maikaʻi loa o nā ʻāpana: lawelawe ka mea kūʻai aku i kau ʻia ma o FUSE (hoʻololi ʻia, ʻaʻole i wehe ʻia), lawelawe metadata MDS (Metadata service), lawelawe ʻo Chunk service data blocks, ma ka pae kino e like me hoʻokahi disk a ʻo ia wale nō. Ma ke ʻano o ka wikiwiki, ʻoiaʻiʻo, ʻoi aku ka maikaʻi o ka hoʻohana ʻana i kahi hoʻolālā hewa-tolerant me ʻelua replicas, akā inā ʻoe e hoʻohana i ka caching a hoʻopaʻa i nā drive SSD, a laila hiki ke hoʻopaʻa ʻia i ka hewa-tolerant coding (holoi i ka coding a i ʻole raid6) hiki ke hoʻopaʻa ʻia ma kahi. hybrid scheme a ʻoi aku ka maikaʻi ma nā flash āpau. Aia kekahi hemahema me EC (holoi i ka coding): i ka wā e hoʻololi ai i hoʻokahi poloka data, pono e helu hou i nā huina parity. No ke kāpae ʻana i nā poho e pili ana i kēia hana, kākau ʻo Ceph iā EC ma kahi ʻano hoʻopaneʻe a hiki ke loaʻa nā pilikia hana i ka wā o kekahi noi, i ka manawa, no ka laʻana, pono e heluhelu ʻia nā poloka āpau, a ma ka hihia o Virtuozzo Storage, kākau i nā poloka i hoʻololi ʻia. Hoʻohana ʻia ka hoʻohana ʻana i ke ʻano "log-structured file system", e hōʻemi ana i nā kumukūʻai helu parity. No ka hoʻohālikelike ʻana i nā koho me ka wikiwiki o ka hana me ka ʻole o EC, aia - hiki ke hoʻohālikelike ʻia nā helu ma muli o ka coefficient pololei o ka mea hana mea hana, akā ʻo ka hopena o ka helu ʻana he kōkua maikaʻi ia i ka hoʻolālā ʻana i ka hoʻonohonoho.
ʻO ke kiʻikuhi maʻalahi o nā ʻāpana mālama ʻaʻole manaʻo ʻaʻole e komo kēia mau ʻāpana akā inā e helu mua ʻoe i nā koina āpau, hiki iā ʻoe ke hilinaʻi i ka hui pū ʻana ma hope o ka hypervisor.
Aia kahi hoʻolālā no ka hoʻohālikelike ʻana i ka hoʻohana ʻana i nā kumuwaiwai lako e nā lawelawe mālama mālama ʻo Ceph a me Virtuozzo.
Inā ma mua ua hiki ke hoʻohālikelike iā Gluster a me Ceph me ka hoʻohana ʻana i nā ʻatikala kahiko, me ka hoʻohana ʻana i nā laina koʻikoʻi mai lākou, a laila me Virtuozzo ʻoi aku ka paʻakikī. ʻAʻole nui nā ʻatikala e pili ana i kēia huahana a hiki ke ʻohi ʻia ka ʻike mai ka palapala ma a i ʻole i ka Lūkini inā mākou e noʻonoʻo iā Vstorage e like me ka waiho ʻana i hoʻohana ʻia i kekahi mau hopena hyperconverged i nā hui e like me a me Acronis.
E ho'āʻo wau e kōkua i ka wehewehe ʻana o kēia ʻano hoʻolālā, no laila e loaʻa hou kahi kikokikona, akā nui ka manawa e hoʻomaopopo ai i ka palapala iā ʻoe iho, a hiki ke hoʻohana ʻia nā palapala i loaʻa ma ke ʻano he kuhikuhi ma ka hoʻoponopono ʻana i ka papaʻaina. o nā mea a i ʻole ka ʻimi ʻana ma ka huaʻōlelo.
E noʻonoʻo kākou i ke kaʻina o ka hoʻopaʻa ʻana i loko o kahi hoʻonohonoho ʻenehana hybrid me nā ʻāpana i hōʻike ʻia ma luna nei: hoʻomaka ka hoʻopaʻa ʻana e hele i ka node kahi i hoʻomaka ai ka mea kūʻai aku (ʻo ka FUSE mount point service), akā ʻo ka Metadata Service (MDS) master component e ʻoiaʻiʻo. E kuhikuhi pololei i ka mea kūʻai aku i ka lawelawe puʻupuʻu i makemake ʻia (nā poloka CS mālama mālama), ʻo ia hoʻi, ʻaʻole komo ʻo MDS i ke kaʻina hoʻopaʻa hoʻopaʻa ʻana, akā kuhikuhi wale i ka lawelawe i ka chunk i koi ʻia. Ma keʻano laulā, hiki iā mākou ke hāʻawi i kahi hoʻohālikelike i ka hoʻopaʻa ʻana me ka ninini ʻana i ka wai i loko o nā barela. ʻO kēlā me kēia pahu he pahu ʻikepili 256MB.
ʻO ia hoʻi, hoʻokahi disk ka helu o ia mau pahu, ʻo ia hoʻi, ka puʻupuʻu disk i puʻunaue ʻia e 256MB. Hoʻokaʻawale ʻia kēlā me kēia kope i hoʻokahi node, ʻo ka lua kokoke e like me kekahi node, a me nā mea ʻē aʻe ... Inā loaʻa iā mākou ʻekolu replicas a aia nā disks SSD no ka cache (no ka heluhelu ʻana a me ke kākau ʻana i nā lāʻau), a laila e hōʻoia ʻia ke kākau ʻana ma hope o ke kākau ʻana. ʻO ka log i ka SSD, a e hoʻomau ka hoʻonohonoho ʻana mai ka SSD ma ka HDD, me he mea lā ma ke kua. I ka hihia o ʻekolu replicas, e hoʻopaʻa ʻia ka moʻolelo ma hope o ka hōʻoia ʻana mai ka SSD o ka node ʻekolu. Me he mea lā hiki ke puunaue ʻia ka huina o ka wikiwiki kākau o ʻekolu SSDs i ʻekolu a e loaʻa iā mākou ka wikiwiki kākau o hoʻokahi kope, akā ua kākau ʻia nā kope i ka like a ʻoi aku ka kiʻekiʻe o ka wikiwiki Latency pūnaewele ma mua o ka SSD. a ʻo ka ʻoiaʻiʻo e pili ana ka hana kākau ma ka pūnaewele. Ma kēia mea, i mea e ʻike ai i ka IOPS maoli, pono ʻoe e hoʻouka pololei i ka Vstorage holoʻokoʻa e , ʻo ia hoʻi, ka hoʻāʻo ʻana i ka ukana maoli, ʻaʻole hoʻomanaʻo a me ka hūnā, kahi e pono ai e noʻonoʻo i ka nui o ka poloka data kūpono, ka helu o nā kaula, etc.
ʻO ka loina hoʻopaʻa inoa i ʻōlelo ʻia ma luna o ka SSD e hana i ke ʻano i ka wā e komo ai ka ʻikepili i loko, heluhelu koke ʻia e ka lawelawe a kākau ʻia i ka HDD. Nui nā lawelawe metadata (MDS) i kēlā me kēia pūʻulu a ua hoʻoholo ʻia ko lākou helu e kahi kōrum, e hana ana e like me ka algorithm Paxos. Mai ka manaʻo o ka mea kūʻai aku, ʻo ka FUSE mount point he waihona waihona puʻupuʻu i ʻike ʻia i ka manawa like e nā node a pau o ka hui, aia kēlā me kēia node i kahi mea kūʻai aku e like me kēia kumu, no laila ua loaʻa kēia waihona i kēlā me kēia node.
No ka hana ʻana o kekahi o nā ala i hōʻike ʻia ma luna nei, he mea nui loa, i ka hoʻolālā ʻana a me ka hoʻonohonoho ʻana, e hoʻonohonoho pono i ka pūnaewele, kahi e kau ai ke kaulike ma muli o ka hōʻuluʻulu ʻana a me ke koho pololei ʻana i ka bandwidth channel network. I ka hōʻuluʻulu ʻana, he mea nui e koho i ke ʻano hashing kūpono a me ka nui o ke kiʻi. Aia kekahi ʻokoʻa ikaika loa mai ka SDS i hōʻike ʻia ma luna nei, he fuse kēia me ka ʻenehana ala wikiwiki ma Virtuozzo Storage. ʻO ia, i ka hoʻohui ʻana i ka fuse hou, ʻaʻole like me nā hoʻonā kumu wehe ʻē aʻe, e hoʻonui nui i ka IOPS a ʻae ʻole ʻoe e kaupalena ʻia e ka scaling horizontal a vertical paha. Ma keʻano laulā, i hoʻohālikelikeʻia i nā hale kiʻi i ho'ākākaʻia ma luna nei, uaʻoi aku ka ikaika o kēia mea, akā, no kaʻoluʻolu, ponoʻoe e kūʻai i nā laikini,ʻaʻole like me Ceph a me Gluster.
No ka hōʻuluʻuluʻana, hiki iā mākou ke hōʻailona i ka piko o nā meaʻekolu: Loaʻa ka Virtuozzo Storage i kahi mua ma keʻano o ka hana a me ka hilinaʻi o ka hale hoʻolālā,ʻo Ceph ka lua, aʻo Gluster ke kolu o ka wahi.
ʻO nā pae hoʻohālike i koho ʻia ai ʻo Virtuozzo Storage: ʻo ia kahi hoʻonohonoho maikaʻi loa o nā ʻāpana hoʻolālā, hoʻololi ʻia no kēia ala Fuse me ke ala wikiwiki, kahi hoʻonohonoho maʻalahi o ka hoʻonohonoho ʻana i nā hāmeʻa, liʻiliʻi ka hoʻohana waiwai a me ka hiki ke kaʻana like me ka helu (computing/virtualization), ʻo ia hoʻi, kūpono loa ia no kahi hoʻonā hyperconverged, kahi ʻāpana o ia. ʻO ka lua o ka wahi ʻo Ceph no ka mea ʻoi aku ka maikaʻi o ka hoʻolālā ʻana i hoʻohālikelike ʻia me Gluster, ma muli o kāna hana ʻana i nā poloka, a me nā hiʻohiʻona maʻalahi a me ka hiki ke hana i nā hui nui.
Aia nā hoʻolālā e kākau i kahi hoʻohālikelike ma waena o vSAN, Space Direct Storage, Vstorage a me Nutanix Storage, hoʻāʻo iā Vstorage ma HPE a me nā mea hana Huawei, a me nā hiʻohiʻona no ka hoʻohui ʻana iā Vstorage me nā ʻōnaehana mālama lako waho, no laila inā makemake ʻoe i ka ʻatikala, e lilo ia. ʻoluʻolu e loaʻa nā manaʻo mai iā ʻoe, hiki ke hoʻonui i ka hoʻoikaika ʻana i nā ʻatikala hou, me ka noʻonoʻo ʻana i kāu mau manaʻo a me kou makemake.
Source: www.habr.com