Mond lan te wè premye pwototip nan depo objè an 1996. Nan 10 ane, Amazon Web Services pral lanse Amazon S3, ak mond lan pral kòmanse sistematikman fou ak yon espas adrès plat. Mèsi a travay ak metadata ak kapasite li nan echèl san yo pa afesman anba chaj, depo objè byen vit te vin estanda pou pifò sèvis depo done nwaj yo, epi yo pa sèlman sa. Yon lòt karakteristik enpòtan se ke li se byen adapte pou estoke achiv ak menm jan ki raman itilize dosye. Tout moun ki enplike nan depo done yo te kontan epi mete nouvo teknoloji a nan bra yo.
Men, rimè moun yo te plen rimè ke depo objè se sèlman sou gwo nwaj, epi si ou pa bezwen solisyon soti nan kapitalis yo modi, Lè sa a, li pral trè difisil fè pwòp ou a. Gen anpil bagay ki deja ekri sou deplwaye pwòp nwaj ou a, men pa gen ase enfòmasyon ki disponib sou kreye solisyon sa yo rele S3-konpatib.
Se poutèt sa, jodi a nou pral konnen ki opsyon ki genyen "Pou ke li se tankou granmoun, pa CEPH ak yon pi gwo dosye," nou pral deplwaye youn nan yo, epi nou pral tcheke ke tout bagay ap travay lè l sèvi avèk Veeam Backup & Replication. Li reklame sipòte travay ak depo S3-konpatib, epi nou pral teste reklamasyon sa a.
E lòt moun?
Mwen sijere kòmanse ak yon ti apèsi sou mache a ak opsyon depo objè. Lidè ak estanda jeneralman rekonèt se Amazon S3. De moun ki pi pre yo se Microsoft Azure Blob Storage ak IBM Cloud Object Storage.
Èske sa tout? Èske vrèman pa gen lòt konpetitè? Natirèlman, gen konpetitè, men kèk ale pwòp fason yo, tankou Google Cloud oswa Oracle Cloud Object Storage, ak sipò enkonplè pou S3 API la. Gen kèk ki itilize ansyen vèsyon API a, tankou Baidu Cloud. Ak kèk, tankou Hitachi Cloud, mande pou lojik espesyal, ki pral sètènman lakòz pwòp difikilte li yo. Nan nenpòt ka, tout moun konpare ak Amazon, ki ka konsidere kòm estanda endistri a.
Men, nan solisyon lokal yo gen pi plis chwa, kidonk an n dekri kritè ki enpòtan pou nou. Nan prensip, sèlman de yo ase: sipò pou S3 API a ak itilizasyon v4 siyen. Men sou kè, nou menm, kòm yon kliyan nan lavni, yo sèlman enterese nan interfaces pou entèraksyon, epi nou pa tèlman enterese nan kwizin nan entèn nan etablisman an depo tèt li.
Anpil solisyon anfòm kondisyon senp sa yo. Pou egzanp, pwa loud antrepriz klasik:
- DellEMC ECS
- NetApp S3 StorageGrid
- Bokit Nutanix
- Pi Depo FlashBlade ak StorReduce
- Huawei FusionStorage
Gen yon nich nan solisyon piman lojisyèl ki travay soti nan bwat la:
- Sou entènèt jwèt Red Hat Ceph
- SUSE Enterprise Depo
- Cloudian
E menm moun ki renmen ranpli ak anpil atansyon apre asanble yo pa te ofanse:
- CEPH nan fòm pi bon kalite li yo
- Minio (vèsyon Linux, paske gen anpil kesyon sou vèsyon Windows)
Lis la byen lwen nèt, li ka diskite nan kòmantè yo. Jis pa bliye tcheke pèfòmans sistèm nan anplis konpatibilite API anvan aplikasyon an. Dènye bagay ou vle se pèdi terabyte nan done akòz demann kole. Se konsa, pa timid ak tès chaj. An jeneral, tout lojisyèl adilt ki travay ak gwo kantite done gen omwen rapò konpatibilite. Nan ka Veeam gen sou tès mityèl, ki pèmèt nou deklare konfyans nan konpatibilite konplè nan pwodwi nou yo ak ekipman espesifik. Sa a se deja yon travay nan de-fason, pa toujou vit, men nou toujou ap agrandi solisyon teste.
Rasanble kanpe nou an
Mwen ta renmen pale yon ti kras sou chwazi yon sijè tès.
Premyèman, mwen te vle jwenn yon opsyon ki ta travay dwat soti nan bwat la. Oke, oswa omwen ak pwobabilite maksimòm ke li pral travay san yo pa bezwen fè mouvman nesesè. Danse ak yon tanbourin ak brikolaj ak konsole a nan mitan lannwit lan trè enteresan, men pafwa ou vle li travay touswit. Ak fyab la an jeneral nan solisyon sa yo anjeneral pi wo. E wi, lespri avanturism la disparèt nan nou, nou sispann monte nan fennèt fanm nou renmen anpil yo, elatriye (c).
Dezyèmman, yo dwe onèt, bezwen nan travay ak depo objè rive nan konpayi jistis gwo, kidonk sa a se ka a anpil lè w ap gade nan direksyon pou solisyon nivo antrepriz se pa sèlman pa wont, men menm ankouraje. Nan nenpòt ka, mwen poko konnen okenn egzanp nenpòt moun yo te revoke pou achte solisyon sa yo.
Baze sou tout sa ki anwo yo, chwa mwen te tonbe sou Dell EMC ECS Community Edition. Sa a se yon pwojè trè enteresan, e mwen konsidere li nesesè di ou sou li.
Premye bagay ki vin nan tèt ou lè ou wè ajoute a Edisyon kominotè - ke sa a se jis yon kopi yon ECS plen véritable ak kèk restriksyon ke yo retire lè w achte yon lisans. Se konsa, non!
Sonje byen:
!!!Edisyon Kominote se yon pwojè separe ki te kreye pou tès, epi san sipò teknik nan men Dell!!
Epi li pa ka tounen yon ECS plen véritable, menm si ou reyèlman vle.
Ann kalkile li
Anpil moun kwè ke Dell EMC ECS se prèske pi bon solisyon si ou gen yon bezwen pou depo objè. Tout pwojè anba mak ECS, ki gen ladan komèsyal ak antrepriz, yo baze sou . Yon sòt de jès bòn volonte nan men Dell. Ak anplis lojisyèl ki kouri sou pyès ki nan konpitè mak yo, gen yon vèsyon sous louvri ki ka deplwaye nan nwaj la, sou yon machin vityèl, nan yon veso, oswa sou nenpòt nan pyès ki nan konpitè pwòp ou yo. Gade pi devan, gen menm yon vèsyon OVA, ke nou pral itilize.
Edisyon Kominotè DELL ECS la li menm se yon mini-vèsyon lojisyèl konplè ki kouri sou sèvè Dell EMC ECS ki gen mak yo.
Mwen te idantifye kat diferans prensipal yo:
- Pa gen sipò chifreman. Se yon wont, men se pa kritik.
- Kouch twal ki manke. Bagay sa a responsab pou bati grap, jesyon resous, mizajou, siveyans ak estoke imaj Docker. Sa a se kote li deja trè ofansif, men Dell ka konprann tou.
- Konsekans ki pi degoutan nan pwen anvan an: gwosè a nan ne a pa ka elaji apre enstalasyon an fini.
- Pa gen sipò teknik. Sa a se yon pwodwi pou fè tès, ki pa entèdi yo dwe itilize nan ti enstalasyon, men mwen pèsonèlman pa ta oze telechaje petabyte nan done enpòtan la. Men, teknikman pesonn pa ka anpeche w fè sa.
Ki sa ki nan gwo vèsyon an?
Ann galope atravè Ewòp epi ale nan solisyon ironclad yo nan lòd yo gen yon konpreyansyon pi konplè sou ekosistèm nan.
Mwen pa pral yon jan kanmenm konfime oswa demanti deklarasyon an ke DELL ECS se pi bon depo objè sou-premye a, men si ou gen anyen yo di sou sijè sa a, mwen pral kontan li li nan kòmantè yo. Omwen selon vèsyon an Dell EMC se avèk konfyans pami senk pi gwo lidè mache OBS yo. Malgre ke solisyon ki baze sou nwaj yo pa pran an kont la, sa a se yon konvèsasyon separe.
Soti nan yon pwen de vi teknik, ECS se yon depo objè ki bay aksè a done lè l sèvi avèk pwotokòl depo nwaj. Sipòte AWS S3 ak OpenStack Swift. Pou bokit ki pèmèt dosye, ECS sipòte NFSv3 pou ekspòtasyon fichye pa dosye.
Pwosesis la nan anrejistreman enfòmasyon se byen etranj, espesyalman apre sistèm depo klasik blòk.
- Lè nouvo done rive, yo kreye yon nouvo objè ki gen yon non, done yo li menm ak metadata.
- Objè yo divize an moso 128 MB, epi yo ekri chak moso nan twa nœuds alafwa.
- Fichye endèks la mete ajou, kote idantifyan yo ak kote depo yo anrejistre.
- Fichye a boutèy demi lit (log antre) mete ajou epi tou ekri nan twa nœuds.
- Yo voye yon mesaj sou anrejistreman siksè bay kliyan an
Tout twa kopi done yo ekri an paralèl. Ekri a konsidere kòm siksè sèlman si tout twa kopi yo te ekri avèk siksè.
Lekti pi fasil:
- Kliyan an mande done.
- Endèks la ap chèche kote done yo estoke.
- Done yo li nan yon sèl ne epi yo voye bay kliyan an.
Gen anpil sèvè tèt yo, kidonk ann gade pi piti Dell EMC ECS EX300 la. Li kòmanse soti nan 60TB, ak kapasite nan grandi jiska 1,5PB. Ak pi gran frè li a, Dell EMC ECS EX3000, pèmèt ou estoke otan ke 8,6PB pou chak etajè.
Deplwaye
Teknikman, Dell ECS CE ka deplwaye gwo jan ou renmen. Nan nenpòt ka, mwen pa jwenn okenn restriksyon eksplisit. Sepandan, li bon pou fè tout dekale pa klonaj trè premye ne, pou sa nou bezwen:
- 8 vCPU
- 64GB RAM
- 16GB pou OS
- 1TB depo dirèk
- Dènye lage CentOS minim
Sa a se yon opsyon pou lè ou vle enstale tout bagay tèt ou depi nan kòmansman an. Opsyon sa a pa enpòtan pou nou, paske... Mwen pral sèvi ak imaj OVA pou deplwaman.
Men, nan nenpòt ka, kondisyon yo trè mal menm pou yon sèl ne, epi si ou estrikteman swiv lèt la nan lwa a, Lè sa a, ou bezwen kat ne sa yo.
Sepandan, devlopè ECS CE ap viv nan mond reyèl la, epi enstalasyon an gen siksè menm ak yon sèl ne, ak kondisyon minimòm yo se:
- 4 vCPU
- 16 GB RAM
- 16 GB pou OS
- 104 GB depo tèt li
Sa yo se resous ki nesesè pou deplwaye imaj OVA a. Deja pi plis imen ak reyalis.
Ka ne enstalasyon an tèt li ka jwenn nan men ofisyèl la . Genyen tou dokiman detaye sou deplwaman tout-an-yon sèl, men ou ka li tou sou ofisyèl la . Se poutèt sa, nou pa pral rete an detay sou dewoulman OVA a, pa gen okenn ke trik nouvèl la. Bagay pwensipal lan se ke anvan ou kòmanse li, pa bliye swa elaji disk la nan volim ki nesesè yo, oswa tache sa ki nesesè yo.
Nou kòmanse machin nan, louvri konsole a epi sèvi ak pi bon kalifikasyon yo default:
- konekte: admin
- modpas: ChangeMe
Lè sa a, nou kouri sudo nmtui ak konfigirasyon koòdone rezo a - IP/mask, dns ak pòtay. Lè nou sonje ke CentOS minim pa gen zouti nèt, nou tcheke paramèt yo atravè ip adr.
Epi depi sèlman brav yo konkeri lanmè yo, nou fè yon aktyalizasyon yum, apre sa nou rdemare. Li vrèman an sekirite paske... tout deplwaman fèt nan liv playbooks, ak tout pakè docker enpòtan yo fèmen nan vèsyon aktyèl la.
Koulye a, li lè yo edite script enstalasyon an. Pa gen fenèt anpenpan oswa pseudo UI pou ou - tout bagay fèt atravè editè tèks pi renmen ou. Teknikman, gen de fason: ou ka kouri chak kòmandman manyèlman oswa imedyatman lanse konfigurateur videoploy la. Li pral tou senpleman louvri konfigirasyon an nan vim, epi lè li soti li pral kòmanse tcheke li. Men, li pa enteresan fè espre senplifye lavi ou, kidonk ann kouri de plis kòmandman. Malgre sa pa fè okenn sans, mwen te avèti ou =)
Kidonk, ann fè vim ECS-CommunityEdition/deploy.xml epi fè pi bon chanjman minimòm pou ECS la ap fonksyone. Lis paramèt yo ka vin pi kout, men mwen te fè li tankou sa a:
- licensed_accepted: vre Ou pa oblije chanje li, Lè sa a, lè w ap deplwaye, yo pral mande w klèman aksepte li epi yo pral montre yon bèl fraz. Petèt sa a se menm yon ze Pak.
- Dekomantè liy yo autonames: ak koutim: Antre omwen yon non vle pou ne a - hostname pral ranplase ak li pandan pwosesis enstalasyon an.
- install_node: 192.168.1.1 Espesifye IP reyèl la nan ne la. Nan ka nou an, nou endike menm jan ak nan nmtui
- dns_domain: antre nan domèn ou a.
- dns_servers: antre dns ou.
- ntp_servers: ou ka presize nenpòt moun. Mwen te pran premye youn mwen te rankontre nan pisin lan 0.pool.ntp.org (li te vin 91.216.168.42)
- autonaming: koutim Si ou pa dekomantè, lalin lan pral rele Luna.
- ecs_block_devices:
/ dev / sdb
Pou kèk rezon enkoni, ka gen yon aparèy depo blòk ki pa egziste / dev/vda - storage_pools:
manm yo:
192.168.1.1 Isit la ankò nou endike IP reyèl la nan ne la - ecs_block_devices:
/dev/sdb Nou repete operasyon pou koupe aparèy ki pa egziste.
An jeneral, tout dosye a dekri an detay nan , men ki moun ki pral li li nan yon tan boulvèse konsa. Li di tou ke minimòm ase a se presize IP a ak mask, men nan laboratwa mwen tankou yon seri te kòmanse moute olye mal, epi mwen te elaji li nan youn ki espesifye pi wo a.
Apre ou fin soti editè a, ou bezwen kouri update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, epi si tout bagay fèt kòrèkteman, sa a pral klèman rapòte.
Lè sa a, ou toujou oblije kouri videoploy, rete tann pou anviwònman an mete ajou, epi ou ka kòmanse enstalasyon an tèt li ak lòd la ova-step1, epi apre yo fin konplete avèk siksè, lòd la ova-step2. Enpòtan: pa sispann scripts yo alamen! Gen kèk etap ki ka pran yon kantite tan enpòtan, yo ka pa fini nan premye eseye, epi yo ka sanble tout bagay kase. Nan nenpòt ka, ou bezwen rete tann pou script la fini natirèlman. Nan fen a ou ta dwe wè yon mesaj ki sanble ak sa a.
Koulye a, nou ka finalman louvri panèl kontwòl WebUI lè l sèvi avèk IP nou konnen an. Si konfigirasyon an pa te chanje nan etap la, kont default la pral rasin/ChangeMe. Ou ka menm sèvi ak depo S3-konpatib nou an touswit. Li disponib sou pò 9020 pou HTTP, ak 9021 pou HTTPS. Ankò, si pa gen anyen ki te chanje, lè sa a access_key: object_admin1 ak secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Men, annou pa jwenn twò devan tèt nou epi kòmanse nan lòd.
Lè ou konekte pou premye fwa, ou pral oblije chanje modpas ou an yon sèl ki apwopriye, ki se absoliman kòrèk. Dach prensipal la trè klè, kidonk ann fè yon bagay ki pi enteresan pase eksplike mezi evidan yo. Pa egzanp, ann kreye yon itilizatè ke nou pral itilize pou jwenn aksè nan depo a. Nan mond lan nan founisè sèvis yo, yo rele sa yo lokatè. Sa a se fè nan Jere> Itilizatè yo> Nouvo itilizatè objè
Lè w ap kreye yon itilizatè, yo mande nou pou presize yon espas non. Teknikman, pa gen anyen ki anpeche nou kreye anpil nan yo jan gen itilizatè yo. Ak vis vèrsa. Sa pèmèt ou jere resous pou chak lokatè poukont li.
An konsekans, nou chwazi fonksyon nou bezwen yo epi jenere kle itilizatè yo. S3/Atmos ap ase pou mwen. Epi pa bliye sove kle a 😉
Itilizatè a te kreye, kounye a li lè yo asiyen yon bokit pou li. Ale nan Jere > Bokit epi ranpli jaden yo mande yo. Tout bagay se senp isit la.
Koulye a, nou gen tout bagay pare pou itilize byen konba nan depo S3 nou an.
Mete kanpe Veeam
Se konsa, jan nou sonje, youn nan itilizasyon prensipal yo nan depo objè se depo alontèm nan enfòmasyon ki raman jwenn aksè. Yon egzanp ideyal se bezwen nan magazen sovgad nan yon sit aleka. Nan Veeam Backup & Replication yo rele karakteristik sa a Nivo Kapasite.
Ann kòmanse mete kanpe lè w ajoute Dell ECS CE nou an nan koòdone Veeam la. Sou tab la Sovgad Enfrastrikti, lanse Add New Repository Sòsye a epi chwazi Depo objè.
Ann chwazi sa tout te kòmanse pou - S3 konpatib.
Nan fennèt la ki parèt, ekri non vle a epi ale nan etap Kont la. Isit la ou bezwen presize pwen sèvis la nan fòm lan , rejyon an ka kite jan se ak itilizatè a kreye ka ajoute. Yon sèvè pòtay nesesè si depo ou a sitiye sou yon sit aleka, men sa a se deja yon sijè pou optimize enfrastrikti ak yon atik separe, kidonk, ou ka san danje sote li isit la.
Si tout bagay espesifye ak konfigirasyon kòrèkteman, yon avètisman sou sètifika a ap parèt ak Lè sa a, yon fenèt ak yon bokit kote ou ka kreye yon katab pou dosye nou yo.
Nou ale nan sòsye an nan fen a epi jwi rezilta a.
Pwochen etap la se swa kreye yon nouvo depo sovgad echèl, oswa ajoute S3 nou an nan youn ki deja egziste a - li pral itilize kòm yon nivo kapasite pou depo achiv. Pa gen okenn fonksyon pou itilize depo S3-konpatib dirèkteman, tankou yon depo regilye, nan lage aktyèl la. Twòp pwoblèm olye ki pa evidan bezwen rezoud pou sa rive, men anyen posib.
Ale nan paramèt depo yo epi pèmèt Nivo Kapasite. Tout bagay se transparan la, men gen yon nuans enteresan: si ou vle tout done yo dwe voye nan depo objè pi vit ke posib, jis mete li nan 0 jou.
Apre w fin pase nan sòsye an, si ou pa vle rete tann, ou ka peze ctrl + RMB sou repozitwa a, lanse travay Tiring la ak gade graf yo rale.
Se tout pou kounye a. Mwen panse ke mwen te reyisi nan travay la nan montre ke depo blòk se pa tankou pè jan moun panse. Wi, gen solisyon ak opsyon pou yon kabwèt ak yon ti kabwa, men ou pa ka kouvri tout bagay nan yon sèl atik. Se konsa, ann pataje eksperyans nou an nan kòmantè yo.
Sous: www.habr.com