D'Welt huet den éischte Prototyp vun Objektlagerung am Joer 1996 gesinn. An 10 Joer lancéiert Amazon Web Services Amazon S3, an d'Welt fänkt systematesch verréckt mat engem flaache Adressraum. Duerch d'Aarbecht mat Metadaten a seng Fäegkeet fir ze skaléieren ouni ënner Laascht ze hänken, gouf Objektlagerung séier de Standard fir déi meescht Cloud Datelagerungsservicer, an net nëmmen dat. Eng aner wichteg Feature ass datt et gutt ass fir Archiven an ähnlech selten benotzt Dateien ze späicheren. Jiddereen, deen an der Datelagerung involvéiert ass, huet sech gefreet an hunn déi nei Technologie an hiren Äerm gedroen.
Awer d'Rumeuren vun de Leit ware voller Rumeuren datt d'Objetlagerung nëmmen iwwer grouss Wolleken ass, a wann Dir keng Léisunge vun de verdammt Kapitalisten braucht, da wäert et ganz schwéier sinn Är eegen ze maachen. Vill ass scho geschriwwen iwwer d'Deployment vun Ärer eegener Cloud, awer net genuch Informatioun ass verfügbar iwwer d'Schafe vu sougenannte S3-kompatibele Léisungen.
Dofir wäerte mir haut erausfannen wéi eng Optiounen et sinn "Also datt et wéi Erwuessener ass, net CEPH an eng méi grouss Datei", wäerte mir ee vun hinnen ofsetzen, a mir iwwerpréiwen datt alles funktionnéiert mat Veeam Backup & Replication. Et behaapt d'Aarbecht mat S3-kompatibele Späicheren z'ënnerstëtzen, a mir testen dës Fuerderung.
Wat iwwer anerer?
Ech proposéieren mat engem klengen Iwwerbléck vun de Maart an Objet Stockage Optiounen ufänken. Den allgemeng unerkannte Leader a Standard ass Amazon S3. Déi zwee nootste Verfolger sinn Microsoft Azure Blob Storage an IBM Cloud Object Storage.
Ass dat alles? Ginn et wierklech keng aner Konkurrenten? Natierlech ginn et Konkurrenten, awer e puer ginn hiren eegene Wee, wéi Google Cloud oder Oracle Cloud Object Storage, mat onkomplett Ënnerstëtzung fir d'S3 API. E puer benotzen eeler Versioune vun der API, wéi Baidu Cloud. An e puer, wéi Hitachi Cloud, erfuerderen speziell Logik, déi sécherlech seng eege Schwieregkeeten verursaachen. Op alle Fall gëtt jidderee mat Amazon verglach, wat als Industriestandard ugesi ka ginn.
Awer an on-premise Léisungen gëtt et vill méi Wiel, also loosst eis d'Critèrë skizzéieren déi fir eis wichteg sinn. Am Prinzip sinn nëmmen zwee genuch: Ënnerstëtzung fir d'S3 API an d'Benotzung vu v4 Ënnerschrëft. Hand op d'Häerz, mir als zukünfteg Client sinn nëmme fir Interfaces fir Interaktioun interesséiert, a mir sinn net esou interesséiert an der interner Kichen vun der Späichere selwer.
Vill Léisunge passen dës einfach Konditiounen. Zum Beispill, klassesch Corporate Schwéiergewiichter:
- DellEMC ECS
- NetApp S3 StorageGrid
- Nutanix Eemere
- Pure Stockage FlashBlade an StorReduce
- Huawei FusionStorage
Et gëtt eng Nisch vu reng Softwareléisungen déi aus der Këscht funktionnéieren:
- Red Hat Ceph
- SUSE Enterprise Storage
- Wolleken
An och déi, déi no der Montage suergfälteg ofginn, goufen net beleidegt:
- CEPH a senger purster Form
- Minio (Linux Versioun, well et gi vill Froen iwwer d'Windows Versioun)
D'Lëscht ass wäit net komplett; et kann an de Kommentaren diskutéiert ginn. Vergiesst just net d'Systemleistung zousätzlech zu der API Kompatibilitéit ze kontrolléieren virun der Implementatioun. Déi lescht Saach déi Dir wëllt ass Terabytes vun Daten ze verléieren wéinst stécke Ufroen. Also sidd net schei mat Laaschtester. Am Allgemengen, all erwuessener Software déi mat grousse Quantitéiten vun Donnéeë Wierker huet op d'mannst Onbedenklechkeet Rapporten. Am Fall vun Veeam ass op géigesäitege Testen, wat eis erlaabt, zouversiichtlech déi voll Kompatibilitéit vun eise Produkter mat spezifeschen Ausrüstung ze deklaréieren. Dëst ass schonn eng zwee-Wee Aarbecht, net ëmmer séier, mä mir sinn permanent ausbaue getest Léisungen.
Eise Stand montéieren
Ech géif gären e bëssen iwwer d'Auswiel vun engem Test Sujet schwätzen.
Als éischt wollt ech eng Optioun fannen déi direkt aus der Këscht funktionnéiert. Gutt, oder op d'mannst mat der maximaler Wahrscheinlechkeet datt et funktionnéiert ouni onnéideg Bewegungen ze maachen. Danzen mat enger Tambourin an an der Nuecht mat der Konsole klappen ass ganz spannend, awer heiansdo wëllt Dir datt et direkt funktionnéiert. An d'allgemeng Zouverlässegkeet vun esou Léisungen ass normalerweis méi héich. A jo, de Geescht vum Abenteuer ass an eis verschwonnen, mir hunn opgehalen an d'Fënstere vun eise beléifte Fraen ze klammen, asw (c).
Zweetens, fir éierlech ze sinn, entsteet de Besoin fir mat Objektlagerung ze schaffen an zimlech grousse Firmen, also ass dëst de Fall wann Dir no Entreprise-Niveau Léisungen kuckt, ass net nëmmen net schued, awer och encouragéiert. Ech weess op alle Fall nach keng Beispiller vu jidderengem entlooss fir esou Léisungen ze kafen.
Baséiert op all vun der uewen, meng Wiel gefall op Dell EMC ECS Gemeinschaft Editioun. Dëst ass e ganz interessante Projet, an ech mengen et néideg Iech doriwwer ze soen.
Déi éischt Saach déi am Kapp kënnt wann Dir den Add-on gesitt Community Edition - datt dëst just eng Kopie vun engem vollwäertege ECS ass mat e puer Restriktiounen, déi duerch de Kaf vun enger Lizenz ewechgeholl ginn. Also nee!
Vergiesst:
!!!Community Edition ass e separate Projet fir Testen, an ouni technesch Ënnerstëtzung vun Dell!!
An et kann net an eng vollwäerteg ECS ëmgewandelt ginn, och wann Dir wierklech wëllt.
Loosst eis verstoen
Vill Leit gleewen datt Dell EMC ECS bal déi bescht Léisung ass wann Dir e Besoin fir Objektlagerung hutt. All Projeten ënner der ECS Mark, och kommerziell a Firmen, baséieren op . Eng Zort Goodwill Geste vun Dell. An zousätzlech zu der Software déi op hir Markenhardware leeft, gëtt et eng Open Source Versioun déi an der Wollek, op enger virtueller Maschinn, an engem Container oder op iergendeng vun Ärer eegener Hardware ofgesat ka ginn. Wann Dir no vir kuckt, gëtt et souguer eng OVA Versioun, déi mir wäerte benotzen.
D'DELL ECS Community Edition selwer ass eng Mini-Versioun vu vollwäertege Software déi op Marken Dell EMC ECS Server leeft.
Ech hunn véier Haaptdifferenzen identifizéiert:
- Keng Verschlësselung Ënnerstëtzung. Et ass schued, awer net kritesch.
- Stoff Layer fehlt. Dës Saach ass verantwortlech fir Cluster ze bauen, Ressourcemanagement, Updates, Iwwerwaachung an Docker Biller ze späicheren. Dëst ass wou et scho ganz offensiv ass, awer Dell kann och verstane ginn.
- Déi ekelst Konsequenz vum fréiere Punkt: d'Gréisst vum Node kann net erweidert ginn nodeems d'Installatioun fäerdeg ass.
- Keng technesch Ënnerstëtzung. Dëst ass e Produkt fir ze testen, wat net verbueden ass a klengen Installatiounen ze benotzen, awer ech perséinlech géif et net trauen, Petabytes vu wichtegen Donnéeën do eropzelueden. Awer technesch kann keen Iech ophalen dëst ze maachen.
Wat ass an der grousser Versioun?
Loosst eis duerch Europa galoppéieren an duerch Eisebunnsléisungen goen fir e méi komplett Verständnis vum Ökosystem ze hunn.
Ech wäert net iergendwéi d'Ausso bestätegen oder refuséieren datt DELL ECS déi bescht on-prem-Objetlagerung ass, awer wann Dir eppes iwwer dëst Thema ze soen hutt, wäert ech frou sinn et an de Kommentaren ze liesen. Op d'mannst no der Versioun Dell EMC ass zouversiichtlech ënnert den Top fënnef OBS Maartleit. Obwuel Cloud-baséiert Léisungen do net berücksichtegt ginn, ass dëst en separat Gespréich.
Aus technescher Siicht ass ECS eng Objektspeicher déi Zougang zu Daten mat Cloud Storage Protokoller ubitt. Ënnerstëtzt AWS S3 an OpenStack Swift. Fir Datei-aktivéiert Eemer, ënnerstëtzt ECS NFSv3 fir Datei-vun-Datei Export.
De Prozess vun der Opnam vun Informatioun ass zimlech ongewéinlech, besonnesch no klassesche Blockspeichersystemer.
- Wann nei Donnéeën ukommen, gëtt en neien Objet erstallt deen en Numm huet, d'Donnéeën selwer a Metadaten.
- Objete ginn an 128 MB Stécker opgedeelt, an all Stéck gëtt op dräi Wirbelen op eemol geschriwwe.
- D'Indexdatei gëtt aktualiséiert, wou Identifizéierer a Späicherplazen opgeholl ginn.
- D'Protokolldatei (Logbuch-Entrée) gëtt aktualiséiert an och op dräi Wirbelen geschriwwe.
- E Message iwwer erfollegräich Opnam gëtt un de Client geschéckt
All dräi Kopien vun den Donnéeën sinn parallel geschriwwe. D'Schreiwen gëtt als erfollegräich ugesinn nëmmen wann all dräi Kopien erfollegräich geschriwwe goufen.
Liesen ass méi einfach:
- De Client freet Daten.
- Den Index sicht no wou d'Donnéeën gespäichert sinn.
- Daten ginn aus engem Node gelies an un de Client geschéckt.
Et gi relativ e puer Serveren selwer, sot mer kucken op de klengste Dell EMC ECS EX300. Et fänkt vu 60TB un, mat der Fäegkeet fir bis zu 1,5PB ze wuessen. A säin ale Brudder, den Dell EMC ECS EX3000, erlaabt Iech sou vill wéi 8,6PB pro Rack ze späicheren.
Deploy
Technesch kann Dell ECS CE esou grouss agesat ginn wéi Dir wëllt. Ech hunn op alle Fall keng explizit Restriktiounen fonnt. Wéi och ëmmer, et ass bequem fir all Skaléieren ze maachen andeems Dir den éischten Node klonet, fir dee mir brauchen:
- 8 vCPUs
- 64GB RAM
- 16GB fir OS
- 1TB direkt Stockage
- Déi lescht Verëffentlechung vum CentOS minimal
Dëst ass eng Optioun wann Dir alles selwer vun Ufank un installéiere wëllt. Dës Optioun ass net relevant fir eis, well ... Ech wäert d'OVA Bild fir Deployment benotzen.
Awer op alle Fall sinn d'Ufuerderunge ganz béis och fir een Node, a wann Dir de Bréif vum Gesetz strikt befollegt, da brauch Dir véier esou Node.
Wéi och ëmmer, ECS CE Entwéckler liewen an der realer Welt, an d'Installatioun ass erfollegräich souguer mat engem Node, an d'Mindestfuerderunge sinn:
- 4 vCPUs
- 16 GB RAM
- 16 GB fir OS
- 104 GB Stockage selwer
Dëst sinn d'Ressourcen déi néideg sinn fir den OVA Bild z'installéieren. Scho vill méi human a realistesch.
D'Installatioun Node selwer kann aus dem offiziellen kritt ginn . Et gëtt och detailléiert Dokumentatioun iwwer All-in-One Deployment, awer Dir kënnt och op den offiziellen liesen . Dofir wäerte mir net am Detail iwwer d'Entfaltung vun der OVA wunnen, et gi keng Tricken do. Den Haapt Saach ass datt ier Dir et ufänkt, vergiesst net entweder d'Disk op dat néidegt Volumen auszebauen oder déi néideg ze befestigen.
Mir starten d'Maschinn, öffnen d'Konsole a benotzen déi bescht Default Umeldungsinformatiounen:
- Login: Admin
- Passwuert: ChangeMe
Da lafe mir sudo nmtui a konfiguréieren d'Netzwierk-Interface - IP / Mask, DNS a Gate. Bedenkt datt CentOS minimal keng Net-Tools huet, iwwerpréift mir d'Astellungen iwwer IP Adr.
A well nëmmen déi Tapfer d'Mier eroberen, maache mir e Yum Update, no deem mir nei starten. Et ass tatsächlech ganz sécher well ... all Détachement gëtt duerch Playbooks gemaach, an all wichteg Docker Packagen sinn op déi aktuell Versioun gespaart.
Elo ass et Zäit d'Installatiounsskript z'änneren. Keng fancy Fënsteren oder Pseudo UI fir Iech - alles gëtt duerch Äre Liiblings Texteditor gemaach. Technesch ginn et zwee Weeër: Dir kënnt all Kommando manuell ausféieren oder direkt de Videoploy Konfigurator starten. Et wäert einfach d'Konfiguratioun a vim opmaachen, a beim Austrëtt fänkt se un ze kontrolléieren. Awer et ass net interessant Äert Liewen bewosst ze vereinfachen, also loosst eis zwee méi Kommandoen ausféieren. Och wann dat kee Sënn mécht, hunn ech Iech gewarnt =)
Also, loosst eis vim ECS-CommunityEdition/deploy.xml maachen an déi optimal minimal Ännerungen maachen, sou datt ECS up a Lafen ass. D'Lëscht vun de Parameteren kann verkierzt ginn, awer ech hunn et esou gemaach:
- licensed_accepted: wouer Dir musst et net änneren, da gitt Dir explizit gefrot wann Dir et akzeptéiere wëllt a gitt e flotte Saz gewisen. Vläicht ass dëst souguer en Ouschtereeër.
- Unkommentéieren d'Linnen autonames: a Benotzerdefinéiert: Gitt op d'mannst ee gewënschte Numm fir den Node - Hostnumm gëtt während dem Installatiounsprozess ersat.
- install_node: 192.168.1.1 Gitt déi richteg IP vum Node un. An eisem Fall weisen mir datselwecht wéi an nmtui
- dns_domain: gitt Ären Domain.
- dns_servers: gitt Är dns.
- ntp_servers: Dir kënnt iergendeen uginn. Ech hunn deen éischten geholl, deen ech aus dem Pool 0.pool.ntp.org begéint hunn (et gouf 91.216.168.42)
- autonaming: Benotzerdefinéiert Wann Dir net uncomment, de Mound gëtt Luna genannt.
- ecs_block_devices:
/ dev / sdb
Aus e puer onbekannte Grond kann et en net existéierende Blockspeichergerät /dev/vda sinn - Stockage_pools:
Memberen:
192.168.1.1 Hei weisen mir nach eng Kéier déi richteg IP vum Node un - ecs_block_devices:
/dev/sdb Mir widderhuelen d'Operatioun fir net existent Geräter auszeschneiden.
Am Allgemengen gëtt de ganze Fichier am Detail beschriwwen , mee wien wäert et an esou enger onroueg Zäit liesen. Et seet och datt de Minimum genuch ass d'IP an d'Mask ze spezifizéieren, awer a mengem Labo huet esou e Set zimlech schlecht ugefaang, an ech hu missen op deen uewen spezifizéiert ausbauen.
Nodeems Dir de Redakter erausgeet, musst Dir update_deploy /home/admin/ECS-CommunityEdition/deploy.yml lafen, a wann alles richteg gemaach gëtt, gëtt dëst explizit gemellt.
Da musst Dir nach ëmmer Videoploy starten, waart op d'Ëmfeld fir ze aktualiséieren, an Dir kënnt d'Installatioun selwer mam Kommando ova-step1 starten, an no senger erfollegräicher Ofschloss, den ova-step2 Kommando. Wichteg: Stop d'Skripte net mat der Hand! E puer Schrëtt kënnen e wesentleche Betrag vun Zäit daueren, kënnen net um éischte Versuch ofgeschloss ginn, a kënne kucken wéi wann alles gebrach ass. Op alle Fall musst Dir waarden bis de Skript natiirlech fäerdeg ass. Um Enn sollt Dir e Message gesinn ähnlech wéi dëst.
Elo kënne mir endlech de WebUI Kontrollpanel opmaachen mat der IP déi mir kennen. Wann d'Konfiguratioun net op der Bühn geännert gouf, gëtt de Standardkonto root / ChangeMe. Dir kënnt souguer eis S3-kompatibel Späichere direkt benotzen. Et ass verfügbar op Ports 9020 fir HTTP, an 9021 fir HTTPS. Nach eng Kéier, wann näischt geännert gouf, dann access_key: object_admin1 a secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Mee loosst eis net zevill viru goen an an Uerdnung ufänken.
Wann Dir Iech fir d'éischte Kéier aloggen, sidd Dir gezwongen Äert Passwuert op eng adäquat z'änneren, wat absolut richteg ass. Den Haaptdashboard ass ganz kloer, also loosst eis eppes méi interessant maachen wéi déi offensichtlech Metriken z'erklären. Zum Beispill, loosst eis e Benotzer erstellen dee mir benotze fir Zougang zu der Späichere ze kréien. An der Welt vun den Déngschtleeschter ginn dës Locataire genannt. Dëst gëtt gemaach Manage> Benotzer> New Object User
Wann Dir e Benotzer erstellt, gi mir gefrot en Nummraum ze spezifizéieren. Technesch verhënnert näischt eis esou vill vun hinnen ze kreéieren wéi et Benotzer gëtt. A vice versa. Dëst erlaabt Iech Ressourcen onofhängeg fir all Locataire ze verwalten.
Deementspriechend wielt mir d'Funktiounen déi mir brauchen a generéiere Benotzerschlësselen. S3 / Atmos wäert fir mech genuch ginn. An vergiesst net de Schlëssel ze späicheren 😉
De Benotzer gouf erstallt, elo ass et Zäit him en Eemer ze verdeelen. Gitt op Manage> Eemer a fëllt déi erfuerderlech Felder aus. Alles ass einfach hei.
Elo hu mir alles prett fir zimmlech Kampf Notzung vun eisem S3 Stockage.
Veeam opbauen
Also, wéi mir eis erënneren, ass eng vun den Haaptnotzunge vun der Objektlagerung laangfristeg Späichere vun Informatioun déi selten zougänglech ass. En idealt Beispill ass de Besoin fir Backups op enger Remote Site ze späicheren. A Veeam Backup & Replikatioun gëtt dës Feature Capacity Tier genannt.
Loosst eis ufänken opzestellen andeems Dir eis Dell ECS CE op d'Veeam Interface bäidréit. Op der Backup Infrastruktur Reiter, start den Add New Repository Wizard a wielt Object Storage.
Loosst eis wielen wat alles ugefaang huet - S3 Kompatibel.
An der Fënster déi erschéngt, schreift de gewënschte Numm a gitt op de Kont Schrëtt. Hei musst Dir de Service Punkt an der Form uginn , kann d'Regioun gelooss ginn wéi et ass an de erstallte Benotzer kann derbäigesat ginn. E Gate-Server ass néideg wann Är Späichere op enger Remote Site läit, awer dëst ass schonn en Thema fir d'Infrastruktur ze optimiséieren an en separaten Artikel, sou datt Dir et sécher hei iwwersprange kënnt.
Wann alles präziséiert a richteg konfiguréiert ass, erschéngt eng Warnung iwwer den Zertifika an dann eng Fënster mat engem Eemer, wou Dir en Dossier fir eis Dateien erstellt.
Mir ginn duerch den Zauberer bis zum Schluss a genéissen d'Resultat.
De nächste Schrëtt ass entweder en neie Scale-out Backup Repository ze kreéieren, oder eise S3 op déi existent bäizefügen - et gëtt als Capacity Tier fir Archivlagerung benotzt. Et gëtt keng Funktioun fir S3-kompatibel Späicheren direkt ze benotzen, wéi e reguläre Repository, an der aktueller Verëffentlechung. Ze vill éischter net offensichtlech Problemer musse geléist ginn fir dat ze geschéien, awer alles ass méiglech.
Gitt op d'Repository Astellungen an aktivéiert Capacity Tier. Alles ass transparent do, awer et gëtt eng interessant Nuance: wann Dir wëllt datt all Daten sou séier wéi méiglech op d'Objetlagerung geschéckt ginn, setzt se einfach op 0 Deeg.
Nodeems Dir den Zauberer duerchgaang ass, wann Dir net wëllt waarden, kënnt Dir Ctrl + RMB op de Repository drécken, d'Tiering Job kräfteg starten a kucken wéi d'Grafike krabbelen.
Dat ass alles fir de Moment. Ech mengen ech hunn et fäerdeg bruecht d'Aufgab ze weisen datt Blocklagerung net sou grujeleg ass wéi d'Leit mengen. Jo, et gi Léisungen an Optiounen fir e Won an e klenge Weenchen, awer Dir kënnt net alles an engem Artikel ofdecken. Also loosst eis eis Erfahrung an de Kommentaren deelen.
Source: will.com