U mondu hà vistu u primu prototipu di almacenamiento d'ughjettu in u 1996. In 10 anni, Amazon Web Services lanciarà Amazon S3, è u mondu hà da cumincià à scemu sistematicamente cù un spaziu di indirizzu flat. Grazie à travaglià cù metadati è a so capacità di scala senza sagging under load, l'almacenamiento d'ogetti hè diventatu rapidamente u standard per a maiò parte di i servizii di almacenamiento di dati in nuvola, è micca solu questu. Un'altra caratteristica impurtante hè chì hè bè adattatu per almacenà l'archivi è i schedari simili raramente usati. Tutti i implicati in l'almacenamiento di dati si rallegravanu è anu purtatu a nova tecnulugia in i so braccia.
Ma i rumuri di a ghjente eranu chini di rumuri chì l'almacenamiento di l'ughjettu hè solu di grandi nuvole, è se ùn avete micca bisognu di suluzioni da i capitalisti dannati, allora serà assai difficiule di fà u vostru propiu. Moltu hè statu scrittu annantu à implementà u vostru propiu nuvulu, ma ùn hè micca abbastanza infurmazione nantu à a creazione di solu suluzione S3-compatibile.
Dunque, oghje avemu da capisce ciò chì l'opzioni ci sò "Per chì hè cum'è l'adulti, micca CEPH è un schedariu più grande", avemu da implementà unu di elli, è verificaremu chì tuttu funziona cù Veeam Backup & Replication. Pretende chì sustene u travagliu cù l'almacenamientos S3-compatibili, è testeremu sta dichjarazione.
E altri ?
Suggeriu di principià cù una piccula panoramica di u mercatu è l'opzioni di almacenamentu di l'ughjettu. U capu generalmente ricunnisciutu è standard hè Amazon S3. I dui perseguitori più vicini sò Microsoft Azure Blob Storage è IBM Cloud Object Storage.
Hè tuttu? Ùn ci hè veramente micca altri cuncurrenti? Di sicuru, ci sò cuncurrenti, ma alcuni vanu u so propiu modu, cum'è Google Cloud o Oracle Cloud Object Storage, cù supportu incomplete per l'API S3. Certi usanu versioni più vechje di l'API, cum'è Baidu Cloud. È certi, cum'è Hitachi Cloud, necessitanu una logica speciale, chì certamenti pruvucarà e so difficultà. In ogni casu, ognunu hè paragunatu à Amazon, chì pò esse cunsideratu u standard di l'industria.
Ma in suluzioni on-premise, ci hè assai più scelta, dunque descrivemu i criteri chì sò impurtanti per noi. In principiu, solu dui sò abbastanza: supportu per l'API S3 è l'usu di a firma v4. A manu nantu à u core, noi, cum'è un futuru cliente, sò solu interessate in l'interfacce per l'interazzione, è ùn simu micca cusì interessatu in a cucina interna di l'almacenamiento stessu.
Un saccu di suluzioni si adattanu à sti cundizioni simplici. Per esempiu, i pesi pisanti classici di l'impresa:
- DellEMC ECS
- NetApp S3 StorageGrid
- Secchi Nutanix
- Pure Storage FlashBlade è StorReduce
- Huawei FusionStorage
Ci hè una nicchia di solu solu suluzioni software chì funziona fora di a scatula:
- Red Hat Ceph
- SUSE Enterprise Storage
- Nuvola
E ancu quelli chì piacenu à scrive currettamente dopu l'assemblea ùn sò micca offesi:
- CEPH in a so forma più pura
- Minio (versione Linux, perchè ci sò parechje dumande nantu à a versione Windows)
A lista hè luntanu da esse cumpleta, pò esse discussa in i cumenti. Ùn vi scurdate micca di verificà u rendiment di u sistema in più di a cumpatibilità API prima di implementazione. L'ultima cosa chì vulete hè di perde terabytes di dati per via di e dumande stuck. Allora ùn sia micca timida cù e teste di carica. In generale, tutti i prugrammi adulti chì travaglianu cù grandi quantità di dati anu almenu rapporti di cumpatibilità. In casu di Veeam hè nantu à a prova mutuale, chì ci permette di dichjarà cun fiducia a piena cumpatibilità di i nostri prudutti cù l'equipaggiu specificu. Questu hè digià un travagliu bidirezionale, micca sempre veloce, ma avemu in espansione constantemente soluzioni testate.
Assemblatu u nostru stand
Vogliu parlà un pocu di a scelta di un sughjettu di prova.
Prima, vulia truvà una opzione chì funziona ghjustu fora di a scatula. Ebbè, o almenu cù a probabilità massima chì hà da travaglià senza a necessità di fà movimenti inutili. Dancing cun un tamburinu è tinkering cù a cunsola in a notte hè assai eccitante, ma qualchì volta vulete chì travaglia subitu. È l'affidabilità generale di tali suluzioni hè di solitu più altu. È iè, u spiritu di l'avventurisimu hè sparitu in noi, avemu cessatu di cullà in i finestri di e nostre donne amate, etc. (c).
Siconda, per esse onestu, a necessità di travaglià cù l'almacenamiento di l'ughjettu nasce in cumpagnie abbastanza grandi, cusì questu hè u casu stessu quandu cercanu solu suluzione à u livellu di l'impresa ùn hè micca solu vergognosu, ma ancu incuraghjitu. In ogni casu, ùn cunnosci micca ancu esempi di qualcunu chì hè statu licenziatu per l'acquistu di tali suluzioni.
Basatu nantu à tuttu ciò chì sopra, a mo scelta hè cascata Dell EMC ECS Community Edition. Questu hè un prughjettu assai interessante, è pensu chì hè necessariu di parlà di questu.
A prima cosa chì vene in mente quandu vi vede l'add-on Edition Commedia - chì questu hè solu una copia di un ECS cumpletu cù alcune restrizioni chì sò eliminate da l'acquistu di una licenza. Allora nò !
Ricurdate:
!!!Community Edition hè un prughjettu separatu creatu per a prova, è senza supportu tecnicu da Dell !!
È ùn pò micca esse trasfurmatu in un ECS cumpletu, ancu s'è vo vulete veramente.
Scupritemu
Parechje persone crèdenu chì Dell EMC ECS hè quasi a megliu suluzione si avete bisognu di almacenamiento d'ughjettu. Tutti i prughjetti sottu a marca ECS, cumpresi cummerciale è corporativu, sò basati . Una spezia di gestu di bona vuluntà di Dell. È in più di u software chì corre nantu à u so hardware di marca, ci hè una versione open source chì pò esse implementata in u nuvulu, in una macchina virtuale, in un containeru, o in qualsiasi di u vostru propiu hardware. In u futuru, ci hè ancu una versione OVA, chì avemu aduprà.
L'Edizione Comunitaria DELL ECS stessa hè una mini-versione di software cumpletu chì funziona nantu à i servitori Dell EMC ECS di marca.
Aghju identificatu quattru differenzi principali:
- Nisun supportu di criptografia. Hè una vergogna, ma micca criticu.
- Manca a strata di tela. Questa cosa hè rispunsevule per a custruzzione di clusters, a gestione di risorse, l'aghjurnamenti, u monitoraghju è l'almacenamiento di l'imaghjini Docker. Questu hè induve hè digià assai offensivu, ma Dell pò ancu esse capitu.
- A cunsiquenza più disgusting di u puntu precedente: a dimensione di u node ùn pò esse allargata dopu chì a stallazione hè finita.
- Nisun supportu tecnicu. Questu hè un pruduttu per a prova, chì ùn hè micca pruibitu per esse utilizatu in picculi installazioni, ma personalmente ùn aghju micca osatu di carica petabytes di dati impurtanti quì. Ma tecnicamente nimu pò impedisce di fà questu.
Chì ci hè in a versione grande?
Galopemu in tutta l'Europa è andemu per suluzioni di ferru per avè una cunniscenza più cumpleta di l'ecosistema.
Ùn aghju micca cunfirmà in qualchì manera o refute a dichjarazione chì DELL ECS hè u megliu almacenamentu di l'ughjettu in situ, ma se avete qualcosa da dì nantu à questu tema, seraghju felice di leghje in i cumenti. Almenu sicondu a versione Dell EMC hè cun fiducia trà i primi cinque leader di u mercatu OBS. Ancu s'è suluzioni basati in nuvola ùn sò micca pigliati in contu, questu hè una conversazione separata.
Da un puntu di vista tecnicu, ECS hè un almacenamentu d'ughjettu chì furnisce l'accessu à e dati cù protokolli di almacenamiento in nuvola. Supporta AWS S3 è OpenStack Swift. Per i bucket abilitati per i file, ECS supporta NFSv3 per l'esportazione file-by-file.
U prucessu di arregistramentu di l'infurmazioni hè abbastanza inusual, soprattuttu dopu à i sistemi classici di almacenamiento di blocchi.
- Quandu ghjunghjenu novi dati, un novu ogettu hè creatu chì hà un nome, i dati stessi, è metadata.
- L'uggetti sò divisi in pezzi di 128 MB, è ogni pezzu hè scrittu à trè nodi à una volta.
- U schedariu d'indici hè aghjurnatu, induve l'identificatori è i lochi di almacenamento sò registrati.
- U schedariu di log (entrata di log) hè aghjurnatu è ancu scrittu à trè nodi.
- Un missaghju nantu à a registrazione successu hè mandatu à u cliente
Tutte e trè copie di e dati sò scritte in parallelu. A scrittura hè cunsiderata successu solu s'è e trè copie sò state scritte cù successu.
A lettura hè più faciule:
- U cliente dumanda dati.
- L'indici cerca induve i dati sò almacenati.
- I dati sò letti da un node è mandati à u cliente.
Ci sò uni pochi di servitori stessi, dunque fighjemu u più chjucu Dell EMC ECS EX300. Accumincia da 60TB, cù a capacità di cresce finu à 1,5PB. È u so fratellu maiò, u Dell EMC ECS EX3000, permette di almacenà quant'è 8,6PB per rack.
Impulsà
Tecnicamente, Dell ECS CE pò esse implementatu quant'è grande quant'è vulete. In ogni casu, ùn aghju micca truvatu alcuna restrizioni esplicite. In ogni casu, hè cunvenutu per fà tutte l'scale clonendu u primu node, per quale avemu bisognu:
- 8 vCPU
- 64GB RAM
- 16 GB per OS
- 1 TB di almacenamentu direttu
- L'ultima versione di CentOS minimu
Questa hè una opzione per quandu vulete installà tuttu da sè stessu da u principiu. Questa opzione ùn hè micca pertinente per noi, perchè ... Aduprà l'imaghjini OVA per a distribuzione.
Ma in ogni casu, i requisiti sò assai male ancu per un node, è se seguite strettamente a lettera di a lege, allora avete bisognu di quattru tali nodi.
Tuttavia, i sviluppatori ECS CE campanu in u mondu reale, è a stallazione hè successu ancu cù un node, è i requisiti minimi sò:
- 4 vCPU
- RAM 16 RAM
- 16 GB per OS
- 104 GB di almacenamiento stessu
Quessi sò i risorse necessarii per implementà l'imaghjini OVA. Dighjà assai più umanu è realistu.
U node di stallazione stessu pò esse acquistatu da u ufficiale . Ci hè ancu una documentazione dettagliata nantu à a implementazione all-in-one, ma pudete ancu leghje nantu à l'ufficiale . Per quessa, ùn avemu micca aspittà in dettagliu nantu à u sviluppu di l'OVA, ùn ci sò micca trucchi. A cosa principal hè chì prima di principià, ùn vi scurdate di espansione u discu à u voluminu necessariu, o aghjunghje i necessarii.
Cuminciamu a macchina, apre a cunsola è usemu i migliori credenziali predeterminati:
- login: admin
- password: ChangeMe
Allora corremu sudo nmtui è cunfigurà l'interfaccia di a rete - IP/mask, DNS è porta. Tenendu in mente chì CentOS minimal ùn hà micca net-tools, cuntrollemu i paràmetri via ip addr.
E postu chì solu i bravi cunquistanu i mari, facemu una aghjurnazione yum, dopu chì reboot. Hè veramente abbastanza sicura perchè ... tutta a implementazione hè fatta à traversu playbooks, è tutti i pacchetti docker impurtanti sò chjusi à a versione attuale.
Avà hè u tempu di edità u script d'installazione. Nisuna finestra fantastica o pseudo UI per voi - tuttu hè fattu cù u vostru editore di testu preferitu. Tecnicamente, ci sò dui modi: pudete eseguisce ogni cumanda manualmente o lanciate immediatamente u configuratore di videoploy. Semplicemente aprirà a cunfigurazione in vim, è à a surtita hà da cumincià à verificà. Ma ùn hè micca interessante per simplificà deliberatamente a vostra vita, per quessa, eseguisce dui cumandamenti più. Ancu s'ellu ùn hà micca sensu, vi aghju avvistatu =)
Allora, facemu vim ECS-CommunityEdition/deploy.xml è fate i cambiamenti minimi ottimali per chì ECS sia in funzione. A lista di parametri pò esse accurtata, ma aghju fattu cusì:
- licensed_accepted: veru Ùn avete micca bisognu di cambià, allora quandu u dispiegamentu vi sarà dumandatu esplicitamente di accettà è vi sarà mostratu una bella frasa. Forsi questu hè ancu un ovu di Pasqua.
- Uncomment the lines autonames: and custom: Inserite almenu un nome desideratu per u node - hostname serà rimpiazzatu cù questu durante u prucessu di stallazione.
- install_node: 192.168.1.1 Specificate l'IP reale di u node. In u nostru casu, indichemu u listessu cum'è in nmtui
- dns_domain : entre in u vostru duminiu.
- dns_servers: inserite u vostru dns.
- ntp_servers: pudete specificà qualcunu. Aghju pigliatu u primu chì aghju scontru da u pool 0.pool.ntp.org (hè diventatu 91.216.168.42)
- autonaming: custom Sè vo ùn uncomment, a luna sarà chjamatu Luna.
- ecs_block_devices:
/ dev / sdb
Per una ragione scunnisciuta, pò esse un dispositivu di almacenamentu di bloccu inesistente /dev/vda - storage_pools:
membri:
192.168.1.1 Quì dinò indicà l'IP reale di u node - ecs_block_devices:
/dev/sdb Ripetemu l'operazione di taglià i dispositi inesistenti.
In generale, u schedariu sanu hè descrittu in grande dettagliu in , ma chì a leghje in un tempu cusì turbulente. Dice ancu chì u minimu abbastanza hè di specificà l'IP è a maschera, ma in u mo laboratoriu un tali set hà iniziatu piuttostu male, è aghju avutu à espansione à quellu chì hè specificatu sopra.
Dopu à esce da l'editore, avete bisognu di eseguisce update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, è se tuttu hè fattu bè, questu serà esplicitamente informatu.
Allora avete sempre à lancià videoploy, aspittà chì l'ambienti aghjurnà, è pudete inizià a stallazione stessu cù u cumandamentu ova-step1, è dopu a so cumpiimentu successu, u cumandamentu ova-step2. Impurtante: ùn fermate micca i script à a manu! Certi passi pò piglià una quantità significativa di tempu, pò esse micca cumpletu in u primu tentativu, è pò pare chì tuttu hè rottu. In ogni casu, avete bisognu à aspittà chì u script finisci naturali. À a fine, duvete vede un missaghju simile à questu.
Avà pudemu finalmente apre u pannellu di cuntrollu WebUI usendu l'IP chì sapemu. Se a cunfigurazione ùn hè stata cambiata in u stadiu, u contu predeterminatu serà root / ChangeMe. Pudete ancu aduprà u nostru almacenamentu cumpatibile S3 subitu. Hè dispunibule nantu à i porti 9020 per HTTP, è 9021 per HTTPS. In novu, se nunda hè statu cambiatu, allora access_key: object_admin1 è secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Ma ùn andemu micca troppu avanti di noi stessi è cuminciamu in ordine.
Quandu accede per a prima volta, sarete obligatu à cambià a vostra password in una adatta, chì hè assolutamente curretta. U dashboard principale hè estremamente chjaru, allora femu qualcosa di più interessante chè spiegà e metriche evidenti. Per esempiu, creamu un utilizatore chì avemu da aduprà per accede à l'almacenamiento. In u mondu di i fornituri di servizii, questi sò chjamati inquilini. Questu hè fattu in Manage> Users> New Object User
Quandu creanu un utilizatore, ci hè dumandatu à specificà un spaziu di nome. Tecnicamente, nunda ùn ci impedisce di creà quant'elli ci sò utilizatori. È vice versa. Questu permette di gestisce risorse indipindentamente per ogni inquilino.
In cunsiquenza, selezziunà e funzioni chì avemu bisognu è generà chjave d'utilizatore. S3 / Atmos serà abbastanza per mè. È ùn vi scurdate di salvà a chjave 😉
L'utilizatore hè statu creatu, avà hè u tempu di assignà un bucket à ellu. Andà à Manage> Bucket è compie i campi richiesti. Tuttu hè simplice quì.
Avà avemu tuttu prontu per un usu di cummattimentu abbastanza di u nostru almacenamiento S3.
Configurazione di Veeam
Dunque, cum'è ricurdamu, unu di l'usi principali di l'almacenamiento di l'ughjettu hè u almacenamentu longu di l'infurmazioni chì hè raramente accessu. Un esempiu ideale hè a necessità di almacenà backups in un situ remoto. In Veeam Backup & Replication sta funzione hè chjamata Capacity Tier.
Cuminciamu a stallazione aghjunghjendu u nostru Dell ECS CE à l'interfaccia Veeam. Nantu à a tabulazione Infrastruttura di salvezza, lanciate l'Assistente Add New Repository è selezziunate Object Storage.
Andemu à sceglie ciò chì tuttu hà cuminciatu - S3 Compatible.
In a finestra chì appare, scrivite u nome desideratu è andate à u passu Account. Quì avete bisognu di specificà u puntu di serviziu in a forma , a regione pò esse lasciata cum'è è l'utilizatore creatu pò esse aghjuntu. Un servitore di porta hè necessariu se u vostru almacenamentu hè situatu in un situ remoto, ma questu hè digià un tema per ottimisà l'infrastruttura è un articulu separatu, perchè pudete saltà quì.
Se tuttu hè specificatu è cunfiguratu currettamente, un avvisu annantu à u certificatu appariscerà è dopu una finestra cù un bucket induve pudete creà un cartulare per i nostri schedari.
Passemu à l'assistente finu à a fine è gode di u risultatu.
U prossimu passu hè di creà un novu Repository di Backup Scale-out, o aghjunghje u nostru S3 à quellu esistente - serà utilizatu cum'è Capacity Tier per l'archiviazione. Ùn ci hè nisuna funzione per utilizà l'almacenamiento compatible S3 direttamente, cum'è un repositoriu regulare, in a versione attuale. Troppi prublemi piuttostu micca evidenti anu da esse risolti per questu accade, ma tuttu hè pussibule.
Andate à i paràmetri di u repository è attivate Capacity Tier. Tuttu hè trasparente quì, ma ci hè una sfumatura interessante: se vulete chì tutti i dati sò mandati à l'almacenamiento di l'ughjettu u più prestu pussibule, basta à stabilisce à 0 ghjorni.
Dopu avè passatu l'assistente, se ùn vulete micca aspittà, pudete appughjà ctrl + RMB nantu à u repository, lanciate cù forza u travagliu di Tiering è fighjate i grafici crawl.
Hè tuttu per avà. Pensu chì aghju riesciutu in u compitu di dimustrà chì l'almacenamiento di blocchi ùn hè micca cusì spaventoso cum'è a ghjente pensa. Iè, ci sò suluzioni è opzioni per un vagone è un carru chjucu, ma ùn pudete micca copre tuttu in un articulu. Allora spartemu a nostra sperienza in i cumenti.
Source: www.habr.com