Maailma näki ensimmäisen esinevaraston prototyypin vuonna 1996. 10 vuoden kuluttua Amazon Web Services lanseeraa Amazon S3:n, ja maailma alkaa järjestelmällisesti tulla hulluksi tasaisen osoiteavaruuden vuoksi. Metatietojen käsittelyn ja sen skaalautumiskyvyn ansiosta ilman kuormituksen heikkenemistä, objektien tallennustilasta on nopeasti tullut standardi useimmille pilvitallennuspalveluille ja muillekin. Toinen tärkeä ominaisuus on sen hyvä soveltuvuus arkistojen ja vastaavien harvoin käytettyjen tiedostojen tallentamiseen. Kaikki tiedon tallentamiseen osallistuvat iloitsivat ja kantoivat uutta teknologiaa käsissään.
Mutta ihmisten huhut olivat täynnä huhuja, että esinevarastointi on vain suuria pilviä, ja jos ei tarvitse ratkaisuja pirun kapitalisteilta, on erittäin vaikeaa tehdä omia. Oman pilven käyttöönotosta on jo kirjoitettu paljon, mutta ns. S3-yhteensopivien ratkaisujen luomisesta ei ole tarpeeksi tietoa.
Siksi tänään selvitämme, mitä vaihtoehtoja on "Olla kuin aikuiset, ei CEPH ja isompi tiedosto", otamme yhden niistä käyttöön ja tarkistamme, että kaikki toimii Veeam Backup & Replication -sovelluksella. Se vaatii tukea työskentelylle S3-yhteensopivien tallennuslaitteiden kanssa, ja tarkistamme tämän lausunnon.
Entä muut?
Aloitan pienellä katsauksella esineiden varastoinnin markkinoista ja vaihtoehdoista. Yleisesti tunnustettu johtaja ja standardi on Amazon S3. Kaksi lähintä tavoittelijaa ovat Microsoft Azure Blob Storage ja IBM Cloud Object Storage.
Onko siinä kaikki? Eikö muita kilpailijoita ole? Tietenkin on kilpailijoita, mutta joku kulkee omaa polkuaan, kuten Google Cloud tai Oracle Cloud Object Storage, jolla on epätäydellinen tuki S3 API:lle. Joku käyttää API:n vanhoja versioita, kuten Baidu Cloudia. Ja jotkut, kuten Hitachi Cloud, vaativat erityisen logiikan soveltamista, mikä varmasti aiheuttaa omat vaikeutensa. Joka tapauksessa kaikkia verrataan Amazoniin, jota voidaan pitää alan standardina.
Mutta on-premise-ratkaisuissa valinta on paljon suurempi, joten hahmotellaan meille tärkeät kriteerit. Periaatteessa vain kaksi riittää: tuki S3 API:lle ja v4-allekirjoituksen käyttö. Käsi sydämellä, meitä tulevana asiakkaana kiinnostavat vain vuorovaikutuksen rajapinnat, emmekä itse varaston sisäkeittiö.
No, monet ratkaisut sopivat näihin yksinkertaisiin olosuhteisiin. Esimerkiksi klassiset yritysraskassarjat:
- DellEMC ECS
- NetApp S3 Storage Grid
- Nutanix Kauhat
- Pure Storage FlashBlade ja StorReduce
- Huawei FusionStorage
On olemassa joukko puhtaasti ohjelmistoratkaisuja, jotka toimivat heti valmiina:
- Red Hat Ceph
- SUSE Enterprise -tallennustila
- Cloudian
Ja edes ne, jotka haluavat käsitellä tiedostoa huolellisesti kokoonpanon jälkeen, eivät loukkaantuneet:
- CEPH puhtaimmassa muodossaan
- Minio (Linux-versio, koska Windows-versiosta on monia kysymyksiä)
Lista ei ole läheskään täydellinen, siitä voidaan keskustella kommenteissa. Älä vain unohda tarkistaa järjestelmän suorituskykyä API-yhteensopivuuden lisäksi ennen käyttöönottoa. Viimeinen asia, jonka haluat, on teratavujen tiedon menetys juuttuneiden pyyntöjen vuoksi. Joten lataa testit vapaasti. Yleensä kaikilla aikuisille tarkoitetuilla ohjelmistoilla, jotka toimivat suuria tietomääriä, on vähintään yhteensopivuusraportit. Siinä tapauksessa Veeam on keskinäisessä testauksessa, jonka avulla voimme rohkeasti vakuuttaa tuotteidemme täydellisen yhteensopivuuden tiettyjen laitteiden kanssa. Tämä on jo kaksisuuntaista työtä, ei aina nopeaa, mutta laajennamme jatkuvasti testattuja ratkaisuja.
Kokoamme osastomme
Haluan puhua hieman koekohteen valinnasta.
Ensinnäkin halusin löytää vaihtoehdon, joka toimisi heti laatikosta lähtien. No, tai ainakin suurimmalla todennäköisyydellä, että se toimii ilman tarpeettomia eleitä. Tamburiinin kanssa tanssiminen ja konsolin poimiminen yöllä on erittäin jännittävää, mutta joskus sen haluaa toimivan heti. Ja tällaisten ratkaisujen yleinen luotettavuus on yleensä korkeampi. Ja kyllä, seikkailun henki katosi meistä, lakkasimme kiipeämästä ikkunoista rakkaille naisillemme jne. (c).
Toiseksi, rehellisesti sanottuna, tarve työskennellä objektivaraston kanssa syntyy melko suurissa yrityksissä, joten juuri näin on, kun yritystason ratkaisuja kohti ei vain hävetä, vaan jopa rohkaistaan. Joka tapauksessa en tiedä vielä esimerkkejä siitä, että joku olisi saanut potkut tällaisten ratkaisujen ostamisen vuoksi.
Edellisen perusteella valintani kaatui Dell EMC ECS Community Edition. Tämä on erittäin mielenkiintoinen projekti, ja mielestäni on välttämätöntä kertoa siitä sinulle.
Ensimmäinen asia, joka tulee mieleen, kun näet lisäyksen Yhteisön versio - että tämä on vain kuultopaperi täysimittaisesta ECS:stä, johon liittyy joitain rajoituksia, jotka poistetaan ostamalla lisenssi. Joten ei!
Muista:
!!!Community Edition on erillinen projekti, joka on luotu testausta varten ja ilman Dellin teknistä tukea!!
Ja sitä ei voi muuttaa täysimittaiseksi ECS:ksi, vaikka todella haluaisi.
Ymmärretään
Monet ihmiset ajattelevat, että Dell EMC ECS on melkein paras ratkaisu, jos sinulla on tarve esineiden säilytykseen. Kaikki ECS-brändin alaiset projektit, mukaan lukien kaupalliset ja yritysprojektit, ovat . Eräänlainen hyväntahtoisuuden ele Dellin taholta. Ja heidän brändätyllä laitteistollaan ajettavan ohjelmiston lisäksi tarjolla on avoimen lähdekoodin versio, joka voidaan ottaa käyttöön jopa pilvessä, jopa virtuaalikoneessa, jopa säilössä, jopa millä tahansa laitteistollasi. Tulevaisuudessa meillä on jopa OVA-versio, jota tulemme käyttämään.
Itse DELL ECS Community Edition on miniversio täysimittaisesta ohjelmistosta, joka toimii Dell EMC ECS -brändätyillä palvelimilla.
Olen tunnistanut neljä tärkeintä eroa:
- Ei salaustukea. Se on sääli, mutta ei kriittinen.
- Ei ole kangaskerrosta. Tämä asia vastaa klustereiden rakentamisesta, resurssien hallinnasta, päivittämisestä, valvonnasta ja Docker-kuvien tallentamisesta. Tässä se on jo suuri pettymys, mutta myös Dell voidaan ymmärtää.
- Edellisen kohdan ikävin seuraus: solmun kokoa ei voi laajentaa asennuksen jälkeen.
- Ei teknistä tukea. Tämä on testaukseen tarkoitettu tuote, jota ei ole kiellettyä käyttää pienissä asennuksissa, mutta en henkilökohtaisesti uskaltaisi ladata sinne petatavuja tärkeitä tietoja. Mutta teknisesti kukaan ei voi estää sinua tekemästä tätä.
Mitä isossa versiossa on?
Laukkaa Euroopan halki, käydään läpi rautaiset ratkaisut, jotta saadaan kattavampi kuva ekosysteemistä.
En mitenkään vahvista tai kumoa väitettä, että DELL ECS on paras on-prem objektitallennus, mutta jos sinulla on jotain sanottavaa tästä aiheesta, luen sen mielelläni kommenteissa. Joka tapauksessa version mukaan Dell EMC pääsee luottavaisesti viiden parhaan OBS-markkinajohtajan joukkoon. Vaikka pilvipohjaisia ratkaisuja ei oteta huomioon, tämä on erillinen keskustelu.
Tekniseltä kannalta ECS on objektitallennus, joka tarjoaa pääsyn tietoihin pilvitallennusprotokollien avulla. Tukee AWS S3:a ja OpenStack Swiftiä. ECS tukee NFSv3:a tiedostokohtaisessa viennissä tiedostoa käyttäville ryhmille.
Tiedon kirjoitusprosessi on melko epätavallinen, varsinkin klassisten lohkotallennusjärjestelmien jälkeen.
- Kun uutta dataa saapuu, luodaan uusi objekti, jolla on nimi, itse tiedot ja metatiedot.
- Objektit on jaettu 128 Mt:n osiin, ja jokainen osa kirjoitetaan kolmeen solmuun kerralla.
- Päivitetään hakemistotiedosto, johon tallennetaan tunnisteet ja tallennuspaikat.
- Lokitiedosto (tietueloki) päivitetään ja kirjoitetaan myös kolmeen solmuun.
- Asiakkaalle lähetetään viesti onnistuneesta tietueesta.
Kaikki kolme kopiota tiedoista kirjoitetaan rinnakkain. Kirjoitus katsotaan onnistuneeksi vain, jos kaikki kolme kopiota on kirjoitettu onnistuneesti.
Lukeminen on helpompaa:
- Asiakas pyytää tietoja.
- Hakemisto etsii paikkaa tietojen tallentamiseen.
- Tiedot luetaan yhdestä solmusta ja lähetetään asiakkaalle.
Itse palvelimia on melko vähän, joten katsotaanpa pienintä Dell EMC ECS EX300:aa. Se alkaa 60 Tb:stä ja voi kasvaa 1,5 Pb:iin. Ja hänen vanhempi veljensä Dell EMC ECS EX3000 sallii jo tallentaa jopa 8,6 Pb telinettä kohti.
Ota käyttöön
Teknisesti Dell ECS CE voidaan ottaa käyttöön niin suurena kuin halutaan. Joka tapauksessa en löytänyt nimenomaisia rajoituksia. Kaikki skaalaus tehdään kuitenkin kätevästi kloonaamalla ensimmäinen solmu, jota varten tarvitsemme:
- 8 vCPU:ta
- RAM 64GB
- 16 Gt käyttöjärjestelmälle
- 1 Tt suoraan säilytykseen
- CentOS minimalin uusin julkaisu
Tämä on vaihtoehto, kun haluat asentaa kaiken itse alusta alkaen. Meille tämä vaihtoehto ei ole relevantti, koska. Käytän OVA-kuvaa käyttöönotossa.
Mutta joka tapauksessa vaatimukset ovat erittäin pahoja jopa yhdelle solmulle, ja jos noudatat tiukasti lain kirjainta, tarvitset neljä tällaista solmua.
ECS CE -kehittäjät elävät kuitenkin todellisessa maailmassa, ja asennus onnistuu jopa yhdellä solmulla, ja vähimmäisvaatimukset ovat:
- 4 vCPU:ta
- 16 GB RAM
- 16 Gt käyttöjärjestelmälle
- 104 Gt itsetallennustilaa
Juuri näitä resursseja tarvitaan OVA-kuvan käyttöönottoon. Se on jo paljon inhimillisempää ja realistisempaa.
Itse asennussolmu voidaan ottaa virkailijalta . Siellä on myös yksityiskohtainen dokumentaatio all-in-one-laitteen käyttöönotosta, mutta voit lukea myös virallisesta . Siksi emme käsittele OVA:n käyttöönottoa yksityiskohtaisesti, temppuja ei ole. Tärkeintä - älä unohda ennen sen käynnistämistä, joko laajenna levy vaadittuun tilavuuteen tai liitä tarvittavat.
Käynnistämme koneen, avaamme konsolin ja käytämme parhaita oletusarvoja:
- kirjautuminen: admin
- Salasana: Changeme
Sitten suoritamme sudo nmtui ja määritämme verkkoliittymän - IP / mask, DNS ja portti. Ottaen huomioon, että CentOS minimalissa ei ole verkkotyökaluja, tarkistamme asetukset ip addr:n kautta.
Ja koska vain rohkeat valloittaa meret, teemme yum-päivityksen, jonka jälkeen käynnistetään uudelleen. Se on oikeastaan aika turvallista. kaikki käyttöönotto tapahtuu pelikirjojen kautta, ja kaikki tärkeät telakointipaketit on lukittu nykyiseen versioon.
Nyt on aika muokata asennusskriptiä. Ei kauniita ikkunoita tai pseudo-käyttöliittymää sinulle - kaikki tapahtuu suosikkitekstieditorisi kautta. Puhtaasti teknisesti on kaksi tapaa: voit suorittaa jokaisen komennon manuaalisesti tai suorittaa videploy-konfiguraattorin heti. Se yksinkertaisesti avaa konfiguroinnin vimissä, ja poistuessaan se alkaa tarkistaa sitä. Mutta ei ole mielenkiintoista tarkoituksella yksinkertaistaa elämääsi, joten suoritetaan vielä kaksi komentoa. Vaikka siinä ei ole mitään järkeä, varoitin =)
Joten teemme vim ECS-CommunityEdition/deploy.xml ja teemme optimaaliset vähimmäismuutokset, jotta ECS käynnistyy ja toimii. Parametriluetteloa voidaan lyhentää, mutta tein sen näin:
- Licensed_accepted: true Sinun ei tarvitse muuttaa sitä, niin käyttöönottovaiheessa sinua pyydetään nimenomaisesti hyväksymään se ja näyttämään hieno lause. Se voi olla jopa pääsiäismuna.
- Poista kommentit riveistä autonames: ja custom: Anna vähintään yksi haluttu nimi solmulle - isäntänimi korvataan sillä asennuksen aikana.
- install_node: 192.168.1.1 Määritä solmun todellinen IP. Meidän tapauksessamme määritämme saman kuin nmtui:ssa
- dns_domain: anna verkkotunnuksesi.
- dns_servers: kirjoita dns.
- ntp_servers: Mikä tahansa voidaan määrittää. Otin ensimmäisen poolista 0.pool.ntp.org (sitä tuli 91.216.168.42)
- autonaming: custom Jos kuun ei kommentoida, sitä kutsutaan Lunaksi.
- ecs_block_devices:
/ Dev / sdb
Jostain tuntemattomasta syystä, lohkotallennuslaite /dev/vda saattaa olla olematonta - storage_pools:
jäsenet:
192.168.1.1 Tässä osoitamme jälleen solmun todellisen IP-osoitteen - ecs_block_devices:
/dev/sdb Toistamme olemattomien laitteiden leikkaamisen.
Yleensä koko tiedosto on kuvattu erittäin yksityiskohtaisesti mutta kuka sitä lukee niin vaikeina aikoina. Siellä on myös kirjoitettu, että IP:n ja maskin määrittäminen riittää, mutta laboratoriossani tällainen sarja ei lähtenyt hyvin käyntiin ja minun piti laajentaa sitä yllämainittuihin.
Kun olet poistunut editorista, sinun on suoritettava update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, ja jos kaikki on tehty oikein, tämä raportoidaan erikseen.
Sitten sinun on vielä käynnistettävä videploy, odotettava ympäristön päivitystä ja voit aloittaa itse asennuksen komennolla ova-step1 ja sen onnistuneen suorittamisen jälkeen komennolla ova-step2. Tärkeää: älä pysäytä skriptejä käsin! Jotkut vaiheet voivat kestää kauan, kestää kauemmin kuin ensimmäinen yritys, ja näyttää siltä, että kaikki on rikki. Joka tapauksessa sinun on odotettava käsikirjoituksen valmistumista luonnollisella tavalla. Lopussa sinun pitäisi nähdä jotain tällaista.
Nyt vihdoin voimme avata WebUI-ohjauspaneelin tuntemallamme IP-osoitteella. Jos sitä ei muutettu määritysvaiheessa, oletustili on root/ChangeMe. Voit jopa heti käyttää S3-yhteensopivaa tallennustilaamme. Se on saatavana porteissa 9020 HTTP:lle ja 9021 HTTPS:lle. Jälleen, jos mitään ei ole muutettu, niin access_key: objektin_hallinta1 ja secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Mutta älkäämme menkö itsemme edellä ja aloittakaamme järjestyksessä.
Ensimmäisellä kirjautumiskerralla sinua pyydetään vaihtamaan salasana sopivaksi, mikä on täysin oikein. Pääkojelauta on erittäin selkeä, joten tehdään jotain mielenkiintoisempaa kuin ilmeisten mittareiden selittäminen. Luodaan esimerkiksi käyttäjä, jonka avulla pääsemme arkistoon. Palveluntarjoajien maailmassa näitä kutsutaan vuokralaisiksi. Tämä tehdään kohdassa Hallinta > Käyttäjät > Uusi objektin käyttäjä
Kun luot käyttäjää, meitä pyydetään määrittämään nimiavaruus. Teknisesti mikään ei estä meitä käynnistämästä niitä niin monta kuin on käyttäjiä. Ja päinvastoin. Tämä mahdollistaa resurssien hallinnan itsenäisesti jokaiselle vuokralaiselle.
Sen mukaisesti valitsemme tarvitsemamme toiminnot ja luomme käyttäjäavaimet. S3/Atmos riittää minulle. Ja muista tallentaa avainta 😉
Käyttäjä on luotu, nyt hänen on aika valita ämpäri. Siirry kohtaan Hallitse > Säiliö ja täytä vaaditut kentät. Täällä kaikki on yksinkertaista.
Nyt meillä on kaikki valmiina S3-tallennustilan taistelukäyttöön.
Asetetaan Veeamia
Joten kuten muistamme, yksi objektin tallennuksen pääsovelluksista on harvoin käytettävissä olevien tietojen pitkäaikainen tallennus. Ihanteellinen esimerkki on tarve tallentaa varmuuskopiot etäsivustolle. Veeam Backup & Replication -sovelluksessa tätä ominaisuutta kutsutaan kapasiteettitasoksi.
Aloitetaan asennus lisäämällä Dell ECS CE Veeam-käyttöliittymään. Käynnistä Varmuuskopiointiinfrastruktuuri-välilehdellä ohjattu toiminto uuden arkiston lisäämiseksi ja valitse Object Storage -kohde.
Valitsemme, mihin kaikki aloitettiin - S3-yhteensopiva.
Kirjoita näkyviin tulevaan ikkunaan haluamasi nimi ja siirry Tili-vaiheeseen. Tässä sinun on määritettävä palvelupiste lomakkeeseen , alue voidaan jättää ennalleen ja luotu käyttäjä voidaan lisätä. Porttipalvelin tarvitaan, jos tallennustilasi sijaitsee etäsivustolla, mutta tämä on jo infrastruktuurin optimoinnin aihe ja erillinen artikkeli, joten voit ohittaa sen täällä.
Jos kaikki on määritetty ja konfiguroitu oikein, näkyviin tulee varmenne varoitus ja sitten ikkuna, jossa on ämpäri, jossa voit luoda kansion tiedostoillemme.
Ohjaamme ohjatun toiminnon loppuun ja nautimme tuloksesta.
Seuraava askel on joko luoda uusi Scale-out Backup Repository tai lisätä S3 olemassa olevaan - sitä käytetään kapasiteettitasona arkiston tallentamiseen. Toiminto käyttää S3-yhteensopivia tietovarastoja suoraan, kuten tavallinen tietovarasto, ei ole nykyisessä julkaisussa. On liian monia melko epäselviä ongelmia, jotta tämä voidaan ratkaista, mutta kaikkea voi olla.
Siirrymme arkiston asetuksiin ja kytkemme kapasiteettitason päälle. Siellä kaikki on läpinäkyvää, mutta siinä on mielenkiintoinen vivahde: jos haluat, että kaikki tiedot lähetetään objektitallennustilaan mahdollisimman pian, aseta se vain 0 päivään.
Jos et halua odottaa ohjatun toiminnon läpikäynnin jälkeen, voit painaa ctrl+RMB arkistossa, suorittaa väkisin Tiring-työn ja katsella kaavioiden indeksoimista.
Tässä kaikki tältä erää. Luulen selviytyneeni tehtävästä osoittaa, että lohkovarastointi ei ole niin pelottavaa kuin yleisesti ajatellaan. Kyllä, ratkaisuja ja vaihtoehtoja vaunuun ja pieneen vaunuun, mutta kaikkea on mahdotonta käsitellä yhdessä artikkelissa. Joten jaamme kokemuksemme kommenteissa.
Lähde: will.com