Pirmąjį objektų saugojimo prototipą pasaulis išvydo 1996 m. Po 10 metų „Amazon Web Services“ paleis „Amazon S3“, o pasaulis pradės sistemingai eiti iš proto dėl vienodos adresų erdvės. Dėl darbo su metaduomenimis ir galimybės keisti mastelį nesumažėjus apkrovai, objektų saugykla greitai tapo daugelio debesies duomenų saugojimo paslaugų standartu, ir ne tik. Kita svarbi savybė yra ta, kad ji puikiai tinka archyvams ir panašiems retai naudojamiems failams saugoti. Visi, susiję su duomenų saugojimu, džiaugėsi ir naują technologiją nešiojo savo glėbyje.
Tačiau žmonių sklandė gandai, kad objektų saugojimas yra tik dideli debesys, o jei jums nereikia sprendimų iš prakeiktų kapitalistų, tada bus labai sunku sukurti savo. Jau daug parašyta apie savo debesies diegimą, tačiau nėra pakankamai informacijos apie vadinamųjų su S3 suderinamų sprendimų kūrimą.
Todėl šiandien išsiaiškinsime, kokios yra parinktys „Kad tai būtų kaip suaugusiems, o ne CEPH ir didesnis failas“, įdiegsime vieną iš jų ir patikrinsime, ar viskas veikia naudojant Veeam Backup & Replication. Teigiama, kad jis palaiko darbą su S3 suderinamomis saugyklomis, todėl mes išbandysime šį teiginį.
O kaip kiti?
Siūlau pradėti nuo nedidelės rinkos ir objektų saugojimo galimybių apžvalgos. Visuotinai pripažintas lyderis ir standartas yra „Amazon S3“. Du artimiausi persekiotojai yra „Microsoft Azure Blob Storage“ ir „IBM Cloud Object Storage“.
Ar tai viskas? Ar tikrai nėra kitų konkurentų? Žinoma, yra konkurentų, tačiau kai kurie eina savo keliu, pavyzdžiui, „Google Cloud“ arba „Oracle Cloud Object Storage“, nepalaikydami S3 API. Kai kurie naudoja senesnes API versijas, pvz., „Baidu Cloud“. O kai kuriems, pavyzdžiui, Hitachi Cloud, reikia ypatingos logikos, kuri tikrai sukels savo sunkumų. Bet kokiu atveju visi lyginami su „Amazon“, kurį galima laikyti pramonės standartu.
Tačiau vietiniuose sprendimuose yra daug daugiau pasirinkimo galimybių, todėl apibūdinkime mums svarbius kriterijus. Iš esmės pakanka tik dviejų: S3 API palaikymas ir v4 pasirašymo naudojimas. Ranka prie širdies, mus, kaip būsimą klientą, domina tik sąveikos sąsajos, o ne pati saugyklos vidinė virtuvė.
Daugelis sprendimų atitinka šias paprastas sąlygas. Pavyzdžiui, klasikiniai įmonių sunkiasvoriai:
- DellEMC ECS
- NetApp S3 StorageGrid
- Nutanix kibirai
- Pure Storage FlashBlade ir StorReduce
- „Huawei FusionStorage“.
Yra niša grynai programinės įrangos sprendimų, kurie veikia iš karto:
- Raudonoji kepurė Cef
- SUSE įmonės saugykla
- Debesuota
Ir net tie, kurie mėgsta kruopščiai paduoti po surinkimo, neįsižeidė:
- CEPH gryniausia forma
- Minio (Linux versija, nes Windows Kyla daug klausimų dėl versijos)
Sąrašas toli gražu nėra baigtas, jį galima aptarti komentaruose. Tik nepamirškite prieš diegti patikrinti sistemos našumo ir API suderinamumo. Paskutinis dalykas, kurio norite, yra prarasti terabaitus duomenų dėl įstrigusių užklausų. Taigi nesidrovėkite atlikdami apkrovos testus. Apskritai, visa suaugusiųjų programinė įranga, kuri veikia su dideliu duomenų kiekiu, turi bent jau suderinamumo ataskaitas. Tuo atveju Veeam yra dėl abipusio testavimo, kuris leidžia mums užtikrintai deklaruoti visišką mūsų gaminių suderinamumą su konkrečia įranga. Tai jau dvipusis darbas, ne visada greitas, bet nuolat plečiamės išbandytų sprendimų.
Mūsų stendo surinkimas
Norėčiau šiek tiek pakalbėti apie bandomojo dalyko pasirinkimą.
Pirmiausia norėjau rasti variantą, kuris veiktų iš karto. Na, arba bent jau su didžiausia tikimybe, kad jis veiks ir nereikės daryti nereikalingų judesių. Šokti su tamburinu ir naktimis spustelėti pultą yra labai įdomu, bet kartais norisi, kad tai suveiktų iš karto. O bendras tokių sprendimų patikimumas dažniausiai būna didesnis. Ir taip, mumyse dingo avantiūrizmo dvasia, nustojome lipti į mylimų moterų langus ir pan.(c).
Antra, atvirai pasakius, poreikis dirbti su objektų saugykla iškyla gana didelėse įmonėse, todėl būtent taip yra, kai žvelgti į įmonės lygio sprendimus ne tik negėdinga, bet netgi skatinama. Bet kuriuo atveju, kol kas nežinau pavyzdžių, kad kas nors būtų atleistas dėl tokių sprendimų įsigijimo.
Remiantis visa tai, kas išdėstyta pirmiau, mano pasirinkimas krito Dell EMC ECS bendruomenės leidimas. Tai labai įdomus projektas ir manau, kad būtina apie tai jums papasakoti.
Pirmas dalykas, kuris ateina į galvą pamačius priedą Bendrijos leidimas - kad tai tik visavertės ECS kopija su tam tikrais apribojimais, kurie pašalinami įsigijus licenciją. Taigi ne!
Atsiminkite:
!!!Community Edition yra atskiras projektas, sukurtas testavimui ir be techninio Dell palaikymo!!
Ir jo negalima paversti visaverčiu ECS, net jei labai to norisi.
Išsiaiškinkime
Daugelis žmonių mano, kad „Dell EMC ECS“ yra beveik geriausias sprendimas, jei jums reikia objektų saugojimo. Visi projektai su ECS prekės ženklu, įskaitant komercinius ir verslo, yra pagrįsti . Savotiškas „Dell“ geros valios gestas. Be programinės įrangos, kuri veikia jų firminėje aparatinėje įrangoje, yra atvirojo kodo versija, kurią galima įdiegti debesyje, virtualioje mašinoje, konteineryje arba bet kurioje jūsų aparatinėje įrangoje. Žvelgiant į ateitį, yra net OVA versija, kurią naudosime.
Pats DELL ECS Community Edition yra mini pilnavertės programinės įrangos versija, kuri veikia firminiuose Dell EMC ECS serveriuose.
Nustačiau keturis pagrindinius skirtumus:
- Nėra šifravimo palaikymo. Gaila, bet ne kritiška.
- Trūksta audinio sluoksnio. Šis dalykas yra atsakingas už grupių kūrimą, išteklių valdymą, atnaujinimus, „Docker“ vaizdų stebėjimą ir saugojimą. Čia tai jau labai įžeidžianti, bet Dell taip pat galima suprasti.
- Bjauriausia ankstesnio punkto pasekmė: baigus diegti mazgo dydis negali būti išplėstas.
- Nėra techninės pagalbos. Tai testavimui skirtas produktas, kurio nedraudžiama naudoti mažose instaliacijose, bet aš asmeniškai nedrįsčiau ten įkelti petabaitų svarbių duomenų. Tačiau techniškai niekas negali sutrukdyti jums to daryti.
Kas yra didžiojoje versijoje?
Siekdami visapusiškiau suprasti ekosistemą, šuoliuokime po Europą ir perimkime tvirtus sprendimus.
Aš kažkaip nepatvirtinsiu ir nepaneigsiu teiginio, kad DELL ECS yra geriausia objektų saugykla vietoje, bet jei turite ką pasakyti šia tema, mielai perskaitysiu tai komentaruose. Bent jau pagal versiją „Dell EMC“ yra tarp penkių geriausių OBS rinkos lyderių. Nors ten neatsižvelgiama į debesų pagrindu veikiančius sprendimus, tai yra atskiras pokalbis.
Techniniu požiūriu ECS yra objektų saugykla, kuri suteikia prieigą prie duomenų naudojant debesies saugojimo protokolus. Palaiko AWS S3 ir OpenStack Swift. Failų įgalintuose segmentuose ECS palaiko NFSv3, kad būtų galima eksportuoti kiekvieną failą.
Informacijos įrašymo procesas yra gana neįprastas, ypač po klasikinių blokinių saugojimo sistemų.
- Kai gaunami nauji duomenys, sukuriamas naujas objektas, turintis pavadinimą, pačius duomenis ir metaduomenis.
- Objektai yra suskirstyti į 128 MB dalis, o kiekviena dalis įrašoma į tris mazgus vienu metu.
- Atnaujinamas indekso failas, kuriame įrašomi identifikatoriai ir saugojimo vietos.
- Žurnalo failas (žurnalo įrašas) atnaujinamas ir taip pat įrašomas į tris mazgus.
- Klientui siunčiamas pranešimas apie sėkmingą įrašymą
Visos trys duomenų kopijos parašytos lygiagrečiai. Rašymas laikomas sėkmingu tik tuo atveju, jei visos trys kopijos buvo parašytos sėkmingai.
Skaityti lengviau:
- Klientas prašo duomenų.
- Indeksas ieško, kur saugomi duomenys.
- Duomenys nuskaitomi iš vieno mazgo ir siunčiami klientui.
Pačių serverių yra nemažai, todėl pažiūrėkime į mažiausią Dell EMC ECS EX300. Jis prasideda nuo 60 TB ir gali išaugti iki 1,5 PB. O jo vyresnysis brolis „Dell EMC ECS EX3000“ leidžia saugoti net 8,6 PB viename stove.
Dislokuoti
Techniškai „Dell ECS CE“ gali būti įdiegtas tiek, kiek norite. Bet kuriuo atveju jokių aiškių apribojimų neradau. Tačiau patogu atlikti visą mastelį klonuojant patį pirmąjį mazgą, kuriam mums reikia:
- 8 „vCPU“
- 64GB RAM
- 16 GB OS
- 1 TB tiesioginė saugykla
- Naujausias leidimas CentOS minimalus
Tai pasirinkimas, kai norite viską įdiegti patys nuo pat pradžių. Šis variantas mums neaktualus, nes... Diegimui naudosiu OVA vaizdą.
Bet bet kuriuo atveju reikalavimai yra labai blogi net vienam mazgui, o jei griežtai laikotės įstatymo raidės, tada jums reikia keturių tokių mazgų.
Tačiau ECS CE kūrėjai gyvena realiame pasaulyje, o diegimas vyksta sėkmingai net naudojant vieną mazgą, o minimalūs reikalavimai yra šie:
- 4 „vCPU“
- 16 GB RAM
- 16 GB OS
- Pati saugykla 104 GB
Tai yra ištekliai, reikalingi OVA atvaizdui įdiegti. Jau daug humaniškesnis ir tikroviškesnis.
Patį diegimo mazgą galite gauti iš pareigūno . Taip pat yra išsami dokumentacija apie „viskas viename“ diegimą, tačiau taip pat galite perskaityti oficialioje svetainėje . Todėl mes nesigilinsime į OVA išskleidimą, ten nėra jokių gudrybių. Svarbiausia, kad prieš jį paleisdami nepamirškite arba išplėsti disko iki reikiamo tūrio, arba pritvirtinti reikiamus.
Paleidžiame mašiną, atidarome konsolę ir naudojame geriausius numatytuosius kredencialus:
- prisijungimas: admin
- slaptažodis: ChangeMe
Tada paleidžiame „sudo nmtui“ ir sukonfigūruojame tinklo sąsają – IP/kaukę, DNS ir šliuzą. Turint omenyje, kad CentOS Minimalus be tinklo įrankių, patikrinkite nustatymus pagal IP adresą.
Ir kadangi tik drąsieji užkariauja jūras, atliekame yum atnaujinimą, po kurio paleidžiame iš naujo. Iš tikrųjų tai gana saugu, nes... visas diegimas atliekamas naudojant žaidimų knygas, o visi svarbūs doko paketai yra užrakinti prie dabartinės versijos.
Dabar laikas redaguoti diegimo scenarijų. Jokių įmantrių langų ar pseudo vartotojo sąsajos jums – viskas daroma naudojant mėgstamą teksto rengyklę. Techniškai yra du būdai: galite paleisti kiekvieną komandą rankiniu būdu arba iš karto paleisti videoploy konfigūratorių. Jis tiesiog atidarys konfigūraciją in vim, o išėjus pradės ją tikrinti. Tačiau neįdomu sąmoningai supaprastinti savo gyvenimą, todėl vykdykime dar dvi komandas. Nors tai neturi prasmės, aš jus perspėjau =)
Taigi, sukurkime vim ECS-CommunityEdition/deploy.xml ir atlikime optimalius minimalius pakeitimus, kad ECS veiktų ir veiktų. Parametrų sąrašą galima sutrumpinti, bet aš tai padariau taip:
- Licensed_accepted: true Jums nereikia jo keisti, tada diegdami būsite aiškiai paprašyti jį priimti ir bus parodyta graži frazė. Galbūt tai net velykinis kiaušinis.
- Pašalinkite eilutes autonames: ir custom: Įveskite bent vieną norimą mazgo pavadinimą – pagrindinio kompiuterio pavadinimas bus pakeistas juo diegimo proceso metu.
- install_node: 192.168.1.1 Nurodykite tikrąjį mazgo IP. Mūsų atveju nurodome tą patį kaip ir nmtui
- dns_domain: įveskite savo domeną.
- dns_servers: įveskite savo DNS.
- ntp_servers: galite nurodyti bet kurį. Paėmiau pirmąjį, kurį sutikau iš baseino 0.pool.ntp.org (ji tapo 91.216.168.42)
- autonaming: custom Jei nekomentuosite, mėnulis bus vadinamas Luna.
- ecs_block_devices:
/ dev / sdb
Dėl kažkokios nežinomos priežasties gali būti neegzistuojantis blokinis saugojimo įrenginys /dev/vda - storage_pools:
Nariai:
192.168.1.1 Čia vėl nurodome tikrąjį mazgo IP - ecs_block_devices:
/dev/sdb Pakartojame neegzistuojančių įrenginių išpjovimo operaciją.
Apskritai visas failas yra labai išsamiai aprašytas , bet kas jį skaitys tokiu neramiu metu. Taip pat sakoma, kad minimaliai pakanka nurodyti IP ir kaukę, bet mano laboratorijoje toks rinkinys pasirodė gana prastai, ir aš turėjau jį išplėsti iki nurodyto aukščiau.
Išėjus iš redaktoriaus, reikia paleisti update_deploy /home/admin/ECS-CommunityEdition/deploy.yml ir, jei viskas bus padaryta teisingai, apie tai bus aiškiai pranešta.
Tada dar reikia paleisti videoploy, palaukti, kol aplinka atsinaujins ir galima pradėti patį diegimą su komanda ova-step1, o sėkmingai ją užbaigus – komanda ova-step2. Svarbu: nesustabdykite scenarijų ranka! Kai kurie veiksmai gali užtrukti daug laiko, gali būti neatlikti iš pirmo karto ir gali atrodyti, kad viskas sugedo. Bet kokiu atveju turite palaukti, kol scenarijus bus baigtas natūraliai. Pabaigoje turėtumėte pamatyti panašų pranešimą.
Dabar pagaliau galime atidaryti WebUI valdymo skydelį naudodami mums žinomą IP. Jei konfigūracija nebuvo pakeista etape, numatytoji paskyra bus root/ChangeMe. Jūs netgi galite iš karto naudoti mūsų su S3 suderinamą saugyklą. Jis pasiekiamas naudojant 9020 prievadus, skirtus HTTP, ir 9021 prievaduose, skirtuose HTTPS. Vėlgi, jei niekas nebuvo pakeistas, tada access_key: object_admin1 ir secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Tačiau per daug neaplenkime savęs ir pradėkime tvarkingai.
Kai prisijungiate pirmą kartą, būsite priversti pakeisti slaptažodį į tinkamą, o tai yra visiškai teisinga. Pagrindinis prietaisų skydelis yra labai aiškus, todėl padarykime ką nors įdomesnio nei aiškindami akivaizdžius rodiklius. Pavyzdžiui, sukurkime vartotoją, kurį naudosime norėdami pasiekti saugyklą. Paslaugų teikėjų pasaulyje jie vadinami nuomininkais. Tai atliekama Tvarkyti > Vartotojai > Naujas objekto naudotojas
Kuriant vartotoją, mūsų prašoma nurodyti vardų erdvę. Techniškai niekas netrukdo mums sukurti tiek jų, kiek yra vartotojų. Ir atvirkščiai. Tai leidžia kiekvienam nuomininkui atskirai valdyti išteklius.
Atitinkamai pasirenkame mums reikalingas funkcijas ir generuojame vartotojo raktus. Man užteks S3/Atmos. Ir nepamirškite išsaugoti rakto 😉
Vartotojas sukurtas, dabar laikas jam skirti kibirą. Eikite į Tvarkyti > Segtas ir užpildykite reikiamus laukus. Čia viskas paprasta.
Dabar turime viską paruošę gana kovingam S3 saugyklos naudojimui.
„Veeam“ nustatymas
Taigi, kaip prisimename, vienas iš pagrindinių objektų saugojimo būdų yra ilgalaikis retai pasiekiamos informacijos saugojimas. Idealus pavyzdys yra būtinybė saugoti atsargines kopijas nuotolinėje svetainėje. „Veeam Backup & Replication“ ši funkcija vadinama talpos pakopa.
Pradėkime sąranką pridėdami Dell ECS CE prie Veeam sąsajos. Skirtuke Atsarginės kopijos infrastruktūra paleiskite naujos saugyklos vedlį ir pasirinkite Objektų saugykla.
Pasirinkime, nuo ko viskas prasidėjo – S3 Compatible.
Atsidariusiame lange įveskite norimą pavadinimą ir pereikite prie veiksmo Paskyra. Čia formoje turite nurodyti aptarnavimo tašką , regioną galima palikti tokį, koks yra, ir pridėti sukurtą vartotoją. Vartų serveris yra būtinas, jei jūsų saugykla yra atokioje svetainėje, tačiau tai jau yra infrastruktūros optimizavimo tema ir atskiras straipsnis, todėl čia galite saugiai praleisti.
Jei viskas nurodyta ir sukonfigūruota teisingai, atsiras įspėjimas apie sertifikatą ir langas su kibiru, kuriame galėsite sukurti aplanką mūsų failams.
Einame per vedlį iki galo ir mėgaujamės rezultatu.
Kitas žingsnis yra arba sukurti naują Scale-out atsarginių kopijų saugyklą, arba pridėti mūsų S3 prie esamos – ji bus naudojama kaip archyvų saugojimo talpos pakopa. Dabartiniame leidime nėra funkcijos, leidžiančios tiesiogiai naudoti su S3 suderinamą saugyklą, kaip įprastą saugyklą. Kad tai įvyktų, reikia išspręsti per daug gana neakivaizdžių problemų, bet viskas yra įmanoma.
Eikite į saugyklos nustatymus ir įgalinkite talpos pakopą. Ten viskas skaidru, bet yra įdomus niuansas: jei norite, kad visi duomenys būtų kuo greičiau išsiųsti į objektų saugyklą, tiesiog nustatykite 0 dienų.
Jei nenorite laukti, perėję vedlį, galite paspausti ctrl + RMB saugykloje, priverstinai paleisti „Tiring“ užduotį ir stebėti, kaip diagramos nuskaitomos.
Tai kol kas viskas. Manau, kad man pavyko parodyti, kad blokų saugojimas nėra toks baisus, kaip žmonės galvoja. Taip, yra sprendimų ir variantų vagonui ir mažam vežimėliui, tačiau visko viename straipsnyje neaprašysi. Taigi pasidalinkime savo patirtimi komentaruose.
Šaltinis: www.habr.com
