Dunya ningali prototipe panyimpen objék munggaran dina 1996. Dina 10 taun, Amazon Web Services bakal ngaluncurkeun Amazon S3, sareng dunya bakal mimiti sacara sistematis gélo kalayan rohangan alamat anu datar. Hatur nuhun kana gawé bareng metadata jeung kamampuhna pikeun skala tanpa sagging handapeun beban, gudang obyék gancang jadi standar pikeun paling jasa panyimpen data awan, sarta teu ngan éta. Fitur penting séjén nyaéta cocog pikeun nyimpen arsip sareng file anu jarang dianggo. Sarerea kalibet dina neundeun data gumbira sarta ngagem téhnologi anyar dina leungeun maranéhna.
Tapi rumor jalma éta pinuh ku rumor yén neundeun objék ngan ngeunaan awan badag, sarta lamun teu butuh solusi ti kapitalis damned, mangka bakal hésé pisan nyieun sorangan. Seueur anu parantos diserat ngeunaan nyebarkeun awan anjeun nyalira, tapi henteu cekap inpormasi anu sayogi ngeunaan nyiptakeun anu disebut solusi anu cocog sareng S3.
Ku alatan éta, kiwari urang bakal angka kaluar naon pilihan aya "Supaya éta kawas sawawa, teu CEPH sarta file badag," urang bakal nyebarkeun salah sahijina, sarta kami bakal pariksa yen sagalana jalan ngagunakeun Veeam Nyadangkeun & Réplikasi. Éta ngaku ngadukung damel sareng panyimpen anu cocog sareng S3, sareng kami bakal nguji klaim ieu.
Kumaha upami batur?
Kuring nyarankeun dimimitian ku gambaran leutik ngeunaan pasar jeung pilihan gudang obyék. Pamimpin sareng standar anu diakui sacara umum nyaéta Amazon S3. Dua pursuers pangdeukeutna nyaéta Microsoft Azure Blob Panyimpenan jeung IBM Cloud Object Storage.
Éta sadayana? Naha leres henteu aya pesaing sanés? Tangtosna, aya saingan, tapi sawaréh jalan sorangan, sapertos Google Cloud atanapi Oracle Cloud Object Storage, kalayan dukungan anu teu lengkep pikeun S3 API. Sababaraha nganggo versi API anu langkung lami, sapertos Baidu Cloud. Sareng sababaraha, sapertos Hitachi Cloud, peryogi logika khusus, anu pasti bakal nyababkeun kasusah sorangan. Dina naon waé, sadayana dibandingkeun sareng Amazon, anu tiasa dianggap standar industri.
Tapi dina solusi on-premise aya leuwih pilihan, jadi hayu urang outline kriteria nu penting pikeun urang. Sacara prinsip, ngan dua cukup: rojongan pikeun API S3 sarta pamakéan v4 Signing. Leungeun dina haté, urang, salaku klien hareup, ngan museurkeun interfaces pikeun interaksi, sarta kami henteu jadi kabetot dina dapur internal tina fasilitas gudang sorangan.
Seueur solusi anu cocog sareng kaayaan saderhana ieu. Contona, beurat perusahaan klasik:
- DellEMC ECS
- NetApp S3 StorageGrid
- Ember Nutanix
- Murni Panyimpenan FlashBlade na StorReduce
- Huawei FusionStorage
Aya sababaraha solusi parangkat lunak murni anu tiasa dianggo kaluar tina kotak:
- Beureum Hat Ceph
- Panyimpenan perusahaan SUSE
- Cloudian
Komo jalma anu resep taliti file sanggeus assembly teu gelo:
- CEPH dina bentuk anu paling murni
- Minio (versi Linux, sabab aya seueur patarosan ngeunaan versi Windows)
Daptar éta jauh tina lengkep; éta tiasa dibahas dina koméntar. Ngan ulah poho pikeun pariksa kinerja sistem salian kasaluyuan API saméméh palaksanaan. Hal anu terakhir anu anjeun pikahoyong nyaéta kaleungitan terabytes data kusabab patarosan anu macét. Janten entong isin ku tés beban. Sacara umum, sadaya parangkat lunak sawawa anu tiasa dianggo sareng jumlah data anu ageung gaduh sahenteuna laporan kasaluyuan. Dina hal Veeam nyaeta dina nguji silih, anu ngamungkinkeun urang pikeun confidently nyatakeun kasaluyuan pinuh produk urang jeung alat husus. Ieu geus mangrupa karya dua arah, teu salawasna gancang, tapi urang terus ngembangna solusi diuji.
Ngumpulkeun stand urang
Abdi hoyong ngobrol sakedik ngeunaan milih subjek tés.
Kahiji, kuring hayang manggihan hiji pilihan nu bakal dianggo katuhu out of the box. Nya, atanapi sahenteuna kalayan kamungkinan maksimal yén éta bakal tiasa dianggo tanpa kedah ngalakukeun gerakan anu teu perlu. Nari kalayan rebana sarta tinkering jeung konsol dina peuting pisan seru, tapi sakapeung rék eta dianggo langsung. Jeung reliabiliti sakabéh solusi sapertos biasana leuwih luhur. Na enya, sumanget adventurism geus ngiles di urang, urang dieureunkeun climbing kana jandéla awéwé urang tercinta, jsb (c).
Bréh, mun jujur, kabutuhan pikeun digawekeun ku gudang obyék timbul di pausahaan cukup badag, jadi ieu pisan kasus lamun ningali ka arah solusi perusahaan-tingkat teu ngan teu ngerakeun, tapi malah wanti. Dina naon waé, kuring henteu acan terang conto saha waé anu dipecat pikeun mésér solusi sapertos kitu.
Dumasar sadayana di luhur, pilihan kuring murag Dell EMC ECS Komunitas Edition. Ieu proyek pisan metot, sarta kuring nganggap perlu ngabejaan Anjeun tentang eta.
Hal kahiji anu datang ka pikiran lamun ningali tambihan-on Edition komunitas - yén ieu téh ngan salinan a ECS full-fledged kalawan sababaraha larangan nu dihapus ku meuli lisénsi a. Janten henteu!
Inget:
!!!Edisi Komunitas mangrupikeun proyék anu misah didamel pikeun uji, sareng tanpa dukungan téknis ti Dell!!
Sarta eta teu bisa robah jadi ECS full-fledged, malah lamun rék.
Hayu urang angka eta kaluar
Seueur jalma yakin yén Dell EMC ECS ampir mangrupikeun solusi anu pangsaéna upami anjeun peryogi pikeun neundeun obyék. Sadaya proyék dina merek ECS, kalebet komérsial sareng perusahaan, dumasar kana . A nurun gesture goodwill ti Dell. Jeung sajaba ti software nu dijalankeun dina hardware branded maranéhanana, aya versi open source nu bisa deployed dina awan, dina mesin virtual, dina wadahna, atawa dina hardware Anjeun sorangan. Ningali payun, malah aya versi OVA, anu bakal kami anggo.
DELL ECS Komunitas Edition sorangan mangrupakeun mini-versi software full-fledged nu dijalankeun dina branded Dell EMC ECS server.
Kuring ngaidentipikasi opat bédana utama:
- Taya rojongan enkripsi. Ieu éra, tapi teu kritis.
- Lapisan lawon leungit. Hal ieu tanggung jawab pikeun ngawangun klaster, manajemén sumberdaya, apdet, ngawaskeun sareng nyimpen gambar Docker. Ieu tempat éta geus pisan karasa, tapi Dell ogé bisa dipikaharti.
- Konsékuansi paling disgusting tina titik saméméhna: ukuran titik teu bisa dilegakeun sanggeus instalasi geus réngsé.
- Taya rojongan teknis. Ieu mangrupikeun produk pikeun uji, anu henteu dilarang dianggo dina pamasangan alit, tapi kuring pribadi moal wani unggah petabytes data penting di dinya. Tapi sacara teknis teu aya anu tiasa ngeureunkeun anjeun ngalakukeun ieu.
Naon dina versi badag?
Hayu urang gallop sakuliah Éropah jeung ngaliwatan solusi ironclad dina raraga mibanda pamahaman leuwih lengkep ékosistem.
Kuring moal kumaha bae mastikeun atawa refute pernyataan yén DELL ECS teh pangalusna gudang obyék on-prem, tapi lamun boga nanaon ngomong dina topik ieu, Kuring bakal senang maca eta dina komentar. Sahenteuna nurutkeun versi Dell EMC yakin diantara lima pamimpin pasar OBS luhur. Sanajan solusi dumasar-awan teu dicokot kana akun aya, ieu téh paguneman misah.
Tina sudut pandang téknis, ECS mangrupikeun panyimpen obyék anu nyayogikeun aksés kana data nganggo protokol panyimpen awan. Ngarojong AWS S3 sareng OpenStack Swift. Pikeun ember file-diaktipkeun, ECS ngarojong NFSv3 pikeun file-demi-file ékspor.
Prosés ngarékam inpormasi rada teu biasa, khususna saatos sistem panyimpen blok klasik.
- Lamun data anyar datang, hiji objek anyar dijieun nu boga ngaran, data sorangan, sarta metadata.
- Objék dibagi kana 128 MB sakumpulan, sareng unggal sakumpulan ditulis kana tilu titik sakaligus.
- File indéks diropéa, dimana identifier sareng lokasi panyimpenan dirékam.
- Berkas log (éntri log) diropéa sareng ogé ditulis kana tilu titik.
- Pesen ngeunaan rékaman suksés dikirim ka klien
Tilu salinan data ditulis paralel. Tulisan dianggap suksés ngan upami tilu salinan parantos suksés ditulis.
Maca langkung gampang:
- klien nu requests data.
- Indéks milarian dimana data disimpen.
- Data dibaca tina hiji titik sareng dikirim ka klien.
Aya rada sababaraha server sorangan, jadi hayu urang nempo pangleutikna Dell EMC ECS EX300. Dimimitian ti 60TB, kalayan kamampuan tumbuh dugi ka 1,5PB. Jeung lanceukna heubeul, Dell EMC ECS EX3000, ngidinan Anjeun pikeun nyimpen saloba 8,6PB per rak.
Nyebarkeun
Téhnisna, Dell ECS CE tiasa disebarkeun sakumaha anu anjeun pikahoyong. Dina naon waé, kuring henteu mendakan larangan anu eksplisit. Sanajan kitu, éta merenah pikeun ngalakukeun sagala skala ku kloning titik pisan munggaran, nu urang peryogi:
- 8 vCPU
- 64GB RAM
- 16GB pikeun OS
- 1TB gudang langsung
- Pelepasan panganyarna tina CentOS minimal
Ieu mangrupikeun pilihan nalika anjeun badé masang sadayana nyalira ti mimiti. Pilihan ieu henteu relevan pikeun urang, sabab ... Kuring baris ngagunakeun gambar OVA pikeun deployment.
Tapi dina sagala hal, sarat pisan jahat sanajan pikeun hiji titik, sarta lamun mastikeun nuturkeun hurup hukum, anjeun peryogi opat titik misalna.
Nanging, pamekar ECS CE cicing di dunya nyata, sareng pamasanganna suksés sanajan dina hiji titik, sareng syarat minimum nyaéta:
- 4 vCPU
- 16 GB RAM
- 16 GB pikeun OS
- 104 GB gudang sorangan
Ieu mangrupikeun sumber daya anu diperyogikeun pikeun nyebarkeun gambar OVA. Geus leuwih manusiawi jeung realistis.
Titik instalasi sorangan tiasa didapet ti resmi . Aya ogé dokuméntasi lengkep ngeunaan panyebaran sadaya-dina-hiji, tapi anjeun ogé tiasa maca dina resmi . Kituna, urang moal Huni di jéntré ngeunaan unfolding of OVA, teu aya trik. Hal utama nyaéta sateuacan ngamimitian éta, ulah hilap pikeun dilegakeun disk kana volume anu diperyogikeun, atanapi pasangkeun anu diperyogikeun.
Urang ngamimitian mesin, muka konsol sareng nganggo kredensial standar anu pangsaéna:
- asup: admin
- sandi: ChangeMe
Teras urang ngajalankeun sudo nmtui sareng ngonpigurasikeun antarmuka jaringan - IP / topeng, DNS sareng gerbang. Émut yén CentOS minimal teu gaduh alat-jaringan, urang pariksa setélan via ip addr.
Sarta saprak ngan wani nalukkeun sagara, urang ngalakukeun update yum, nu satutasna urang reboot. Ieu sabenerna rada aman sabab ... kabéh deployment dipigawé ngaliwatan playbooks, sarta sakabeh bungkusan docker penting dikonci kana versi ayeuna.
Ayeuna waktuna pikeun ngédit skrip pamasangan. Henteu aya windows fancy atanapi pseudo UI pikeun anjeun - sadayana dilakukeun ku pangropéa téksu karesep anjeun. Téhnisna, aya dua cara: anjeun tiasa ngajalankeun unggal paréntah sacara manual atanapi langsung ngaluncurkeun konfigurator videoploy. Éta ngan saukur bakal muka config dina vim, sareng saatos kaluar éta bakal ngamimitian mariksa éta. Tapi éta henteu pikaresepeun pikeun ngahaja nyederhanakeun kahirupan anjeun, janten hayu urang ngajalankeun dua paréntah deui. Sanajan ieu teu asup akal, kuring ngingetkeun anjeun =)
Janten, hayu urang ngadamel vim ECS-CommunityEdition/deploy.xml sareng ngadamel parobihan minimal anu optimal supados ECS naék sareng jalan. Daptar parameter tiasa disingget, tapi kuring ngalakukeun sapertos kieu:
- licensed_accepted: leres Anjeun teu kudu ngarobah éta, lajeng nalika deploying anjeun bakal eksplisit dipenta pikeun nampa eta sarta bakal ditémbongkeun frase nice. Sugan ieu malah hiji endog Easter.
- Uncomment garis autonames: sarta custom: Lebetkeun sahanteuna hiji ngaran nu dipikahoyong pikeun node - hostname bakal diganti ku eta salila prosés instalasi.
- install_node: 192.168.1.1 Sebutkeun IP nyata titik. Dina kasus urang, kami nunjukkeun sami sareng nmtui
- dns_domain: asupkeun domain anjeun.
- dns_servers: asupkeun dns Anjeun.
- ntp_servers: anjeun tiasa netepkeun naon waé. Kuring nyokot hiji munggaran kuring datang di sakuliah ti kolam renang 0.pool.ntp.org (eta janten 91.216.168.42)
- autonaming: custom Mun anjeun teu uncomment, bulan bakal disebut Luna.
- ecs_block_devices:
/ dev / sdb
Kanggo sababaraha alesan anu teu dipikanyaho, meureun aya alat panyimpen blok / dev / vda anu teu aya - storage_pools:
anggota:
192.168.1.1 Di dieu deui urang nunjukkeun IP nyata titik - ecs_block_devices:
/ dev / sdb Urang ngulang operasi motong kaluar alat non-existent.
Sacara umum, sakabéh file dijelaskeun dina jéntré hébat dina , Tapi anu bakal maca eta dina waktos troubled misalna. Éta ogé nyarios yén minimum anu cekap nyaéta pikeun netepkeun IP sareng topéng, tapi di laboratorium kuring, set sapertos kitu ngamimitian rada kirang, sareng kuring kedah dilegakeun ka anu dijelaskeun di luhur.
Saatos kaluar tina redaktur, anjeun kedah ngajalankeun update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, sareng upami sadayana dilakukeun leres, ieu bakal dilaporkeun sacara eksplisit.
Satuluyna anjeun masih kudu ngajalankeun videoploy, ngadagoan lingkungan pikeun ngamutahirkeun, tur anjeun bisa ngamimitian instalasi sorangan kalawan paréntah ova-step1, sarta sanggeus parantosan suksés, paréntah ova-step2. Nu penting: ulah ngeureunkeun naskah ku leungeun! Sababaraha léngkah tiasa nyandak waktos anu ageung, panginten henteu réngsé dina usaha anu munggaran, sareng sigana sigana sadayana rusak. Dina naon waé, anjeun kedah ngantosan naskah réngsé sacara alami. Dina tungtungna anjeun kedah ningali pesen anu sami sareng ieu.
Ayeuna urang tungtungna tiasa muka panel kontrol WebUI nganggo IP anu urang terang. Upami konfigurasina henteu dirobih dina panggung, akun standar bakal akar / ChangeMe. Anjeun malah tiasa langsung nganggo panyimpenan anu cocog sareng S3 kami. Éta sayogi dina palabuhan 9020 pikeun HTTP, sareng 9021 pikeun HTTPS. Sakali deui, upami teu aya anu robih, maka access_key: object_admin1 sareng secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Tapi hayu urang teu meunang teuing payun ti diri urang jeung mimitian dina urutan.
Lamun anjeun asup pikeun kahiji kalina, anjeun bakal kapaksa ngarobah sandi anjeun ka hiji nyukupan, nu bener bener. Dasbor utama jelas pisan, janten hayu urang ngalakukeun anu langkung narik tibatan ngajelaskeun métrik anu atra. Salaku conto, hayu urang nyiptakeun pangguna anu bakal kami anggo pikeun ngaksés panyimpenan. Di dunya panyadia jasa, ieu disebut nyewa. Hal ieu dilakukeun dina Atur> Pamaké> Pamaké Obyék Anyar
Nalika nyieun pamaké, urang dipenta pikeun nangtukeun ngaranspasi. Téhnisna, teu aya anu ngahalangan urang pikeun nyiptakeun saloba-lobana sabab aya pangguna. Jeung sabalikna. Ieu ngamungkinkeun anjeun pikeun ngatur sumber daya sacara mandiri pikeun unggal panyewa.
Sasuai, urang milih fungsi anu urang peryogikeun sareng ngahasilkeun konci pangguna. S3 / Atmos bakal cukup keur kuring. Sarta ulah poho pikeun nyimpen konci 😉
Pamaké geus dijieun, ayeuna waktuna pikeun allocate ember ka anjeunna. Pindah ka Atur> Ember sareng eusian widang anu diperyogikeun. Sagalana basajan di dieu.
Ayeuna urang gaduh sagalana siap pikeun pamakéan cukup ngempur gudang S3 urang.
Nyetél Veeam
Janten, sakumaha anu urang émut, salah sahiji kagunaan utama pikeun neundeun obyék nyaéta neundeun inpormasi jangka panjang anu jarang diakses. Conto idéal nyaéta kabutuhan pikeun nyimpen cadangan dina situs anu jauh. Dina Nyadangkeun & Réplikasi Veeam fitur ieu disebut Capacity Tier.
Hayu urang mimitian nyetél ku nambahkeun Dell ECS CE kami ka panganteur Veeam. Dina tab Infrastruktur Nyadangkeun, peluncuran Tambah Wizard Repository Anyar sareng pilih Panyimpenan Objék.
Hayu urang milih naon eta sadayana dimimitian pikeun - S3 Cocog.
Dina jandéla anu nembongan, tulis nami anu dipikahoyong sareng angkat kana léngkah Akun. Di dieu anjeun kudu nangtukeun titik Service dina formulir , wewengkon bisa ditinggalkeun sakumaha anu kasebut sarta pamaké dijieun bisa ditambahkeun. A server Gerbang diperlukeun lamun gudang anjeun lokasina dina situs jauh, tapi ieu geus jadi topik pikeun ngaoptimalkeun infrastruktur sarta artikel misah, sangkan anjeun aman bisa ngaliwatan dieu.
Upami sadayana dieusian sareng dikonpigurasi leres, peringatan ngeunaan sertipikat bakal muncul teras jandela sareng ember dimana anjeun tiasa nyiptakeun polder pikeun file kami.
Urang ngaliwatan wizard nepi ka ahir jeung ngarasakeun hasilna.
Léngkah salajengna nyaéta ngadamel Repository Cadangan Scale-out énggal, atanapi tambahkeun S3 kami ka anu tos aya - éta bakal dianggo salaku Tier Kapasitas pikeun neundeun arsip. Henteu aya fungsi pikeun ngagunakeun panyimpenan anu cocog sareng S3 langsung, sapertos gudang biasa, dina sékrési ayeuna. Loba teuing masalah rada non-écés kudu direngsekeun pikeun ieu lumangsung, tapi nanaon mungkin.
Pindah ka setélan gudang sareng aktipkeun Capacity Tier. Sadayana transparan di dinya, tapi aya nuansa anu pikaresepeun: upami anjeun hoyong sadaya data dikirim ka panyimpenan obyék pas mungkin, setel ka 0 dinten.
Saatos ngaliwat wizard, upami anjeun henteu hoyong ngantosan, anjeun tiasa pencét ctrl + RMB dina gudang, maksa ngaluncurkeun padamelan Tiering sareng ningali grafik ngorondang.
Sakitu wae kanggo ayeuna. Jigana mah hasil dina tugas némbongkeun yén gudang blok teu jadi pikasieuneun salaku jalma pikir. Leres, aya solusi sareng pilihan pikeun gerbong sareng karanjang leutik, tapi anjeun moal tiasa nutupan sadayana dina hiji tulisan. Janten hayu urang bagikeun pangalaman urang dina koméntar.
sumber: www.habr.com