Donya weruh prototipe pisanan saka panyimpenan obyek ing taun 1996. Ing 10 taun, Amazon Web Services bakal ngluncurake Amazon S3, lan jagad bakal mulai edan kanthi sistematis kanthi ruang alamat sing rata. Thanks kanggo nggarap metadata lan kemampuan kanggo skala tanpa kendur ing beban, panyimpenan obyek kanthi cepet dadi standar kanggo umume layanan panyimpenan data awan, lan ora mung kuwi. Fitur penting liyane yaiku cocog kanggo nyimpen arsip lan file sing jarang digunakake. Saben uwong sing melu panyimpenan data bungah lan nganggo teknologi anyar ing tangane.
Nanging gosip wong kebak gosip yen panyimpenan obyek mung babagan awan gedhe, lan yen sampeyan ora butuh solusi saka kapitalis sing dikutuk, mula bakal angel banget nggawe sampeyan dhewe. Akeh sing wis ditulis babagan nyebarake awan sampeyan dhewe, nanging ora cukup informasi babagan nggawe solusi sing cocog karo S3.
Mulane, dina iki kita bakal nemtokake opsi apa ana "Supaya kaya wong diwasa, ora CEPH lan file sing luwih gedhe," kita bakal masang salah siji saka wong-wong mau, lan kita bakal mriksa yen kabeh bisa digunakake kanthi nggunakake Veeam Backup & Replication. Ngaku ndhukung nggarap panyimpenan sing kompatibel karo S3, lan kita bakal nyoba pratelan iki.
Apa karo wong liya?
Aku suggest miwiti karo ringkesan cilik saka pasar lan opsi panyimpenan obyek. Pimpinan lan standar sing diakoni umum yaiku Amazon S3. Loro sing paling cedhak yaiku Microsoft Azure Blob Storage lan IBM Cloud Object Storage.
Iku kabeh? Apa pancene ora ana pesaing liyane? Mesthine, ana saingan, nanging ana sing nganggo cara dhewe, kaya Google Cloud utawa Oracle Cloud Object Storage, kanthi dhukungan sing ora lengkap kanggo S3 API. Sawetara nggunakake versi API lawas, kayata Baidu Cloud. Lan sawetara, kaya Hitachi Cloud, mbutuhake logika khusus, sing mesthi bakal nyebabake kesulitan dhewe. Ing kasus apa wae, saben wong dibandhingake karo Amazon, sing bisa dianggep minangka standar industri.
Nanging ing solusi on-premise ana luwih akeh pilihan, mula ayo nemtokake kritéria sing penting kanggo kita. Ing asas, mung loro cukup: support kanggo S3 API lan nggunakake v4 tondo asto. Tangan ing ati, kita, minangka klien mangsa, mung kasengsem ing antarmuka kanggo interaksi, lan kita ora dadi kasengsem ing pawon internal saka fasilitas panyimpenan dhewe.
Akeh solusi sing cocog karo kahanan sing prasaja iki. Contone, kelas abot perusahaan klasik:
- DellEMC ECS
- NetApp S3 StorageGrid
- Ember Nutanix
- Panyimpenan Murni FlashBlade lan StorReduce
- Huawei FusionStorage
Ana niche solusi piranti lunak murni sing bisa digunakake ing kothak:
- Red Hat Ceph
- Panyimpenan Perusahaan SUSE
- Awan
Lan malah wong-wong sing seneng ngajukake kanthi ati-ati sawise perakitan ora gelo:
- CEPH ing wangun paling murni
- Minio (versi Linux, amarga ana akeh pitakonan babagan versi Windows)
Dhaptar kasebut adoh saka lengkap; bisa dibahas ing komentar. Cukup aja lali mriksa kinerja sistem saliyane kompatibilitas API sadurunge implementasine. Babagan pungkasan sing dikarepake yaiku kelangan terabyte data amarga pitakon sing macet. Dadi aja isin karo tes beban. Umumé, kabeh piranti lunak diwasa sing bisa digunakake kanthi akeh data duwe paling ora laporan kompatibilitas. Ing kasus saka Wis ana babagan uji coba bebarengan, sing ngidini kita kanthi yakin nyatakake kompatibilitas lengkap produk kita karo peralatan tartamtu. Iki wis dadi karya loro-lorone, ora tansah cepet, nanging kita terus-terusan ngembangaken solusi sing dites.
Ngumpul stand kita
Aku arep ngomong sethithik babagan milih subyek tes.
Kaping pisanan, aku pengin golek pilihan sing bisa digunakake langsung saka kothak. Ya, utawa paling ora kanthi kemungkinan maksimal bakal bisa digunakake tanpa kudu nggawe gerakan sing ora perlu. Dancing karo rebana lan tinkering karo console ing wayah wengi banget macem, nanging kadhangkala sampeyan pengin langsung bisa. Lan linuwih sakabèhé solusi kasebut biasane luwih dhuwur. Lan ya, semangat adventurism wis ilang ing kita, kita mandheg munggah menyang jendhela wanita sing ditresnani, lsp. (c).
Kapindho, jujur, kabutuhan kanggo nggarap panyimpenan obyek muncul ing perusahaan sing cukup gedhe, mula iki kedadeyan nalika ndeleng solusi tingkat perusahaan ora mung ora isin, nanging malah diwanti-wanti. Ing kasus apa wae, aku durung ngerti conto sapa wae sing dipecat amarga tuku solusi kasebut.
Adhedhasar kabeh kasebut ing ndhuwur, pilihanku tiba Dell EMC ECS Komunitas Edition. Iki minangka proyek sing menarik banget, lan aku nganggep prelu ngandhani babagan iki.
Wangsulan: Bab ingkang pisanan sing nerangake atine nalika ndeleng add-on Edisi Komunitas - sing iki mung salinan saka ECS lengkap karo sawetara Watesan sing dibusak dening tuku lisensi. Dadi ora!
Elingi:
!!!Edisi Komunitas minangka proyek kapisah sing digawe kanggo nyoba, lan tanpa dhukungan teknis saka Dell!!
Lan ora bisa diowahi dadi ECS lengkap, sanajan sampeyan pengin.
Ayo dipikirake
Akeh wong sing pracaya Dell EMC ECS meh solusi sing paling apik yen sampeyan duwe perlu kanggo panyimpenan obyek. Kabeh proyek ing merek ECS, kalebu komersial lan perusahaan, adhedhasar . A Urut saka patrap goodwill saka Dell. Lan saliyane piranti lunak sing nganggo hardware merek, ana versi open source sing bisa disebarake ing awan, ing mesin virtual, ing wadhah, utawa ing piranti apa wae. Ing ngarep, malah ana versi OVA, sing bakal digunakake.
DELL ECS Community Edition dhewe minangka versi mini saka piranti lunak lengkap sing mlaku ing server Dell EMC ECS merek.
Aku nemtokake papat prabédan utama:
- Ora ana dhukungan enkripsi. Iku isin, nanging ora kritis.
- Lapisan kain ilang. Bab iki tanggung jawab kanggo mbangun kluster, manajemen sumber daya, nganyari, ngawasi lan nyimpen gambar Docker. Iki ngendi iku wis banget nyerang, nanging Dell uga bisa dingerteni.
- Konsekuensi paling njijiki saka titik sadurunge: ukuran simpul ora bisa ditambahi sawise instalasi rampung.
- Ora ana dhukungan teknis. Iki minangka produk kanggo tes, sing ora dilarang digunakake ing instalasi cilik, nanging aku ora bakal wani ngunggah petabyte data penting ing kana. Nanging sacara teknis ora ana sing bisa nyegah sampeyan nindakake iki.
Apa ing versi gedhe?
Ayo gallop ing Eropah lan goleki solusi ironclad supaya bisa ngerteni ekosistem sing luwih lengkap.
Aku ora piye wae konfirmasi utawa mbantah statement sing DELL ECS paling panyimpenan obyek ing prem, nanging yen sampeyan duwe soko kanggo ngomong ing topik iki, Aku bakal seneng maca ing komentar. Paling ora miturut versi Dell EMC yakin ing antarane limang pimpinan pasar OBS. Senajan solusi basis maya ora dijupuk menyang akun ana, iki obrolan kapisah.
Saka sudut pandang teknis, ECS minangka panyimpenan obyek sing nyedhiyakake akses menyang data nggunakake protokol panyimpenan maya. Ndhukung AWS S3 lan OpenStack Swift. Kanggo bucket file-aktif, ECS ndhukung NFSv3 kanggo file-by-file ekspor.
Proses ngrekam informasi cukup ora biasa, utamane sawise sistem panyimpenan blok klasik.
- Nalika data anyar teka, obyek anyar digawe sing duwe jeneng, data dhewe, lan metadata.
- Obyek dipérang dadi potongan 128 MB, lan saben potongan ditulis dadi telung simpul bebarengan.
- File indeks dianyari, ing ngendi pengenal lan lokasi panyimpenan direkam.
- Berkas log (entri log) dianyari lan uga ditulis dadi telung simpul.
- Pesen babagan rekaman sukses dikirim menyang klien
Kabeh telung salinan data ditulis kanthi paralel. Tulisan kasebut dianggep sukses mung yen telung salinan kasebut kasil ditulis.
Maca luwih gampang:
- Klien njaluk data.
- Indeks nggoleki ngendi data disimpen.
- Data diwaca saka siji simpul lan dikirim menyang klien.
Ana sawetara server dhewe, supaya katon ing paling cilik Dell EMC ECS EX300. Diwiwiti saka 60TB, kanthi kemampuan kanggo tuwuh nganti 1,5PB. Lan sadulure, Dell EMC ECS EX3000, ngijini sampeyan kanggo nyimpen minangka akeh minangka 8,6PB saben rak.
nyebarake
Secara teknis, Dell ECS CE bisa disebarake kanthi ukuran sing dikarepake. Ing kasus apa wae, aku ora nemokake watesan sing jelas. Nanging, luwih trep kanggo nindakake kabeh skala kanthi kloning simpul pisanan, sing kita butuhake:
- 8 vCPU
- 64GB RAM
- 16GB kanggo OS
- 1TB panyimpenan langsung
- Rilis paling anyar saka CentOS minimal
Iki minangka pilihan nalika sampeyan pengin nginstal kabeh dhewe saka wiwitan. Opsi iki ora cocog kanggo kita, amarga ... Aku bakal nggunakake gambar OVA kanggo penyebaran.
Nanging ing kasus apa wae, syarat banget ala malah kanggo siji simpul, lan yen sampeyan strictly tindakake layang saka hukum, sampeyan kudu papat kelenjar kuwi.
Nanging, pangembang ECS CE manggon ing jagad nyata, lan instalasi kasebut sukses sanajan siji simpul, lan syarat minimal yaiku:
- 4 vCPU
- 16 GB RAM
- 16 GB kanggo OS
- 104 panyimpenan GB dhewe
Iki minangka sumber daya sing dibutuhake kanggo nyebarake gambar OVA. Wis luwih manusiawi lan nyata.
Node instalasi dhewe bisa dipikolehi saka resmi . Ana uga dokumentasi rinci babagan penyebaran kabeh-ing-siji, nanging sampeyan uga bisa maca ing resmi . Mulane, kita ora bakal manggon kanthi rinci babagan mbukak OVA, ora ana trik ing kana. Ingkang utama yaiku sadurunge miwiti, aja lali nggedhekake disk menyang volume sing dibutuhake, utawa masang sing dibutuhake.
Kita miwiti mesin, bukak konsol lan gunakake kredensial standar sing paling apik:
- mlebu: admin
- sandi: ChangeMe
Banjur kita mbukak sudo nmtui lan ngatur antarmuka jaringan - IP / topeng, DNS lan gapura. Elinga yen CentOS minimal ora duwe net-tools, kita mriksa setelan liwat ip addr.
Lan wiwit mung wani nelukake segara, kita nindakake nganyari yum, sawise kang kita urip maneh. Sejatine cukup aman amarga ... kabeh penyebaran prajurit wis rampung liwat playbooks, lan kabeh paket docker penting dikunci kanggo versi saiki.
Saiki wektune kanggo ngowahi skrip instalasi. Ora ana windows apik utawa UI pseudo kanggo sampeyan - kabeh wis rampung liwat editor teks favorit. Secara teknis, ana rong cara: sampeyan bisa mbukak saben printah kanthi manual utawa langsung miwiti konfigurator videoploy. Iku mung bakal mbukak config ing vim, lan sawise metu iku bakal miwiti mriksa. Nanging ora nyenengake kanthi sengaja nyederhanakake urip sampeyan, mula ayo nindakake rong prentah maneh. Senajan iki ora masuk akal, aku ngelingake sampeyan =)
Dadi, ayo gawe vim ECS-CommunityEdition/deploy.xml lan gawe owah-owahan minimal sing optimal supaya ECS bisa aktif. Dhaptar paramèter bisa disingkat, nanging aku nindakake kaya iki:
- licensed_accepted: bener Sampeyan ora kudu ngganti, banjur nalika deploying sampeyan bakal dijaluk tegas nampa lan bakal ditampilake tembung becik. Mbok iki malah endhog Paskah.
- Uncomment baris autonames: lan adat: Ketik paling siji jeneng sing dikarepake kanggo simpul - hostname bakal diganti karo nalika proses instalasi.
- install_node: 192.168.1.1 Nemtokake IP nyata simpul. Ing kasus kita, kita nuduhake padha ing nmtui
- dns_domain: ketik domain sampeyan.
- dns_servers: ketik dns sampeyan.
- ntp_servers: sampeyan bisa nemtokake siji wae. Aku njupuk sing pisanan aku ketemu saka blumbang 0.pool.ntp.org (dadi 91.216.168.42)
- autonaming: adat Yen sampeyan ora uncomment, rembulan bakal disebut Luna.
- ecs_block_devices:
/ dev / sdb
Kanggo sawetara alasan sing ora dingerteni, bisa uga ana piranti panyimpenan blok / dev / vda sing ora ana - storage_pools:
anggota:
192.168.1.1 Ing kene maneh nuduhake IP nyata simpul kasebut - ecs_block_devices:
/ dev / sdb Kita mbaleni operasi nglereni piranti sing ora ana.
Umumé, kabeh file diterangake kanthi rinci ing , nanging sing bakal maca ing wektu alangan kuwi. Iku uga ngandika sing minimal cekap kanggo nemtokake IP lan topeng, nanging ing Lab sandi pesawat kuwi miwiti munggah rodo kurang, lan aku kudu nggedhekake kanggo siji kasebut ing ndhuwur.
Sawise metu saka editor, sampeyan kudu mbukak update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, lan yen kabeh wis rampung kanthi bener, iki bakal dilaporake kanthi jelas.
Banjur sampeyan isih kudu mbukak videoploy, ngenteni lingkungan nganyari, lan sampeyan bisa miwiti instalasi dhewe karo printah ova-step1, lan sawise rampung sukses, printah ova-step2. Penting: aja mungkasi skrip kanthi tangan! Sawetara langkah bisa njupuk wektu sing signifikan, bisa uga ora rampung ing nyoba pisanan, lan bisa uga katon kaya kabeh rusak. Ing kasus apa wae, sampeyan kudu ngenteni skrip rampung kanthi alami. Ing pungkasan sampeyan kudu ndeleng pesen sing padha karo iki.
Saiki kita pungkasane bisa mbukak panel kontrol WebUI nggunakake IP sing kita kenal. Yen konfigurasi ora diganti ing tataran, akun gawan bakal ROOT / ChangeMe. Sampeyan malah bisa langsung nggunakake panyimpenan sing kompatibel karo S3. Kasedhiya ing port 9020 kanggo HTTP, lan 9021 kanggo HTTPS. Maneh, yen ora ana sing diganti, banjur access_key: object_admin1 lan secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Nanging aja nganti ndhisiki awake dhewe lan miwiti kanthi urutan.
Nalika sampeyan mlebu pisanan, sampeyan bakal kepeksa ngganti tembung sandhi menyang sing nyukupi, sing pancen bener. Dashboard utama jelas banget, mula ayo nindakake sing luwih menarik tinimbang nerangake metrik sing jelas. Contone, ayo nggawe pangguna sing bakal digunakake kanggo ngakses panyimpenan. Ing jagad panyedhiya layanan, iki diarani nyewo. Iki rampung ing Ngatur> Pangguna> Pangguna Obyek Anyar
Nalika nggawe pangguna, kita dijaluk nemtokake spasi jeneng. Secara teknis, ora ana sing ngalang-alangi kita nggawe akeh kaya pangguna. Lan kosok balene. Iki ngidini sampeyan ngatur sumber daya kanthi mandiri kanggo saben penyewa.
Dadi, kita milih fungsi sing dibutuhake lan ngasilake tombol pangguna. S3 / Atmos bakal cukup kanggo kula. Lan ojo lali simpen kuncine 😉
Pangguna wis digawe, saiki wektune kanggo nyedhiyakake ember kanggo dheweke. Pindhah menyang Ngatur> Ember lan isi kolom sing dibutuhake. Kabeh iku prasaja ing kene.
Saiki kita wis siap kabeh kanggo nggunakake cukup pertempuran panyimpenan S3 kita.
Nyetel Veeam
Dadi, kaya sing kita eling, salah sawijining panggunaan utama panyimpenan obyek yaiku panyimpenan jangka panjang informasi sing jarang diakses. Conto becik yaiku perlu kanggo nyimpen serep ing situs remot. Ing Veeam Backup & Replication fitur iki diarani Capacity Tier.
Ayo miwiti nyetel kanthi nambahake Dell ECS CE menyang antarmuka Veeam. Ing tab Infrastruktur Serep, bukak Tambah Wisaya Repositori Anyar banjur pilih Panyimpenan Obyek.
Ayo dadi milih apa iku kabeh diwiwiti kanggo - S3 Kompatibel.
Ing jendhela sing katon, tulis jeneng sing dikarepake lan pindhah menyang langkah Akun. Ing kene sampeyan kudu nemtokake titik Layanan ing formulir kasebut , wilayah bisa ditinggalake lan pangguna sing digawe bisa ditambahake. Server gerbang perlu yen panyimpenan sampeyan ana ing situs sing adoh, nanging iki wis dadi topik kanggo ngoptimalake infrastruktur lan artikel sing kapisah, supaya sampeyan bisa ngliwati kene kanthi aman.
Yen kabeh wis ditemtokake lan dikonfigurasi kanthi bener, peringatan babagan sertifikat bakal katon lan banjur jendhela karo ember ing ngendi sampeyan bisa nggawe folder kanggo file kita.
We mbukak liwat tuntunan kanggo mburi lan seneng asil.
Langkah sabanjure yaiku nggawe Repositori Serep Scale-out anyar, utawa nambahake S3 menyang sing wis ana - bakal digunakake minangka Tier Kapasitas kanggo panyimpenan arsip. Ora ana fungsi kanggo nggunakake panyimpenan kompatibel S3 langsung, kaya repositori biasa, ing release saiki. Kakehan masalah rodo non-jelas kudu ditanggulangi kanggo iki kelakon, nanging apa wae bisa.
Pindhah menyang setelan repositori lan aktifake Capacity Tier. Kabeh ana transparan, nanging ana nuansa sing menarik: yen sampeyan pengin kabeh data dikirim menyang panyimpenan obyek sanalika bisa, setel dadi 0 dina.
Sawise ngliwati tuntunan, yen sampeyan ora pengin ngenteni, sampeyan bisa menet ctrl + RMB ing gudang, kanthi kuat miwiti proyek Tiering lan nonton grafik nyusup.
Semono wae. Aku kasil ing tugas nuduhake sing panyimpenan pemblokiran ora medeni minangka wong mikir. Ya, ana solusi lan opsi kanggo gerbong lan kreta cilik, nanging sampeyan ora bisa nutupi kabeh ing siji artikel. Dadi ayo nuduhake pengalaman kita ing komentar.
Source: www.habr.com