Cîhanê di sala 1996-an de prototîpa yekem a hilanîna tiştan dît. Di nav 10 salan de, Karûbarên Webê yên Amazon dê Amazon S3 dest pê bikin, û cîhan dê bi rengekî sîstematîk bi cîhê navnîşanek şêt dest pê bike. Spas ji xebata bi metadata re û şiyana wê ya pîvandinê bêyî ku di bin barkirinê de biqelişe, hilanîna tiştan zû bû standard ji bo piraniya karûbarên hilanîna daneya ewr, û ne tenê ew. Taybetmendiyek din a girîng ev e ku ew ji bo hilanîna arşîv û pelên wekî kêm kêm têne bikar anîn baş e. Her kesê ku di hilanîna daneyê de beşdar bû şa bû û teknolojiya nû di destên xwe de hilda.
Lê gotegotên mirovan bi gotegotan tije bûn ku hilanîna tiştan tenê li ser ewrên mezin e, û heke hûn hewceyê çareseriyên ji kapîtalîstên lanet nebin, wê hingê ew ê pir dijwar be ku hûn xwe çêbikin. Jixwe gelek tişt di derbarê bicîhkirina ewrê xwe de hatî nivîsandin, lê di derbarê afirandina çareseriyên bi navê S3-hevgirêdayî de agahdariya têr tune.
Ji ber vê yekê, îro em ê fêr bibin ka çi vebijark hene "Ji ber vê yekê ew mîna mezinan be, ne CEPH û pelek mezintir," em ê yek ji wan bicîh bikin, û em ê kontrol bikin ku her tişt bi Veeam Backup & Replication dixebite. Ew îdia dike ku piştgirî dide xebata bi depoyên lihevhatî yên S3 re, û em ê vê îdîayê ceribandinê bikin.
Çi li ser yên din?
Ez pêşniyar dikim ku bi nêrînek piçûk a vebijarkên hilanîna sûkê û tiştan dest pê bikin. Rêberê gelemperî û standarda naskirî Amazon S3 ye. Du şopînerên herî nêzîk Microsoft Azure Blob Storage û IBM Cloud Object Storage ne.
Ma ew hemî ye? Ma bi rastî tu hevrikên din tune? Bê guman, hevrik hene, lê hinek bi xwe re diçin, mîna Google Cloud an Oracle Cloud Object Storage, bi piştgiriya bêkêmasî ya ji bo S3 API. Hin guhertoyên kevntir ên API-ê, mîna Baidu Cloud, bikar tînin. Û hinek, mîna Hitachi Cloud, hewceyê mantiqa taybetî ye, ku bê guman dê bibe sedema dijwariyên xwe. Di her rewşê de, her kes bi Amazon-ê re tête hevber kirin, ku dikare wekî standarda pîşesaziyê were hesibandin.
Lê di çareseriyên serhêl de vebijarkek pir zêde heye, ji ber vê yekê em pîvanên ku ji me re girîng in destnîşan bikin. Di prensîbê de, tenê du bes in: piştgirî ji bo S3 API û karanîna îmzekirina v4. Dest li ser dil, em, wekî xerîdarek pêşerojê, tenê ji bo danûstendinê bi navbeynkariyê re eleqedar dibin, û em ew qas bi metbexa navxweyî ya cîhê hilanînê bixwe ne eleqedar in.
Gelek çareserî li gorî van şertên hêsan in. Mînakî, giraniyên pargîdanî yên klasîk:
- DellEMC ECS
- NetApp S3 StorageGrid
- Buckets Nutanix
- Storage Pure FlashBlade û StorReduce
- Huawei FusionStorage
Cihek çareseriyên nermalava safî hene ku ji qutiyê dixebitin:
- Red Hat Ceph
- SUSE Enterprise Storage
- Cloudian
Û tewra yên ku dixwazin piştî civînê bi baldarî dosya bikin jî aciz nebûn:
- CEPH di forma xweya herî paqij de
- Minio (Guhertoya Linux, ji ber ku di derbarê guhertoya Windows-ê de gelek pirs hene)
Lîsteya ji temambûnê dûr e; ew dikare di şîroveyan de were nîqaş kirin. Tenê ji bîr nekin ku berî bicîhkirinê ji bilî lihevhatina API-ê performansa pergalê kontrol bikin. Tişta paşîn a ku hûn dixwazin ev e ku hûn ji ber pirsên asê mane terabytes daneyê winda bikin. Ji ber vê yekê ji ceribandinên barkirinê şerm nekin. Bi gelemperî, hemî nermalava mezinan ku bi mîqdarên mezin ên daneyê re dixebitin bi kêmî ve raporên lihevhatinê hene. Di rewşê de Veeam e li ser ceribandina hevdu, ku destûrê dide me ku em bi pêbawerî lihevhatina tevahî ya hilberên xwe bi alavên taybetî re ragihînin. Ev jixwe xebatek du alî ye, ne her gav bilez e, lê em bi domdarî berfireh dibin çareseriyên ceribandin.
Standa me kom dikin
Ez dixwazim hinekî li ser hilbijartina mijara testê biaxivim.
Pêşîn, min xwest vebijarkek ku dê rast ji qutiyê bixebite bibînim. Welê, an bi kêmanî bi îhtîmala herî zêde ku ew ê bêyî ku hewce bike ku tevgerên nehewce çêbike bixebite. Dansîna bi tembûrê û bi şev guheztina konsolê pir balkêş e, lê carinan hûn dixwazin ku ew tavilê bixebite. Û pêbaweriya giştî ya çareseriyên weha bi gelemperî bilindtir e. Û erê, ruhê maceraperestiyê di nav me de winda bûye, me dev ji hilkişîna pencereyên jinên xwe yên delal û hwd berda (c).
Ya duyemîn, rast be, hewcedariya xebata bi hilanîna tiştan di pargîdaniyên pir mezin de çêdibe, ji ber vê yekê ev rewş rast e dema ku meriv li çareseriyên di asta pargîdaniyê de ne tenê ne şerm e, lê tewra jî teşwîq e. Di her rewşê de, ez hîna mînakên ku kesek ji ber kirîna çareseriyên weha ji kar hatibin derxistin nizanim.
Li ser bingeha hemî jorîn, bijartina min ket Dell EMC ECS Community Edition. Ev projeyek pir balkêş e, û ez hewce dibînim ku ji we re behsa wê bikim.
Gava ku hûn pêvekê dibînin yekem tiştê ku tê bîra we Edaleya Civaka - ku ev tenê kopiyek ECS-ya bêkêmasî ye ku bi hin qedexeyên ku bi kirîna destûrnameyê têne rakirin. Îcar na!
Bîr bînin:
!!!Çapaneya Civakî projeyek cihê ye ku ji bo ceribandinê hatî afirandin, û bêyî piştgiriya teknîkî ya Dell !!
Û ew nekare bibe ECS-ya bêkêmasî, hetta hûn bi rastî bixwazin.
Ka em pê fêhm bikin
Pir kes bawer dikin ku ger hewcedariya we bi hilanîna tiştan hebe, Dell EMC ECS hema çareseriya çêtirîn e. Hemî projeyên di bin marqeya ECS de, tevî bazirganî û pargîdanî, li ser bingeh in . Cûreyek nîşanek dilxwazî ji Dell. Û ji bilî nermalava ku li ser nermalava wan a binavkirî dimeşe, guhertoyek çavkaniyek vekirî heye ku dikare di ewr de, li ser makîneyek virtual, di konteynerek, an li ser yek ji hardware-ya we de were bicîh kirin. Li pêş çavan, tewra guhertoyek OVA heye, ku em ê bikar bînin.
DELL ECS Community Edition bixwe guhertoyek piçûk a nermalava bêkêmasî ye ku li ser serverên binavkirî yên Dell EMC ECS dimeşîne.
Min çar cudahiyên sereke destnîşan kir:
- Piştgiriya şîfrekirinê tune. Şerm e, lê ne krîtîk e.
- Fabric Layer winda ye. Ev tişt ji avakirina koman, rêveberiya çavkaniyê, nûvekirin, şopandin û hilanîna wêneyên Docker berpirsiyar e. Li vir ew jixwe pir êrîşkar e, lê Dell jî dikare were fêm kirin.
- Encama herî nefret a xala berê: mezinahiya girêk piştî ku sazkirinê qediya nikare were berfireh kirin.
- Piştgiriya teknîkî tune. Ev hilberek ji bo ceribandinê ye, ku ne qedexe ye ku di sazgehên piçûk de were bikar anîn, lê ez bixwe newêrim petabytes daneyên girîng li wir bar bikim. Lê ji hêla teknîkî ve kes nikare we ji vê yekê rawestîne.
Di guhertoya mezin de çi heye?
Werin em li seranserê Ewropayê galop bikin û ji çareseriyên hesinî derbas bibin da ku em têgihîştinek bêkêmasî ya ekosîstemayê bikin.
Ez ê bi rengekî nepejirînim an red bikim ku DELL ECS hilanîna hêmanên pêşîn ên çêtirîn e, lê heke hûn li ser vê mijarê tiştek bibêjin, ez ê kêfxweş bibim ku wê di şîroveyan de bixwînim. Bi kêmanî li gorî versiyonê Dell EMC bi pêbawerî di nav pênc serokên bazara OBS de ye. Her çend çareseriyên bingehîn ên ewr li wir nayên hesibandin jî, ev danûstendinek cûda ye.
Ji hêla teknîkî ve, ECS hilanînek tiştek e ku bi karanîna protokolên hilanîna cloudê gihîştina daneyan peyda dike. AWS S3 û OpenStack Swift piştgirî dike. Ji bo kepçeyên çalak-pelan, ECS ji bo hinartina pel-bi-pelê NFSv3 piştgirî dike.
Pêvajoya tomarkirina agahdariya pir neasayî ye, nemaze piştî pergalên hilanîna blokên klasîk.
- Dema ku daneya nû digihîje, tiştek nû tê afirandin ku navek, data bixwe û metadata heye.
- Tişt li ser perçeyên 128 MB têne dabeş kirin, û her perçeyek yekcar li sê nokan têne nivîsandin.
- Pelê indexê tê nûve kirin, ku li wir nasname û cîhên hilanînê têne tomar kirin.
- Pelê têketinê (têketina têketinê) tê nûve kirin û di sê girêkan de jî tê nivîsandin.
- Peyamek li ser tomarkirina serketî ji xerîdar re tê şandin
Her sê nusxeyên daneyan bi hev re hatine nivîsandin. Tenê heke her sê nusxe bi serketî hatibin nivîsandin serkeftî tê hesibandin.
Xwendin hêsantir e:
- Xerîdar daneyan daxwaz dike.
- Indeks li cîhê ku dane têne hilanîn digere.
- Daneyên ji yek nodek têne xwendin û ji xerîdar re têne şandin.
Bi xwe çend server hene, ji ber vê yekê em li piçûktirîn Dell EMC ECS EX300 binêrin. Ew ji 60TB dest pê dike, bi şiyana ku heya 1,5PB mezin bibe. Û birayê wê yê mezin, Dell EMC ECS EX3000, destûrê dide te ku bi qasî 8,6PB li ser rakê hilîne.
Bikaranîn
Ji hêla teknîkî ve, Dell ECS CE dikare bi qasî ku hûn hez dikin were bicîh kirin. Di her rewşê de, min ti qedexeyên eşkere nedît. Lêbelê, hêsan e ku meriv hemî pîvandinê bi klonkirina girêka yekem pêk bîne, ji bo ku em hewce ne:
- 8 vCPU
- 64GB RAM
- 16 GB ji bo OS
- 1TB hilanîna rasterast
- Daxuyaniya herî dawî ya CentOS mînîmal
Dema ku hûn dixwazin her tiştî ji destpêkê ve saz bikin ev vebijarkek e. Ev vebijêrk ji bo me ne têkildar e, ji ber ku ... Ez ê wêneya OVA ji bo bicîhkirinê bikar bînim.
Lê di her rewşê de, hewcedarî ji bo yek girêk jî pir xirab in, û heke hûn bi tundî nameya qanûnê bişopînin, wê hingê hûn hewceyê çar girêkên weha ne.
Lêbelê, pêşdebirên ECS CE di cîhana rastîn de dijîn, û sazkirin bi yek nodê re jî serketî ye, û hewcedariyên herî kêm ev in:
- 4 vCPU
- 16 GB RAM
- 16 GB ji bo OS
- 104 GB hilanînê bi xwe
Ev çavkaniyên ku ji bo bicîhkirina wêneya OVA hewce ne. Jixwe pir însanîtir û realîsttir e.
Girêdana sazkirinê bixwe dikare ji rayedar were wergirtin . Di heman demê de belgeyên berfireh ên li ser belavkirina hemî-yek-yek jî hene, lê hûn dikarin li ser fermî jî bixwînin . Ji ber vê yekê, em ê bi hûrgulî li ser vebûna OVA nesekinin, li wir hîle tune. Ya sereke ev e ku berî destpêkirina wê, ji bîr nekin ku dîskê bi hêjmara pêwîst berfireh bikin, an jî yên pêwîst pêve bikin.
Em makîneyê dest pê dikin, konsolê vedikin û pêbaweriyên xwerû yên çêtirîn bikar tînin:
- têketin: admin
- şîfre: ChangeMe
Dûv re em sudo nmtui dimeşînin û pêwendiya torê - IP / mask, DNS û dergeh mîheng dikin. Di hişê xwe de ku CentOS mînîmal ne xwediyê net-amûran e, em mîhengan bi navgîniya ip addr kontrol dikin.
Û ji ber ku tenê wêrek deryayan fetih dikin, em nûvekirinek yum dikin, piştî ku em ji nû ve dest pê dikin. Ew bi rastî pir ewledar e ji ber ku ... hemî bicîhkirin bi navgîniya pirtûkên lîstikê ve têne kirin, û hemî pakêtên docker ên girîng li guhertoya heyî têne girtin.
Niha dem hatiye ku skrîpta sazkirinê biguherînin. Ji bo we pencereyên xweşik an pseudo UI tune - her tişt bi edîtorê nivîsa weya bijare tê kirin. Ji hêla teknîkî ve, du rê hene: hûn dikarin her fermanê bi destan bimeşînin an tavilê konfiguratorê vîdyoyê bidin destpêkirin. Ew ê bi tenê veavakirina di vim de veke, û piştî derketinê ew ê dest bi kontrolkirina wê bike. Lê ne balkêş e ku hûn bi zanebûn jiyana xwe hêsan bikin, ji ber vê yekê em du fermanên din bimeşînin. Her çend ev bê wate ye, min we hişyar kir =)
Ji ber vê yekê, ka em vim ECS-CommunityEdition/deploy.xml çêbikin û guheztinên herî kêm ên çêtirîn çêkin da ku ECS rabe û bixebite. Navnîşa pîvanan dikare were kurt kirin, lê min wiya wiha kir:
- Licensed_accepted: rast Hûn ne hewce ne ku wê biguhezînin, wê hingê dema ku hûn bicîh bikin dê bi eşkere ji we were xwestin ku hûn wê qebûl bikin û dê hevokek xweş were destnîşan kirin. Dibe ku ev hêkek Paskalya ye.
- Navên xweser ên rêzan şîrove bikin: û xwerû: Bi kêmanî navek xwestî ji bo girêkê binivîsin - navê mêvandar dê di pêvajoya sazkirinê de bi wî re were guheztin.
- install_node: 192.168.1.1 IP-ya rastîn a nodê diyar bike. Di doza me de, em heman wekî di nmtui de destnîşan dikin
- dns_domain: domaina xwe binivîse.
- dns_servers: dns-ên xwe binivîse.
- ntp_servers: hûn dikarin her yekê diyar bikin. Min ya yekem ku ez pê re ji hewzê hatim girt 0.pool.ntp.org (ew bû 91.216.168.42)
- otonamekirin: xwerû Heke hûn şîrove nekin, dê navê heyvê Luna be.
- ecs_block_devices:
/ dev / sdb
Ji ber hin sedemên nenas, dibe ku amûrek hilanînê ya blokê tune be /dev/vda - storage_pools:
endamên
192.168.1.1 Li vir dîsa em IP-ya rastîn a nodê destnîşan dikin - ecs_block_devices:
/dev/sdb Em operasyona qutkirina cîhazên tine dubare dikin.
Bi gelemperî, tevahiya pelê bi hûrgulî tête diyar kirin , lê kî wê di demek wusa tengahî de bixwîne. Di heman demê de ew dibêje ku ya herî hindik têra diyarkirina IP-ê û maskê ye, lê di laboratûara min de komek wusa bi qelsî dest pê kir, û min neçar ma ku wê li ya ku li jor hatî destnîşan kirin berfireh bikim.
Piştî ku hûn ji edîtorê derketin, hûn hewce ne ku update_deploy /home/admin/ECS-CommunityEdition/deploy.yml bimeşînin, û heke her tişt rast were kirin, ev ê bi eşkere were ragihandin.
Dûv re hûn hîn jî neçar in ku vîdyoployê bimeşînin, li benda nûvekirina jîngehê bisekinin, û hûn dikarin bi fermana ova-step1, û piştî qedandina wê ya serfiraz, fermana ova-step2 dest bi sazkirinê bikin. Girîng: Skrîptan bi destê xwe rawestînin! Hin gav dibe ku demek girîng bigire, dibe ku di ceribandina yekem de neqede, û dibe ku xuya bikin ku her tişt şikestî ye. Di her rewşê de, hûn hewce ne ku li bendê bin ku nivîs bi xwezayî temam bibe. Di dawiyê de divê hûn peyamek bi vî rengî bibînin.
Naha em dikarin di dawiyê de bi karanîna IP-ya ku em dizanin panela kontrolê ya WebUI vekin. Ger veavakirin di qonaxê de nehatibe guhertin, dê hesabê xwerû dê root/ChangeMe be. Tewra hûn dikarin tavilê hilanîna meya lihevhatî ya S3 bikar bînin. Ew li ser portên 9020 ji bo HTTP, û 9021 ji bo HTTPS heye. Dîsa, heke tiştek nehatibe guhertin, wê hingê access_key: object_admin1 û secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Lê bila em zêde pêşî li xwe negirin û bi rêzê dest pê bikin.
Dema ku hûn cara yekem têkevinê, hûn ê neçar bibin ku şîfreya xwe biguhezînin şîfreyek têr, ku bi tevahî rast e. Tabloya sereke zehf zelal e, ji ber vê yekê bila em ji ravekirina metrîkên eşkere tiştek balkêştir bikin. Mînakî, werin em bikarhênerek ku em ê bikar bînin da ku bigihîjin hilanînê biafirînin. Di cîhana pêşkêşkerên karûbar de, ji van re kirêdar tê gotin. Ev di Rêvebir> Bikarhêner> Bikarhênerê Objeya Nû de tê kirin
Dema ku bikarhênerek diafirîne, ji me tê xwestin ku cîhek navekî diyar bikin. Ji hêla teknîkî ve, tiştek nahêle ku em bi qasî bikarhêneran ji wan biafirînin. Û berevajî. Ev dihêle hûn ji bo her kirêdarek serbixwe çavkaniyan birêve bibin.
Li gorî vê yekê, em fonksiyonên ku em hewce ne hildibijêrin û bişkojkên bikarhêner çêdikin. S3 / Atmos dê ji min re bes be. Û ji bîr nekin ku mifteyê hilînin 😉
Bikarhêner hatiye afirandin, naha dema wê ye ku meriv kelek jê re veqetîne. Herin Birêvebirin > Bucket û qadên pêwîst dagirin. Li vir her tişt hêsan e.
Naha me her tişt ji bo karanîna têrker a hilanîna S3 ya me amade ye.
Sazkirina Veeam
Ji ber vê yekê, wekî ku em bîr tînin, yek ji karanîna sereke ya hilanîna tiştan hilanîna agahdariya dirêj-dirêj e ku kêm kêm tê gihîştin. Mînakek îdeal hewcedariya hilanîna paşkêşan li malperek dûr e. Di Veeam Backup & Replication de ji vê taybetmendiyê re Pileya Kapasîteyê tê gotin.
Werin em bi lê zêdekirina Dell ECS CE-ya xwe li navrûya Veeam dest bi sazkirinê bikin. Li ser tabloya Binesaziya Piştgiriyê, Wizard Depoya Nû Zêde bikin û Hilbijartina Objektê hilbijêrin.
Ka em hilbijêrin ka hemî ji bo çi dest pê kir - S3 Compatible.
Di pencereya ku xuya dibe de, navê xwestinê binivîsin û biçin qonaxa Hesabê. Li vir hûn hewce ne ku di formê de xala Xizmetê diyar bikin , herêm dikare wekî xwe were hiştin û bikarhênerê hatî afirandin were zêdekirin. Ger hilanîna we li ser malperek dûr be serverek dergehek pêdivî ye, lê ev jixwe mijarek e ji bo xweşbînkirina binesaziyê û gotarek cihêreng, ji ber vê yekê hûn dikarin bi ewlehî li vir derbaz bikin.
Ger her tişt rast were diyar kirin û mîheng kirin, dê hişyariyek li ser sertîfîkayê xuya bibe û dûv re jî pencereyek bi kepçeyek ku hûn dikarin peldankek ji bo pelên me biafirînin dê xuya bibe.
Em heta dawiyê bi sêrbaz derbas dibin û ji encamê kêfxweş dibin.
Pêngava paşîn ev e ku em depoyek nû ya Scale-out Backup-ê biafirînin, an jî S3-ya xwe li ya heyî zêde bikin - ew ê ji bo hilanîna arşîvê wekî Rêjeya Kapasîteyê were bikar anîn. Di berdana heyî de fonksiyonek tune ku rasterast hilanîna S3-lihevhatî, mîna depoyek birêkûpêk, bikar bîne. Ji bo ku ev çêbibe divê gelek pirsgirêkên ne diyar bêne çareser kirin, lê her tişt gengaz e.
Herin mîhengên depoyê û Qada Kapasîteyê çalak bikin. Li wir her tişt zelal e, lê nuwazeyek balkêş heye: heke hûn dixwazin ku hemî dane di demek zû de ji hilanîna tiştan re bêne şandin, tenê wê li 0 rojan bicîh bikin.
Piştî ku hûn di sêrbazê re derbas bibin, heke hûn nexwazin li bendê bin, hûn dikarin ctrl+RMB li ser depoyê bikirtînin, bi zorê karê Tiering dest pê bikin û li grafîkan temaşe bikin.
Ji bo niha ev hemû. Ez difikirim ku ez di peywirê de bi ser ketim ku nîşan bidim ku hilanîna blokê ne ew qas tirsnak e ku mirov difikire. Erê, çareserî û vebijark ji bo wagon û selikek piçûk hene, lê hûn nekarin her tiştî di yek gotarê de veşêrin. Ji ber vê yekê em di şîroveyan de ezmûna xwe parve bikin.
Source: www.habr.com