Lumela, ke sa tsoa kopana le bothata bo thahasellisang: ho theha polokelo bakeng sa ho boloka palo e kholo ea lisebelisoa thibela.
Beke e 'ngoe le e' ngoe re boloka mechini eohle e fumanehang marung a rona, kahoo re hloka ho khona ho boloka li-backups tse likete le ho li etsa kapele le ka nepo kamoo ho ka khonehang.
Ka bomalimabe, litlhophiso tse tloaelehileng RAID5, RAID6 tabeng ena, re ke ke ra lumelloa ho etsa joalo, kaha ts'ebetso ea ho hlaphoheloa ho li-disk tse kholo joalo ka tsa rona e tla ba nako e telele e bohloko 'me mohlomong e ke ke ea fela.
Ha re shebeng hore na ke mekhoa efe e meng e teng:
- E ts'oana le RAID5, RAID6, empa e na le boemo bo ka lokisoang. Tabeng ena, ho boloka ha ho etsoa thibela ka thibela, empa bakeng sa ntho e 'ngoe le e' ngoe ka thoko. Mokhoa o bonolo oa ho leka ho hlakola likhoutu ke ho holisa .
ke karolo ea ZFS e sa hlahisoang hajoale. Ho fapana le RAIDZ, DRAID e na le "parity block" e ajoang, 'me nakong ea ho hlaphoheloa, e sebelisa li-disk tsohle tsa sehlopha hang-hang, e leng se etsang hore e khone ho pholoha ho hlōleha ha disk le ho hlaphoheloa kapele ka mor'a ho hlōleha.
Seva e teng Fujitsu Primergy RX300 S7 ka processor Intel Xeon CPU E5-2650L 0 @ 1.80GHz, lithupa tse robong tsa RAM Samsung DDR3-1333 8Gb PC3L-10600R ECC E Ngolisitsoe (M393B1K70DH0-YH9), shelofo ea disk Supermicro SuperChassis 847E26-RJBOD1, e hokahaneng ka Dual LSI SAS2X36 Expander le 45 discs Seagage ST6000NM0115-1YZ110 ka 6TB ka 'ngoe.
Pele re etsa qeto ea eng kapa eng, re lokela ho qala ka ho hlahloba ka nepo tsohle.
Ho etsa sena, ke ile ka lokisa le ho lekola litlhophiso tse fapaneng. Ho etsa sena, ke sebelisitse minio, e neng e sebetsa joalo ka S3 backend mme ke e qala ka mekhoa e fapaneng ka lipalo tse fapaneng tsa lipheo.
Ha e le hantle, nyeoe ea minio e ile ea lekoa ho erasure coding vs software raid ka palo e lekanang ea disks le parity ea disks, 'me tsena ke: RAID6, RAIDZ2 le DRAID2.
Bakeng sa tšupiso: ha o qala minio ka sepheo se le seng feela, minio e sebetsa ka mokhoa oa S3 gateway, e fana ka sistimi ea hau ea lehae ka mokhoa oa polokelo ea S3. Haeba o qala minio e hlalosang lipheo tse 'maloa, mokhoa oa Erasure Coding o tla bulela, o tla jala data lipakeng tsa lipehelo tsa hau ha o ntse o fana ka mamello ea liphoso.
Ka ho sa feleng, minio e arola lipehelo ka lihlopha tsa li-disk tse 16, tse nang le likarolo tse 2 ka sehlopha. Tseo. Li-disk tse peli li ka hloleha ka nako e le 'ngoe ntle le ho lahleheloa ke data.
Ho hlahloba ts'ebetso, ke sebelisitse li-disk tsa 16 tsa 6TB ka 'ngoe' me ka ngola lintho tse nyenyane tsa 1MB ka boholo ho tsona, sena se hlalosa ka nepo mojaro oa rona oa ka moso, kaha lisebelisoa tsohle tsa morao-rao tsa bekapo li arola data ka li-block tsa megabyte tse 'maloa ebe li li ngola ka tsela ena.
Ho tsamaisa benchmark, re sebelisitse ts'ebeliso ea s3bench, e qalileng ho seva e hole le ho romela mashome a likete a lintho tse joalo ho minio ka likhoele tse makholo. Ka mor'a moo ke ile ka leka ho li kōpa ka tsela e tšoanang.
Liphetho tsa benchmark li bonts'oa tafoleng e latelang:
Joalo ka ha re bona, minio ka mokhoa oa eona oa ho hlakola likhoutu e sebetsa hampe haholo ha e ngola ho feta minio e mathang ka holim'a software ea RAID6, RAIDZ2 le DRAID2 ka tlhophiso e tšoanang.
Karohano 'na test minio ho ext4 vs XFS. Ho makatsang ke hore bakeng sa mofuta oa ka oa mosebetsi, XFS e bile butle haholo ho feta ext4.
Sehlopheng sa pele sa liteko, Mdadm o bontšitse bophahamo ho feta ZFS, empa hamorao hore o ka ntlafatsa ts'ebetso ea ZFS ka ho beha likhetho tse latelang:
xattr=sa atime=off recordsize=1Mmme kamora moo liteko tsa ZFS li ile tsa ntlafala haholo.
U ka boela ua hlokomela hore DRAID ha e fane ka phaello e ngata ea ts'ebetso ho feta RAIDZ, empa ka khopolo e lokela ho ba e sireletsehileng haholoanyane.
Litekong tse peli tsa ho qetela, ke ile ka boela ka leka ho fetisetsa metadata (e khethehileng) le ZIL (log) seiponeng ho tloha SSD. Empa ho tlosa metadata ha hoa ka ha fana ka phaello e ngata ka lebelo la ho rekota, 'me ha u tlosa ZIL, ka otla siling ka ts'ebeliso ea 100%, kahoo ke nka tlhahlobo ena e hlolehile. Ha ke behelle ka thoko hore haeba ke ne ke e-na le li-drive tsa SSD tse potlakileng, mohlomong sena se ka ntlafatsa liphetho tsa ka haholo, empa, ka bomalimabe, ke ne ke se na tsona.
Qetellong, ke ile ka etsa qeto ea ho sebelisa DRAID 'me ho sa tsotellehe boemo ba eona ba beta, ke tharollo e potlakileng le e sebetsang ka ho fetisisa ea polokelo molemong oa rona.
Ke thehile DRAID2 e bonolo ka tlhophiso e nang le lihlopha tse tharo le likheo tse peli tse ajoang:
# zpool status data
pool: data
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
data ONLINE 0 0 0
draid2:3g:2s-0 ONLINE 0 0 0
sdy ONLINE 0 0 0
sdam ONLINE 0 0 0
sdf ONLINE 0 0 0
sdau ONLINE 0 0 0
sdab ONLINE 0 0 0
sdo ONLINE 0 0 0
sdw ONLINE 0 0 0
sdak ONLINE 0 0 0
sdd ONLINE 0 0 0
sdas ONLINE 0 0 0
sdm ONLINE 0 0 0
sdu ONLINE 0 0 0
sdai ONLINE 0 0 0
sdaq ONLINE 0 0 0
sdk ONLINE 0 0 0
sds ONLINE 0 0 0
sdag ONLINE 0 0 0
sdi ONLINE 0 0 0
sdq ONLINE 0 0 0
sdae ONLINE 0 0 0
sdz ONLINE 0 0 0
sdan ONLINE 0 0 0
sdg ONLINE 0 0 0
sdac ONLINE 0 0 0
sdx ONLINE 0 0 0
sdal ONLINE 0 0 0
sde ONLINE 0 0 0
sdat ONLINE 0 0 0
sdaa ONLINE 0 0 0
sdn ONLINE 0 0 0
sdv ONLINE 0 0 0
sdaj ONLINE 0 0 0
sdc ONLINE 0 0 0
sdar ONLINE 0 0 0
sdl ONLINE 0 0 0
sdt ONLINE 0 0 0
sdah ONLINE 0 0 0
sdap ONLINE 0 0 0
sdj ONLINE 0 0 0
sdr ONLINE 0 0 0
sdaf ONLINE 0 0 0
sdao ONLINE 0 0 0
sdh ONLINE 0 0 0
sdp ONLINE 0 0 0
sdad ONLINE 0 0 0
spares
s0-draid2:3g:2s-0 AVAIL
s1-draid2:3g:2s-0 AVAIL
errors: No known data errorsHo lokile, re hlophisitse polokelo, joale ha re bue ka seo re tla se boloka. Mona ke rata ho bua hang-hang ka litharollo tse tharo tseo ke khonneng ho li leka, 'me tsena ke:
- fereko , tharollo e khethehileng bakeng sa "backup" ea sesebelisoa, e na le kopano e tiileng le Ceph. E ka etsa phapang lipakeng tsa linepe mme ea theha backup e ntseng e eketseha ho tsoa ho tsona. E ts'ehetsa palo e kholo ea li-backends tsa polokelo, ho kenyelletsa le tsa lehae le tsa S3. E hloka database e arohaneng ho boloka tafole ea deduplication hash. Mefokolo: e ngotsoe ka python, e na le cli e sa arabeleng hanyenyane.
- fereko , sesebelisoa sa bekapo se tsebahalang ka nako e telele ebile se netefalitsoe, se ka boloka data le ho e hlakola hantle. E khona ho boloka li-backups sebakeng sa heno le ho seva e hole ka scp. E ka thibela lisebelisoa tsa "backup" haeba e qala ka folakha --special, e 'ngoe ea li-minus: ha ho etsoa bekapo, polokelo e koetsoe ka ho feletseng, kahoo ho kgothaletswa ho etsa polokelo e fapaneng bakeng sa mochine o mong le o mong oa sebele, ha e le hantle sena ha se bothata, ka lehlohonolo ba bōpiloe habonolo haholo.
ke projeke e ntseng e tsoela pele, e ngotsoeng ka potlako, e potlakile ebile e ts'ehetsa palo e kholo ea li-backends tsa polokelo, ho kenyeletsoa polokelo ea lehae, scp, S3 le tse ling tse ngata. Ka thoko, ke rata ho hlokomela hore ho na le e bōpiloeng ka ho khetheha bakeng sa restic, e u lumellang hore u potlakele ho romella sebaka sa polokelo bakeng sa ho sebelisoa u le hole. Ho tsohle tse ka holimo, ke e ratile ka ho fetisisa. E ka boloka backup ho tsoa ho stdin. E batla e se na mefokolo e bonahalang, empa e na le likarolo tse 'maloa:
-
Ntlha ea pele, ke lekile ho e sebelisa ka mokhoa o tloaelehileng oa polokelo bakeng sa mechine eohle ea sebele (joaloka Benji) mme e bile e sebetsa hantle, empa ts'ebetso ea tsosoloso e ile ea nka nako e telele haholo, hobane ... Nako le nako pele e khutlisa, restic e leka ho bala metadata ea li-backups tsohle. Bothata bona bo ile ba rarolloa habonolo, joalo ka borg, ka ho theha polokelo e arohaneng bakeng sa mochini o mong le o mong o fumanehang. Mokhoa ona o ipakile o sebetsa haholo bakeng sa ho laola li-backups hape. Lipolokelo tse arohaneng li ka ba le phasewete e arohaneng bakeng sa ho fihlella data, hape ha rea lokela ho tšaba hore repo ea lefats'e e ka senyeha ka tsela e itseng. U ka hlahisa lipolokelo tse ncha habonolo feela joalo ka ha u etsa backup ea borg.
Leha ho le joalo, deduplication e etsoa feela mabapi le mofuta o fetileng oa "backup"; "backup" e fetileng e khethoa ke tsela ea "backup" e boletsoeng, kahoo haeba u boloka lintho tse fapaneng ho tloha stdin ho ea polokelong e tloaelehileng, u se ke oa lebala ho hlakisa kgetho
--stdin-filename, kapa hlalosa kgetho ka ho hlaka nako le nako--parent.
-
Taba ea bobeli, ho hlaphoheloa ho stdout ho nka nako e telele ho feta ho hlaphoheloa ho sistimi ea faele ka lebaka la sebopeho sa eona se tšoanang. Nakong e tlang, re rera ho eketsa tšehetso e haufi bakeng sa li-backups bakeng sa lisebelisoa tsa block.
-
Ea boraro, hona joale e kgothaletswa ho sebelisa , hobane mofuta 0.9.6 o na le kokoanyana le ho hlaphoheloa nako e telele ea difaele tse kgolo.
Ho lekola katleho ea "backup" le lebelo la ho ngola / ho khutlisa ho tsoa ho "backup", ke thehile polokelo e arohaneng mme ka leka ho boloka setšoantšo se senyenyane sa mochini o fumanehang (21 GB). Li-backups tse peli li entsoe ntle le ho fetola ea mantlha, ho sebelisoa e 'ngoe le e 'ngoe ea tharollo e thathamisitsoeng ho lekola hore na data e kopilitsoeng butle hakae e kopitsoe.
Joalokaha re bona, Borg Backup e na le tekanyo e ntle ka ho fetisisa ea ho boloka bekapo, empa e tlase ho latela lebelo la ho ngola le ho khutlisa.
Restic e ile ea potlaka ho feta Benji Backup, empa ho nka nako e telele ho tsosolosa ho stdout, 'me, ka bomalimabe, ha e e-s'o tsebe ho ngola ka ho toba ho sesebelisoa sa block.
Ka mor'a ho hlahloba melemo le mathata 'ohle, ke ile ka etsa qeto ea ho tsoela pele restic с phomolo-server joalo ka tharollo e bonolo ka ho fetisisa le e ts'episang ea bekapo.
Ho skrineng sena u ka bona kamoo mocha oa 10-gigabit o sebelisoang ka botlalo nakong ea ts'ebetso ea "backup" e 'maloa e sebetsang ka nako e le ngoe. Ke habohlokoa ho hlokomela hore ho tsosolosa ha disk ha ho phahametse 30%.
Ke ile ka thabela ho feta tharollo eo ke e fumaneng!
Source: www.habr.com