Anamneesi, niin sanotusti:
Fujitsu rx300 s6 -palvelin, RAID6 6 1 Tt levyä, XenServer 6.2 asennettuna, useita palvelimia pyörimässä, muun muassa Ubuntu useilla palloilla, 3,5 miljoonaa tiedostoa, 1,5 TB dataa, kaikki tämä kasvaa vähitellen ja turpoaa.
Tehtävä: varmuuskopiointi tiedostopalvelimelta osittain päivittäin, osittain viikoittain.
Meillä on Windows-varmuuskopiokone, jossa on RAID5 (huono standardi järjestelmäyksikkö, jossa RAID-ohjain on sisäänrakennettu emolevyyn) sekä erillinen 2 Tt:n levy tiedostojen nykyisen tilan välikopiointiin. Oli mahdollista käyttää mitä tahansa Linux-jakelua, mutta tämä kone oli jo saatavilla raid arrayllä ja Windows-lisenssillä.
Asenna varapalvelimelle , asetamme "peilin" kaikesta peräkkäisestä kaikista tiedostopalvelinosuuksista kerran päivässä illalla 18 tunnin kuluttua ajamalla se ajastimen läpi.
Tärkeä kohta: kun tallennat erätehtävää, muista valita ”Sulje tehtäväikkuna, kun se on valmis”, muuten prosessit moninkertaistuvat ja moninkertaistuvat.
Heitämme väliaikaiset tiedostot maskipoikkeuksiin: *.dwl, *.dwl2, *.tmp.
FreeFileSync käyttää verkkoa erittäin hyvin, kopiointi tapahtuu useissa säikeissä, nopeus saavuttaa 80 Mbps suuria tiedostoja kopioitaessa, pienistä tiedostoista ei löytynyt estoa.
Arkistointi suoritetaan paikalliselle varmuuskopiopalvelimelle aiemmin käytetyn palvelimen sijaan verkkoarkistoinnin kanssa. Muuten, TheCopier on hieno! Mutta tällaisilla volyymeilla sillä ei yksinkertaisesti ole aikaa siirtää kaikkea, vaikka varmuuskopiossa on 1 Gbps ja tiedosto yksi 2 Gbps (kahden verkkokortin sidos).
Myös aiemmin käytetty , mutta kun tiedostojen määrä ylitti 1,5-2 miljoonaa, se lakkasi toimimasta normaalisti, se ei yksinkertaisesti kestänyt.
Tarvittavien kansioiden arkistointia varten kirjoitamme erätiedoston :
aseta nyt=%AIKA:~0,-3%
aseta nyt=%nyt::=.%
aseta nyt=%nyt: =0%
aseta nyt=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%nyt%
C:"Ohjelmatiedostot"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Ohjelmatiedostot"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Ohjelmatiedostot"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Ohjelmatiedostot"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Ohjelmatiedostot"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Ohjelmatiedostot"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Ohjelmatiedostot"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Ohjelmatiedostot"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:"Ohjelmatiedostot"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:"Ohjelmatiedostot"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - arkiston luominen
:: -tzip tai -t7z - arkistotyyppi (zip on 1.5-2 kertaa nopeampi)
:: -mx=1 — puristussuhde (1 minimi, 9 maksimiarvoa x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - mahdollistaa monisäikeistyksen, jos se ei ole käytössä
:: -mtc=off - poistaa tiedostojärjestelmän aikaleimat käytöstä (tallennettuna, muokattuna jne.)
:: -ssw - pakkaa myös kirjoittamista varten avatut tiedostot
:: -xr!.Sync* - jättää väliaikaiset BtSync-tiedostot arkistoinnin ulkopuolelle jättäen pysyvät tiedostot
Rakenne set now=% ja niin edelleen mahdollistaa tallennusajan muodon tallentamisen tiedostonimeen ilman ongelmia, jotka syntyivät, kun päivän tai kuukauden numero oli alle 10, eli korvaamme nollan.
Kommentti -xr!.Sync* on alkukeino, joka jää jäljelle alunperin käytetystä .
500 Gt:aan ja 700-800 XNUMX tiedostoon asti BTSync toimi edelleen hyvin, synkronoitiin lennossa, mutta nykyisillä volyymeillä se vei paljon muistia ja prosessoriresursseja sekä Ubuntu-tiedostopalvelimessa että Windowsin varmuuskopiossa, jossa sen käynnisti. palvelua, ja myös yksinkertaisesti raiskannut levyjärjestelmän jatkuvalla lukemisella ja kirjoittamisella.
Vaikka arkistointi on 7-zip, arkistoimme sen zip-muodossa alkuperäisen 7z:n sijaan, koska se on paljon nopeampi ja pakkauksessa ei käytännössä ole eroa mx=1:llä, tämä on todettu monilla kokeilla.
Arkistot suoritetaan yksitellen.
Arkistot sisältävä kansio puhdistetaan myös ajoitetulla tehtävällä fpurge-apuohjelmalla, jolloin arkistot jää enintään viikkoa vanhemmiksi.
Tämän seurauksena meillä on kopio edellisen päivän tiedostoista sekä arkistot viime viikolta; FreeFileSync laittaa poistetut tiedostot roskakoriin.
Lähde: will.com