хашгет - тоа е бесплатно, со отворен код дупликатор е алатка слична на архивар што ви овозможува значително да ја намалите големината на резервните копии, како и да организирате шеми за поединечни и диференцијални резервни копии и многу повеќе.

Ова е прегледен напис за опишување на карактеристиките. Вистинската употреба на хашгет (прилично едноставна) е опишана во README проект и вики документација.

Споредба

Според законот на жанрот, веднаш ќе започнам со интригата - споредувајќи ги резултатите:

Примерок на податоци
неотпакувана големина
.тар.gz
хашгет.tar.gz

WordPress-5.1.1
43 Mb
11 Mb (26%)
155 Kb ( 0.3% )

Линукс кернелот 5.0.4
934 Mb
161 Mb (20%)
4.7 MB ( 0.5% )

Debian 9 (LAMP) LXC VM
724 Mb
165 Mb (23%)
4.1 MB ( 0.5% )

Позадина за тоа што треба да биде идеална и ефективна резервна копија

Секој пат кога правев резервна копија на свежо креирана виртуелна машина, ме прогонуваше чувството дека правам нешто погрешно. Зошто добивам голема резервна копија од системот, каде што мојата бесценета, непропадлива креативност е еднолиниски index.html со текст „Здраво светот“?

Зошто има 16 MB /usr/sbin/mysqld во мојата резервна копија? Дали навистина е можно на овој свет да ја имам честа да го чувам ова важно досие, а ако не успеам, тоа да биде изгубено за човештвото? Најверојатно не. Се чува на високо доверливи дебиан сервери (чија сигурност и време на работа не може да се споредат со она што можам да го дадам), како и во резервни копии (милиони од нив) на други администратори. Дали навистина треба да создадеме 10+ прва копија од оваа важна датотека за да ја подобриме доверливоста?

Општо земено хашгет и го решава овој проблем. Кога е спакуван, создава многу мала резервна копија. При распакување - целосно отпакуван систем, сличен на она што би било ако tar -c / tar -x. (Со други зборови, ова е пакување без загуби)

Како функционира хашгет

хашгет ги има концептите Package и HashPackage, со нивна помош врши дедупликација.

пакет (пластична кеса). Датотека (обично архива .deb или .tar.gz) што може безбедно да се преземе од Интернет и од која може да се добијат една или повеќе датотеки.

HashPackage — мала JSON-датотека што претставува пакет, вклучувајќи ја URL-адресата на пакетот и збирот на хаш (sha256) на датотеки од него. На пример, за пакет од 5 мегабајти mariadb-сервер-јадрени, големината на хаш-пакетот е само 6 килобајти. Околу илјада пати помалку.

Дедупликација — создавање на архива без дупликат датотеки (ако дедупликаторот знае каде може да се преземе оригиналниот пакет, ги намалува дупликатите од архивата).

Пакување

При пакувањето, сите датотеки од директориумот што се пакува се скенираат, се пресметуваат нивните хаш збирови и ако збирот се најде во некој од познатите HashPackages, тогаш се зачувуваат метаподатоци за датотеката (име, хаш, права за пристап итн.) во посебна датотека .hashget-restore.json, која исто така ќе биде вклучена во архивата.

Во наједноставниот случај, самото пакување не изгледа покомплицирано од катран:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

Отпакување

Отпакувањето се врши во две фази. Прво вообичаеното распакување на катран:

tar -xf mybackup.tar.gz -C /path/to/data

потоа вратете од мрежата:

hashget -u /path/to/data

При обновувањето, hashget ја чита датотеката .hashget-restore.json, ги презема потребните пакети, ги отпакува и ги извлекува потребните датотеки, инсталирајќи ги на потребните патеки, со потребниот сопственик/група/дозволи.

Потешки работи

Она што е опишано погоре е веќе доволно за оние кои „го сакаат како катран, но да го спакуваат мојот Debian на 4 мегабајти“. Ајде да погледнеме покомплексни работи подоцна.

Индексирање

Ако хашгетот воопшто немаше ниту еден HashPackage, тогаш едноставно немаше да може да дедупликира ништо.

Можете исто така да креирате HashPackage рачно (едноставно: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), но постои попогоден начин.

За да го добиете потребниот хаш-пакет, постои сцена индексирање (тоа автоматски се извршува со командата --pack) И хеуристика. При индексирање, хешгетот ја „храни“ секоја пронајдена датотека до сите достапни хеуристики кои се заинтересирани за неа. Хеуристиката потоа може да индексира кој било пакет за да создаде HashPackage.

На пример, хеуристиката на Debian ја сака датотеката /var/lib/dpkg/status и ги детектира инсталираните дебиан пакети, а ако не се индексирани (нема креиран HashPackage за нив), ги презема и ги индексира. Резултатот е многу убав ефект - хешгетот секогаш ефикасно ќе ги дедупликира Debian OS-ите, дури и ако ги имаат најновите пакети.

Датотеки со совети

Ако вашата мрежа користи некои од вашите сопственички пакети или јавен пакет што не е вклучен во хеуристиката за хашгети, можете да додадете едноставна датотека за навестување hashget-hint.json на неа вака:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

Следно, секогаш кога ќе се креира архива, пакетот ќе се индексира (ако не бил претходно), а датотеките на пакетот ќе се отстранат од архивата. Не е потребно програмирање, се може да се направи од vim и да се зачува во секоја резервна копија. Ве молиме имајте предвид дека благодарение на пристапот на хаш сума, ако некои датотеки од пакетот се променат локално (на пример, конфигурациската датотека е променета), тогаш променетите датотеки ќе се зачуваат во архивата „како што е“ и нема да бидат скратени.

Ако некои од вашите сопствени пакети се ажурираат периодично, но промените не се многу големи, можете да навестите само за главните верзии. На пример, во верзијата 1.0 направија навестување посочувајќи на mypackage-1.0.tar.gz, и ќе биде целосно дедупликат, потоа ја објавија верзијата 1.1, која е малку поинаква, но навестувањето не беше ажурирано. Во ред е. Само датотеките што се совпаѓаат (може да се вратат на) верзијата 1.0 се дедупликат.

Хеуристиката што ја обработува датотеката за навестување е добар пример за разбирање на внатрешниот механизам за тоа како функционира хеуристиката. Ги обработува само датотеките hashget-hint.json (или .hashget-hint.json со точка) и ги игнорира сите други. Од оваа датотека, таа одредува која URL-адреса на пакетот треба да се индексира и хашгет ја индексира (ако веќе не го сторил тоа)

Хеш-сервер

Би било доста трудоинтензивно да се изврши целосно индексирање при креирање резервни копии. За да го направите ова, треба да го преземете секој пакет, да го отпакувате и да го индексирате. Затоа хашгет користи шема со Хеш-сервер. Кога ќе се открие инсталиран Debian пакет, доколку не се најде во локалниот HashPackage, прво се прави обид едноставно да се преземе HashPackage од хаш-серверот. И само ако ова не функционира, самиот хашгет го презема и го хешира пакетот (и го прикачува на хаш-серверот, така што тој хаш-сервер го обезбедува во иднина).

HashServer е изборен елемент на шемата, не е критичен, тој служи исклучиво за забрзување и намалување на оптоварувањето на складиштата. Лесно се оневозможува (опционално --hashserver без параметри). Покрај тоа, можете лесно направете свој хаш-сервер.

Инкрементални и диференцијални резервни копии, планирана застареност

хашгет го прави многу лесно да се направи дијаграм инкрементални и диференцијални резервни копии. Зошто не ја индексираме нашата резервна копија (со сите наши уникатни датотеки)? Еден тим --submit и завршивте! Следната резервна копија што ја создава хашгет нема да вклучува датотеки од оваа архива.

Но, ова не е многу добар пристап, бидејќи може да испадне дека при обновувањето ќе треба да ги повлечеме сите резервни копии на хешгет во целата историја (ако секој содржи барем една единствена датотека). Постои механизам за ова планирано застарување на резервните копии. При индексирање, можете да го наведете датумот на истекување на HashPackage --expires 2019-06-01, а по овој датум (од 00:00 часот) нема да се користи. Самата архива не може да се избрише по овој датум (Иако хашгетот може удобно да ги прикаже URL-адресите на сите резервни копии кои се/ќе бидат расипани во моментот или на кој било датум).

На пример, ако направиме целосна резервна копија на 1-ви и ја индексираме со цел живот до крајот на месецот, ќе добиеме шема за диференцијална резервна копија.

Ако ги индексираме новите резервни копии на ист начин, ќе има шема на дополнителни резервни копии.

За разлика од традиционалните шеми, хашгет ви овозможува да користите повеќе основни извори. Резервната копија ќе се намали и со намалување на датотеките од претходните резервни копии (ако има) и со јавните датотеки (што може да се преземе).

Ако поради некоја причина не веруваме во веродостојноста на ресурсите на Debian (https://snapshot.debian.org/) или користи друга дистрибуција, едноставно можеме да направиме целосна резервна копија еднаш со сите пакети, а потоа да се потпреме на неа (со оневозможување на хеуристиката). Сега, ако сите сервери на нашите дистрибуции се покажат недостапни за нас (на интернет за сувенири или за време на зомби апокалипса), но нашите резервни копии се во ред, можеме да се опоравиме од секоја кратка резервна копија на разлики што се потпира само на нашите претходни резервни копии .

Hashget се потпира само на доверливи извори за обновување по ВАША дискреција. Ќе се користат оние што ги сметате за сигурни.

FilePool и Glacier

Механизам FilePool ви овозможува постојано да не контактирате со надворешни сервери за преземање пакети, туку да користите пакети од локален директориум или корпоративен сервер, на пример:

$ hashget -u . --pool /tmp/pool

или

$ hashget -u . --pool http://myhashdb.example.com/

За да направите базен во локален директориум, само треба да креирате директориум и да фрлите датотеки во него, самиот хешгет ќе го најде она што му треба користејќи ги хашовите. За да го направите базенот достапен преку HTTP, треба да креирате симболи на посебен начин; тоа се прави со една команда (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). Самиот HTTP FilePool е статички датотеки, така што секој едноставен веб-сервер може да го опслужува, оптоварувањето на серверот е речиси нула.

Благодарение на FilePool, можете да користите не само http(s) ресурси како основни ресурси, туку и на примерГлечер Амазон.

Откако ќе ја поставиме резервната копија на глечерот, го добиваме неговиот ID за испраќање и го користиме како URL. На пример:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

Сега новите (диференцијални) резервни копии ќе се базираат на оваа резервна копија и ќе бидат пократки. По распакувањето на катран на diffbackup, можеме да видиме на кои ресурси се потпира:

hashget --info /tmp/unpacked/ list

и само користете скрипта за школка за да ги преземете сите овие датотеки од Glacier во базенот и да го извршите вообичаеното обновување: hashget -u /tmp/unpacked —pool /tmp/pool

Дали играта вреди за свеќата?

Во наједноставниот случај, едноставно ќе платите помалку за резервни копии (ако ги складирате некаде во облакот за пари). Можеби многу, многу помалку.

Но, тоа не е единственото нешто. Квантитетот се претвора во квалитет. Можете да го користите ова за да добиете висококвалитетна надградба на вашата резервна шема. На пример, бидејќи нашите резервни копии сега се пократки, можеме да правиме не месечни, туку дневни. Чувајте ги не шест месеци, како порано, туку 5 години. Претходно, го складиравте во бавно, но евтино „ладно“ складирање (Глечер), сега можете да го чувате во топла складиште, од каде што секогаш можете брзо да преземете резервна копија и да ја вратите за неколку минути, а не за еден ден.

Можете да ја зголемите доверливоста на складирањето резервни копии. Ако моментално ги складираме во една складиште, тогаш со намалување на обемот на резервните копии, ќе можеме да ги складираме во 2-3 складишта и да преживееме безболно ако некој од нив се оштети.

Како да се обидете и да започнете да користите?

Одете на страницата gitlab https://gitlab.com/yaroslaff/hashget, инсталирај со една команда (pip3 install hashget[plugins]) и само прочитајте и извршете брз почеток. Мислам дека ќе бидат потребни 10-15 минути за да се направат сите едноставни работи. Потоа можете да се обидете да ги компресирате вашите виртуелни машини, да направите датотеки за навестување ако е потребно за да ја засилите компресијата, да играте со базени, локална база на податоци за хаш и хаш-сервер ако сте заинтересирани, а следниот ден да видите колкава е големината на зголемената резервна копија ќе биде на врвот на вчерашниот.

Извор: www.habr.com