Біздің түрік клиенттері деректер орталығының сақтық көшірмесін дұрыс конфигурациялауды сұрады. Біз Ресейде осындай жобаларды жасап жатырмыз, бірақ бұл жерде әңгіме мұны қалай жақсырақ жасау керектігін зерттеу туралы болды.
Берілген: жергілікті S3 жады бар, деректерді нысан жадына жылжыту үшін жаңа кеңейтілген функционалдылыққа ие болған Veritas NetBackup бар, қазір деупликацияны қолдау және осы жергілікті жадта бос орын мәселесі бар.
Тапсырма: резервтік көшірмелерді сақтау процесі жылдам және арзан болатындай етіп жасау.
Шындығында, бұған дейін S3-те барлығы жай ғана файлдар болды және бұл деректер орталығының маңызды машиналарының толық кескіндері болды. Яғни, бұл өте оңтайландырылмаған, бірақ бәрі басында жұмыс істеді. Енді оны анықтап, дұрыс жасау керек.
Суретте не болғанымызды көрсетеді:
Көріп отырғаныңыздай, бірінші сақтық көшірме баяу (70 Мб/с) жасалды, ал сол жүйелердің кейінгі сақтық көшірмелері әлдеқайда жылдам болды.
Шындығында, бұдан әрі қандай мүмкіндіктер бар екендігі туралы қосымша мәліметтер бар.
Демптің жарты бетін оқуға дайын адамдар үшін журналдардың резервтік көшірмесіҚайта сканерлеумен толық
18 ж. 2018:12:09 — Ақпарат bpbkar (pid=43) үдеткіші серверге 4452 байттың 14883996160 байтты жіберді, оңтайландыру 14883994624%
18 жылғы 2018 желтоқсан 12:10:07 - Ақпараттық NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Есеп=PDDO статистикасы (NBCC) үшін (пайдаланылған көп ағынды ағын): сканерленген: 14570817 КБ, CR жіберілген: 1760761 КБ, FC арқылы жіберілген CR: 0 КБ, жойылған: 87.9%, кэш өшірілген
толық
18 ж. 2018:12:13 — Ақпарат bpbkar (pid=18) үдеткіші серверге 2864 байттың 181675008 байтты жіберді, оңтайландыру 14884060160%
18 жылғы 2018 желтоқсан 12:13:40 - Ақпараттық NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Есеп=PDDO статистикасы (NBCC): сканерленген: 14569706 КБ, CR жіберілген: 45145 КБ, FC арқылы жіберілген CR: 0 КБ, жойылған: 99.7%, кэш өшірілген
Көтерілу
18 ж. 2018:12:15 — Ақпарат bpbkar (pid=32) үдеткіші серверге 792 байттың 9970688 байтты жіберді, оңтайландыру 14726108160%
18 жылғы 2018 желтоқсан 12:15:53 - Ақпараттық NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Есеп=PDDO статистикасы (NBCC): сканерленген: 14383788 КБ, CR жіберілген: 15700 КБ, FC арқылы жіберілген CR: 0 КБ, жойылған: 99.9%, кэш өшірілген
толық
18 ж. 2018:12:18 — Ақпарат bpbkar (pid=02) үдеткіші серверге 3496 байттың 171746816 байтты жіберді, оңтайландыру 14884093952%
18 жылғы 2018 желтоқсан 12:18:24 - Ақпараттық NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Есеп=PDDO статистикасы (NBCC): сканерленген: 14569739 КБ, CR жіберілген: 34120 КБ, FC арқылы жіберілген CR: 0 КБ, жойылған: 99.8%, кэш өшірілген
Мәселе неде
Тұтынушылар сақтық көшірмелерді мүмкіндігінше жиі жасап, оларды мүмкіндігінше арзан сақтағысы келеді. Оларды S3 сияқты нысан қоймаларында арзанға сақтаған дұрыс, өйткені олар бір мегабайтқа қызмет көрсету құны бойынша ең арзан болып табылады, ол жерден сақтық көшірмені ақылға қонымды уақытта қайтаруға болады. Сақтық көшірме көп болған кезде ол өте арзан болмайды, өйткені жадтың көп бөлігін бірдей деректердің көшірмелері алады. Түрік әріптестерінің HaaS жағдайында сақтауды шамамен 80-90%-ға тығыздауға болады. Бұл олардың ерекшеліктеріне қатысты екені анық, бірақ мен кем дегенде 50% атаға сенетін едім.
Мәселені шешу үшін негізгі жеткізушілер ұзақ уақыт бойы Amazon S3 шлюздерін жасады. Олардың барлық әдістері Amazon API қолдауымен жергілікті S3-пен үйлесімді. Түрік деректер орталығында сақтық көшірме біздің S3-ге, сондай-ақ Ресейдегі T-III «Компрессорға» жасалған, өйткені бұл жұмыс схемасы біз үшін жақсы жұмыс істеді.
Біздің S3 Amazon S3 сақтық көшірме жасау әдістерімен толығымен үйлесімді. Яғни, осы әдістерді қолдайтын барлық сақтық көшірме құралдары барлығын осындай жадқа «қораптан тыс» көшіруге мүмкіндік береді.
Veritas NetBackup CloudCatalyst мүмкіндігін қосты:
Яғни, сақтық көшірме жасау қажет машиналар мен шлюз арасында аралық Linux сервері бар, ол арқылы SRK агенттерінің резервтік көшірме трафигі өтеді және оны S3-ге көшірмес бұрын дедупликацияланады. Егер бұрын қысумен 30 ГБ 20 резервтік көшірме болса, қазір (машиналардың ұқсастығына байланысты) олардың көлемі 90% аз болды. Депликация механизмі Netbackup көмегімен кәдімгі дискілерде сақтау кезіндегідей пайдаланылады.
Аралық сервер алдында не болады:
Біз сынап көрдік және біздің деректер орталықтарымызда енгізген кезде бұл біз үшін және тұтынушылар үшін S3 жадында орынды үнемдейді деген қорытындыға келдік. Коммерциялық деректер орталықтарының иесі ретінде, әрине, біз жұмыс істейтін көлемге сәйкес ақы аламыз, бірақ бұл біз үшін де өте тиімді - өйткені біз жабдықты жалға алудан емес, бағдарламалық жасақтаманың ауқымды жерлерінен ақша таба бастаймыз. Ал, бұл ішкі шығындардың азаюы.
Журналдар228 жұмыс (0 кезекте 0 белсенді 0 қайталауды күтуде 0 уақытша тоқтатылған 0 аяқталмаған 228 орындалды — 13 таңдалды)
(Сүзгі қолданылды [13])
Тапсырма идентификаторы түрі Күй туралы мәліметтер Күй Тапсырма саясаты Тапсырма кестесі Клиент медиа серверінің басталу уақыты өткен уақыт Аяқталу уақыты Сақтау бірлігі әрекеті Жұмыс килобайттары Файлдар жол аты % Аяқталған (болжалды) Тапсырма PID иесі Көшіру Негізгі тапсырма идентификаторы КБ/сек Белсенді бастау Белсенді профиль өткен робот қоймасы Деректер қозғалысын шығаруға арналған идентификатор медиасы Хосттан тыс түрі Негізгі басымдылық қайталану жылдамдығы Тасымалдау үдеткішін оңтайландыру данасы немесе дерекқорды ортақ пайдалану хосты
— 1358 Snapshot Done 0 VMware — NGNCloudADC NBCC 18 желтоқсан 2018 ж. 12:16:19 00:02:18 18 желтоқсан 2018 ж. 12:18:37 STU_DP_S3_**** сақтық көшірме 1 100 түбірі 1358 18, :2018:12 PM 16:27:00 Жылдам қалпына келтіру дискісі стандартты WIN-*********** 02
1360 сақтық көшірме жасалды 0 VMware толық NGNCloudADC NBCC 18 желтоқсан 2018 ж. 12:16:48 00:01:39 18 желтоқсан 2018 ж. 12:18:27 STU_DP_S3_**** сақтық көшірме 1 14,535,248 түбір 149654 100 23858, 1358 335,098 18 2018 желтоқсан , 12 ж. 16:48:00 01:39:0 Жылдам қалпына келтіру дискісі стандартты WIN-************ 99.8 99% XNUMX%
1352 Snapshot Done 0 VMware - NGNCloudADC NBCC 18 желтоқсан 2018 ж. 12:14:04 00:02:01 18 желтоқсан, 2018 ж. 12:16:05 STU_DP_S3_**** сақтық көшірме 1 100 түп тамыры 1352 18% 2018:12 PM 14:14:00 Жылдам қалпына келтіру дискісі стандартты WIN-*********** 01
1354 Сақтық көшірме жасалды 0 VMware Incremental NGNCloudADC NBCC 18 желтоқсан 2018 ж. 12:14:34 00:01:21 18 желтоқсан, 2018 ж. 12:15:55 STU_DP_S3_**** сақтық көшірме 1 14,380,965 147, 100, 23617 1352 500,817 18 желтоқсан , 2018 ж. 12:14:34 00:01:21 Жылдам қалпына келтіру дискісі стандартты WIN-************ 0 99.9% 100%
1347 Snapshot Done 0 VMware - NGNCloudADC NBCC 18 желтоқсан 2018 ж. 12:11:45 00:02:08 18 желтоқсан, 2018 ж. 12:13:53 STU_DP_S3_**** сақтық көшірме 1 100 түп тамыры 1347 18% 2018:12 PM 11:45:00 Жылдам қалпына келтіру дискісі стандартты WIN-*********** 02
1349 сақтық көшірме жасалды 0 VMware толық NGNCloudADC NBCC 18 желтоқсан 2018 ж. 12:12:02 00:01:41 18 желтоқсан 2018 ж. 12:13:43 STU_DP_S3_**** сақтық көшірме 1 14,535,215 түбір 149653 100 23508, 1347 316,319 18 2018 желтоқсан , 12 ж. 12:02:00 01:41:0 Жылдам қалпына келтіру дискісі стандартты WIN-************ 99.7 99% XNUMX%
1341 Snapshot Done 0 VMware - NGNCloudADC NBCC 18 желтоқсан 2018 ж. 12:05:28 00:04:53 18 желтоқсан, 2018 ж. 12:10:21 STU_DP_S3_**** сақтық көшірме 1 100 түп тамыры 1341 18% 2018:12 PM 05:28:00 Жылдам қалпына келтіру дискісі стандартты WIN-*********** 04
1342 Сақтық көшірме жасалды 0 VMware Full_Rescan NGNCloudADC NBCC 18 желтоқсан, 2018 ж. 12:05:47 00:04:24 18 желтоқсан 2018 ж. 12:10:11 STU_DP_S3_**** сақтық көшірме 1 14,535,151, 149653 100%, 22999 түбір 1341 70,380 18 2018 желтоқсан 12, 05 ж. 47:00:04 24:0:87.9 Жылдам қалпына келтіру дискісі стандартты WIN-************ 0 XNUMX% XNUMX%
1339 Snapshot Done 150 VMware - NGNCloudADC NBCC 18 желтоқсан 2018 ж. 11:05:46 00:00:53 18 желтоқсан 2018 ж. 11:06:39 STU_DP_S3_**** сақтық көшірме 1 100 түбіртек 1339:18 AM 2018:11:05 Жылдам қалпына келтіру дискісі стандартты WIN-************** 46
1327 Snapshot Done 0 VMware - *******.********.cloud NBCC 17 жылғы 2018 желтоқсан 12:54:42 05:51:38 17 жылғы 2018 желтоқсан 6:46:20 STU_DP_S3_**** сақтық көшірме 1 100% түбір 1327 17 желтоқсан 2018 ж. 12:54:42 05:51:38 Жылдам қалпына келтіру дискісі стандартты WIN-************* 0
1328 Сақтық көшірме жасалды 0 VMware толық *******.********.cloud NBCC 17 жылғы 2018 желтоқсан 12:55:10 05:29:21 17 желтоқсан 2018 ж. 6:24:31 STU_DP_S3_**** сақтық көшірме 1 222,602,719 258932 100% 12856 түбір 1327 11,326 17 ж. 2018 желтоқсан 12:55:10 05:29:21 Instant Recovery Disk ***** 0. WIN-Стандартты *****87.9. 0%
1136 Snapshot Done 0 VMware - *******.********.cloud NBCC 14 жылғы 2018 желтоқсан 4:48:22 04:05:16 14 жылғы 2018 желтоқсан 8:53:38 STU_DP_S3_**** сақтық көшірме 1 100% түбір 1136 14 желтоқсан 2018 ж. 4:48:22 04:05:16 Жылдам қалпына келтіру дискісі стандартты WIN-************* 0
1140 Сақтық көшірме жасалды 0 VMware Full_Scan *******.********.cloud NBCC 14 жылғы 2018 желтоқсан 4:49:14 03:49:58 14 жылғы 2018 желтоқсан 8:39:12 STU_DP_S3_**** сақтық көшірме 1 217,631,332 255465 100% 26438 түбір 1136 15,963 14 желтоқсан 2018 ж. 4:49:14 03:49:58 Instant Recovery Disk *****0 стандартты *****45.2. 0%
Үдеткіш агенттерден келетін трафикті азайтуға мүмкіндік береді, өйткені Тек деректер өзгерістері жіберіледі, яғни тіпті толық сақтық көшірмелер толығымен жүктеп салынбайды, өйткені медиа сервер қосымша сақтық көшірмелерден кейінгі толық сақтық көшірмелерді жинайды.
Аралық серверде деректердің «кэшін» жазатын және дедупликация үшін мәліметтер базасын жүргізетін өз қоймасы бар.
Толық архитектура келесідей көрінеді:
- Негізгі сервер конфигурацияны, жаңартуларды және т.б. басқарады және бұлтта орналасқан.
- Медиа сервер (аралық *nix машинасы) желіге қолжетімділік тұрғысынан артық жүйелерге ең жақын орналасуы керек. Мұнда барлық резервтелген машиналардағы сақтық көшірмелердің қайталануы орындалады.
- Сақтық көшірме жасалған машиналарда әдетте медиа серверге оның қоймасында жоқ нәрсені ғана жіберетін агенттер бар.
Барлығы толық сканерлеуден басталады - бұл толыққанды толық резервтік көшірме. Осы кезде медиа-сервер барлығын алып, оны қайталап, S3-ге тасымалдайды. Медиа сервердің жылдамдығы төмен, бірақ одан жоғары. Негізгі шектеу сервердің есептеу қуаты болып табылады.
Келесі сақтық көшірмелер барлық жүйелер тұрғысынан толық жасалған, бірақ іс жүзінде олар синтетикалық толық сақтық көшірмелер сияқты. Яғни, медиа серверге нақты тасымалдау және жазу бұрын VM сақтық көшірмелерінде әлі кездеспеген деректер блоктарында ғана орын алады. Тек хэші медиа сервердің қайталанатын дерекқорында жоқ деректер блоктары ғана S3 форматында тасымалданады және жазылады. Қарапайым сөзбен айтқанда, бұл бір VM сақтық көшірмесінде бұрын-соңды болмаған нәрсе.
Қалпына келтіру кезінде медиа сервер S3 ішінен қажетті дедупликацияланған нысандарды сұрайды, оларды регидратациялайды және IRB агенттеріне тасымалдайды, яғни. қалпына келтіру кезінде трафик көлемін ескеру қажет, ол қалпына келтірілетін деректердің нақты көлеміне тең болады.
Мұнда қалай көрінеді:
Міне, тағы бір бөренелер169 жұмыс (0 кезекте 0 белсенді 0 қайталауды күтуде 0 уақытша тоқтатылған 0 аяқталмаған 169 орындалды — 1 таңдалды)
Тапсырма идентификаторы түрі Күй туралы мәліметтер Күй Тапсырма саясаты Тапсырма кестесі Клиент медиа серверінің басталу уақыты өткен уақыт Аяқталу уақыты Сақтау бірлігі әрекеті Жұмыс килобайттары Файлдар жол аты % Аяқталған (болжалды) Тапсырма PID иесі Көшіру Негізгі тапсырма идентификаторы КБ/сек Белсенді бастау Белсенді профиль өткен робот қоймасы Деректер қозғалысын шығаруға арналған идентификатор медиасы Хосттан тыс түрі Негізгі басымдылық қайталану жылдамдығы Тасымалдау үдеткішін оңтайландыру данасы немесе дерекқорды ортақ пайдалану хосты
- 1372 Қалпына келтіру аяқталды 0 NBPR01 NBCC 19 желтоқсан 2018 ж. 1:05:58 00:04:32 19 желтоқсан 2018 ж. 1:10:30 1 14,380,577 1 100% OT 8548c. 1372 70,567:19 :2018 PM 1:06:00 ҰТУ-************ 00
Деректер тұтастығы S3-тің өзін қорғау арқылы қамтамасыз етіледі - қатты дискінің өлі шпиндельі сияқты аппараттық құралдың ақауларынан қорғау үшін жақсы резервтік бар.
Медиа серверге 4 ТБ кэш қажет - бұл Veritas ұсынған ең аз өлшем. Көбірек - жақсы, бірақ біз солай істедік.
Нәтиже
Серіктес S3 құрылғысына 20 ГБ лақтырған кезде, біз 60 ГБ сақтадық, өйткені біз деректердің үш есе геоброндауын қамтамасыз етеміз. Қазір трафик әлдеқайда аз, бұл арна үшін де, сақтау тарифтері үшін де жақсы.
Бұл жағдайда маршруттар «үлкен Интернет» арқылы жабылады, бірақ сіз Интернет арқылы VPN L2 арқылы трафикті жүргізе аласыз, бірақ медиа серверді провайдер кірер алдында орнатқан дұрыс.
Егер сіз біздің ресейлік деректер орталықтарында осы мүмкіндіктер туралы білгіңіз келсе немесе үйде енгізу туралы сұрақтарыңыз болса, түсініктемелерде немесе электрондық пошта арқылы сұраңыз. [электрондық пошта қорғалған].
Ақпарат көзі: www.habr.com