Wateja wetu wa Uturuki walituomba tuweke mipangilio sahihi ya kuhifadhi nakala kwa kituo chao cha data. Tunafanya miradi kama hiyo nchini Urusi, lakini hapa hadithi ilikuwa zaidi juu ya kutafiti jinsi bora ya kuifanya.
Kwa kuzingatia: kuna hifadhi ya ndani ya S3, kuna Veritas NetBackup, ambayo imepata utendakazi mpya uliopanuliwa wa kuhamisha data hadi kwenye hifadhi ya kitu, sasa ikiwa na usaidizi wa kurudisha nyuma, na kuna tatizo la nafasi ya bure katika hifadhi hii ya ndani.
Kazi: kufanya kila kitu ili mchakato wa kuhifadhi nakala za chelezo ni haraka na nafuu.
Kwa kweli, kabla ya hii, kila kitu katika S3 kilikuwa faili tu, na hizi zilikuwa safu kamili za mashine muhimu za kituo cha data. Hiyo ni, haijaboreshwa sana, lakini kila kitu kilifanya kazi mwanzoni. Sasa ni wakati wa kuitambua na kuifanya ipasavyo.
Picha inaonyesha tulichokuja:
Kama unavyoona, chelezo ya kwanza ilifanywa polepole (70 Mb/s), na chelezo zilizofuata za mifumo hiyo hiyo zilikuwa haraka zaidi.
Kwa kweli, zaidi juu kuna maelezo zaidi kidogo juu ya vipengele vilivyopo.
Kumbukumbu za chelezo kwa wale ambao wako tayari kusoma nusu ya ukurasa wa kutupaImejaa upya
Desemba 18, 2018 12:09:43 PM — Kiongeza kasi cha maelezo bpbkar (pid=4452) kilituma baiti 14883996160 kati ya baiti 14883994624 kwa seva, uboreshaji 0.0%
Des 18, 2018 12:10:07 PM - Taarifa NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Ripoti=Takwimu za PDDO (mtiririko wa nyuzi nyingi umetumika) kwa (NBCC): imechanganuliwa: 14570817 KB, CR imetumwa: 1760761 KB, CR ilitumwa kwa FC: 0 KB, dedup: 87.9%, akiba imezimwa
Kamili
Desemba 18, 2018 12:13:18 PM — Kiongeza kasi cha maelezo bpbkar (pid=2864) kilituma baiti 181675008 kati ya baiti 14884060160 kwa seva, uboreshaji 98.8%
Des 18, 2018 12:13:40 PM - Taarifa NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Ripoti=Takwimu za PDDO za (NBCC): zimechanganuliwa: 14569706 KB, CR imetumwa: 45145 KB, CR imetumwa kwa FC: 0 KB, imetolewa: 99.7%, akiba imezimwa
Inapendeza
Desemba 18, 2018 12:15:32 PM — Kiongeza kasi cha bpbkar (pid=792) cha Info kilituma baiti 9970688 kati ya baiti 14726108160 kwenye seva, uboreshaji 99.9%
Desemba 18, 2018 12:15:53 PM - Taarifa NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Ripoti=Takwimu za PDDO za (NBCC): zimechanganuliwa: 14383788 KB, CR imetumwa: 15700 KB, CR imetumwa juu ya FC: 0 KB, imetolewa: 99.9%, akiba imezimwa
Kamili
Desemba 18, 2018 12:18:02 PM — Kiongeza kasi cha maelezo bpbkar (pid=3496) kilituma baiti 171746816 kati ya baiti 14884093952 kwa seva, uboreshaji 98.8%
Des 18, 2018 12:18:24 PM - Taarifa NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Ripoti=Takwimu za PDDO za (NBCC): zimechanganuliwa: 14569739 KB, CR imetumwa: 34120 KB, CR imetumwa kwa FC: 0 KB, imetolewa: 99.8%, akiba imezimwa
Shida ni nini
Wateja wanataka kufanya nakala mara nyingi iwezekanavyo na kuzihifadhi kwa bei nafuu iwezekanavyo. Ni bora kuzihifadhi kwa bei nafuu katika hifadhi za vitu kama vile S3, kwa sababu ndizo za bei nafuu zaidi kwa gharama ya huduma kwa kila Megabyte ambapo unaweza kurejesha nakala rudufu kwa wakati unaofaa. Wakati kuna chelezo nyingi, inakuwa sio nafuu sana, kwa sababu hifadhi nyingi huchukuliwa na nakala za data sawa. Kwa upande wa HaaS ya wenzao wa Kituruki, uhifadhi unaweza kupunguzwa kwa takriban 80-90%. Ni wazi kwamba hii inahusiana hasa na maalum yao, lakini bila shaka ningehesabu babu angalau 50%.
Ili kutatua tatizo, wachuuzi wakuu kwa muda mrefu wamefanya lango la Amazon S3. Njia zao zote zinaendana na S3 ya ndani mradi tu zinaunga mkono API ya Amazon. Katika kituo cha data cha Kituruki, chelezo hufanywa kwa S3 yetu, na vile vile katika "Compressor" ya T-III nchini Urusi, kwani mpango huu wa kazi umefanya kazi vizuri kwetu.
Na S3 yetu inaendana kikamilifu na mbinu mbadala za Amazon S3. Hiyo ni, zana zote za chelezo zinazotumia njia hizi hukuruhusu kunakili kila kitu kwenye hifadhi kama hiyo "nje ya kisanduku."
Veritas NetBackup imeongeza kipengele cha CloudCatalyst:
Hiyo ni, kati ya mashine zinazohitaji kuhifadhiwa na lango, la kati liliwekwa Linux- seva inayoshughulikia trafiki ya chelezo kutoka kwa mawakala wa SRK na kuibadilisha mara moja kabla ya kuihamisha hadi S3. Hapo awali, kulikuwa na chelezo 30 zilizobanwa za GB 20, lakini sasa (kutokana na kufanana kwa mashine), ujazo wao umepunguzwa kwa 90%. Injini ile ile ya uondoaji hutumika kama kwa ajili ya kuhifadhi kwenye diski za kawaida kwa kutumia Netbackup.
Hii ndio hufanyika kabla ya seva ya kati:
Tulijaribu na tukafikia hitimisho kwamba inapotekelezwa katika vituo vyetu vya data, hii huokoa nafasi katika hifadhi ya S3 kwa ajili yetu na kwa wateja. Kama mmiliki wa vituo vya data vya kibiashara, bila shaka, tunatoza kulingana na kiasi kinachochukuliwa, lakini bado ni faida sana kwetu pia - kwa sababu tunaanza kupata pesa kwenye maeneo hatari zaidi katika programu, na si kwa kukodisha vifaa. Naam, na hii ni kupunguza gharama za ndani.
KumbukumbuKazi 228 (0 Zimewekwa kwenye Foleni 0 Imetumika 0 Inasubiri Kujaribu Tena 0 Imesimamishwa 0 Haijakamilika 228 Imekamilika — 13 imechaguliwa)
(Kichujio Kimetumika [13])
Kitambulisho cha Kazi Aina ya Maelezo ya Hali ya Hali ya Sera ya Kazi Ratiba ya Seva ya Mteja wa Vyombo vya Habari Muda wa Kuanza Ulipita Muda wa Mwisho wa Kitengo cha Hifadhi Jaribio la Uendeshaji Faili za Kilobaiti Njia ya Jina % Kamili (Iliyokadiriwa) Mmiliki wa Nafasi ya Kazi ya PID Nakili Kitambulisho cha Kazi cha Mzazi KB/Sekunde Anzisha Kipindi Kilichopita cha Wasifu wa Robot Vault Kitambulisho cha Vyombo vya Kuondoa Uhamishaji wa Data Nje ya Aina Kuu ya Kipaumbele cha Utoaji Kasi ya Uboreshaji wa Kiharakisha cha Usafiri au Seva ya Hifadhidata
— 1358 Snapshot Imekamilika 0 VMware — NGNCloudADC NBCC Des 18, 2018 12:16:19 PM 00:02:18 Des 18, 2018 12:18:37 PM STU_DP_S3_****chelezo 1 100 1358 Dec 18 Dec 2018, 12 16 Dec 27 Dec :00:02 PM 10:0:XNUMX Kiwango cha Kawaida cha Diski ya Urejeshaji Papo Hapo-*********** XNUMX
Hifadhi Nakala ya 1360 Imefanywa 0 VMware Kamili NGNCloudADC NBCC Des 18, 2018 12:16:48 PM 00:01:39 Des 18, 2018 12:18:27 PM STU_DP_S3_****chelezo 1 14,535,248 149654 100 23858 1358 Desemba 335,098 , 18 2018:12:16 PM 48:00:01 Kiwango cha Kawaida cha Diski ya Urejeshaji Papo Hapo-************* 39 0% 99.8%
1352 Snapshot Imekamilika 0 VMware - NGNCloudADC NBCC Des 18, 2018 12:14:04 PM 00:02:01 Des 18, 2018 12:16:05 PM STU_DP_S3_****chelezo 1 100% 1352 Dec 18, 2018 Dec 12 Dec 14 14:00 PM 01:51:0 Kiwango cha Kawaida cha Diski ya Urejeshaji Papo Hapo-*********** XNUMX
1354 Chelezo Imekamilika 0 VMware Incremental NGNCloudADC NBCC Desemba 18, 2018 12:14:34 PM 00:01:21 Desemba 18, 2018 12:15:55 PM STU_DP_S3_****chelezo 1 14,380,965 147 100% 23617 mzizi 1352 500,817 Desemba 18, 2018 12:14:34 PM 00:01:21 Kiwango cha Diski ya Urejeshaji wa Papo Hapo WIN-*********** 0 99.9% 100%
1347 Snapshot Imekamilika 0 VMware - NGNCloudADC NBCC Des 18, 2018 12:11:45 PM 00:02:08 Des 18, 2018 12:13:53 PM STU_DP_S3_****chelezo 1 100% 1347 Dec 18, 2018 Dec 12 Dec 11 45:00 PM 02:08:0 Kiwango cha Kawaida cha Diski ya Urejeshaji Papo Hapo-*********** XNUMX
Hifadhi Nakala ya 1349 Imefanywa 0 VMware Kamili NGNCloudADC NBCC Des 18, 2018 12:12:02 PM 00:01:41 Des 18, 2018 12:13:43 PM STU_DP_S3_****chelezo 1 14,535,215 149653 100 23508 1347 Desemba 316,319 , 18 2018:12:12 PM 02:00:01 Kiwango cha Kawaida cha Diski ya Urejeshaji Papo Hapo-************* 41 0% 99.7%
1341 Snapshot Imekamilika 0 VMware - NGNCloudADC NBCC Des 18, 2018 12:05:28 PM 00:04:53 Des 18, 2018 12:10:21 PM STU_DP_S3_****chelezo 1 100% 1341 Dec 18, 2018 Dec 12 Dec 05 28:00 PM 04:53:0 Kiwango cha Kawaida cha Diski ya Urejeshaji Papo Hapo-*********** XNUMX
1342 Hifadhi Nakala Imekamilika 0 VMware Full_Rescan NGNCloudADC NBCC Des 18, 2018 12:05:47 PM 00:04:24 Des 18, 2018 12:10:11 PM STU_DP_S3_****chelezo 1 14,535,151 % 149653 100 22999 % 1341 70,380 18 2018 Des 12 , 05 47:00:04 PM 24:0:87.9 Kiwango cha Kawaida cha Diski ya Urejeshaji Papo Hapo-*********** 0 XNUMX% XNUMX%
1339 Snapshot Imekamilika 150 VMware - NGNCloudADC NBCC Des 18, 2018 11:05:46 AM 00:00:53 Des 18, 2018 11:06:39 AM STU_DP_S3_****chelezo 1 100: 1339 Dec 18, 2018% 11 Dec 05, 46% 00:00 AM 53:0:XNUMX Ushindi wa Kawaida wa Diski ya Urejeshaji Papo Hapo-*********** XNUMX
1327 Snapshot Imekamilika 0 VMware - *******.********.cloud NBCC Des 17, 2018 12:54:42 PM 05:51:38 Des 17, 2018 6:46:20 PM STU_DP_S3_****chelezo 1 100% mizizi 1327 Des 17, 2018 12:54:42 PM 05:51:38 Ushindi wa Kawaida wa Diski ya Urejeshaji Papo Hapo-*********** 0
1328 Hifadhi Nakala Imefanywa 0 VMware Kamili *******.********.cloud NBCC Des 17, 2018 12:55:10 PM 05:29:21 Des 17, 2018 6:24:31 PM STU_DP_S3_****chelezo 1 222,602,719 258932 100% 12856 mzizi 1327 11,326 Des 17, 2018 12:55:10 PM 05:29:21 Instant Recovery %Disk*0 WIN-87.9 WIN0 XNUMX%
1136 Snapshot Imekamilika 0 VMware - *******.********.cloud NBCC Des 14, 2018 4:48:22 PM 04:05:16 Des 14, 2018 8:53:38 PM STU_DP_S3_****chelezo 1 100% mizizi 1136 Des 14, 2018 4:48:22 PM 04:05:16 Ushindi wa Kawaida wa Diski ya Urejeshaji Papo Hapo-*********** 0
1140 Hifadhi Nakala Imefanywa 0 VMware Kamili_Scan *******.********.cloud NBCC Des 14, 2018 4:49:14 PM 03:49:58 Des 14, 2018 8:39:12 PM STU_DP_S3_****chelezo 1 217,631,332 255465 100% 26438 mzizi 1136 15,963 Des 14, 2018 4:49:14 PM 03:49:58 Diski ya Kurejesha Papo Hapo *Diski ya Urejeshaji Papo Hapo*****0 WIN% **** WIN-45.2 WIN. 0%
Kiongeza kasi hukuruhusu kupunguza trafiki kutoka kwa mawakala, kwa sababu Mabadiliko ya data pekee yanapitishwa, yaani, hata chelezo kamili hazijapakiwa kabisa, kwani seva ya midia hukusanya chelezo kamili zinazofuata kutoka kwa hifadhi rudufu zinazoongezeka.
Seva ya kati ina hifadhi yake mwenyewe, ambapo huandika "cache" ya data na kudumisha hifadhidata kwa ajili ya upunguzaji.
Usanifu kamili unaonekana kama hii:
- Seva kuu inasimamia usanidi, sasisho, nk na iko katika wingu.
- Seva ya midia (mashine ya *nix ya kati) inapaswa kuwa karibu zaidi na mifumo isiyohitajika kulingana na ufikivu wa mtandao. Hapa, upunguzaji wa nakala rudufu kutoka kwa mashine zote zilizohifadhiwa hufanywa.
- Kwenye mashine zilizochelezwa kuna mawakala ambao kwa ujumla hutuma kwa seva ya midia kile ambacho hakiko kwenye hifadhi yake.
Yote huanza na skanning kamili - hii ni nakala kamili kamili. Katika hatua hii, seva ya midia inachukua kila kitu, inatenganisha na kuihamisha kwa S3. Kasi kwa seva ya media ni ya chini, lakini kutoka kwake ni ya juu. Kizuizi kikuu ni nguvu ya kompyuta ya seva.
Hifadhi nakala zifuatazo zimekamilika kutoka kwa mtazamo wa mifumo yote, lakini kwa kweli ni kitu kama chelezo kamili za syntetisk. Hiyo ni, uhamisho halisi na kurekodi kwa seva ya vyombo vya habari hutokea tu ya vizuizi vya data ambavyo bado havijakutana katika chelezo za VM hapo awali. Na ni vile tu vizuizi vya data ambavyo heshi haiko kwenye hifadhidata ya utenganishaji ya seva ya media huhamishwa na kurekodiwa katika S3. Kwa maneno rahisi, hii ni kitu ambacho hakijawahi kuonekana katika chelezo yoyote ya VM moja hapo awali.
Wakati wa kurejesha, seva ya vyombo vya habari inaomba vitu muhimu vya kupunguzwa kutoka kwa S3, huwapa tena na kuwahamisha kwa mawakala wa IRB, i.e. ni muhimu kuzingatia kiasi cha trafiki wakati wa kurejesha, ambayo itakuwa sawa na kiasi halisi cha data kurejeshwa.
Hapa ndivyo inavyoonekana:
Na hapa kuna kipande kingine cha magogoKazi 169 (0 Zimewekwa kwenye Foleni 0 Imetumika 0 Inasubiri Kujaribu Tena 0 Imesimamishwa 0 Haijakamilika 169 Imekamilika — 1 imechaguliwa)
Kitambulisho cha Kazi Aina ya Maelezo ya Hali ya Hali ya Sera ya Kazi Ratiba ya Seva ya Mteja wa Vyombo vya Habari Muda wa Kuanza Ulipita Muda wa Mwisho wa Kitengo cha Hifadhi Jaribio la Uendeshaji Faili za Kilobaiti Njia ya Jina % Kamili (Iliyokadiriwa) Mmiliki wa Nafasi ya Kazi ya PID Nakili Kitambulisho cha Kazi cha Mzazi KB/Sekunde Anzisha Kipindi Kilichopita cha Wasifu wa Robot Vault Kitambulisho cha Vyombo vya Kuondoa Uhamishaji wa Data Nje ya Aina Kuu ya Kipaumbele cha Utoaji Kasi ya Uboreshaji wa Kiharakisha cha Usafiri au Seva ya Hifadhidata
- 1372 Rejesha Imefanywa 0 NBPR01 NBCC Des 19, 2018 1:05:58 PM 00:04:32 Des 19, 2018 1:10:30 PM 1 14,380,577 1 100% 8548 1372 Dec 70,567 ROOT 19 Dec 2018 :1 :06 PM 00:00:04 SHINDA-*********** 30
Uadilifu wa data unahakikishwa na ulinzi wa S3 yenyewe - kuna upungufu mzuri wa kulinda dhidi ya hitilafu za vifaa kama vile spindle ya gari ngumu iliyokufa.
Vyombo vya habari-seva 4 TB ya akiba ni pendekezo la chini kabisa la Veritas. Zaidi ni bora zaidi, lakini ndivyo tulivyofanya.
Jumla ya
Mshirika alipotupa GB 3 kwenye S20 yetu, tulihifadhi GB 60, kwa sababu tunatoa uhifadhi wa kijiografia mara tatu. Sasa kuna trafiki kidogo, ambayo ni nzuri kwa chaneli na kwa ushuru wa uhifadhi.
Katika hali hii, njia zimefungwa kupitia "Intaneti Kubwa", lakini inawezekana kuendesha trafiki kupitia VPN L2 kupitia Intaneti, lakini ni bora kusakinisha seva ya midia kabla ya kuingiza mtoa huduma.
Ikiwa ungependa kujifunza kuhusu vipengele hivi katika vituo vyetu vya data vya Kirusi au una maswali kuhusu kuzitekeleza mahali pako, uliza kwenye maoni au kwa barua pepe kwa ekorotkikh@croc.ru.
Chanzo: mapenzi.com
