Dh’ iarr ar teachdaichean Turcach oirnn cùl-taic a dhealbhadh gu ceart airson an ionad dàta aca. Tha sinn a 'dèanamh phròiseactan coltach ris anns an Ruis, ach an seo bha an sgeulachd barrachd mu bhith a' rannsachadh an dòigh as fheàrr air a dhèanamh.
Leis gu bheil stòr S3 ionadail ann, tha Veritas NetBackup ann, a tha air comas-gnìomh leudaichte ùr fhaighinn airson gluasad dàta gu stòradh stuthan, a-nis le taic airson dùblachadh, agus tha duilgheadas ann le àite an-asgaidh anns a’ stòradh ionadail seo.
Gnìomh: a h-uile càil a dhèanamh gus am bi am pròiseas airson lethbhreacan cùl-taic a stòradh luath agus saor.
Gu fìrinneach, roimhe seo, b’ e dìreach faidhlichean a bh’ anns a h-uile dad ann an S3, agus bha iad sin nan casan iomlan de dh’ innealan èiginneach an ionaid dàta. Is e sin, chan eil e gu math leasaichte, ach dh’ obraich a h-uile dad aig an toiseach. A-nis tha an t-àm ann obrachadh a-mach agus a dhèanamh ceart.
Tha an dealbh a’ sealltainn na thàinig sinn gu:
Mar a chì thu, chaidh a’ chiad chùl-taic a dhèanamh gu slaodach (70 Mb / s), agus bha cùl-taic de na h-aon shiostaman fada nas luaithe.
Gu fìrinneach, nas fhaide air adhart tha beagan a bharrachd fiosrachaidh mu na feartan a th’ ann.
Logaichean cùl-taic dhaibhsan a tha deiseil airson leth-dhuilleag de dump a leughadhAir a lìonadh le ath-sgrùdadh
Dùbhlachd 18, 2018 12:09:43 PM - Chuir luathadair fios bpbkar (pid = 4452) 14883996160 bytes a-mach à 14883994624 bytes chun t-seirbheisiche, optimization 0.0%
18 an Dùbhlachd, 2018 12:10:07 PM - Info NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=Stataidhean PDDO (sruth ioma-snàthainn air a chleachdadh) airson (NBCC): air a sganadh: 14570817 KB, CR air a chuir: 1760761 KB, CR air a chuir thairis FC: 0 KB, dedup: 87.9%, tasgadan à comas
Full
Dùbhlachd 18, 2018 12:13:18 PM - Chuir luathadair fios bpbkar (pid = 2864) 181675008 bytes a-mach à 14884060160 bytes chun t-seirbheisiche, optimization 98.8%
18 an Dùbhlachd, 2018 12:13:40 PM - Fiosrachadh NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=Stataidhean PDDO airson (NBCC): air an sganadh: 14569706 KB, CR air a chuir: 45145 KB, CR air a chuir thairis FC: 0 KB, dedup: 99.7%, tasgadan à comas
Meudachadh
Dùbhlachd 18, 2018 12:15:32 PM - Chuir luathadair fios bpbkar (pid = 792) 9970688 bytes a-mach à 14726108160 bytes chun t-seirbheisiche, optimization 99.9%
18 an Dùbhlachd, 2018 12:15:53 PM - Fiosrachadh NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=Stataidhean PDDO airson (NBCC): air an sganadh: 14383788 KB, CR air a chuir: 15700 KB, CR air a chuir thairis FC: 0 KB, dedup: 99.9%, tasgadan à comas
Full
Dùbhlachd 18, 2018 12:18:02 PM - Chuir luathadair fios bpbkar (pid = 3496) 171746816 bytes a-mach à 14884093952 bytes chun t-seirbheisiche, optimization 98.8%
18 an Dùbhlachd, 2018 12:18:24 PM - Fiosrachadh NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=Stataidhean PDDO airson (NBCC): air an sganadh: 14569739 KB, CR air a chuir: 34120 KB, CR air a chuir thairis FC: 0 KB, dedup: 99.8%, tasgadan à comas
Dè an duilgheadas a th’ ann
Tha luchd-ceannach ag iarraidh cùl-taic a dhèanamh cho tric 's as urrainn agus an stòradh cho saor 's as urrainn. Tha e nas fheàrr an stòradh gu saor ann an stòradh nithean leithid S3, oir is iadsan an fheadhainn as saoire aig cosgais seirbheis gach Megabyte às an urrainn dhut cùl-taic a chuir air ais ann an ùine reusanta. Nuair a tha tòrr cùl-taic ann, chan eil e gu math saor, oir tha lethbhric den aon dàta air a ’mhòr-chuid den stòradh. A thaobh HaaS de cho-obraichean Turcach, faodar stòradh a dhlùthachadh le timcheall air 80-90%. Tha e soilleir gu bheil seo a’ buntainn gu sònraichte ris na mion-fhiosrachadh aca, ach bhithinn gu cinnteach a’ cunntadh air co-dhiù 50% seanair.
Gus an duilgheadas fhuasgladh, tha na prìomh luchd-reic air geataichean a dhèanamh o chionn fhada gu Amazon S3. Tha na dòighean aca uile co-chòrdail ri S3 ionadail fhad ‘s a tha iad a’ toirt taic don Amazon API. Anns an ionad dàta Turcach, thèid cùl-taic a dhèanamh don S3 againn, a bharrachd air an “Compressor” T-III anns an Ruis, leis gu bheil an sgeama obrach seo air obrachadh gu math dhuinn.
Agus tha an S3 againn gu tur co-chòrdail le dòighean cùl-taic Amazon S3. Is e sin, leigidh a h-uile inneal cùl-taic a bheir taic do na dòighean sin dhut a h-uile càil a chopaigeadh gu stòradh mar sin “a-mach às a’ bhogsa. ”
Chuir Veritas NetBackup am feart CloudCatalyst ris:
Is e sin, eadar na h-innealan a dh’ fheumas a bhith air an cumail suas agus an geata, tha frithealaiche Linux eadar-mheadhanach ann tro bheil trafaic cùl-taic bho na riochdairean SRK a’ dol seachad agus air a dhì-dhùblachadh air an itealan mus tèid a ghluasad gu S3. Nam biodh na bu thràithe air cùl-taic 30 de 20 GB le teannachadh, a-nis (air sgàth cho coltach ‘s a tha na h-innealan) tha an tomhas-lìonaidh aca air fàs 90% nas lugha. Tha an einnsean deduplication air a chleachdadh an aon rud ri nuair a thathar a’ stòradh air diosgan àbhaisteach a’ cleachdadh Netbackup.
Seo na thachras ron fhrithealaiche eadar-mheadhanach:
Rinn sinn deuchainn agus thàinig sinn chun cho-dhùnadh, nuair a thèid a chuir an gnìomh anns na h-ionadan dàta againn, gun sàbhail seo àite ann an stòradh S3 dhuinne agus do luchd-ceannach. Mar neach-seilbh ionadan dàta malairteach, gu dearbh, bidh sinn a’ cosg a rèir na tha de dhaoine a’ fuireach, ach tha e fhathast gu math prothaideach dhuinne cuideachd - leis gu bheil sinn a’ tòiseachadh a’ dèanamh airgead air àiteachan nas scalable ann am bathar-bog, agus chan ann air bathar-cruaidh fhaighinn air màl. Uill, agus tha seo na lùghdachadh ann an cosgaisean a-staigh.
Logaichean228 Obraichean (0 Ciudha 0 Gnìomhach 0 A’ feitheamh ri ath-fheuchainn 0 Air a chrochadh 0 Neo-choileanta 228 Dèanta - 13 air an taghadh)
(Filter air a chur an sàs [13])
Seòrsa Id Obrach Stàite Mion-fhiosrachadh Stàite Inbhe Poileasaidh Obrach Clàr-obrach Cliant Meadhanan Frithealaiche Ùine Tòiseachaidh Ùine seachad Deireadh Ùine Stòraidh Aonad Feuch gnìomhachd Kilobytes Files Pathname % Crìochnaichte (Tuairmse) Iob PID Sealbhadair Leth-bhreac Pàrant Id Iob KB/Sec Tòisich Gnìomhach Seisean Pròifil Robot Vault air a dhol seachad ID Meadhanan gus gluasad dàta a chuir a-mach às an t-seòrsa prìomh neach-aoigheachd Ìre dùblachadh ìre dùblachadh còmhdhail Optimization Inbhe no Co-roinn Stòr-dàta
— 1358 Snapshot Done 0 VMware - NGNCloudADC NBCC Dùbhlachd 18, 2018 12:16:19 PM 00:02:18 Dùbhlachd 18, 2018 12:18:37 PM STU_DP_S3_****lethbhreac 1 100 1358 Dùbhlachd 18 root :2018:12 PM 16:27:00 Instant Disk Recovery Standard WIN- *********** 02
1360 Cùl-taic Dèanta 0 VMware Làn NGNCloudADC NBCC 18 Dùbhlachd, 2018 12:16:48 PM 00:01:39 Dùbhlachd 18, 2018 12:18:27 PM STU_DP_S3_****cùl-taic 1 14,535,248 149654 100:23858:1358 PM 335,098 18 2018 an Dùbhlachd , 12 16:48:00 PM 01:39:0 Instant Disk Recovery Standard WIN-************ 99.8 99% XNUMX%
1352 Snapshot Done 0 VMware - NGNCloudADC NBCC Dùbhlachd 18, 2018 12:14:04 PM 00:02:01 Dùbhlachd 18, 2018 12:16:05 PM STU_DP_S3_****cùl-taic 1 100 1352 Dùbhlachd 18: root 2018 12:14 PM 14:00:01 Instant Disk Recovery Standard WIN- *********** 51
1354 Cùl-taic Dèanta 0 VMware Meudachadh NGNCloudADC NBCC Dùbhlachd 18, 2018 12:14:34 PM 00:01:21 Dùbhlachd 18, 2018 12:15:55 PM STU_DP_S3_****lethbhreac glèidhidh 1 14,380,965 147, 100, 23617 % root 1352 500,817 Dùbhlachd 18 , 2018 12:14:34 PM 00:01:21 Instant Disk Recovery Standard WIN-************* 0 99.9% 100%
1347 Snapshot Done 0 VMware - NGNCloudADC NBCC Dùbhlachd 18, 2018 12:11:45 PM 00:02:08 Dùbhlachd 18, 2018 12:13:53 PM STU_DP_S3_****cùl-taic 1 100 1347 Dùbhlachd 18: root 2018 12:11 PM 45:00:02 Instant Disk Recovery Standard WIN- *********** 08
1349 Cùl-taic Dèanta 0 VMware Làn NGNCloudADC NBCC 18 Dùbhlachd, 2018 12:12:02 PM 00:01:41 Dùbhlachd 18, 2018 12:13:43 PM STU_DP_S3_****cùl-taic 1 14,535,215 149653 100:23508:1347 PM 316,319 18 2018 an Dùbhlachd , 12 12:02:00 PM 01:41:0 Instant Disk Recovery Standard WIN-************ 99.7 99% XNUMX%
1341 Snapshot Done 0 VMware - NGNCloudADC NBCC Dùbhlachd 18, 2018 12:05:28 PM 00:04:53 Dùbhlachd 18, 2018 12:10:21 PM STU_DP_S3_****cùl-taic 1 100 1341 Dùbhlachd 18: root 2018 12:05 PM 28:00:04 Instant Disk Recovery Standard WIN- *********** 53
1342 Cùl-taic Dèanta 0 VMware Full_Rescan NGNCloudADC NBCC Dùbhlachd 18, 2018 12:05:47 PM 00:04:24 Dùbhlachd 18, 2018 12:10:11 PM STU_DP_S3_****cùl-taic 1 14,535,151 % freumh 149653 100 22999 Dec 1341 , 70,380 18:2018:12 PM 05:47:00 Instant Disk Recovery Standard WIN-********* 04 24% 0%
1339 Snapshot Done 150 VMware - NGNCloudADC NBCC Dùbhlachd 18, 2018 11:05:46 AM 00:00:53 Dùbhlachd 18, 2018 11:06:39 AM STU_DP_S3_****lethbhreac glèidhidh 1 100 % 1339:18:2018 11:05 AM 46:00:00 Instant Disk Recovery Standard WIN- *********** 53
1327 Snapshot Done 0 VMware - *******.********.cloud NBCC Dec 17, 2018 12:54:42 PM 05:51:38 Dec 17, 2018 6:46:20 PM STU_DP_S3_****cùl-taic 1 100% root 1327 Dùbhlachd 17, 2018 12:54:42 PM 05:51:38 Instant Disk Recovery Standard WIN-********* 0
1328 Cùl-taic Dèanta 0 VMware Làn *******.********.cloud NBCC Dùbhlachd 17, 2018 12:55:10 PM 05:29:21 Dùbhlachd 17, 2018 6:24:31 PM STU_DP_S3_****cùl-taic 1 222,602,719 258932 100% 12856 root 1327 11,326 Dec 17, 2018 12:55:10 PM 05:29:21 Instant Disk Recovery ******** % 0* WIN 87.9%
1136 Snapshot Done 0 VMware - *******.********.cloud NBCC Dec 14, 2018 4:48:22 PM 04:05:16 Dec 14, 2018 8:53:38 PM STU_DP_S3_****cùl-taic 1 100% root 1136 Dùbhlachd 14, 2018 4:48:22 PM 04:05:16 Instant Disk Recovery Standard WIN-********* 0
1140 Cùl-taic Dèanta 0 VMware Full_Scan *******.********.cloud NBCC Dùbhlachd 14, 2018 4:49:14 PM 03:49:58 Dùbhlachd 14, 2018 8:39:12 PM STU_DP_S3_****cùl-taic 1 217,631,332 255465 100% 26438 root 1136 15,963 Dec 14, 2018 4:49:14 PM 03:49:58 Instant Recovery Disk ******** Instant WIN-* 0. 45.2%
Leigidh an luathadair leat trafaic bho riochdairean a lughdachadh, oir Is e dìreach atharrachaidhean dàta a thèid a ghluasad, is e sin, chan eil eadhon cùl-taic slàn air an luchdachadh suas gu tur, leis gu bheil frithealaiche nam meadhanan a’ tional cùl-taic slàn às deidh sin bho chùl-taic mean air mhean.
Tha a stòradh fhèin aig an t-seirbheisiche eadar-mheadhanach, far am bi e a’ sgrìobhadh “tasg” dàta agus a’ cumail stòr-dàta airson dùblachadh.
Tha an ailtireachd iomlan a 'coimhead mar seo:
- Bidh am prìomh fhrithealaiche a’ riaghladh rèiteachadh, ùrachaidhean, msaa agus tha e suidhichte san sgòth.
- Bu chòir am frithealaiche mheadhanan (inneal eadar-mheadhanach *nix) a bhith nas fhaisge air na siostaman gun fheum a thaobh ruigsinneachd lìonra. An seo, thathas a’ dèanamh dì-dhùblachadh cùl-taic bho gach inneal glèidhte.
- Air na h-innealan le taic tha riochdairean ann a bhios mar as trice a’ cur gu frithealaiche nam meadhanan dìreach na rudan nach eil na stòradh.
Bidh e uile a’ tòiseachadh le làn scan - is e cùl-taic làn-chuimseach a tha seo. Aig an ìre seo, bidh frithealaiche nam meadhanan a’ gabhail a h-uile càil, ga dhì-dhùblachadh agus ga ghluasad gu S3. Tha an astar gu frithealaiche nam meadhanan ìosal, ach bhuaithe tha e nas àirde. Is e am prìomh chuingealachadh cumhachd coimpiutaireachd an fhrithealaiche.
Tha na cùl-taic a leanas air an dèanamh coileanta bho shealladh a h-uile siostam, ach gu fìrinneach tha iad rudeigin mar làn chùl-taic synthetigeach. Is e sin, chan eil an gluasad agus an clàradh gu frithealaiche nam meadhanan a’ tachairt ach de na blocaichean dàta sin nach deach fhaicinn fhathast ann an cùl-taic VM roimhe seo. Agus is e dìreach na blocaichean dàta sin aig nach eil hash ann an stòr-dàta dùblachadh frithealaiche nam meadhanan air an gluasad agus air an clàradh ann an S3. Ann am faclan nas sìmplidh, is e seo rudeigin nach fhacas a-riamh ann an cùl-taic de aon VM roimhe seo.
Rè ath-nuadhachadh, bidh frithealaiche nam meadhanan ag iarraidh na stuthan dùblaichte riatanach bho S3, gan ath-hydradachadh agus gan gluasad gu riochdairean IRB, i.e. feumar suim a ghabhail de na tha de thrafaig aig àm ath-nuadhachadh, a bhios co-ionann ris an fhìor mheud de dhàta a thèid ath-nuadhachadh.
Seo cò ris a tha e coltach:
Agus seo pìos eile de logaichean169 Obraichean (0 Ciudha 0 Gnìomhach 0 A’ feitheamh ri ath-fheuchainn 0 Air a chrochadh 0 Neo-choileanta 169 Dèanta - 1 air an taghadh)
Seòrsa Id Obrach Stàite Mion-fhiosrachadh Stàite Inbhe Poileasaidh Obrach Clàr-obrach Cliant Meadhanan Frithealaiche Ùine Tòiseachaidh Ùine seachad Deireadh Ùine Stòraidh Aonad Feuch gnìomhachd Kilobytes Files Pathname % Crìochnaichte (Tuairmse) Iob PID Sealbhadair Leth-bhreac Pàrant Id Iob KB/Sec Tòisich Gnìomhach Seisean Pròifil Robot Vault air a dhol seachad ID Meadhanan gus gluasad dàta a chuir a-mach às an t-seòrsa prìomh neach-aoigheachd Ìre dùblachadh ìre dùblachadh còmhdhail Optimization Inbhe no Co-roinn Stòr-dàta
- 1372 Ath-dhèanamh 0 NBPR01 NBCC Dec 19, 2018 1:05:58 PM 00:04:32 Dec 19, 2018 1:10:30 PM 1 14,380,577 1 100% 8548 1372% 70,567 ROOT 19 2018. 1 :06 PM 00:00:04 WIN-************ 30
Tha ionracas dàta air a dhèanamh cinnteach le dìon S3 fhèin - tha call obrach math ann gus dìon an aghaidh fàilligeadh bathar-cruaidh leithid dealgan cruaidh-chruaidh marbh.
Feumaidh frithealaiche nam meadhanan 4 TB de tasgadan - is e seo moladh meud as ìsle Veritas. Tha barrachd nas fheàrr, ach sin a rinn sinn.
An toradh
Nuair a thilg com-pàirtiche 3 GB a-steach don S20 againn, ghlèidh sinn 60 GB, oir bidh sinn a’ toirt seachad geo-ghlèidhteadh dàta trì-fhillte. A-nis tha mòran nas lugha de thrafaig ann, a tha math an dà chuid airson an t-sianail agus airson cìsean stòraidh.
Anns a ’chùis seo, tha na slighean dùinte seachad air an“ eadar-lìn mòr ”, ach faodaidh tu trafaic a dhràibheadh tro VPN L2 thairis air an eadar-lìn, ach tha e nas fheàrr am frithealaiche meadhanan a chuir a-steach ro inntrigeadh an t-solaraiche.
Ma tha ùidh agad ionnsachadh mu na feartan sin anns na h-ionadan dàta Ruiseanach againn no ma tha ceistean agad mu bhuileachadh aig an taigh, faighnich anns na beachdan no air post-d [post-d fo dhìon].
Source: www.habr.com