Tha na h-innealan aca fhèin aig àireamh mhòr de thagraidhean Iomairt agus siostaman mas-fhìor airson fuasglaidhean fulangach air lochdan a thogail. Gu sònraichte, tha Oracle RAC (Oracle Real Application Cluster) na bhuidheann de dhà no barrachd luchd-frithealaidh stòr-dàta Oracle ag obair còmhla gus luchd a chothromachadh agus fulangas locht a thoirt seachad aig ìre an fhrithealaiche / tagraidh. Gus obrachadh sa mhodh seo, feumaidh tu stòradh co-roinnte, a tha mar as trice na shiostam stòraidh.
Mar a tha sinn air bruidhinn mu thràth ann an aon de ar , tha puingean fàilligeadh fhathast aig an t-siostam stòraidh fhèin, a dh’ aindeoin làthaireachd phàirtean dùblaichte (a ’toirt a-steach luchd-riaghlaidh) - gu sònraichte ann an cruth aon sheata de dhàta. Mar sin, gus fuasgladh Oracle a thogail le barrachd riatanasan earbsachd, feumaidh an sgeama “N servers - one storage system” a bhith iom-fhillte.
An toiseach, gu dearbh, feumaidh sinn co-dhùnadh dè na cunnartan a tha sinn a’ feuchainn ri àrachas nan aghaidh. San artaigil seo, cha bheachdaich sinn air dìon an aghaidh bagairtean mar “tha meteorite air ruighinn.” Mar sin bidh togail fuasgladh ath-bheothachadh mòr-thubaist a tha sgapte air feadh na sgìre fhathast na chuspair airson aon de na h-artaigilean a leanas. An seo seallaidh sinn ris an fhuasgladh ath-bheothachaidh mòr-thubaist Cross-Rack, nuair a thèid dìon a thogail aig ìre caibineatan frithealaiche. Faodar na cabinets fhèin a shuidheachadh anns an aon rùm no ann an feadhainn eadar-dhealaichte, ach mar as trice taobh a-staigh an aon togalach.
Feumaidh an seata iomlan de uidheamachd agus bathar-bog a bhith anns na caibineatan sin a leigeas le stòran-dàta Oracle obrachadh a dh’ aindeoin staid an “nàbaidh”. Ann am faclan eile, a’ cleachdadh fuasgladh ath-bheothachadh mòr-thubaist Cross-Rack, bidh sinn a’ cuir às do chunnartan fàiligeadh:
- Oracle frithealaichean aplacaid a
- Siostaman stòraidh
- Siostaman tionndaidh
- Fàilligeadh iomlan a h-uile uidheamachd sa chaibineat:
- Diùltadh cumhachd
- Fàilligeadh an t-siostam fuarachaidh
- Factaran bhon taobh a-muigh (daonna, nàdar, msaa)
Tha dùblachadh frithealaichean Oracle a’ ciallachadh prionnsapal fìor obrachaidh Oracle RAC agus air a bhuileachadh tro thagradh. Chan eil dùblachadh goireasan suidse cuideachd na dhuilgheadas. Ach le dùblachadh an t-siostam stòraidh, chan eil a h-uile dad cho sìmplidh.
Is e an roghainn as sìmplidh ath-riochdachadh dàta bhon phrìomh shiostam stòraidh gu cùl-taic. Synchronous no asyncronach, a rèir comasan an t-siostam stòraidh. Le ath-riochdachadh asyncronach, tha a’ cheist ag èirigh sa bhad mu bhith a’ dèanamh cinnteach à cunbhalachd dàta a thaobh Oracle. Ach eadhon ged a tha amalachadh bathar-bog leis an tagradh, co-dhiù, ma tha fàilligeadh air a’ phrìomh shiostam stòraidh, bidh feum air eadar-theachd làimhe le luchd-rianachd gus am buidheann atharrachadh gu stòradh cùl-taic.
Is e roghainn nas iom-fhillte “virtualizers” bathar-bog agus/no stòradh bathar-cruaidh a chuireas às do dhuilgheadasan cunbhalachd agus eadar-theachd làimhe. Ach tha iom-fhillteachd cleachdadh agus rianachd às deidh sin, a bharrachd air cosgais fìor dhùrachdach fuasglaidhean mar sin, a’ dì-mhisneachadh mòran.
Tha am fuasgladh AccelStor NeoSapphire ™ All Flash array foirfe airson suidheachaidhean leithid ath-bheothachadh mòr-thubaist Cross-Rack a’ cleachdadh ailtireachd Shared-Nothing. Tha am modail seo na shiostam stòraidh dà-nód a bhios a’ cleachdadh teicneòlas seilbhe FlexiRemap® gus obrachadh le draibhearan flash. Taing dha Tha NeoSapphire ™ H710 comasach air coileanadh a lìbhrigeadh suas gu 600K IOPS@4K sgrìobhadh air thuaiream agus 1M + IOPS@4K air a leughadh air thuaiream, nach gabh a choileanadh nuair a bhios tu a’ cleachdadh siostaman stòraidh clasaigeach stèidhichte air RAID.
Ach is e prìomh fheart NeoSapphire ™ H710 dà nod a chuir gu bàs ann an cruth chùisean fa leth, agus tha leth-bhreac fhèin den dàta aig gach fear dhiubh. Tha sioncronadh nodan air a dhèanamh tron eadar-aghaidh InfiniBand taobh a-muigh. Taing don ailtireachd seo, tha e comasach nodan a sgaoileadh gu diofar àiteachan aig astar suas ri 100m, agus mar sin a’ toirt seachad fuasgladh ath-bheothachaidh mòr-thubaist Cross-Rack. Bidh an dà nòta ag obair gu tur gun choimeas. Bho thaobh an aoigheachd, tha an H710 coltach ri siostam stòraidh dà-smachd àbhaisteach. Mar sin, chan eil feum air roghainnean bathar-bog no bathar-cruaidh a bharrachd no suidheachaidhean sònraichte iom-fhillte a dhèanamh.
Ma nì sinn coimeas eadar na fuasglaidhean ath-bheothachaidh mòr-thubaist Cross-Rack a chaidh a mhìneachadh gu h-àrd, tha an roghainn bho AccelStor a ’seasamh a-mach gu sònraichte bhon chòrr:
AccelStor NeoSapphire ™ Ailtireachd gun dad co-roinnte
Siostam stòraidh “virtualizer” bathar-bog no bathar-cruaidh
Fuasgladh stèidhichte air ath-riochdachadh
Ri fhaotainn
Dh'fhàillig am frithealaiche
Gun ùine dùnaidh
Gun ùine dùnaidh
Gun ùine dùnaidh
Switch teip
Gun ùine dùnaidh
Gun ùine dùnaidh
Gun ùine dùnaidh
Milleadh siostam stòraidh
Gun ùine dùnaidh
Gun ùine dùnaidh
Downtime
Fàilligeadh caibineat iomlan
Gun ùine dùnaidh
Gun ùine dùnaidh
Downtime
Cosgais agus iom-fhillteachd
Cosgais fuasglaidh
Ìosal*
Высокая
Высокая
Iom-fhillteachd cleachdadh
Ìosal
Высокая
Высокая
* Tha AccelStor NeoSapphire ™ fhathast na raon All Flash, nach eil a rèir mìneachadh a’ cosg “3 kopecks,” gu sònraichte leis gu bheil tèarmann comas dùbailte aige. Ach, nuair a thathar a 'dèanamh coimeas eadar cosgais deireannach fuasgladh stèidhichte air le feadhainn coltach ri luchd-reic eile, faodar a' chosgais a mheas ìosal.
Bidh an topology airson a bhith a’ ceangal frithealaichean tagraidh agus a h-uile nod sreath Flash a’ coimhead mar seo:
Nuair a bhios tu a’ dealbhadh an topology, thathas cuideachd a’ moladh gu mòr suidsichean riaghlaidh a dhùblachadh agus frithealaichean eadar-cheangailte.
An seo às deidh sin bruidhnidh sinn mu cheangal tro Fiber Channel. Ma chleachdas tu iSCSI, bidh a h-uile dad mar an ceudna, air atharrachadh airson na seòrsaichean suidsichean a thathar a’ cleachdadh agus suidheachaidhean sreath beagan eadar-dhealaichte.
Obair ullachaidh air an t-sreath
Innealan agus bathar-bog air an cleachdadh
Sònrachaidhean an fhrithealaiche agus an tionndadh
Components
Tuairisgeul
Oracle stòr-dàta 11g frithealaichean
A dhà
Siostam-obrachaidh frithealaiche
Oracle Linux
Oracle stòr-dàta tionndadh
11g (RAC)
Pròiseasaran airson gach frithealaiche
Dà 16 cores Intel® Xeon® CPU E5-2667 v2 @ 3.30GHz
Cuimhne corporra airson gach frithealaiche
128GB
FC lìonra
16Gb/s FC le iomadachadh
FC HBA
Emulex Lpe-16002B
Puirt 1GbE poblach sònraichte airson riaghladh cnuasachadh
Draibhearan airson intel ethernet adapter RJ45
Tionndadh 16Gb/s FC
Leabhar 6505
Puirt prìobhaideach sònraichte 10GbE airson sioncronadh dàta
Intel X520
Sònrachadh AccelStor NeoSapphire™ All Flash Array
Components
Tuairisgeul
Siostam stòraidh
Modail ruigsinneachd àrd NeoSapphire ™: H710
Tionndadh ìomhaigh
4.0.1
An àireamh iomlan de dhràibhearan
48
Meud an draibhidh
1.92TB
Seòrsa dràibheadh
SSD
Puirt targaid FC
Puirt 16x 16Gb (8 gach nód)
Puirt riaghlaidh
An càball ethernet 1GbE a’ ceangal ri luchd-aoigheachd tro tionndadh ethernet
Port buille-cridhe
An càball ethernet 1GbE a ’ceangal eadar dà nod stòraidh
Port sioncronaidh dàta
Càball InfiniBand 56Gb/s
Mus urrainn dhut array a chleachdadh, feumaidh tu a thòiseachadh. Gu gnàthach, tha seòladh smachd an dà nod mar an ceudna (192.168.1.1). Feumaidh tu ceangal a dhèanamh riutha aon ri aon agus seòlaidhean riaghlaidh ùra (mar-thà eadar-dhealaichte) a shuidheachadh agus sioncronadh ùine a stèidheachadh, às deidh sin faodar na puirt Riaghlaidh a cheangal ri aon lìonra. Às deidh sin, thèid na nodan a chur còmhla ann am paidhir HA le bhith a’ sònrachadh subnets airson ceanglaichean Interlink.
Às deidh an tòiseachadh a bhith deiseil, faodaidh tu an raon a riaghladh bho nód sam bith.
An uairsin, cruthaichidh sinn na leabhraichean riatanach agus foillsichidh sinn iad gu frithealaichean tagraidh.
Thathas a’ moladh gu mòr grunn leabhraichean a chruthachadh airson Oracle ASM oir àrdaichidh seo an àireamh de thargaidean airson na frithealaichean, a leasaicheas coileanadh iomlan aig a’ cheann thall (barrachd air ciudha ann an tè eile ).
Rèiteachadh deuchainn
Ainm meud stòraidh
Meud Volume
Dàta01
200GB
Dàta02
200GB
Dàta03
200GB
Dàta04
200GB
Dàta05
200GB
Dàta06
200GB
Dàta07
200GB
Dàta08
200GB
Dàta09
200GB
Dàta10
200GB
Clèithe 01
1GB
Clèithe 02
1GB
Clèithe 03
1GB
Clèithe 04
1GB
Clèithe 05
1GB
Clèithe 06
1GB
Ath-dhèanamh 01
100GB
Ath-dhèanamh 02
100GB
Ath-dhèanamh 03
100GB
Ath-dhèanamh 04
100GB
Ath-dhèanamh 05
100GB
Ath-dhèanamh 06
100GB
Ath-dhèanamh 07
100GB
Ath-dhèanamh 08
100GB
Ath-dhèanamh 09
100GB
Ath-dhèanamh 10
100GB
Cuid de mhìneachaidhean mu mhodhan obrachaidh an t-sreath agus na pròiseasan a tha a’ tachairt ann an suidheachaidhean èiginneach
Tha paramadair “àireamh tionndaidh” aig seata dàta gach nód. Às dèidh toiseach tòiseachaidh, tha e mar an ceudna agus co-ionann ri 1. Ma tha àireamh an tionndaidh eadar-dhealaichte airson adhbhar air choireigin, bidh dàta an-còmhnaidh air a shioncronachadh bhon dreach as sine chun an fhear as òige, agus às deidh sin tha àireamh an tionndaidh as òige air a cho-thaobhadh, i.e. tha seo a’ ciallachadh gu bheil na lethbhric co-ionann. Adhbharan carson a dh'fhaodadh dreachan a bhith eadar-dhealaichte:
- Ath-thòiseachadh clàraichte de aon de na nodan
- Tubaist air aon de na nodan mar thoradh air dùnadh gu h-obann (solar cumhachd, cus teasachadh, msaa).
- Ceangal InfiniBand air chall le neo-chomas sioncronadh
- Tubaist air aon de na nodan air sgàth coirbeachd dàta. An seo feumaidh tu buidheann HA ùr a chruthachadh agus sioncronadh iomlan den t-seata dàta.
Ann an suidheachadh sam bith, bidh an nód a tha air fhàgail air-loidhne ag àrdachadh an àireamh tionndaidh aige le aon gus an t-seata dàta aige a shioncronachadh às deidh don cheangal leis a ’chàraid ath-nuadhachadh.
Ma thèid an ceangal thairis air a’ cheangal Ethernet a chall, gluaisidh Heartbeat gu sealach gu InfiniBand agus tillidh e air ais taobh a-staigh 10 diogan nuair a thèid ath-nuadhachadh.
A 'stèidheachadh luchd-aoigheachd
Gus dèanamh cinnteach à fulangas sgàinidhean agus gus coileanadh a leasachadh, feumaidh tu taic MPIO a chomasachadh airson an raon. Gus seo a dhèanamh, feumaidh tu loidhnichean a chur ris an fhaidhle /etc/multipath.conf, agus an uairsin ath-thòiseachadh an t-seirbheis multipath
Teacs falaichteinnealan {
inneal {
reiceadair "AStor"
path_grouping_policy "buidheann_by_prio"
path_selector "fad ciudha 0"
path_checker "tur"
feartan "0"
bathar-cruaidh_handler "0"
prio "const"
fàilligeadh sa bhad
luath_io_fail_tmo 5
dev_loss_tmo 60
user_friendly_names tha
detect_prio tha
rr_min_io_rq 1
no_path_retry 0
}
}
An uairsin, gus am bi ASM ag obair le MPIO tro ASMLib, feumaidh tu am faidhle /etc/sysconfig/oracleasm atharrachadh agus an uairsin ruith /etc/init.d/oracleasm scandisks
Teacs falaichte
# ORACLEASM_SCANORDER: Pàtranan a’ maidseadh gus sganadh diosc òrdachadh
ORACLEASM_SCANORDER="dm"
# ORACLEASM_SCANEXCLUDE: Pàtranan maidsidh gus diosgan a thoirmeasg bhon sgan
ORACLEASM_SCANEXCLUDE="sd"
thuirt
Mura h-eil thu airson ASMLib a chleachdadh, faodaidh tu na riaghailtean UDEV a chleachdadh, a tha nam bunait airson ASMLib.
A’ tòiseachadh le dreach 12.1.0.2 de Stòr-dàta Oracle, tha an roghainn ri fhaighinn airson a chuir a-steach mar phàirt den bhathar-bog ASMFD.
Tha e deatamach dèanamh cinnteach gu bheil na diosgan a chaidh a chruthachadh airson Oracle ASM a rèir meud a’ bhloca a tha an t-sreath ag obair gu corporra leis (4K). Rud eile, faodaidh duilgheadasan coileanaidh tachairt. Mar sin, feumar tomhas-lìonaidh a chruthachadh leis na crìochan iomchaidh:
parted / dev/mapper/device-name mklabel gpt mkpart primary 2048s 100% co-thaobhadh-seic as fheàrr 1
Sgaoileadh stòran-dàta thairis air meudan cruthaichte airson ar rèiteachadh deuchainn
Ainm meud stòraidh
Meud Volume
Clàradh tomhas-lìonaidh LUNs
Mion-fhiosrachadh inneal tomhas ASM
Meud Aonad Riarachaidh
Dàta01
200GB
Mapa a h-uile meud stòraidh gu siostam stòraidh a h-uile port dàta
Eas-bhuannachdan: àbhaisteach
Ainm: DGDATA
Adhbhar: Faidhlichean dàta
4MB
Dàta02
200GB
Dàta03
200GB
Dàta04
200GB
Dàta05
200GB
Dàta06
200GB
Dàta07
200GB
Dàta08
200GB
Dàta09
200GB
Dàta10
200GB
Clèithe 01
1GB
Eas-bhuannachdan: àbhaisteach
Ainm: DGGRID1
Adhbhar: Grid: CRS agus bhòtadh
4MB
Clèithe 02
1GB
Clèithe 03
1GB
Clèithe 04
1GB
Eas-bhuannachdan: àbhaisteach
Ainm: DGGRID2
Adhbhar: Grid: CRS agus bhòtadh
4MB
Clèithe 05
1GB
Clèithe 06
1GB
Ath-dhèanamh 01
100GB
Eas-bhuannachdan: àbhaisteach
Ainm: DGREDO1
Adhbhar: Dèan ath-dhèanamh air log snàthainn 1
4MB
Ath-dhèanamh 02
100GB
Ath-dhèanamh 03
100GB
Ath-dhèanamh 04
100GB
Ath-dhèanamh 05
100GB
Ath-dhèanamh 06
100GB
Eas-bhuannachdan: àbhaisteach
Ainm: DGREDO2
Adhbhar: Dèan ath-dhèanamh air log snàthainn 2
4MB
Ath-dhèanamh 07
100GB
Ath-dhèanamh 08
100GB
Ath-dhèanamh 09
100GB
Ath-dhèanamh 10
100GB
Roghainnean stòr-dàta
- Meud bloc = 8K
- Àite iomlaid = 16GB
- Cuir à comas AMM (Stiùireadh Cuimhne fèin-ghluasadach)
- Cuir à comas duilleagan mòra follaiseach
Suidheachaidhean eile
# vi /etc/sysctl.conf
✓ fs.aio-max-nr = 1048576
✓ fs.file-max = 6815744
✓ kernel.shmmax 103079215104
✓ kernel.shmall 31457280
✓ kernel.shmmn 4096
✓ kernel.sem = 250 32000 100 128
✓ net.ipv4.ip_local_port_range = 9000 65500
✓ net.core.rmem_default = 262144
✓ net.core.rmem_max = 4194304
✓ net.core.wmem_default = 262144
✓ net.core.wem_max = 1048586
✓vm.swappiness=10
✓ vm.min_free_kbytes=524288 # na suidhich seo ma tha thu a’ cleachdadh Linux x86
✓ vm.vfs_cache_pressure=200
✓ vm.nr_hugepages = 57000
# vi /etc/security/limits.conf
✓ cliath bog nproc 2047
✓ cliath cruaidh nproc 16384
✓ cliath nofile bog 1024
✓ ainm-clèithe cruaidh 65536
✓ cruach bog clèithe 10240
✓ cruach chruaidh clèithe 32768
✓ oracle bog nproc 2047
✓ oracle cruaidh nproc 16384
✓ oracle bog nofile 1024
✓ oracle hard nofile 65536
✓ cruach bog oracle 10240
✓ cruach chruaidh oracle 32768
✓ memlock bog 120795954
✓ memlock cruaidh 120795954
sqlplus “/ mar sysdba”
atharraich pròiseasan seata siostam = 2000 scope = spfile;
atharraich siostam seata open_cursors = 2000 scope = spfile;
atharraich seata siostam session_cached_cursors = 300 scope = spfile;
atharraich siostam seata db_files = 8192 scope = spfile;
Deuchainn fàilligeadh
Airson adhbharan taisbeanaidh, chaidh HammerDB a chleachdadh gus atharrais a dhèanamh air luchd OLTP. Suidheachadh HammerDB:
Àireamh de thaighean-bathair
256
Gnìomhan iomlan gach cleachdaiche
1000000000000
Luchd-cleachdaidh Mas-fhìor
256
B’ e an toradh 2.1M TPM, a tha fada bho chrìoch coileanaidh an t-sreath , ach tha e na “mullach” airson rèiteachadh bathar-cruaidh gnàthach luchd-frithealaidh (gu sònraichte air sgàth pròiseasairean) agus an àireamh aca. Is e adhbhar na deuchainn seo fhathast fulangas locht an fhuasglaidh gu h-iomlan a nochdadh, agus gun a bhith a’ coileanadh an coileanadh as àirde. Mar sin, bidh sinn dìreach a’ togail air an fhigear seo.
Deuchainn airson fàilligeadh aon de na nodan
Chaill na h-aoighean pàirt de na slighean chun an stòraidh, a 'leantainn orra ag obair tro na feadhainn a bha air fhàgail leis an dàrna nód. Thuit coileanadh airson beagan dhiog air sgàth gun deach na slighean ath-thogail, agus an uairsin thill iad gu àbhaisteach. Cha robh bacadh sam bith air an t-seirbheis.
Deuchainn teip caibineat leis a h-uile uidheamachd
Anns a 'chùis seo, thuit coileanadh cuideachd airson beagan dhiog mar thoradh air ath-structaradh nan slighean, agus an uairsin thill e gu leth an luach tùsail. Chaidh an toradh a ghearradh às a leth bhon chiad fhear air sgàth 's gun deach aon fhrithealaiche-aplacaid a chur a-mach à obrachadh. Cha robh bacadh sam bith air an t-seirbheis idir.
Ma tha feum air fuasgladh ath-bheothachadh mòr-thubaist Cross-Rack a tha fulangach le lochdan a chuir an gnìomh airson Oracle aig cosgais reusanta agus le glè bheag de oidhirp cleachdadh / rianachd, bidh Oracle RAC agus ailtireachd ag obair còmhla. bidh aon de na roghainnean as fheàrr. An àite Oracle RAC, faodaidh bathar-bog sam bith eile a bhith ann a bheir seachad cruinneachadh, na h-aon DBMS no siostaman virtualization, mar eisimpleir. Bidh am prionnsapal airson fuasgladh a thogail fhathast mar a tha e. Agus tha an loidhne as ìsle neoni airson RTO agus RPO.
Source: www.habr.com