Iwuli ihe ngwọta na-anabata mmejọ dabere na Oracle RAC na AcelStor Shared-Nothing architecture

Ọnụ ọgụgụ dị ukwuu nke ngwa ụlọ ọrụ na sistemụ arụmọrụ nwere usoro nke ha maka iwulite ngwọta na-anabata mmejọ. Kpọmkwem, Oracle RAC (Oracle Real Application Cluster) bụ ụyọkọ nke sava nchekwa data Oracle abụọ ma ọ bụ karịa na-arụkọ ọrụ ọnụ iji dozie ibu ma nye nnabata mmejọ na ọkwa nkesa / ngwa. Iji rụọ ọrụ na ọnọdụ a, ịchọrọ nchekwa nkekọrịta, nke na-abụkarị usoro nchekwa.

Dị ka anyị tụlere n'otu n'ime anyị isiokwu, usoro nchekwa ahụ n'onwe ya, n'agbanyeghị ọnụnọ nke ihe mejupụtara abụọ (gụnyere ndị na-achịkwa), ka nwere ihe ọdịda - tumadi n'ụdị otu data. Ya mere, iji wuo ihe ngwọta Oracle na-enwewanye ihe a pụrụ ịdabere na ya, atụmatụ "N sava - otu nchekwa nchekwa" kwesịrị ịdị mgbagwoju anya.

Nke mbụ, n'ezie, anyị kwesịrị ikpebi ihe ize ndụ ndị anyị na-agbalị ịnyonye mkpuchi. N'isiokwu a, anyị agaghị atụle nchebe pụọ n'ihe egwu dị ka "meteorite erutela." Ya mere, iwulite ngwọta mgbake ọdachi gbasasịrị agbasa ga-abụ isiokwu maka otu n'ime akụkọ ndị na-esonụ. N'ebe a, anyị ga-eleba anya na ihe a na-akpọ Cross-Rack ngwọta mgbake ọdachi, mgbe e wuru nchebe na ọkwa nke ihe nkesa ihe nkesa. Ụlọ ndị ahụ n'onwe ha nwere ike ịdị n'otu ọnụ ụlọ ma ọ bụ dị iche iche, ma na-emekarị n'ime otu ụlọ.

Ụlọ nchekwa ndị a ga-enwerịrị ngwa na ngwanrọ niile dị mkpa nke ga-ekwe ka arụ ọrụ nke ọdụ data Oracle n'agbanyeghị ọnọdụ "onye agbata obi". N'ikwu ya n'ụzọ ọzọ, iji usoro mgbake ọdachi Cross-Rack, anyị na-ewepụ ihe ize ndụ nke ọdịda:

• Sava Ngwa Oracle
• Sistemụ nchekwa
• Sistemụ mgbanwe
• Ngwa ngwa niile dị na kabinet dara zuru oke:
  • Ọjụjụ ike
  • Ọdịda sistemu oyi
  • Ihe ndị dị na mpụga (mmadụ, ọdịdị, wdg)

Mbigharị nke sava Oracle na-egosi ụkpụrụ ọrụ nke Oracle RAC ma na-emejuputa ya site na ngwa. Ntugharị nke akụrụngwa ngbanwe abụghịkwa nsogbu. Ma na mbiputegharị nke usoro nchekwa, ihe niile adịghị mfe.

Nhọrọ kachasị mfe bụ ntinye data site na isi usoro nchekwa na ndabere. Mmekọrịta ma ọ bụ asynchronous, dabere na ike nke usoro nchekwa. Site na mmegharị asynchronous, ajụjụ na-ebilite ozugbo maka ịhụ na data na-agbanwe agbanwe n'ihe metụtara Oracle. Mana ọbụlagodi na enwere njikọ ngwanrọ na ngwa ahụ, n'ọnọdụ ọ bụla, ọ bụrụ na ọdịda ọdịda na sistemụ nchekwa isi, a ga-achọ enyemaka aka site n'aka ndị nchịkwa iji gbanwee ụyọkọ na nchekwa ndabere.

Nhọrọ dị mgbagwoju anya bụ sọftụwia na/ma ọ bụ nchekwa ngwaike “virtualizers” nke ga-ewepụ nsogbu ngbanwe na ntinye aka. Mana mgbagwoju anya nke mbugharị na nchịkwa na-esote, yana ọnụ ahịa na-adịghị mma nke ngwọta ndị dị otú ahụ, na-akụda ọtụtụ ndị.

AccelStor NeoSapphire™ All Flash array Solution zuru oke maka ọnọdụ dị ka mgbake ọdachi Cross-Rack H710 n'iji ihe owuwu ekekọrịtara-enweghị ihe ọ bụla. Ihe nlereanya a bụ sistemu nchekwa ọnụ abụọ na-eji teknụzụ FlexiRemap® nke nwe ya na-arụ ọrụ na draịva flash. Daalụ FlexiRemap® NeoSapphire ™ H710 nwere ike ibuga arụmọrụ ruo 600K IOPS@4K random dee na 1M+ IOPS@4K na-agụghị, nke a na-apụghị iru ya mgbe ị na-eji sistemụ nchekwa RAID kpochapụwo.

Mana akụkụ bụ isi nke NeoSapphire ™ H710 bụ igbu ọnụ ụzọ abụọ n'ụdị ikpe dị iche iche, nke ọ bụla nwere data nke ya. A na-emekọrịta ọnụ ọnụ site na interface InfiniBand dị n'èzí. N'ihi ihe owuwu a, ọ ga-ekwe omume ikesa ọnụ ọnụ n'ebe dị iche iche n'ebe dị anya ruo 100m, si otú ahụ na-enye ihe ngwọta mgbake ọdachi Cross-Rack. Ọnụ abụọ a na-arụ ọrụ n'otu oge. Site n'akụkụ ndị ọbịa, H710 dị ka sistemụ nchekwa ihe njikwa abụọ nkịtị. Ya mere, ọ dịghị mkpa ịme ngwa ngwa ọzọ ma ọ bụ ngwaike nhọrọ ma ọ bụ ntọala siri ike.

Ọ bụrụ na anyị atụnyere ihe ngwọta mgbake ọdachi Cross-Rack akọwara n'elu, mgbe ahụ nhọrọ sitere na AcelStor pụtara nke ọma na ndị ọzọ:

AccelStor NeoSapphire ™ Ekekọrịtaghị Ihe Nhazi
Ngwanrọ ma ọ bụ ngwaike sistemụ nchekwa “virtualizer”.
Ngwọta dabere na ntụgharị

Nnweta

Ọdịda nkesa
Enweghị Downtime
Enweghị Downtime
Enweghị Downtime

Mgbanwe ọdịda
Enweghị Downtime
Enweghị Downtime
Enweghị Downtime

Ọdịda sistemu nchekwa
Enweghị Downtime
Enweghị Downtime
Downtime

Ọdịda kabinet dum
Enweghị Downtime
Enweghị Downtime
Downtime

Ọnụ na mgbagwoju anya

Ọnụ ego ngwọta
Obere*
Ọfọn
Ọfọn

Mgbakwụnye nkenye
Mba
Ọfọn
Ọfọn

*AccelStor NeoSapphire ™ ka bụ ihe niile Flash array, nke na nkọwa anaghị efu "3 kopecks," karịsịa ebe ọ nwere okpukpu abụọ ikike nchekwa. Otú ọ dị, mgbe ị na-atụle ụgwọ ikpeazụ nke ngwọta nke dabeere na ya na ndị yiri ya sitere na ndị ọzọ na-ere ahịa, ọnụ ahịa ahụ nwere ike iwere dị ala.

The topology maka ijikọ sava ngwa na All Flash array nodes ga-adị ka nke a:

Mgbe ị na-eme atụmatụ topology, a na-atụkwa aro ka ịmegharị njikwa njikwa na sava njikọ.

Ebe a na n'ihu anyị ga-ekwu maka ijikọ site na Fiber Channel. Ọ bụrụ na ị na-eji iSCSI, ihe niile ga-abụ otu, gbanwee maka ụdị ọkụ ọkụ ejiri na ntọala nhazi dịtụ iche.

Nkwadebe ọrụ na n'usoro

Akụrụngwa na ngwanrọ eji

Nkọwapụta sava na mgbanwe

Akụkụ
Nkowasi

Oracle Database 11g sava
Abụọ

Sistemụ arụmọrụ nkesa
Linux Oracle

Ụdị nchekwa data Oracle
11g (RAC)

Nhazi kwa nkesa
Abụọ 16 cores Intel® Xeon® CPU E5-2667 v2 @ 3.30GHz

Ebe nchekwa anụ ahụ kwa nkesa
128GB

FC netwọk
16Gb/s FC nwere ọtụtụ ụzọ

Ụlọ ọrụ FC HBA
Emulex Lpe-16002B

ọdụ ụgbọ mmiri 1GbE ọha raara onwe ya nye maka njikwa ụyọkọ
Ihe nkwụnye ihe ntanetị nke Intel RJ45

16Gb/s FC mgba ọkụ
Ogbahu 6505

Ọdụ ụgbọ mmiri 10GbE nkeonwe raara onwe ya maka ịmekọrịta data
Intel X520

AcelStor NeoSapphire™ Nkọwapụta Array Flash niile

Akụkụ
Nkowasi

Usoro nchekwa
Ụdị dị elu NeoSapphire™: H710

Ụdị onyonyo
4.0.1

Ngụkọta ọnụọgụ draịva
48

Ogo ịnya ụgbọ ala
1.92TB

Ụdị ụdị
SSD

FC lekwasịrị anya ọdụ ụgbọ mmiri
16x 16Gb ọdụ ụgbọ mmiri (8 kwa ọnụ)

ọdụ ụgbọ mmiri njikwa
Igwe ikuku ethernet 1GbE na-ejikọ na ndị ọbịa site na mgba ọkụ ethernet

ọdụ ụgbọ mmiri obi
Igwe ikuku ethernet 1GbE na-ejikọ n'etiti ọnụ nchekwa abụọ

ọdụ ụgbọ data mmekọrịta
56Gb/s eriri InfiniBand

Tupu ị nwee ike iji nhazi, ị ga-ebido ya. Site na ndabara, adreesị njikwa nke ọnụ abụọ ahụ bụ otu (192.168.1.1). Ịkwesịrị ijikọ ha n'otu n'otu wee tọọ adreesị nlekọta ọhụrụ (dịlarị dị iche iche) ma guzobe mmekọrịta oge, mgbe nke ahụ gasịrị, ọdụ ụgbọ mmiri Management nwere ike jikọọ na otu netwọk. Mgbe nke ahụ gasịrị, a na-ejikọta ọnụ ọnụ ahụ ka ọ bụrụ otu HA site na-ekenye subnets maka njikọ Interlink.

Ka emechara mmalite mmalite, ị nwere ike ijikwa nhazi ahụ site na ọnụ ọ bụla.

Na-esote, anyị na-emepụta mpịakọta ndị dị mkpa ma bipụta ha na sava ngwa.

A na-atụ aro ka ịmepụta ọtụtụ mpịakọta maka Oracle ASM n'ihi na nke a ga-eme ka ọnụọgụ nke ndị sava dị elu, nke ga-emecha melite arụmọrụ zuru ezu (karịa na kwụ n'ahịrị na ọzọ). ederede).

Nhazi ule

Aha olu nchekwa
Mpịakọta Nke

Data 01
200GB

Data 02
200GB

Data 03
200GB

Data 04
200GB

Data 05
200GB

Data 06
200GB

Data 07
200GB

Data 08
200GB

Data 09
200GB

Data 10
200GB

Grid01
1GB

Grid02
1GB

Grid03
1GB

Grid04
1GB

Grid05
1GB

Grid06
1GB

Megharịa01
100GB

Megharịa02
100GB

Megharịa03
100GB

Megharịa04
100GB

Megharịa05
100GB

Megharịa06
100GB

Megharịa07
100GB

Megharịa08
100GB

Megharịa09
100GB

Megharịa10
100GB

Ụfọdụ nkọwa gbasara ụdị ọrụ nke n'usoro na usoro na-eme na ọnọdụ mberede

Ntọala data nke ọnụ ọ bụla nwere oke "nọmba ụdị". Mgbe mmalite mmalite, ọ bụ otu ihe ahụ na nhata 1. Ọ bụrụ na n'ihi ihe ụfọdụ nọmba mbipute ahụ dị iche, mgbe ahụ, a na-emekọrịta data mgbe niile site na nsụgharị ochie gaa na nke nta, mgbe nke ahụ gasịrị, a na-ejikọta ọnụ ọgụgụ nke obere nsụgharị, ya bụ. nke a pụtara na mbipụta ndị ahụ bụ otu. Ihe kpatara nsụgharị nwere ike ịdị iche:

• Nhazigharị nke otu ọnụ ụzọ akwadoro
• Ihe mberede na otu n'ime oghere n'ihi nkwụsịtụ mberede (ike ọkụ, ikpo ọkụ, wdg).
• Njikọ InfiniBand furu efu na enweghị ike imekọrịta
• Mkpọka na otu n'ime ọnụ ọnụ n'ihi nrụrụ data. N'ebe a, ị ga-achọ ịmepụta otu HA ọhụrụ na ịmekọrịta zuru ezu nke nhazi data.

N'ọnọdụ ọ bụla, ọnụ nke na-adị n'ịntanetị na-abawanye nọmba mbipute ya site n'otu iji mekọrịta nhazi data ya ka eweghachite njikọ ya na ụzọ abụọ ahụ.

Ọ bụrụ na njikọ dị n'elu njikọ Ethernet efunahụ, Heartbeat na-atụgharị na InfiniBand nwa oge wee laghachi azụ n'ime 10 sekọnd mgbe eweghachiri ya.

Ịtọlite ​​ndị ọbịa

Iji hụ na nnabata mmejọ na melite arụmọrụ, ị ga-emerịrị nkwado MPIO maka nhazi ahụ. Iji mee nke a, ịkwesịrị ịgbakwunye ahịrị na faịlụ /etc/multipath.conf, wee malitegharịa ọrụ multipath.

Ederede zoro ezongwaọrụ {
ngwaọrụ {
onye na-ere "AStor"
Atumatu_otu_otu_otu_site_prio
ụzọ_onye na-ahọrọ " kwụ n'ahịrị-ogologo 0"
ụzọ_checker "tur"
atụmatụ "0"
hardware_handler "0"
prio "const"
ọdịda azụ ozugbo
fast_io_fail_tmo 5
dev_loss_tmo 60
user_friendly_names ee
chọpụta_prio ee
rr_min_io_rq 1
enweghị ụzọ_nyogharị 0
}
}

Ọzọ, ka ASM wee rụọ ọrụ na MPIO site na ASMLib, ịkwesịrị ịgbanwe faịlụ /etc/sysconfig/oracleasm wee gbaa ọsọ /etc/init.d/oracleasm scandisks.

Ederede zoro ezo

# ORACLEASM_SCANORDER: ụkpụrụ dabara na ịtụ nyocha diski
ORACLEASM_SCANORDER="dm"

# ORACLEASM_SCANEXCLUDE: Usoro dabara adaba iji wepu diski na nyocha
ORACLEASM_SCANEXCLUDE="sd"

Примечание

Ọ bụrụ na ịchọghị iji ASMLib, ịnwere ike iji iwu UDEV, nke bụ ntọala maka ASMLib.

Malite na ụdị 12.1.0.2 nke Oracle Database, nhọrọ dị maka nrụnye dịka akụkụ nke ngwa ASMFD.

Ọ dị mkpa iji hụ na diski ndị emepụtara maka Oracle ASM dabara na nha ngọngọ nke nhazi ahụ na-arụ ọrụ n'anụ ahụ na (4K). Ma ọ bụghị ya, nsogbu arụmọrụ nwere ike ime. Ya mere, ọ dị mkpa ịmepụta mpịakọta na parampat kwesịrị ekwesị:

kewara /dev/mapper/aha-ngwaọrụ mklabel gpt mkpart isi 2048s 100% mezie-elele kacha mma 1

Nkesa nke ọdụ data n'ofe mpịakọta emepụtara maka nhazi ule anyị

Aha olu nchekwa
Mpịakọta Nke
Mpịakọta maapụ LUN
Nkọwa ngwaọrụ olu ASM
Nha Nkenye Oke

Data 01
200GB
Debe mpịakọta nchekwa niile na sistemụ nchekwa ọdụ ụgbọ mmiri niile
Mweghachi: Nkịtị
Aha:DGDATA
Ebumnuche: faịlụ data

4MB

Data 02
200GB

Data 03
200GB

Data 04
200GB

Data 05
200GB

Data 06
200GB

Data 07
200GB

Data 08
200GB

Data 09
200GB

Data 10
200GB

Grid01
1GB
Mweghachi: Nkịtị
Aha: DGGRID1
Ebumnuche: Grid: CRS na ịtụ vootu

4MB

Grid02
1GB

Grid03
1GB

Grid04
1GB
Mweghachi: Nkịtị
Aha: DGGRID2
Ebumnuche: Grid: CRS na ịtụ vootu

4MB

Grid05
1GB

Grid06
1GB

Megharịa01
100GB
Mweghachi: Nkịtị
Aha: DGREDO1
Nzube: Redo log of thread 1

4MB

Megharịa02
100GB

Megharịa03
100GB

Megharịa04
100GB

Megharịa05
100GB

Megharịa06
100GB
Mweghachi: Nkịtị
Aha: DGREDO2
Nzube: Redo log of thread 2

4MB

Megharịa07
100GB

Megharịa08
100GB

Megharịa09
100GB

Megharịa10
100GB

Ntọala nchekwa data

• Nha ngọngọ = 8K
• Gbanwee oghere = 16GB
• Gbanyụọ AMM (njikwa ebe nchekwa akpaaka)
• Gbanyụọ nnukwu ibe akwụkwọ transperent

Ntọala ndị ọzọ

# vi /etc/sysctl.conf
✓ fs.aio-max-nr = 1048576
✓ fs.file-max = 6815744
✓ kernel.shmmax 103079215104
✓ kernel.shmall 31457280
✓ kernel.shmmn 4096
✓ kernel.sem = 250 32000 100 128
✓ net.ipv4.ip_local_port_range = 9000 65500
✓ net.core.rmem_default = 262144
✓ net.core.rmem_max = 4194304
✓ net.core.wmem_default = 262144
✓ net.core.wmem_max = 1048586
✓vm.swappiness=10
✓ vm.min_free_kbytes=524288 # edozila nke a ma ọ bụrụ na ị na-eji Linux x86
✓ vm.vfs_cache_pressure=200
✓ vm.nr_hugepages = 57000

# vi /etc/security/limit.conf
✓ grid soft nproc 2047
✓ grid hard nproc 16384
✓ grid soft nofile 1024
✓ grid hard nofile 65536
✓ grid soft stack 10240
✓ grid hard stack 32768
✓ Oracle soft nproc 2047
✓ Oracle hard nproc 16384
✓ Oracle soft nofile 1024
✓ Oracle hard nofile 65536
✓ Oracle soft stack 10240
✓ Oracle hard stack 32768
✓ dị nro memlock 120795954
✓ ike memlock 120795954

sqlplus "/ as sysdba"
mgbanwe usoro nhazi usoro = 2000 scope = spfile;
alter system set open_cursors=2000 scope=spfile;
alter system set session_cached_cursors=300scope=spfile;
mgbanwe usoro setịpụrụ db_files = 8192 scope = spfile;

Nnwale ọdịda

Maka ebumnuche ngosi, ejiri HammerDB ṅomie ibu OLTP. Nhazi HammerDB:

Ọnụọgụ nke ụlọ nkwakọba ihe
256

Mgbakọta azụmahịa kwa onye ọrụ
1000000000000

Ndị ọrụ mebere
256

Nsonaazụ bụ 2.1M TPM, nke dị anya na oke arụmọrụ n'usoro H710, ma ọ bụ "ụlọ elu" maka nhazi ngwaike ugbu a nke sava (nke bụ n'ihi nhazi) na nọmba ha. Ebumnuche nke ule a ka na-egosipụta nkwụsị nkwụsị nke ngwọta n'ozuzu ya, na ọ bụghị iji nweta oke arụmọrụ. Ya mere, anyị ga-ewuli elu na ọnụ ọgụgụ a.

Nwalee maka ọdịda nke otu ọnụ

Ndị agha ahụ tụfuru akụkụ nke ụzọ ahụ na nchekwa, na-aga n'ihu na-arụ ọrụ site na ndị fọdụrụ na ọnụ nke abụọ. Arụmọrụ dara maka sekọnd ole na ole n'ihi ụzọ a na-ewughachi, wee laghachi na nkịtị. Enweghị nkwụsị na ọrụ.

Nnwale ọdịda nke ụlọ ọrụ na akụrụngwa niile

N'okwu a, arụmọrụ gbadara maka sekọnd ole na ole n'ihi nhazigharị nke ụzọ ahụ, wee laghachi na ọkara uru mbụ. E wepụrụ nsonaazụ ya na nke mbụ n'ihi mwepu nke otu ihe nkesa ngwa na arụ ọrụ. Enweghị nkwụsị na ọrụ.

Ọ bụrụ na ọ dị mkpa iji mejuputa ihe ngwọta mgbake ọdachi Cross-Rack maka mmejọ maka Oracle na ọnụ ahịa ezi uche dị na ya yana obere mbọ mbugharị/nchịkwa, mgbe ahụ Oracle RAC na ụkpụrụ ụlọ na-arụkọ ọrụ ọnụ. Ekekọrịtara AcelStor-Ọ nweghị ihe ga-abụ otu n'ime nhọrọ kacha mma. Kama Oracle RAC, enwere ike ịnwe sọftụwia ọ bụla na-enye nchịkọta, otu DBMS ma ọ bụ sistemu ike, dịka ọmụmaatụ. Ụkpụrụ nke ịmepụta ihe ngwọta ga-anọgide na-adị otu. Na akara ala bụ efu maka RTO na RPO.

isi: www.habr.com