Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

He maha nga tono a te Hinonga me nga punaha mariko kei a raatau ake tikanga mo te hanga otinga-a-hae. Ina koa, ko Oracle RAC (Oracle Real Application Cluster) he kahui o te rua, neke atu ranei o nga kaitoro paparangi raraunga Oracle e mahi tahi ana ki te whakataurite i te uta me te whakarato i nga hapa i te taumata tūmau/tono. Hei mahi i tenei aratau, ka hiahia koe ki te rokiroki tiritahi, ko te tikanga he punaha rokiroki.

Ka rite ki ta maatau korero i roto i tetahi o taatau Tuhinga, ko te punaha rokiroki tonu, ahakoa te ahua o nga waahanga taarua (tae atu ki nga kaiwhakahaere), kei te raru tonu - ko te nuinga o te ahua o te huinga raraunga kotahi. Na reira, ki te hanga i tetahi otinga Oracle me te nui ake o nga whakaritenga pono, me uaua te kaupapa "N servers - one storage system".

Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

Tuatahi, ko te tikanga, me whakatau he aha nga raru e ngana ana tatou ki te inihua. I roto i teie tumu parau, eita tatou e hi‘opoa i te parururaa i mua i te mau haamǎta‘uraa mai “ua tae mai te hoê meteorite”. No reira ko te hanga i tetahi otinga whakaora aituā kua marara whenua ka noho tonu hei kaupapa mo tetahi o nga tuhinga e whai ake nei. I konei ka titiro tatou ki te mea e kiia nei ko te otinga whakaora kino a Cross-Rack, i te wa e hangaia ana te whakamarumaru ki te taumata o nga rūnanga tūmau. Ko nga kaapena ake ka taea te noho ki roto i te ruma kotahi, ki nga waahi rereke ranei, engari i te nuinga o te waa i roto i te whare kotahi.

Me mau i roto i enei pouaka nga huinga taputapu me nga taputapu katoa e tika ana ka taea te whakahaere i nga papaa raraunga Oracle ahakoa te ahua o te "noho tata". I etahi atu kupu, ma te whakamahi i te otinga whakaora parekura Cross-Rack, ka whakakorehia e matou nga tupono o te kore:

  • Ngā Tūmau Taupānga Oracle
  • Pūnaha rokiroki
  • Nga punaha whakawhiti
  • Te korenga o nga taputapu katoa i roto i te rūnanga:
    • Te whakakore mana
    • Rahunga pūnaha whakamatao
    • Nga mea o waho (te tangata, te taiao, me etahi atu)

Ko te taarua o nga tūmau Oracle e whakaatu ana i te tino kaupapa whakahaere o Oracle RAC ka whakatinanahia ma te tono. Ko te taapiri i nga whakaurunga whakawhiti kaore ano i te raru. Engari me te taarua o te punaha rokiroki, kaore nga mea katoa i te ngawari.

Ko te whiringa ngawari ko te tukurua raraunga mai i te punaha rokiroki matua ki te taapiri. Tukutahi, tukutahi ranei, i runga i nga kaha o te punaha rokiroki. Ma te tukurua tukutahi, ka puta tonu te patai mo te whakarite kia rite nga raraunga e pa ana ki a Oracle. Engari ahakoa he whakaurunga rorohiko me te tono, ahakoa he aha te kore o te punaha rokiroki matua, ka hiahiatia te wawaotanga a-ringa a nga kaiwhakahaere ki te huri i te tautau ki te rokiroki taapiri.

Ko te whiringa uaua ake ko te rokiroki rorohiko me/ranei he "virtualizers" ka whakakore i nga raru riterite me te wawaotanga a-ringa. Engari ko te uaua o te whakatakotoranga me te whakahaerenga o muri mai, tae atu ki te utu tino kino o enei otinga, ka ngoikore te tini.

He tino pai te otinga raupapa AccelStor NeoSapphire™ All Flash mo nga ahuatanga penei i te whakaoranga kino a Cross-Rack H710 whakamahi hoahoanga Tiri-Karekau. Ko tenei tauira he punaha rokiroki rua-node e whakamahi ana i te hangarau FlexiRemap® rangatira hei mahi me nga puku kohiko. Nga mihi ki FlexiRemap® Ka taea e NeoSapphire™ H710 te tuku mahi ki runga ki te 600K IOPS@4K te tuhi matapōkere me te 1M+ IOPS@4K te panui matapōkere, e kore e taea ki te whakamahi i nga punaha rokiroki-a-RAID matarohia.

Engari ko te ahuatanga nui o NeoSapphire™ H710 ko te mahi o nga pona e rua i roto i te ahua o nga keehi motuhake, kei a ia ano te kape o nga raraunga. Ko te tukutahi o nga pona ka mahia ma te atanga InfiniBand o waho. He mihi ki tenei hoahoanga, ka taea te tohatoha i nga pona ki nga waahi rereke i te tawhiti ki runga ki te 100m, na reira ka tukuna he otinga whakaora kino a Cross-Rack. Ka mahi tahi nga pona e rua. Mai i te taha o te kaihautu, he rite te ahua o te H710 ki te punaha rokiroki mana-rua. No reira, kaore he take ki te mahi i etahi atu taputapu rorohiko, taputapu taputapu ranei, i nga waahanga uaua ranei.

Mena ka whakatauritehia e tatou nga otinga whakaora kino katoa a Cross-Rack kua whakaahuahia i runga ake nei, katahi ka tino kitea te whiringa mai i AccelStor mai i era atu:

AccelStor NeoSapphire™ Karekau i Tirihia te Hangahanga
Pūmanawa, pūmārō ranei "virtualizer" pūnaha rokiroki
He otinga hangarua

Kei te wātea

Rahunga tūmau
Kaore he Taima
Kaore he Taima
Kaore he Taima

Whakawhiti rahunga
Kaore he Taima
Kaore he Taima
Kaore he Taima

Rahunga pūnaha rokiroki
Kaore he Taima
Kaore he Taima
Tuhinga o mua

Rahunga katoa te rūnanga
Kaore he Taima
Kaore he Taima
Tuhinga o mua

Te utu me te uaua

Utu otinga
Iti*
Tuhinga
Tuhinga

Te uaua o te whakatakotoranga
Raina
Tuhinga
Tuhinga

*Ko AccelStor NeoSapphire™ he raupapa Flash Katoa tonu, i runga i te whakamaaramatanga kaore e utu “3 kopecks,” ina koa he rahui kaha rua. Engari, i te whakataurite i te utu whakamutunga o te otinga i runga i a ia me nga mea rite mai i etahi atu kaihoko, ka taea te whakaaro he iti te utu.

Ka penei te ahua o te topology mo te hono i nga tūmau tono me nga kohinga huinga Flash Katoa:

Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

I te wa e whakamahere ana i te topology, ka tino taunakitia kia taarua nga huringa whakahaere me nga kaitoro hono.

I konei me etahi atu ka korero tatou mo te hono ma te Fiber Channel. Mena ka whakamahi koe i te iSCSI, ka rite tonu nga mea katoa, ka whakatikahia mo nga momo whakahuri e whakamahia ana me nga tautuhinga huinga rereke.

Mahi whakarite i runga i te rarangi

Ko nga taputapu me nga rorohiko e whakamahia ana

Tūmau me Whakawhiti Whakatakotoranga

Tuhinga
Whakaahuatanga

Oracle Database 11g tūmau
E rua

Pūnaha whakahaere tūmau
Oracle Linux

Putanga pātengi raraunga Oracle
11g (RAC)

Tukatuka mo ia tūmau
E rua nga matua 16 Intel® Xeon® CPU E5-2667 v2 @ 3.30GHz

Pumahara tinana mo ia tūmau
128GB

whatunga FC
16Gb/s FC me te multipathing

FC HBA
Emulex Lpe-16002B

Kua whakatapua nga tauranga 1GbE mo te whakahaere roopu
Intel ethernet adapter RJ45

16Gb/s whakawhiti FC
Kuini 6505

Ko nga tauranga 10GbE motuhake mo te tukutahi raraunga
Intel X520

AccelStor NeoSapphire™ Whakatakotoranga Huanga Kohiko Katoa

Tuhinga
Whakaahuatanga

Punaha rokiroki
NeoSapphire™ tauira wātea teitei: H710

Putanga whakaahua
4.0.1

Te maha o nga puku
48

Rahi puku
1.92TB

Momo puku
SSD

Ko nga tauranga whaainga FC
16x 16Gb tauranga (8 mo ia node)

Nga tauranga whakahaere
Ko te taura ethernet 1GbE e hono ana ki nga kaihautu ma te whakawhiti ethernet

Tauranga manawa
Ko te taura ethernet 1GbE e hono ana i waenga i nga waahanga rokiroki e rua

Tauranga tukutahi raraunga
56Gb/s InfiniBand taura

I mua i to whakamahi i te huānga, me arawhiti koe. Ma te taunoa, he rite tonu te wahitau mana o nga pona e rua (192.168.1.1). Me hono koe ki a raatau takitahi me te tautuhi i nga wahitau whakahaere hou (kua rerekee) me te whakarite i te tukutahi wa, ka mutu ka taea te hono atu i nga tauranga Whakahaere ki te whatunga kotahi. Muri iho, ka honoa nga pona ki te takirua HA ma te tautapa i nga kupenga-roto mo nga hononga Interlink.

Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

Ka oti te arawhitinga, ka taea e koe te whakahaere i te huinga mai i tetahi node.

I muri mai, ka hangaia e matou nga pukapuka e tika ana ka whakaputahia ki nga kaiwhakarato tono.

Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

E tino taunakitia ana kia hanga pukapuka maha mo Oracle ASM na te mea ka nui ake te maha o nga whaainga mo nga kaitoro, ka pai ake te mahi katoa (he nui ake mo nga rarangi i tetahi atu. Tuhinga).

whirihoranga whakamatautau

Ingoa Rōrahi Rokiroki
Rahi Nui

Raraunga01
200GB

Raraunga02
200GB

Raraunga03
200GB

Raraunga04
200GB

Raraunga05
200GB

Raraunga06
200GB

Raraunga07
200GB

Raraunga08
200GB

Raraunga09
200GB

Raraunga10
200GB

Mātiti01
1GB

Mātiti02
1GB

Mātiti03
1GB

Mātiti04
1GB

Mātiti05
1GB

Mātiti06
1GB

Mahi ano01
100GB

Mahi ano02
100GB

Mahi ano03
100GB

Mahi ano04
100GB

Mahi ano05
100GB

Mahi ano06
100GB

Mahi ano07
100GB

Mahi ano08
100GB

Mahi ano09
100GB

Mahi ano10
100GB

Ko etahi whakamarama mo nga ahuatanga whakahaere o te raupapa me nga tukanga ka puta i nga waahi ohorere

Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

Ko te huinga raraunga o ia node he tawhā "tau putanga". I muri i te arawhitinga tuatahi, he rite tonu, he rite ki te 1. Mena he rereke te ahua o te tau putanga, katahi ka tukutahi tonu nga raraunga mai i te putanga tawhito ki te teina, muri iho ka whakahaangai te tau o te putanga teina, ara. ko te tikanga he rite tonu nga kape. Ko nga take ka rereke pea nga putanga:

  • Kua whakaritea te whakaara ano o tetahi o nga pona
  • He aitua ki tetahi o nga pona na te katinga ohorere (te tuku hiko, te wera nui, me etahi atu).
  • Kua ngaro te hononga InfiniBand me te kore e taea te tukutahi
  • He tukinga ki tetahi o nga pona na te kino o te raraunga. I konei ka hiahia koe ki te hanga i tetahi roopu HA hou me te whakaoti i te tukutahitanga o te huinga raraunga.

Ahakoa he aha, ko te node e noho tonu ana ki te ipurangi ka whakanui ake i tana tau putanga ma te kotahi hei tukutahi i ana huinga raraunga i muri i te whakahokinga mai o te hononga ki te takirua.

Mena kua ngaro te hononga i runga i te hononga Itarangi, ka huri te Heartbeat mo te wa poto ki te InfiniBand ka hoki mai ano i roto i te 10 hēkona ka whakahokia mai.

Te whakatu ope

Hei whakapumau i nga hapa me te whakapai ake i nga mahi, me whakaahei koe i te tautoko MPIO mo te huinga. Ki te mahi i tenei, me taapiri koe i nga raina ki te konae /etc/multipath.conf, ka whakaara ano i te ratonga ara maha.

Kupu hunataputapu {
pūrere {
kaihoko "AStor"
kaupapa_whakarōpū_ara "group_by_prio"
ara_kaiwhiringa "tutira-roa 0"
path_checker "tur"
āhuatanga "0"
taputapu_kaiwhakahaere "0"
mua "const"
takahuri tonu
tere_io_fail_tmo 5
dev_loss_tmo 60
ingoa_hoa_kaiwhakamahi ae
detect_prio ae
rr_min_io_rq 1
kore_ara_ngamata ano 0
}
}

I muri mai, kia mahi tahi a ASM me MPIO ma te ASMLib, me huri koe i te konae /etc/sysconfig/oracleasm ka rere /etc/init.d/oracleasm scandisks

Kupu huna

# ORACLEASM_SCANORDER: Whakataurite nga tauira ki te ota matawai kōpae
ORACLEASM_SCANORDER="dm"

# ORACLEASM_SCANEXCLUDE: Tauritenga tauira hei aukati i nga kōpae mai i te karapa
ORACLEASM_SCANEXCLUDE="sd"

parau

Mena kaore koe e hiahia ki te whakamahi i te ASMLib, ka taea e koe te whakamahi i nga ture UDEV, ko te turanga mo te ASMLib.

Ka timata mai i te putanga 12.1.0.2 o Oracle Database, kei te waatea te whiringa mo te whakaurunga hei waahanga o te rorohiko ASMFD.

He mea nui ki te whakarite kia rite nga kopae i hangaia mo Oracle ASM ki te rahi o te paraka e mahi tinana ana te huinga (4K). Ki te kore, ka raru pea te mahi. Na reira, he mea tika ki te hanga pukapuka me nga tawhā e tika ana:

wehea /dev/mapper/ingoa-pūrere mklabel gpt mkpart tuatahi 2048s 100% align-check tino pai 1

Te tohatoha o nga papaa raraunga puta noa i nga pukapuka i hangaia mo ta maatau whirihoranga whakamatautau

Ingoa Rōrahi Rokiroki
Rahi Nui
Rōrahi LUNs mapi
ASM Volume Pūrere Taipitopito
Rahi Waeine Toha

Raraunga01
200GB
Mahia nga pukapuka rokiroki katoa ki te punaha rokiroki nga tauranga raraunga katoa
Raraunga: Pūnoa
Ingoa:DGDATA
Te kaupapa: nga konae raraunga

4MB

Raraunga02
200GB

Raraunga03
200GB

Raraunga04
200GB

Raraunga05
200GB

Raraunga06
200GB

Raraunga07
200GB

Raraunga08
200GB

Raraunga09
200GB

Raraunga10
200GB

Mātiti01
1GB
Raraunga: Pūnoa
Ingoa: DGGRID1
Te Kaupapa:Matiti: CRS me te Pooti

4MB

Mātiti02
1GB

Mātiti03
1GB

Mātiti04
1GB
Raraunga: Pūnoa
Ingoa: DGGRID2
Te Kaupapa:Matiti: CRS me te Pooti

4MB

Mātiti05
1GB

Mātiti06
1GB

Mahi ano01
100GB
Raraunga: Pūnoa
Ingoa: DGREDO1
Te kaupapa: Mahi ano i te raarangi o te miro 1

4MB

Mahi ano02
100GB

Mahi ano03
100GB

Mahi ano04
100GB

Mahi ano05
100GB

Mahi ano06
100GB
Raraunga: Pūnoa
Ingoa: DGREDO2
Te kaupapa: Mahi ano i te raarangi o te miro 2

4MB

Mahi ano07
100GB

Mahi ano08
100GB

Mahi ano09
100GB

Mahi ano10
100GB

Tautuhinga Raraunga Raraunga

  • Rahi poraka = 8K
  • Huri mokowā = 16GB
  • Monokia te AMM (Whakahaere Mahara Aunoa)
  • Monokia nga Wharangi Nui Puataata

Ētahi atu tautuhinga

# vi /etc/sysctl.conf
✓ fs.aio-max-nr = 1048576
✓ fs.file-max = 6815744
✓ kernel.shmmax 103079215104
✓ kernel.shmall 31457280
✓ kernel.shmmn 4096
✓ kernel.sem = 250 32000 100 128
✓ net.ipv4.ip_local_port_range = 9000 65500
✓ net.core.rmem_default = 262144
✓ net.core.rmem_max = 4194304
✓ net.core.wmem_default = 262144
✓ net.core.wmem_max = 1048586
✓vm.swappiness=10
✓ vm.min_free_kbytes=524288 # kaua e tautuhia mena kei te whakamahi koe i te Linux x86
✓ vm.vfs_cache_pressure=200
✓ vm.nr_hugepages = 57000

# vi /etc/security/limits.conf
✓ mātiti nproc ngohengohe 2047
✓ mātiti mārō nproc 16384
✓ mātiti ngohengohe nofile 1024
✓ mātiti nofile mārō 65536
✓ tāpae ngohengohe mātiti 10240
✓ tāpae mārō mātiti 32768
✓ oracle soft nproc 2047
✓ oracle hard nproc 16384
✓ oracle soft nofile 1024
✓ oracle hard nofile 65536
✓ tāpae ngohengohe oracle 10240
✓ tāpae mārō oracle 32768
✓ maukati ngawari 120795954
✓ maukati pakeke 120795954

sqlplus "/ as sysdba"
whakarereke i nga tukanga huinga punaha=2000 te whānuitanga=spfile;
whakarerekē i te huinga pūnaha open_cursors=2000 hōkai=spfile;
huri i te huinga huinga session_cached_cursors=300 scope=spfile;
whakarerekē i te huinga pūnaha db_files=8192 scope=spfile;

Te whakamatautau rahunga

Mo nga kaupapa whakaatu, i whakamahia a HammerDB ki te whai i te kawenga OLTP. whirihoranga HammerDB:

Te maha o nga whare putunga
256

Nga Whakawhitinga Tapeke mo ia Kaiwhakamahi
1000000000000

Kaiwhakamahi Mariko
256

Ko te hua ko te 2.1M TPM, kei tawhiti atu i te tepe mahi o te raupapa H710, engari he "tuanui" mo te whirihoranga taputapu o naianei o nga kaitoro (e tika ana ma nga kaiwhakatikatika) me o raatau nama. Ko te kaupapa o tenei whakamatautau ko te whakaatu tonu i te he o te otinga o te otinga katoa, kaua hoki e eke ki te tino mahi. Na reira, ka hanga noa tatou i runga i tenei ahua.

Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

Te whakamatautau mo te kore o tetahi o nga pona

Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

I ngaro nga kaihautu i tetahi waahanga o nga huarahi ki te rokiroki, ka mahi tonu i roto i nga toenga me te waahanga tuarua. I heke iho te mahinga mo etahi hēkona na te hanga ano o nga huarahi, katahi ka hoki mai ano. Karekau he aukati i te mahi.

Te whakamatautau i te ngoikore o te rūnanga me nga taputapu katoa

Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

Te hanga i tetahi otinga whakaraerae i runga i te hoahoanga Oracle RAC me AccelStor Shared-Nothing

I tenei take, ka heke ano te mahi mo etahi hēkona na te whakatikatika i nga huarahi, ka hoki ki te haurua o te uara taketake. I hauruatia te hua mai i te tuatahi na te whakakorenga o tetahi tūmau tono mai i te mahi. Karekau hoki he aukati i te mahi.

Mena he hiahia ki te whakatinana i tetahi otinga whakaora kino a Cross-Rack mo Oracle i runga i te utu whaitake me te iti o te whakapau kaha, ka mahi tahi a Oracle RAC me te hoahoanga. AccelStor Tiri-Karekau ka waiho tetahi o nga whiringa pai. Engari i te Oracle RAC, tera pea etahi atu rorohiko e whakarato ana i te kohinga, te DBMS me nga punaha mariko, hei tauira. Ka noho tonu te kaupapa o te hanga otinga. A ko te rarangi raro he kore mo RTO me RPO.

Source: will.com

Tāpiri i te kōrero