ʻO ka nui o nā noi Enterprise a me nā ʻōnaehana virtualization i kā lākou mau hana ponoʻī no ke kūkulu ʻana i nā hoʻonā hewa. ʻO ka kikoʻī, ʻo Oracle RAC (Oracle Real Application Cluster) he pūʻulu o ʻelua a ʻoi aʻe paha nā kikowaena waihona ʻo Oracle e hana pū ana e kaulike i ka ukana a hāʻawi i ka hoʻomanawanui hewa ma ka pae kikowaena / noi. No ka hana ʻana i kēia ʻano, pono ʻoe i kahi waihona kaʻana like, ʻo ia ka mea maʻamau he ʻōnaehana mālama.
E like me kā mākou i kūkākūkā mua ai ma kekahi o kā mākou , ʻo ka ʻōnaehana mālama ponoʻī, ʻoiai ka loaʻa ʻana o nā ʻāpana i kope ʻia (me nā mea hoʻokele), loaʻa nā wahi o ka hāʻule ʻole - ma ke ʻano o kahi pūʻulu ʻikepili hoʻokahi. No laila, no ke kūkulu ʻana i kahi hoʻonā Oracle me ka hoʻonui ʻia ʻana o nā koi hilinaʻi, pono e paʻakikī nā "N servers - one storage system".
ʻO ka mea mua, ʻoiaʻiʻo, pono mākou e hoʻoholo i nā pilikia a mākou e hoʻāʻo nei e hōʻoia. Ma kēia ʻatikala, ʻaʻole mākou e noʻonoʻo i ka pale ʻana i nā hoʻoweliweli e like me "ua hiki mai kahi meteorite." No laila, ʻo ke kūkulu ʻana i kahi hoʻonā hoʻōla pōʻino i hoʻopuehu ʻia ma ka ʻāina e noho mau ia i kumuhana no kekahi o kēia mau ʻatikala. Eia mākou e nānā i ka mea i kapa ʻia ʻo Cross-Rack disaster recovery solution, ke kūkulu ʻia ka pale ma ka pae o nā keʻena kikowaena. Hiki ke waiho ʻia nā keʻena i loko o ka lumi hoʻokahi a i ʻole nā mea like ʻole, akā maʻamau i loko o ka hale hoʻokahi.
Pono e loaʻa i kēia mau keʻena ka hoʻonohonoho pono a pau o nā lako a me nā lako polokalamu e ʻae ai i ka hana ʻana o nā ʻikepili ʻo Oracle me ka nānā ʻole i ke kūlana o ka "hoa noho". I nā huaʻōlelo ʻē aʻe, me ka hoʻohana ʻana i ka hopena hoʻōla pōʻino Cross-Rack, hoʻopau mākou i nā pilikia o ka hiki ʻole:
- Nā kikowaena noi ʻo Oracle
- Pūnaehana mālama
- Nā ʻōnaehana hoʻololi
- ʻO ka hemahema o nā lako a pau i loko o ke keʻena keʻena:
- Hōʻole mana
- ʻAʻohe ʻōnaehana hoʻoluʻu
- Nā mea o waho (ke kanaka, ke ʻano, etc.)
ʻO ka hoʻopili hou ʻana o nā kikowaena Oracle e pili ana i ke kumu hana pono o Oracle RAC a hoʻokō ʻia ma o kahi noi. ʻAʻole pilikia ka hoʻololi ʻana i nā keʻena hoʻololi. Akā me ka hoʻololi ʻana o ka ʻōnaehana mālama, ʻaʻole maʻalahi nā mea āpau.
ʻO ka koho maʻalahi ka hoʻopili ʻana i ka ʻikepili mai ka ʻōnaehana mālama nui i ka mea hoʻihoʻi. Synchronous a i ʻole asynchronous, e pili ana i nā hiki o ka ʻōnaehana mālama. Me ka replication asynchronous, ua kū koke ka nīnau no ka hōʻoia ʻana i ka kūlike o ka ʻikepili e pili ana iā Oracle. Akā ʻoiai inā he polokalamu hoʻohui pū me ka noi, i kēlā me kēia hihia, i ka wā o ka hāʻule ʻole o ka ʻōnaehana mālama nui, e koi ʻia ka hana lima a nā luna e hoʻololi i ka puʻupuʻu i kahi mālama mālama.
ʻO kahi koho ʻoi aku ka paʻakikī o ka lako polokalamu a me / a i ʻole ka mālama ʻana i nā lako "virtualizers" e hoʻopau i nā pilikia kūlike a me ka hana lima. Akā ʻo ka paʻakikī o ka hoʻolaha ʻana a me ka hoʻokele hope ʻana, a me ke kumukūʻai ʻino loa o ia mau hopena, hoʻoweliweli i nā mea he nui.
He kūpono ka AccelStor NeoSapphire™ All Flash array solution no nā hiʻohiʻona e like me Cross-Rack disaster recovery. me ka hoʻohana ʻana i ka hoʻolālā Shared-Nothing. ʻO kēia kŘkohu he ʻōnaehana mālama node ʻelua e hoʻohana ana i ka ʻenehana FlexiRemap® ponoʻī e hana me nā pahu uila. Mahalo iā Hiki iā NeoSapphire ™ H710 ke hāʻawi i ka hana a hiki i 600K IOPS@4K kākau maʻamau a me 1M+ IOPS@4K heluhelu maʻamau, ʻaʻole hiki ke loaʻa i ka wā e hoʻohana ai i nā ʻōnaehana mālama mālama RAID.
Akā ʻo ka hiʻohiʻona nui o NeoSapphire ™ H710 ʻo ia ka hoʻokō ʻana i ʻelua nodes ma ke ʻano o nā hihia kaʻawale, ʻo kēlā me kēia me kāna kope ponoʻī o ka ʻikepili. Hana ʻia ka hoʻonohonoho ʻana o nā nodes ma o ka InfiniBand interface waho. Mahalo i kēia hoʻolālā, hiki ke hoʻokaʻawale i nā nodes i nā wahi like ʻole ma kahi mamao a hiki i 100m, a laila e hāʻawi ana i kahi hopena hoʻoponopono pōʻino Cross-Rack. Hoʻohana like nā node ʻelua. Mai ka ʻaoʻao hoʻokipa, ʻike ʻia ka H710 me kahi ʻōnaehana mālama mālama pālua. No laila, ʻaʻohe pono e hana i nā polokalamu ʻē aʻe a i ʻole nā koho hāmeʻa a i ʻole nā hoʻonohonoho paʻakikī.
Inā mākou e hoʻohālikelike i nā hoʻoponopono hoʻihoʻi pōʻino Cross-Rack i hōʻike ʻia ma luna, a laila ʻike ʻia ke koho mai AccelStor mai nā mea ʻē aʻe:
ʻAʻohe mea i kaʻana like ʻo AccelStor NeoSapphire™
Pūnaehana mālama "virtualizer" lako polokalamu
Haʻina ma muli o ka hoʻopili hou ʻana
Loaʻa
Hāʻule ke kikowaena
ʻAʻohe Downtime
ʻAʻohe Downtime
ʻAʻohe Downtime
Hoʻololi ʻole
ʻAʻohe Downtime
ʻAʻohe Downtime
ʻAʻohe Downtime
ʻAʻole hemahema ka ʻōnaehana waihona
ʻAʻohe Downtime
ʻAʻohe Downtime
Downtime
ʻAʻole pau ka ʻaha Kuhina
ʻAʻohe Downtime
ʻAʻohe Downtime
Downtime
ʻO ke kumukūʻai a me ka paʻakikī
ʻO ke kumukūʻai hoʻonā
haahaa*
Высокая
Высокая
Paʻakikī hoʻolālā
Low
Высокая
Высокая
*AccelStor NeoSapphire™ ʻo ia nō ka All Flash array, ʻaʻole i kūʻai ʻia he "3 kopecks," ma ka wehewehe ʻana, ʻoiai ʻo ia ka loaʻa ʻana o ka mana pālua. Eia nō naʻe, i ka hoʻohālikelike ʻana i ke kumukūʻai hope o kahi hopena e pili ana iā ia me nā mea like mai nā mea kūʻai aku ʻē aʻe, hiki ke noʻonoʻo ʻia ke kumukūʻai haʻahaʻa.
ʻO ka topology no ka hoʻohui ʻana i nā kikowaena noi a me nā nodes array Flash āpau e like me kēia:
I ka hoʻolālā ʻana i ka topology, ua ʻōlelo nui ʻia e hoʻololi i nā hoʻololi hoʻokele a me nā kikowaena interconnect.
Ma ʻaneʻi e kamaʻilio mākou e pili ana i ka hoʻopili ʻana ma o Fiber Channel. Inā ʻoe e hoʻohana i ka iSCSI, e like nā mea a pau, hoʻoponopono ʻia no nā ʻano hoʻololi i hoʻohana ʻia a me nā hoʻonohonoho hoʻonohonoho ʻokoʻa.
ʻO ka hana hoʻomākaukau ma ka papa
Nā lako a me nā lako polokalamu i hoʻohana ʻia
Nā kikoʻī kikoʻī o ke kikowaena a me ka hoʻololi
Nā Components
hōʻikeʻano
Nā kikowaena ʻo Oracle Database 11g
ʻElua
Pūnaehana lawelawe kikowaena
Linux Oracle
Manaʻo ʻikepili ʻo Oracle
11g (RAC)
Nā mea hana no kēlā me kēia kikowaena
ʻElua 16 core Intel® Xeon® CPU E5-2667 v2 @ 3.30GHz
Hoʻomanaʻo kino no kēlā me kēia kikowaena
128GB
Pūnaewele FC
16Gb/s FC me ka multipathing
FC HBA
Emulex Lpe-16002B
Hoʻolaʻa ʻia nā awa 1GbE lehulehu no ka hoʻokele cluster
ʻO Intel Ethernet adapter RJ45
16Gb/s FC kuapo
ʻO Brocade 6505
ʻO nā awa 10GbE kūʻokoʻa i hoʻolaʻa ʻia no ka synchonization data
Intel X520
ʻO AccelStor NeoSapphire™ Hōʻike Hōʻikeʻike Flash Array āpau
Nā Components
hōʻikeʻano
ʻŌnaehana mālama
Ke kumu hoʻohālike kiʻekiʻe o NeoSapphire™: H710
Mana kiʻi
4.0.1
Huina helu o ka holo
48
Nui kaʻa
1.92TB
Momi pū
SSD
Nā awa kuʻi FC
16x 16Gb awa (8 node)
Nā awa hoʻokele
ʻO ka uwea ethernet 1GbE e pili ana i nā pūʻali ma o ka hoʻololi ethernet
awa kuʻi puʻuwai
ʻO ka uwea eternet 1GbE e hoʻopili ana ma waena o ʻelua mau node mālama
awa hoʻonohonoho ʻikepili
56Gb/s InfiniBand uwea
Ma mua o ka hoʻohana ʻana i kahi array, pono ʻoe e hoʻomaka. Ma ka paʻamau, ua like ka helu hoʻomalu o nā node ʻelua (192.168.1.1). Pono ʻoe e hoʻopili iā lākou i kēlā me kēia a hoʻonohonoho i nā ʻōlelo hoʻokele hou (ua ʻokoʻa) a hoʻonohonoho i ka hoʻonohonoho manawa, ma hope o ka hiki ke hoʻopili ʻia nā awa Management i kahi pūnaewele hoʻokahi. Ma hope, hoʻohui ʻia nā nodes i kahi pālua HA ma ka hāʻawi ʻana i nā subnets no nā pilina Interlink.
Ma hope o ka hoʻomaka ʻana, hiki iā ʻoe ke hoʻokele i ka array mai kekahi node.
A laila, hana mākou i nā puke e pono ai a hoʻolaha iā lākou i nā kikowaena noi.
Manaʻo nui ʻia e hana i nā puke he nui no Oracle ASM no ka mea e hoʻonui kēia i ka helu o nā pahuhopu no nā kikowaena, kahi e hoʻomaikaʻi ai i ka hana holoʻokoʻa (ʻoi aʻe ma nā queues ma kahi ʻē aʻe. ).
Hoʻonohonoho hoʻāʻo
Kapa inoa Volume
Ka nui o ka leo
ʻIkepili01
200GB
ʻIkepili02
200GB
ʻIkepili03
200GB
ʻIkepili04
200GB
ʻIkepili05
200GB
ʻIkepili06
200GB
ʻIkepili07
200GB
ʻIkepili08
200GB
ʻIkepili09
200GB
ʻIkepili10
200GB
Māhele01
1GB
Māhele02
1GB
Māhele03
1GB
Māhele04
1GB
Māhele05
1GB
Māhele06
1GB
Hana hou01
100GB
Hana hou02
100GB
Hana hou03
100GB
Hana hou04
100GB
Hana hou05
100GB
Hana hou06
100GB
Hana hou07
100GB
Hana hou08
100GB
Hana hou09
100GB
Hana hou10
100GB
ʻO kekahi mau wehewehe e pili ana i nā ʻano hana o ka array a me nā kaʻina hana i nā kūlana pilikia
Loaʻa i ka pūʻulu ʻikepili o kēlā me kēia node kahi ʻāpana "helu helu". Ma hope o ka hoʻomaka mua ʻana, ua like a like me 1. Inā no kekahi kumu he ʻokoʻa ka helu o ka mana, a laila hoʻonohonoho mau ʻia ka ʻikepili mai ka ʻaoʻao kahiko a hiki i ka mea ʻōpio, ma hope o ka hoʻohālikelike ʻana i ka helu o ka ʻōpio, ʻo ia. ʻo ia hoʻi, ua like nā kope. Nā kumu e ʻokoʻa ai nā mana:
- Hoʻomaka hou ʻia kekahi o nā nodes
- He pōʻino ma kekahi o nā node ma muli o ka pani koke ʻana (ka lako mana, ka wela, a me nā mea ʻē aʻe).
- Nalo ka pilina InfiniBand me ka hiki ʻole ke hoʻonohonoho
- He ulia ma kekahi o nā node ma muli o ka palaho ʻikepili. Maʻaneʻi e ponoʻoe e hana i kahi hui HA hou a hoʻopiha piha i ka hoʻonohonohoʻikepili.
I kēlā me kēia hihia, hoʻonui ka node e waiho nei ma ka pūnaewele i kāna helu mana e hoʻokahi i mea e hoʻonohonoho i kāna ʻikepili i hoʻonohonoho ʻia ma hope o ka hoʻihoʻi ʻia ʻana o ka pilina me ka lua.
Inā nalowale ka pilina ma luna o ka loulou Ethernet, hoʻololi ka Heartbeat i ka InfiniBand a hoʻi hou i loko o 10 kekona ke hoʻihoʻi ʻia.
Hoʻonohonoho i nā pūʻali
No ka hōʻoia ʻana i ka hoʻomanawanui hewa a me ka hoʻomaikaʻi ʻana i ka hana, pono ʻoe e ʻae i ke kākoʻo MPIO no ka array. No ka hana ʻana i kēia, pono ʻoe e hoʻohui i nā laina i ka faila /etc/multipath.conf, a laila hoʻomaka hou i ka lawelawe multipath.
kikokiko hunanā mea hana {
mea {
mea kūʻai aku "AStor"
path_grouping_policy "group_by_prio"
ala_koho "queue-longth 0"
path_checker "tur"
hiʻona "0"
mea hana_hana "0"
mua "const"
failback koke
fast_io_fail_tmo 5
dev_loss_tmo 60
mea hoʻohana_friendly_names ʻae
detect_prio ʻae
rr_min_io_rq 1
no_path_retry 0
}
}
A laila, i mea e hana ai ʻo ASM me MPIO ma o ASMLib, pono ʻoe e hoʻololi i ka faila /etc/sysconfig/oracleasm a laila holo /etc/init.d/oracleasm scandisks
kikokiko huna
# ORACLEASM_SCANORDER: Hoʻohālikelike i nā kumu hoʻohālike no ke kauoha ʻana i ka disk scanning
ORACLEASM_SCANORDER="dm"
# ORACLEASM_SCANEXCLUDE: Nā kumu hoʻohālikelike e kāpae i nā disks mai ka scan
ORACLEASM_SCANEXCLUDE="sd"
i hoʻopuka
Inā ʻaʻole ʻoe makemake e hoʻohana i ka ASMLib, hiki iā ʻoe ke hoʻohana i nā lula UDEV, ʻo ia ke kumu no ASMLib.
E hoʻomaka ana me ka mana 12.1.0.2 o Oracle Database, hiki ke koho no ka hoʻokomo ʻana ma ke ʻano he polokalamu ASMFD.
Pono e hoʻopaʻa pono i nā disks i hana ʻia no Oracle ASM me ka nui o ka poloka i hoʻohana kino ʻia me (4K). A i ʻole, hiki mai nā pilikia hana. No laila, pono e hana i nā volumes me nā ʻāpana kūpono:
wehe ʻia /dev/mapper/name-name mklabel gpt mkpart primary 2048s 100% align-check maikaʻi loa 1
Ka hāʻawi ʻana i nā ʻikepili ma nā puke i hana ʻia no kā mākou hoʻonohonoho hoʻāʻo
Kapa inoa Volume
Ka nui o ka leo
Volume LUNs palapala palapala
Hōʻikeʻike Mea Hana Volume ASM
Hoʻokaʻawale i ka nui o ka ʻāpana
ʻIkepili01
200GB
Palapala ʻāina i nā waihona waihona i ka ʻōnaehana mālama i nā awa ʻikepili āpau
Redundance: maʻamau
Inoa:DGDATA
Ke kumu: nā waihona ʻikepili
4MB
ʻIkepili02
200GB
ʻIkepili03
200GB
ʻIkepili04
200GB
ʻIkepili05
200GB
ʻIkepili06
200GB
ʻIkepili07
200GB
ʻIkepili08
200GB
ʻIkepili09
200GB
ʻIkepili10
200GB
Māhele01
1GB
Redundance: maʻamau
Inoa: DGGRID1
Ke kumu: Māhele: CRS a me ke koho balota
4MB
Māhele02
1GB
Māhele03
1GB
Māhele04
1GB
Redundance: maʻamau
Inoa: DGGRID2
Ke kumu: Māhele: CRS a me ke koho balota
4MB
Māhele05
1GB
Māhele06
1GB
Hana hou01
100GB
Redundance: maʻamau
Inoa: DGREDO1
Ke kumu: Hana hou i ka log o ka pae 1
4MB
Hana hou02
100GB
Hana hou03
100GB
Hana hou04
100GB
Hana hou05
100GB
Hana hou06
100GB
Redundance: maʻamau
Inoa: DGREDO2
Ke kumu: Hana hou i ka log o ka pae 2
4MB
Hana hou07
100GB
Hana hou08
100GB
Hana hou09
100GB
Hana hou10
100GB
Nā hoʻonohonoho waihona
- Nui poloka = 8K
- Wahi hoʻololi = 16GB
- Hoʻopau i ka AMM (Hoʻokele Hoʻomanaʻo Aunoa)
- Hoʻopaʻa i nā ʻaoʻao nunui alohilohi
Nā hoʻonohonoho ʻē aʻe
# vi /etc/sysctl.conf
✓ fs.aio-max-nr = 1048576
✓ fs.file-max = 6815744
✓ kernel.shmmax 103079215104
✓ kernel.shmall 31457280
✓ kernel.shmmn 4096
✓ kernel.sem = 250 32000 100 128
✓ net.ipv4.ip_local_port_range = 9000 65500
✓ net.core.rmem_default = 262144
✓ net.core.rmem_max = 4194304
✓ net.core.wmem_default = 262144
✓ net.core.wmem_max = 1048586
✓vm.swappiness=10
✓ vm.min_free_kbytes=524288 # mai hoʻonoho i kēia inā hoʻohana ʻoe i Linux x86
✓ vm.vfs_cache_pressure=200
✓ vm.nr_hugepages = 57000
# vi /etc/security/limits.conf
✓ nproc palupalu mānoanoa 2047
✓ mānoanoa paʻakikī nproc 16384
✓ grid soft nofile 1024
✓ pūnaewele paʻakikī nofile 65536
✓ puʻupuʻu palupalu mānoanoa 10240
✓ puʻu paʻa paʻa 32768
✓ Oracle soft nproc 2047
✓ oracle hard nproc 16384
✓ oracle soft nofile 1024
✓ oracle hard nofile 65536
✓ puʻupuʻu palupalu ʻōlelo 10240
✓ hoʻopaʻa ʻōlelo paʻakikī 32768
✓ Memlock palupalu 120795954
✓ Memlock paʻakikī 120795954
sqlplus "/ as sysdba"
hoʻololi i nā kaʻina hana hoʻonohonoho pūnaewele = 2000 scope = spfile;
hoʻololi i ka ʻōnaehana hoʻonohonoho open_cursors=2000 scope=spfile;
hoʻololi i ka ʻōnaehana hoʻonohonoho session_cached_cursors=300 scope=spfile;
hoʻololi i ka ʻōnaehana hoʻonohonoho db_files=8192 scope=spfile;
Hōʻike hāʻule
No nā kumu hōʻike, ua hoʻohana ʻia ʻo HammerDB e hoʻohālike i kahi ukana OLTP. Hoʻonohonoho HammerDB:
Ka helu o na Hale Waihona
256
Ka huina o na hana no ka mea hoohana
1000000000000
Mea hoʻohana Virtual
256
ʻO ka hopena he 2.1M TPM, kahi mamao loa mai ka palena hana o ka array , akā he "ceiling" no ka hoʻonohonoho ʻenehana o kēia manawa o nā kikowaena (ma muli o nā mea hana) a me kā lākou helu. ʻO ke kumu o kēia hoʻāʻo ʻana e hōʻike i ka hoʻomanawanui hewa o ka hopena ma ke ʻano holoʻokoʻa, ʻaʻole e hoʻokō i ka hana kiʻekiʻe. No laila, e kūkulu wale mākou ma luna o kēia kiʻi.
E ho'āʻo no ka hemahema o kekahi o nā nodes
Ua nalowale ka poʻe pūʻali i kahi o nā ala i ka waiho ʻana, e hoʻomau ana i ka hana ma o nā mea i koe me ka lua o ka node. Ua hāʻule ka hana no kekahi mau kekona ma muli o ke kūkulu hou ʻana o nā ala, a laila hoʻi i ka maʻamau. ʻAʻohe mea hoʻopau i ka lawelawe.
ʻO ka hoʻāʻo ʻole ʻana o ke Kuhina me nā lako a pau
I kēia hihia, hāʻule pū ka hana no kekahi mau kekona ma muli o ka hoʻoponopono hou ʻana o nā ala, a laila hoʻi i ka hapalua o ka waiwai kumu. Ua hoʻokaʻawale ʻia ka hopena mai ka mea mua ma muli o ka haʻalele ʻana o kahi kikowaena noi mai ka hana. ʻAʻole hoʻi i hoʻopau ʻia ka lawelawe ʻana.
Inā pono e hoʻokō i kahi hoʻoponopono hoʻoponopono pōʻino Cross-Rack hewa no Oracle ma ke kumu kūʻai kūpono a me ka liʻiliʻi o ka hoʻolālā / hoʻokele ʻana, a laila hana pū ʻo Oracle RAC a me ka hoʻolālā. e lilo kekahi o nā koho maikaʻi loa. Ma kahi o Oracle RAC, hiki ke loaʻa kekahi polokalamu ʻē aʻe e hāʻawi i ka clustering, nā DBMS like a i ʻole nā ʻōnaehana virtualization, no ka laʻana. E mau ana ke kumumanao o ke kukulu ana i ka hooponopono. A ʻo ka laina lalo he zero no RTO a me RPO.
Source: www.habr.com