Betsaka ny rindranasa Enterprise sy rafitra virtoaly manana ny fomba fiasany amin'ny fananganana vahaolana mahazaka lesoka. Amin'ny ankapobeny, Oracle RAC (Oracle Real Application Cluster) dia vondron'ireo mpizara roa na maromaro Oracle database izay miara-miasa mba handanjalanjana ny entana sy hanome fandeferana amin'ny sehatra server/application. Mba hiasa amin'ity fomba ity dia mila fitahirizana iombonana ianao, izay matetika rafitra fitahirizana.
Araka ny efa noresahintsika tao amin'ny iray amin'ireo , ny rafitra fitahirizana mihitsy, na dia eo aza ny fisian'ny singa mitovy (anisan'izany ny mpanara-maso), dia mbola manana teboka tsy fahombiazana - indrindra amin'ny endrika angon-drakitra tokana. Noho izany, mba hananganana vahaolana Oracle miaraka amin'ny fitakiana azo itokisana bebe kokoa, ny tetika "N servers - rafitra fitahirizana iray" dia mila sarotra.
Voalohany, mazava ho azy, mila manapa-kevitra isika hoe inona ny risika ezahantsika hiantohana. Ato amin’ity lahatsoratra ity, dia tsy hiresaka momba ny fiarovana amin’ny fandrahonana toy ny hoe “tonga ny meteorita”. Noho izany dia hijanona ho lohahevitra ho an'ny iray amin'ireto lahatsoratra manaraka ireto ny fananganana vahaolana amin'ny fanarenana ny voina miparitaka ara-jeografika. Eto isika dia hijery ilay antsoina hoe Cross-Rack vahaolana fanarenana ny loza, rehefa fiarovana dia naorina eo amin'ny haavon'ny server cabinets. Ny kabinetra dia azo apetraka ao amin'ny efitrano iray na amin'ny efitrano samihafa, fa matetika ao anaty trano iray ihany.
Ireo kabinetra ireo dia tsy maintsy mirakitra ny fitaovana sy rindrambaiko ilaina rehetra izay ahafahana miasa amin'ny angon-drakitra Oracle na inona na inona toetry ny "mpifanolo-bodirindrina". Raha lazaina amin'ny teny hafa, amin'ny fampiasana ny vahaolana fanarenana ny lozam-pifamoivoizana Cross-Rack, dia manafoana ny loza mety hitranga isika:
- Oracle Application Servers
- Storage systems
- Switching systems
- Ny tsy fahombiazan'ny fitaovana rehetra ao amin'ny kabinetra:
- Fandavana fahefana
- Ny tsy fahombiazan'ny rafitra fampangatsiahana
- Antony ivelany (olona, natiora, sns.)
Ny dika mitovy amin'ny mpizara Oracle dia midika ny fitsipiky ny Oracle RAC ary ampiharina amin'ny fampiharana. Tsy olana ihany koa ny famadihana ny fitaovana famafazana. Saingy miaraka amin'ny dika mitovy amin'ny rafitra fitahirizana dia tsy tsotra loatra ny zava-drehetra.
Ny safidy tsotra indrindra dia ny famerenana ny angona avy amin'ny rafitra fitahirizana lehibe mankany amin'ny backup. Synchronous na asynchronous, miankina amin'ny fahaiza-manaon'ny rafitra fitahirizana. Miaraka amin'ny replication asynchronous, dia mipoitra avy hatrany ny fanontaniana momba ny tsy fitoviana amin'ny angon-drakitra mifandraika amin'ny Oracle. Saingy na dia misy aza ny fampidirana rindrambaiko amin'ny fampiharana, na izany na tsy izany, raha misy ny tsy fahombiazan'ny rafitra fitahirizana lehibe, dia ilaina ny fidirana an-tsehatry ny mpitantana mba hamadihana ny cluster ho fitahirizana backup.
Ny safidy sarotra kokoa dia rindrambaiko sy/na fitahirizana fitaovana “virtualizers” izay hanafoana ny olana tsy miovaova sy ny fidirana an-tsehatry ny tanana. Saingy mampatahotra ny maro ny fahasarotana amin'ny fametrahana sy ny fitantanana manaraka, ary koa ny vola tsy mendrika amin'ny vahaolana toy izany.
Ny vahaolana AccelStor NeoSapphire ™ All Flash array dia tonga lafatra amin'ny toe-javatra toy ny fanarenana lozam-pifamoivoizana Cross-Rack mampiasa rafitra Shared-Nothing. Ity maodely ity dia rafitra fitahirizana roa node izay mampiasa teknolojia FlexiRemap® manokana mba hiasa miaraka amin'ny kapila tselatra. Misaotra ny NeoSapphire ™ H710 dia afaka mamokatra fampisehoana hatramin'ny 600K IOPS@4K fanoratana kisendrasendra ary 1M+ IOPS@4K mamaky kisendrasendra, izay tsy azo tratrarina rehefa mampiasa rafitra fitahirizana RAID mahazatra.
Fa ny tena mampiavaka an'i NeoSapphire ™ H710 dia ny famonoana node roa amin'ny endrika tranga samihafa, izay samy manana ny dika mitovy amin'ny angon-drakitra. Ny fampifanarahana ny nodes dia atao amin'ny alàlan'ny interface InfiniBand ivelany. Noho ity maritrano ity dia azo atao ny mizara ny nodes amin'ny toerana samihafa amin'ny halavirana hatramin'ny 100m, ka manome vahaolana fanarenana ny lozam-pifamoivoizana Cross-Rack. Samy miasa miaraka tanteraka ireo node roa ireo. Avy amin'ny lafiny mpampiantrano, ny H710 dia toa rafitra fitahirizana roa-controller mahazatra. Noho izany, tsy ilaina ny manao safidy fanampiny rindrambaiko na hardware na toe-javatra sarotra indrindra.
Raha ampitahaintsika ny vahaolana fanarenana ny lozam-pifamoivoizana Cross-Rack voalaza etsy ambony, ny safidy avy amin'ny AccelStor dia miavaka amin'ny ambiny:
AccelStor NeoSapphire™ Tsy Nizara Architecture
Rafitra fitehirizana "virtualizer" rindrambaiko na fitaovana
Vahaolana mifototra amin'ny replication
fisian'ny
Ny tsy fahombiazan'ny server
Tsy misy fotoana fohy
Tsy misy fotoana fohy
Tsy misy fotoana fohy
Tsy fahombiazana ny famadihana
Tsy misy fotoana fohy
Tsy misy fotoana fohy
Tsy misy fotoana fohy
Ny tsy fahombiazan'ny rafitra fitahirizana
Tsy misy fotoana fohy
Tsy misy fotoana fohy
haka aina amin'izay
Ny tsy fahombiazan'ny kabinetra manontolo
Tsy misy fotoana fohy
Tsy misy fotoana fohy
haka aina amin'izay
Ny vidiny sy ny fahasarotana
Vidin'ny vahaolana
ambany*
Высокая
Высокая
Sarotra ny fametrahana
ambany
Высокая
Высокая
*AccelStor NeoSapphire™ dia mbola fitambarana Flash rehetra, izay tsy mitentina “3 kopecks” raha ny famaritana azy, indrindra fa manana tahiry avo roa heny izy io. Na izany aza, rehefa mampitaha ny vidin'ny vahaolana mifototra amin'ny mitovy amin'ny mpivarotra hafa, dia azo heverina ho ambany ny vidiny.
Ny topologie amin'ny fampifandraisana ny lohamilina fampiharana sy ny node Flash rehetra dia ho toy izao:
Rehefa manomana ny topology, dia tena soso-kevitra ihany koa ny duplicate ny fitantanana switch sy interconnect servers.
Eto ary bebe kokoa dia hiresaka momba ny fifandraisana amin'ny alalan'ny Fibre Channel. Raha mampiasa iSCSI ianao, dia hitovy daholo ny zava-drehetra, amboarina amin'ny karazana switch ampiasaina sy firafitry ny array hafa kely.
Asa fanomanana amin'ny array
Fitaovana sy logiciel ampiasaina
Server sy Switch Specifications
singa
famaritana
Oracle Database 11g servers
roa
Rafitra fiasana mpizara
oracle linux
Oracle database version
11g (RAC)
Processors isaky ny mpizara
Intel® Xeon® CPU roa 16 E5-2667 v2 @ 3.30GHz
Fahatsiarovana ara-batana isaky ny mpizara
128GB
FC Network
16Gb/s FC miaraka amin'ny multipathing
FC HBA
Emulex Lpe-16002B
Seranana 1GbE ho an'ny daholobe ho an'ny fitantanana cluster
Intel ethernet adapter RJ45
16Gb/s FC switch
Brocade 6505
Seranan-tseranana 10GbE manokana ho an'ny synchonization data
Intel X520
AccelStor NeoSapphire ™ All Flash Array Specification
singa
famaritana
Rafitra fitahirizana
NeoSapphire™ modely azo ampiasaina avo lenta: H710
Dikan-tsary
4.0.1
Total isan'ny fiara
48
Haben'ny fiara
1.92TB
Fitaovana fiara
SSD
Ports kendrena FC
16x 16Gb seranana (8 isaky ny node)
Ports fitantanana
Ny tariby ethernet 1GbE mampifandray amin'ny mpampiantrano amin'ny alàlan'ny switch ethernet
Port fitepon'ny fo
Ny tariby ethernet 1GbE mampifandray eo anelanelan'ny node fitahirizana roa
Data synchronization port
Cable InfiniBand 56Gb/s
Alohan'ny ahafahanao mampiasa array dia tsy maintsy manomboka azy ianao. Amin'ny alàlan'ny default, ny adiresin'ny fanaraha-maso ny node roa dia mitovy (192.168.1.1). Mila mifandray amin'izy ireo tsirairay ianao ary mametraka adiresy fitantanana vaovao (efa hafa) ary manangana fampifanarahana ny fotoana, aorian'izay dia azo ampifandraisina amin'ny tambajotra tokana ny seranan-tsambo fitantanana. Aorian'izay dia atambatra ho mpivady HA ny node amin'ny alalan'ny fanomezana zana-tsokajy ho an'ny fifandraisana Interlink.
Rehefa vita ny fanombohana dia azonao atao ny mitantana ny array avy amin'ny node rehetra.
Manaraka, mamorona ny boky ilaina izahay ary mamoaka azy ireo amin'ny lohamilina fampiharana.
Tena soso-kevitra ny hamorona boky maromaro ho an'ny Oracle ASM satria hampitombo ny isan'ny kendrena ho an'ny mpizara izany, izay hanatsara ny fampisehoana ankapobeny (bebe kokoa amin'ny filaharana amin'ny hafa. ).
Fanaovana fitiliana
Anaran'ny boky fitahirizana
Haben'ny volume
Takelaka data01
200GB
Takelaka data02
200GB
Takelaka data03
200GB
Takelaka data04
200GB
Takelaka data05
200GB
Takelaka data06
200GB
Takelaka data07
200GB
Takelaka data08
200GB
Takelaka data09
200GB
Takelaka data10
200GB
Grid01
1GB
Grid02
1GB
Grid03
1GB
Grid04
1GB
Grid05
1GB
Grid06
1GB
Avereno01
100GB
Avereno02
100GB
Avereno03
100GB
Avereno04
100GB
Avereno05
100GB
Avereno06
100GB
Avereno07
100GB
Avereno08
100GB
Avereno09
100GB
Avereno10
100GB
Fanazavana sasany momba ny fomba fiasan'ny lasy sy ny dingana mitranga amin'ny toe-javatra maika
Ny fitambaran'ny angon-drakitra isaky ny node dia manana mari-pamantarana "node version". Aorian'ny fanombohana voalohany dia mitovy ary mitovy amin'ny 1. Raha toa ka tsy mitovy ny laharan'ny dikan-teny, dia atambatra foana ny angon-drakitra avy amin'ny dikan-teny taloha mankany amin'ny zandriny, ary aorian'izay dia mifanandrify ny isan'ny dikan-teny zandriny, izany hoe. midika izany fa mitovy ny kopia. Antony mety tsy hitovy ny dikan-teny:
- Reboot voalahatra ny iray amin'ireo nodes
- Loza teo amin'ny iray amin'ireo nodes noho ny fahatapahan-jiro tampoka (famatsiana herinaratra, hafanana tafahoatra, sns.).
- Very ny fifandraisan'ny InfiniBand noho ny tsy fahafahana mampifanaraka
- Fiposahan'ny iray amin'ireo nodes noho ny kolikoly angona. Eto ianao dia mila mamorona vondrona HA vaovao ary ny fampifanarahana tanteraka ny angon-drakitra.
Na izany na tsy izany, ny node mijanona amin'ny Internet dia mampitombo ny laharan'ny dikan-ny iray mba hampifanaraka ny angon-drakitra voatahiry rehefa tafaverina amin'ny laoniny ny fifandraisana amin'ny mpivady.
Raha very ny fifandraisana amin'ny rohin'ny Ethernet, dia mivadika vetivety amin'ny InfiniBand ny Heartbeat ary miverina ao anatin'ny 10 segondra rehefa tafaverina.
Fametrahana mpampiantrano
Mba hiantohana ny fandeferana amin'ny lesoka sy hanatsarana ny fampandehanana, dia tsy maintsy avelanao ny fanohanana MPIO ho an'ny array. Mba hanaovana izany dia mila manampy andalana amin'ny rakitra /etc/multipath.conf ianao, ary avereno indray ny serivisy multipath.
Lahatsoratra miafinafitaovana {
fitaovana {
mpivarotra "AStor"
path_grouping_policy "group_by_prio"
lalana_selector "halavan'ny filaharana 0"
path_checker "tur"
endri-javatra "0"
fitaovana_mpandraharaha "0"
aloha "const"
failback avy hatrany
fast_io_fail_tmo 5
dev_loss_tmo 60
user_friendly_names eny
detect_prio eny
rr_min_io_rq 1
no_path_retry 0
}
}
Manaraka, mba hahafahan'ny ASM miasa amin'ny MPIO amin'ny alàlan'ny ASMLib dia mila manova ny rakitra /etc/sysconfig/oracleasm ianao ary mandehana /etc/init.d/oracleasm scandisks.
Lahatsoratra miafina
# ORACLEASM_SCANORDER: Modely mifanandrify amin'ny famandrihana ny scan disk
ORACLEASM_SCANORDER="dm"
# ORACLEASM_SCANEXCLUDE: Modely mifanandrify hanilihana kapila amin'ny scan
ORACLEASM_SCANEXCLUDE="sd"
fanamarihana
Raha tsy te hampiasa ASMLib ianao dia afaka mampiasa ny fitsipika UDEV, izay fototry ny ASMLib.
Manomboka amin'ny version 12.1.0.2 an'ny Oracle Database, ny safidy dia azo apetraka ho ampahany amin'ny rindrambaiko ASMFD.
Tena ilaina ny miantoka fa ny kapila noforonina ho an'ny Oracle ASM dia mifanaraka amin'ny haben'ny sakana izay miasa ara-batana amin'ny array (4K). Raha tsy izany dia mety hisy olana amin'ny fampisehoana. Noho izany dia ilaina ny mamorona volume miaraka amin'ireo paramètre mety:
parted /dev/mapper/device-name mklabel gpt mkpart primary 2048s 100% align-check optimal 1
Fizarana ny angon-drakitra manerana ny boky noforonina ho an'ny fanandramanay
Anaran'ny boky fitahirizana
Haben'ny volume
Sarintany volume LUNs
ASM Volume Device Detail
Haben'ny vondrona
Takelaka data01
200GB
Soraty amin'ny sari-tany amin'ny rafitra fitahirizana ny seranana angona rehetra
Redundancy: Normal
Anarana: DGDATA
Tanjona: rakitra angona
4MB
Takelaka data02
200GB
Takelaka data03
200GB
Takelaka data04
200GB
Takelaka data05
200GB
Takelaka data06
200GB
Takelaka data07
200GB
Takelaka data08
200GB
Takelaka data09
200GB
Takelaka data10
200GB
Grid01
1GB
Redundancy: Normal
Anarana: DGGRID1
Tanjona: Grid: CRS sy Fifidianana
4MB
Grid02
1GB
Grid03
1GB
Grid04
1GB
Redundancy: Normal
Anarana: DGGRID2
Tanjona: Grid: CRS sy Fifidianana
4MB
Grid05
1GB
Grid06
1GB
Avereno01
100GB
Redundancy: Normal
Anarana: DGREDO1
Tanjona: Avereno indray ny diarin'ny kofehy 1
4MB
Avereno02
100GB
Avereno03
100GB
Avereno04
100GB
Avereno05
100GB
Avereno06
100GB
Redundancy: Normal
Anarana: DGREDO2
Tanjona: Avereno indray ny diarin'ny kofehy 2
4MB
Avereno07
100GB
Avereno08
100GB
Avereno09
100GB
Avereno10
100GB
Settings angona
- Haben'ny sakana = 8K
- Swap toerana = 16GB
- Atsaharo ny AMM (Fitantanana fahatsiarovana mandeha ho azy)
- Atsaharo ny pejy lehibe mangarahara
Fikirana hafa
# vi /etc/sysctl.conf
✓ fs.aio-max-nr = 1048576
✓ fs.file-max = 6815744
✓ kernel.shmmax 103079215104
✓ kernel.shmall 31457280
✓ kernel.shmmn 4096
✓ kernel.sem = 250 32000 100 128
✓ net.ipv4.ip_local_port_range = 9000 65500
✓ net.core.rmem_default = 262144
✓ net.core.rmem_max = 4194304
✓ net.core.wmem_default = 262144
✓ net.core.wmem_max = 1048586
✓vm.swappiness=10
✓ vm.min_free_kbytes=524288 # aza apetraka ity raha mampiasa Linux x86 ianao
✓ vm.vfs_cache_pressure=200
✓ vm.nr_hugpages = 57000
# vi /etc/security/limits.conf
✓ grid malefaka nproc 2047
✓ grid hard nproc 16384
✓ grid soft nofile 1024
✓ grid hard nofile 65536
✓ Grid soft stack 10240
✓ Grid hard stack 32768
✓ oracle soft nproc 2047
✓ oracle hard nproc 16384
✓ oracle soft nofile 1024
✓ oracle hard nofile 65536
✓ Oracle soft stack 10240
✓ Oracle hard stack 32768
✓ memlock malefaka 120795954
✓ memlock mafy 120795954
sqlplus "/ as sysdba"
alter system set process=2000 scope=spfile;
alter system set open_cursors=2000 scope=spfile;
alter system set session_cached_cursors=300 scope=spfile;
alter system set db_files=8192 scope=spfile;
Fitsapana tsy fahombiazana
Ho an'ny tanjona fampisehoana, HammerDB dia nampiasaina mba haka tahaka ny entana OLTP. HammerDB configuration:
Isan'ny trano fitehirizana
256
Total Transaction isaky ny mpampiasa
1000000000000
Mpampiasa virtoaly
256
Ny vokatra dia TPM 2.1M, izay lavitry ny fetran'ny fahombiazan'ny array , fa “lafo” ho an'ny fanamafisam-peo amin'izao fotoana izao ny mpizara (noho ny processeur) sy ny isany. Ny tanjon'ity fitsapana ity dia ny hanehoana ny fahaleovan-tena amin'ny vahaolana amin'ny ankapobeny, fa tsy ny hahatratrarana ny fahombiazany. Noho izany, hanorina fotsiny io tarehimarika io isika.
Fitsapana ny tsy fahombiazan'ny iray amin'ireo nodes
Very ny ampahany tamin'ny lalana mankany amin'ny fitahirizana ireo mpampiantrano, nanohy niasa tamin'ireo sisa tavela tamin'ny node faharoa. Nihena segondra vitsy ny fampisehoana noho ny fanamboarana ireo lalana, ary niverina tamin'ny laoniny avy eo. Tsy nisy fahatapahana ny fanompoana.
Fitsapana tsy fahombiazan'ny kabinetra miaraka amin'ny fitaovana rehetra
Amin'ity tranga ity, nihena ihany koa ny fampisehoana nandritra ny segondra vitsy noho ny fanavaozana ny lalana, ary avy eo dia niverina tamin'ny antsasaky ny sanda voalohany. Ny vokatra dia nahena antsasany tamin'ny voalohany noho ny fanilihana mpizara fampiharana iray tsy hiasa. Tsy nisy fahatapahana ihany koa ny fanompoana.
Raha toa ka ilaina ny mametraka vahaolana famerenam-pandrefesana Cross-Rack tsy mety levona ho an'ny Oracle amin'ny vidiny mirary ary miaraka amin'ny ezaka kely amin'ny fametrahana / fitantanana, dia miara-miasa ny Oracle RAC sy ny architecture. dia ho iray amin'ireo safidy tsara indrindra. Raha tokony ho Oracle RAC, dia mety misy rindrambaiko hafa manome clustering, DBMS na rafitra virtoaly mitovy, ohatra. Ny fitsipiky ny fananganana ny vahaolana dia hitoetra ho toy izany koa. Ary ny tsipika ambany dia aotra ho an'ny RTO sy RPO.
Source: www.habr.com