Numru konsiderevoli ta 'applikazzjonijiet Enterprise u sistemi ta' virtwalizzazzjoni għandhom il-mekkaniżmi tagħhom għall-bini ta 'soluzzjonijiet tolleranti għall-ħsarat. Speċifikament, Oracle RAC (Oracle Real Application Cluster) huwa raggruppament ta 'żewġ servers tad-database Oracle jew aktar li jaħdmu flimkien biex jibbilanċjaw it-tagħbija u jipprovdu tolleranza għall-ħsarat fil-livell ta' server/applikazzjoni. Biex taħdem f'dan il-mod, għandek bżonn ħażna kondiviża, li normalment tkun sistema ta 'ħażna.
Kif diġà ddiskutejna f'wieħed minn tagħna , is-sistema ta 'ħażna nnifisha, minkejja l-preżenza ta' komponenti duplikati (inklużi kontrolluri), għad għandha punti ta 'falliment - prinċipalment fil-forma ta' sett wieħed ta 'dejta. Għalhekk, biex tinbena soluzzjoni Oracle b'rekwiżiti ta 'affidabbiltà miżjuda, l-iskema "N servers - sistema ta' ħażna waħda" trid tkun ikkumplikata.
L-ewwel, ovvjament, irridu niddeċiedu liema riskji qed nippruvaw niżguraw kontrihom. F’dan l-artiklu, mhux se nikkunsidraw protezzjoni kontra theddid bħal “wasal meteorit.” Allura l-bini ta 'soluzzjoni ta' rkupru minn diżastri mxerrda ġeografikament se jibqa 'suġġett għal wieħed mill-artikoli li ġejjin. Hawnhekk se nħarsu lejn l-hekk imsejħa soluzzjoni ta 'rkupru minn diżastri Cross-Rack, meta l-protezzjoni tinbena fil-livell tal-kabinetti tas-server. Il-kabinetti nfushom jistgħu jkunu jinsabu fl-istess kamra jew f'oħrajn differenti, iżda ġeneralment fl-istess bini.
Dawn il-kabinetti għandu jkun fihom is-sett kollu meħtieġ ta 'tagħmir u softwer li se jippermettu t-tħaddim tad-databases Oracle irrispettivament mill-istat tal-"ġar". Fi kliem ieħor, bl-użu tas-soluzzjoni ta 'rkupru minn diżastri Cross-Rack, neliminaw ir-riskji ta' falliment:
- Servers tal-Applikazzjoni Oracle
- Sistemi ta 'ħażna
- Sistemi ta' swiċċjar
- Ħsara kompleta tat-tagħmir kollu fil-kabinett:
- Ċaħda ta' setgħa
- Ħsara fis-sistema tat-tkessiħ
- Fatturi esterni (bniedem, natura, eċċ.)
Id-duplikazzjoni tas-servers Oracle timplika l-prinċipju operattiv stess ta 'Oracle RAC u hija implimentata permezz ta' applikazzjoni. Id-duplikazzjoni tal-faċilitajiet tal-iswiċċjar mhijiex problema wkoll. Iżda bid-duplikazzjoni tas-sistema tal-ħażna, kollox mhux daqshekk sempliċi.
L-iktar għażla sempliċi hija r-replikazzjoni tad-dejta mis-sistema prinċipali tal-ħażna għal dik tal-backup. Sinkroniku jew mhux sinkroniku, skont il-kapaċitajiet tas-sistema tal-ħażna. B'replikazzjoni asinkronika, tqum immedjatament il-mistoqsija li tiġi żgurata l-konsistenza tad-dejta fir-rigward tal-Oracle. Iżda anki jekk ikun hemm integrazzjoni tas-softwer mal-applikazzjoni, fi kwalunkwe każ, fil-każ ta 'falliment fis-sistema ta' ħażna prinċipali, ikun meħtieġ intervent manwali mill-amministraturi sabiex jaqilbu l-cluster għal ħażna ta 'backup.
Għażla aktar kumplessa hija "virtwalizzaturi" tal-ħażna tas-softwer u/jew tal-ħardwer li se jeliminaw problemi ta 'konsistenza u intervent manwali. Iżda l-kumplessità tal-iskjerament u l-amministrazzjoni sussegwenti, kif ukoll l-ispiża indiċenti ħafna ta 'soluzzjonijiet bħal dawn, ibeżżgħu lil ħafna.
Is-soluzzjoni AccelStor NeoSapphire™ All Flash array hija perfetta għal xenarji bħall-irkupru minn diżastri Cross-Rack bl-użu ta 'arkitettura Shared-Nothing. Dan il-mudell huwa sistema ta 'ħażna b'żewġ nodi li tuża teknoloġija proprjetarja FlexiRemap® biex taħdem ma' flash drives. Grazzi lil NeoSapphire™ H710 huwa kapaċi li jwassal prestazzjoni sa 600K IOPS@4K kitba każwali u 1M+ IOPS@4K qari każwali, li ma tistax tintlaħaq meta tuża sistemi ta 'ħażna klassiċi bbażati fuq RAID.
Iżda l-karatteristika ewlenija ta 'NeoSapphire™ H710 hija l-eżekuzzjoni ta' żewġ nodi fil-forma ta 'każijiet separati, li kull wieħed minnhom għandu l-kopja tiegħu tad-dejta. Is-sinkronizzazzjoni tan-nodi titwettaq permezz tal-interface esterna InfiniBand. Grazzi għal din l-arkitettura, huwa possibbli li jitqassmu nodi f'postijiet differenti f'distanza sa 100m, u b'hekk tipprovdi soluzzjoni ta 'rkupru minn diżastri Cross-Rack. Iż-żewġ nodi joperaw kompletament b'mod sinkroniku. Min-naħa ospitanti, l-H710 tidher qisha sistema ta 'ħażna ordinarja b'kontrollur doppju. Għalhekk, m'hemmx bżonn li twettaq xi għażliet addizzjonali ta 'softwer jew hardware jew settings partikolarment kumplessi.
Jekk inqabblu s-soluzzjonijiet kollha ta 'rkupru minn diżastri Cross-Rack deskritti hawn fuq, allura l-għażla minn AccelStor tispikka b'mod notevoli mill-bqija:
AccelStor NeoSapphire™ Arkitettura Xejn Maqsuma
Sistema ta 'ħażna ta' "virtualizer" ta 'softwer jew ħardwer
Soluzzjoni bbażata fuq replikazzjoni
Disponibbiltà
Falliment tas-server
L-ebda Waqfien
L-ebda Waqfien
L-ebda Waqfien
Ħsara tal-iswiċċ
L-ebda Waqfien
L-ebda Waqfien
L-ebda Waqfien
Ħsara fis-sistema tal-ħażna
L-ebda Waqfien
L-ebda Waqfien
Perijodi ta 'waqfien
Falliment tal-kabinett kollu
L-ebda Waqfien
L-ebda Waqfien
Perijodi ta 'waqfien
Spiża u kumplessità
Spiża tas-soluzzjoni
Baxxa*
High
High
Il-kumplessità tal-iskjerament
Baxxa
High
High
*AccelStor NeoSapphire™ għadu array All Flash, li skont id-definizzjoni ma jiswax "3 kopecks," speċjalment peress li għandu riżerva ta 'kapaċità doppja. Madankollu, meta titqabbel l-ispiża finali ta 'soluzzjoni bbażata fuqha ma' oħrajn simili minn bejjiegħa oħra, l-ispiża tista 'titqies baxxa.
It-topoloġija għall-konnessjoni tas-servers tal-applikazzjoni u n-nodi kollha tal-array Flash se tidher bħal din:
Meta tippjana t-topoloġija, huwa wkoll rakkomandat ħafna li tidduplika swiċċijiet ta 'ġestjoni u servers ta' interkonnessjoni.
Hawn u aktar se nitkellmu dwar il-konnessjoni permezz tal-Fibre Channel. Jekk tuża iSCSI, kollox ikun l-istess, aġġustat għat-tipi ta 'swiċċijiet użati u settings ta' firxa kemmxejn differenti.
Xogħol preparatorju fuq l-array
Tagħmir u softwer użat
Speċifikazzjonijiet tas-Server u tal-Iswiċċ
Komponenti
Deskrizzjoni
Servers Oracle Database 11g
Żewġ
Sistema operattiva tas-server
oracle linux
Verżjoni tad-database Oracle
11g (RAC)
Proċessuri għal kull server
Żewġ 16-il qalba Intel® Xeon® CPU E5-2667 v2 @ 3.30GHz
Memorja fiżika għal kull server
128GB
Netwerk FC
16Gb/s FC b'multipathing
FC HBA
Emulex Lpe-16002B
Portijiet pubbliċi dedikati 1GbE għall-ġestjoni tal-clusters
Intel ethernet adapter RJ45
16Gb/s FC swiċċ
Brokata 6505
Portijiet privati 10GbE ddedikati għas-sinkonizzazzjoni tad-dejta
Intel X520
AccelStor NeoSapphire™ L-Ispeċifikazzjoni tal-Flash Array kollha
Komponenti
Deskrizzjoni
Sistema ta 'ħażna
Mudell ta' disponibbiltà għolja NeoSapphire™: H710
Verżjoni tal-immaġni
4.0.1
Numru totali ta' drives
48
Daqs tas-sewqan
1.92TB
Tip ta 'sewqan
SSD
FC mira portijiet
16x portijiet 16Gb (8 għal kull nodu)
Portijiet ta' ġestjoni
Il-kejbil ethernet 1GbE li jgħaqqad ma 'hosts permezz ta' swiċċ ethernet
Port tat-taħbit tal-qalb
Il-kejbil ethernet 1GbE li jgħaqqad bejn żewġ nodi tal-ħażna
Port tas-sinkronizzazzjoni tad-dejta
Kejbil InfiniBand 56Gb/s
Qabel ma tkun tista' tuża firxa, trid tinizjalizzaha. B'mod awtomatiku, l-indirizz tal-kontroll taż-żewġ nodi huwa l-istess (192.168.1.1). Ikollok bżonn tikkonnettja magħhom wieħed wieħed u tistabbilixxi indirizzi ta 'ġestjoni ġodda (diġà differenti) u twaqqaf sinkronizzazzjoni tal-ħin, u wara l-portijiet ta' Ġestjoni jistgħu jiġu konnessi ma 'netwerk wieħed. Wara, in-nodi huma kkombinati f'par HA billi jassenjaw subnets għal konnessjonijiet Interlink.
Wara li titlesta l-inizjalizzazzjoni, tista 'timmaniġġja l-firxa minn kwalunkwe node.
Sussegwentement, noħolqu l-volumi meħtieġa u nippubblikawhom fis-servers tal-applikazzjoni.
Huwa rakkomandat ħafna li jinħolqu volumi multipli għal Oracle ASM peress li dan iżid in-numru ta 'miri għas-servers, li fl-aħħar mill-aħħar se jtejjeb il-prestazzjoni ġenerali (aktar fuq kjuwijiet f'ieħor. ).
Konfigurazzjoni tat-test
Isem tal-Volum tal-Ħażna
Daqs tal-Volum
Dejta01
200GB
Dejta02
200GB
Dejta03
200GB
Dejta04
200GB
Dejta05
200GB
Dejta06
200GB
Dejta07
200GB
Dejta08
200GB
Dejta09
200GB
Dejta10
200GB
Grid01
1GB
Grid02
1GB
Grid03
1GB
Grid04
1GB
Grid05
1GB
Grid06
1GB
Redo01
100GB
Redo02
100GB
Redo03
100GB
Redo04
100GB
Redo05
100GB
Redo06
100GB
Redo07
100GB
Redo08
100GB
Redo09
100GB
Redo10
100GB
Xi spjegazzjonijiet dwar il-modi operattivi tal-firxa u l-proċessi li jseħħu f'sitwazzjonijiet ta 'emerġenza
Is-sett tad-dejta ta 'kull nodu għandu parametru "numru tal-verżjoni". Wara l-inizjalizzazzjoni inizjali, huwa l-istess u ugwali għal 1. Jekk għal xi raġuni n-numru tal-verżjoni huwa differenti, allura d-dejta hija dejjem sinkronizzata mill-verżjoni l-antika għal dik iżgħar, u warajha n-numru tal-verżjoni iżgħar huwa allinjat, i.e. dan ifisser li l-kopji huma identiċi. Raġunijiet għaliex il-verżjonijiet jistgħu jkunu differenti:
- Reboot skedat ta' wieħed min-nodi
- Aċċident fuq wieħed min-nodi minħabba għeluq f'daqqa (provvista ta 'enerġija, sħana żejda, eċċ.).
- Tlift il-konnessjoni InfiniBand b'inabbiltà li tissinkronizza
- Ħbit fuq wieħed min-nodi minħabba korruzzjoni tad-dejta. Hawnhekk ser ikollok bżonn toħloq grupp HA ġdid u tlesti s-sinkronizzazzjoni tas-sett tad-dejta.
Fi kwalunkwe każ, in-node li jibqa 'onlajn iżid in-numru tal-verżjoni tiegħu b'wieħed sabiex jissinkronizza s-sett tad-dejta tiegħu wara li l-konnessjoni mal-par tiġi restawrata.
Jekk il-konnessjoni fuq il-link Ethernet tintilef, Heartbeat jaqleb temporanjament għal InfiniBand u jerġa' lura fi żmien 10 sekondi meta jiġi restawrat.
Twaqqif ta 'hosts
Biex tiżgura t-tolleranza tal-ħsarat u ttejjeb il-prestazzjoni, trid tippermetti l-appoġġ MPIO għall-firxa. Biex tagħmel dan, trid iżżid linji mal-fajl /etc/multipath.conf, u mbagħad terġa 'tibda s-servizz multipath.
Test moħbiapparat {
apparat {
bejjiegħ "AStor"
path_grouping_policy "group_by_prio"
path_selector "tul tal-kju 0"
path_checker "tur"
karatteristiċi "0"
hardware_handler "0"
qabel "const"
failback immedjat
fast_io_fail_tmo 5
dev_loss_tmo 60
user_friendly_names iva
detect_prio iva
rr_min_io_rq 1
no_path_retry 0
}
}
Sussegwentement, sabiex ASM jaħdem ma 'MPIO permezz ta' ASMLib, għandek bżonn tibdel il-fajl /etc/sysconfig/oracleasm u mbagħad tħaddem /etc/init.d/oracleasm scandisks
Test moħbi
# ORACLEASM_SCANORDER: Tqabbil tal-mudelli biex tordna l-iskannjar tad-disk
ORACLEASM_SCANORDER="dm"
# ORACLEASM_SCANEXCLUDE: Tqabbil mudelli biex teskludi diski mill-iskan
ORACLEASM_SCANEXCLUDE="sd"
Innota
Jekk ma tridx tuża ASMLib, tista' tuża r-regoli UDEV, li huma l-bażi għal ASMLib.
Nibda bil-verżjoni 12.1.0.2 ta' Oracle Database, l-għażla hija disponibbli għall-installazzjoni bħala parti mis-softwer ASMFD.
Huwa imperattiv li jiġi żgurat li d-diski maħluqa għal Oracle ASM huma allinjati mad-daqs tal-blokk li l-array topera fiżikament bih (4K). Inkella, jistgħu jseħħu problemi ta 'prestazzjoni. Għalhekk, huwa meħtieġ li jinħolqu volumi bil-parametri xierqa:
parted /dev/mapper/device-name mklabel gpt mkpart primary 2048s 100% align-check optimal 1
Distribuzzjoni ta 'databases fuq volumi maħluqa għall-konfigurazzjoni tat-test tagħna
Isem tal-Volum tal-Ħażna
Daqs tal-Volum
Immappjar tal-LUNs tal-volum
Dettall tal-Apparat tal-Volum ASM
Daqs tal-Unità tal-Allokazzjoni
Dejta01
200GB
Ippjana l-volumi kollha tal-ħażna għas-sistema tal-ħażna tal-portijiet tad-dejta kollha
Redundancy: Normali
Isem:DGDATA
Għan: Fajls tad-dejta
4MB
Dejta02
200GB
Dejta03
200GB
Dejta04
200GB
Dejta05
200GB
Dejta06
200GB
Dejta07
200GB
Dejta08
200GB
Dejta09
200GB
Dejta10
200GB
Grid01
1GB
Redundancy: Normali
Isem: DGGRID1
Għan:Grid: CRS u Votazzjoni
4MB
Grid02
1GB
Grid03
1GB
Grid04
1GB
Redundancy: Normali
Isem: DGGRID2
Għan:Grid: CRS u Votazzjoni
4MB
Grid05
1GB
Grid06
1GB
Redo01
100GB
Redundancy: Normali
Isem: DGREDO1
Għan: Redo log tal-ħajta 1
4MB
Redo02
100GB
Redo03
100GB
Redo04
100GB
Redo05
100GB
Redo06
100GB
Redundancy: Normali
Isem: DGREDO2
Għan: Redo log tal-ħajta 2
4MB
Redo07
100GB
Redo08
100GB
Redo09
100GB
Redo10
100GB
Settings tad-Database
- Daqs tal-blokk = 8K
- Spazju ta' tpartit = 16GB
- Iddiżattiva AMM (Ġestjoni Awtomatika tal-Memorja)
- Itfi Paġni Enormi Trasparenti
Settings oħra
# vi /etc/sysctl.conf
✓ fs.aio-max-nr = 1048576
✓ fs.file-max = 6815744
✓ kernel.shmmax 103079215104
✓ kernel.shmall 31457280
✓ kernel.shmmn 4096
✓ kernel.sem = 250 32000 100 128
✓ net.ipv4.ip_local_port_range = 9000 65500
✓ net.core.rmem_default = 262144
✓ net.core.rmem_max = 4194304
✓ net.core.wmem_default = 262144
✓ net.core.wmem_max = 1048586
✓vm.swappiness=10
✓ vm.min_free_kbytes=524288 # issettjax dan jekk qed tuża Linux x86
✓ vm.vfs_cache_pressure=200
✓ vm.nr_hugepages = 57000
# vi /etc/security/limits.conf
✓ grid soft nproc 2047
✓ grid hard nproc 16384
✓ grid soft nofile 1024
✓ grid hard nofile 65536
✓ grid artab munzell 10240
✓ grid hard stack 32768
✓ oracle soft nproc 2047
✓ oracle hard nproc 16384
✓ oracle soft nofile 1024
✓ oracle hard nofile 65536
✓ Oracle soft stack 10240
✓ oracle hard stack 32768
✓ soft memlock 120795954
✓ hard memlock 120795954
sqlplus "/as sysdba"
tbiddel issettja tas-sistema proċessi=2000 ambitu=spfile;
ibdel is-sett tas-sistema open_cursors=2000 scope=spfile;
tbiddel is-sett tas-sistema session_cached_cursors=300 scope=spfile;
ibdel is-sett tas-sistema db_files=8192 scope=spfile;
Test ta' falliment
Għal skopijiet ta 'dimostrazzjoni, HammerDB intuża biex jimita tagħbija OLTP. Konfigurazzjoni HammerDB:
Numru ta' Mħażen
256
Tranżazzjonijiet totali għal kull Utent
1000000000000
Utenti Virtwali
256
Ir-riżultat kien 2.1M TPM, li huwa 'l bogħod mil-limitu ta' prestazzjoni tal-firxa , iżda huwa "limitu" għall-konfigurazzjoni tal-ħardwer attwali tas-servers (primarjament minħabba l-proċessuri) u n-numru tagħhom. L-iskop ta 'dan it-test għadu li juri t-tolleranza tal-ħsarat tas-soluzzjoni kollha kemm hi, u mhux li tinkiseb prestazzjoni massima. Għalhekk, aħna sempliċiment se nibnu fuq din il-figura.
Test għall-falliment ta 'wieħed min-nodi
L-ospiti tilfu parti mill-mogħdijiet għall-ħażna, u komplew jaħdmu permezz ta 'dawk li fadal bit-tieni node. Il-prestazzjoni naqset għal ftit sekondi minħabba l-mogħdijiet li qed jinbnew mill-ġdid, u mbagħad reġgħet lura għan-normal. Ma kien hemm ebda interruzzjoni fis-servizz.
Test ta 'falliment tal-kabinett bit-tagħmir kollu
F'dan il-każ, il-prestazzjoni naqset ukoll għal ftit sekondi minħabba r-ristrutturar tal-mogħdijiet, u mbagħad reġgħet lura għal nofs il-valur oriġinali. Ir-riżultat naqas bin-nofs minn dak inizjali minħabba l-esklużjoni ta 'server ta' applikazzjoni wieħed mill-operat. Ma kien hemm ukoll ebda interruzzjoni fis-servizz.
Jekk ikun hemm bżonn li tiġi implimentata soluzzjoni ta' rkupru minn diżastri Cross-Rack tolleranti għall-ħsarat għal Oracle bi spiża raġonevoli u bi ftit sforz ta' skjerament/amministrazzjoni, allura Oracle RAC u l-arkitettura jaħdmu flimkien se tkun waħda mill-aħjar għażliet. Minflok Oracle RAC, jista 'jkun hemm kwalunkwe softwer ieħor li jipprovdi clustering, l-istess DBMS jew sistemi ta' virtualization, pereżempju. Il-prinċipju tal-kostruzzjoni tas-soluzzjoni se jibqa 'l-istess. U l-linja tal-qiegħ hija żero għal RTO u RPO.
Sors: www.habr.com