Шумораи зиёди замимаҳои Enterprise ва системаҳои виртуализатсия механизмҳои худро барои сохтани ҳалли ба хатогиҳо тобовар доранд. Махсусан, Oracle RAC (Oracle Real Application Cluster) як кластери ду ё зиёда серверҳои пойгоҳи додаҳои Oracle мебошад, ки барои мувозинати сарборӣ ва таъмини таҳаммулпазирии хатогиҳо дар сатҳи сервер/барнома кор мекунанд. Барои кор дар ин реҷа ба шумо як нигаҳдории муштарак лозим аст, ки одатан системаи нигаҳдорӣ мебошад.
Тавре ки мо аллакай дар яке аз худ муҳокима кардем , худи системаи нигоҳдорӣ, сарфи назар аз мавҷудияти ҷузъҳои такрорӣ (аз ҷумла контроллерҳо), ҳоло ҳам нуқтаҳои нокомӣ доранд - асосан дар шакли маҷмӯи ягонаи маълумот. Аз ин рӯ, барои сохтани як ҳалли Oracle бо талаботи баланд бардоштани эътимод, нақшаи "N серверҳо - як системаи нигоҳдорӣ" бояд мураккаб бошад.
Аввалан, албатта, мо бояд муайян кунем, ки мо аз кадом хатарҳо суғурта мекунем. Дар ин мақола мо муҳофизатро аз таҳдидҳо ба монанди "метеорит фаро расид" баррасӣ намекунем. Ҳамин тавр, сохтани як ҳалли аз ҷиҳати ҷуғрофӣ парокандаи барқарорсозии офатҳои табиӣ мавзӯи яке аз мақолаҳои зерин боқӣ мемонад. Дар ин ҷо мо ба истилоҳ ҳалли барқарорсозии офатҳои табиӣ Cross-Rack, вақте ки муҳофизат дар сатҳи кабинетҳои сервер сохта мешавад, дида мебароем. Худи кабинетҳо метавонанд дар як ҳуҷра ё дар ҳуҷраҳои гуногун ҷойгир шаванд, аммо одатан дар дохили як бино.
Ин кабинетҳо бояд тамоми маҷмӯи зарурии таҷҳизот ва нармафзорро дар бар гиранд, ки новобаста аз ҳолати "ҳамсоя" ба кори пойгоҳи додаҳои Oracle имкон медиҳанд. Ба ибораи дигар, бо истифода аз ҳалли барқарорсозии офатҳои табиӣ, мо хатарҳои нокомиро бартараф мекунем:
- Серверҳои барномаҳои Oracle
- Системаҳои нигоҳдорӣ
- Системаҳои коммутатсионӣ
- Нокомии пурраи тамоми таҷҳизот дар кабинет:
- Рад кардани қудрат
- Нокомии системаи хунуккунӣ
- Омилҳои беруна (инсон, табиат ва ғ.)
Такрори серверҳои Oracle принсипи кори Oracle RAC-ро дар назар дорад ва тавассути барнома амалӣ карда мешавад. Такрор шудани иншоотхои коммутационй низ проблема нест. Аммо бо такрори системаи нигоҳдорӣ, ҳама чиз он қадар оддӣ нест.
Варианти соддатарин ин нусхабардории маълумот аз системаи нигаҳдории асосӣ ба нусхабардорӣ мебошад. Синхронӣ ё асинхронӣ, вобаста ба имкониятҳои системаи нигоҳдорӣ. Ҳангоми репликатсияи асинхронӣ фавран савол дар бораи таъмини мутобиқати маълумот дар робита бо Oracle ба миён меояд. Аммо ҳатто агар интегратсияи нармафзор бо барнома вуҷуд дошта бошад, дар ҳар сурат, дар сурати нокомӣ дар системаи нигаҳдории асосӣ, барои гузаштан ба кластер ба нигаҳдории эҳтиётӣ дахолати дастӣ аз ҷониби маъмурон талаб карда мешавад.
Варианти мураккабтар "виртуализаторҳо" -и нигаҳдории нармафзор ва/ё сахтафзор мебошад, ки мушкилоти мувофиқат ва дахолати дастиро бартараф мекунад. Аммо мураккабии ҷобаҷогузорӣ ва маъмурияти минбаъда, инчунин арзиши хеле ночизи чунин қарорҳо, бисёр одамонро метарсонанд.
Ҳалли массиви AccelStor NeoSapphire™ All Flash барои сенарияҳо ба монанди барқарорсозии офатҳои табиӣ Cross-Rack комил аст. бо истифода аз меъмории Shared-Nothing. Ин модел як системаи нигаҳдории ду гиреҳ аст, ки технологияи хусусии FlexiRemap®-ро барои кор бо дискҳои флешдор истифода мебарад. Ташаккур ба NeoSapphire™ H710 қодир аст иҷрои то 600K IOPS@4K навиштани тасодуфӣ ва хониши тасодуфии 1M+ IOPS@4K, ки ҳангоми истифодаи системаҳои нигаҳдории классикии RAID асосёфта дастнорас аст.
Аммо хусусияти асосии NeoSapphire™ H710 иҷрои ду гиреҳ дар шакли парвандаҳои алоҳида мебошад, ки ҳар яки онҳо нусхаи шахсии маълумот доранд. Синхронизатсияи гиреҳҳо тавассути интерфейси берунии InfiniBand амалӣ карда мешавад. Ба шарофати ин меъморӣ, имкон дорад гиреҳҳоро ба маконҳои гуногун дар масофаи то 100 м тақсим карда, ба ин васила ҳалли барқарорсозии офатҳои табиӣ Cross-Rack-ро таъмин кунад. Ҳарду гиреҳ комилан синхронӣ кор мекунанд. Аз ҷониби мизбон, H710 ба системаи оддии нигоҳдории ду контроллер монанд аст. Аз ин рӯ, лозим нест, ки ягон вариантҳои нармафзор ё сахтафзори иловагӣ ё танзимоти махсусан мураккабро иҷро кунед.
Агар мо ҳамаи роҳҳои барқарорсозии офатҳои табиии Cross-Rack-ро муқоиса кунем, пас варианти AccelStor аз дигарон ба таври назаррас фарқ мекунад:
AccelStor NeoSapphire ™ ҳеҷ чизи меъмории муштарак надорад
Системаи нигаҳдории нармафзор ё сахтафзор "виртуализатор"
Ҳалли асоси такрорӣ
Мавҷудият
Нокомии сервер
Бе вақти бекорӣ
Бе вақти бекорӣ
Бе вақти бекорӣ
Нокомии гузариш
Бе вақти бекорӣ
Бе вақти бекорӣ
Бе вақти бекорӣ
Нокомии системаи нигоҳдорӣ
Бе вақти бекорӣ
Бе вақти бекорӣ
Давомнокӣ
Нокомии тамоми кабинет
Бе вақти бекорӣ
Бе вақти бекорӣ
Давомнокӣ
Арзиш ва мураккабӣ
Арзиши ҳалли
паст*
Высокая
Высокая
Мушкилии ҷойгиркунӣ
Пурра
Высокая
Высокая
* AccelStor NeoSapphire™ ҳоло ҳам як массиви All Flash аст, ки аз рӯи таъриф арзиши он "3 kopecks" нест, бахусус азбаски он дорои захираи дукаратаи иқтидор аст. Бо вуҷуди ин, ҳангоми муқоисаи арзиши ниҳоии маҳлул дар асоси он бо ҳамон гунаи фурӯшандагони дигар, арзиши онро кам ҳисобидан мумкин аст.
Топология барои пайваст кардани серверҳои барномаҳо ва гиреҳҳои массиви Flash чунин хоҳад буд:
Ҳангоми банақшагирии топология, инчунин такрор кардани коммутаторҳои идоракунӣ ва пайваст кардани серверҳо тавсия дода мешавад.
Дар ин ҷо ва минбаъд мо дар бораи пайвастшавӣ тавассути канали Fiber сӯҳбат хоҳем кард. Агар шумо iSCSI-ро истифода баред, ҳама чиз якхела хоҳад буд, барои намудҳои коммутаторҳои истифодашуда ва танзимоти массив каме фарқ мекунад.
Корҳои тайёрӣ дар массив
Таҷҳизот ва нармафзори истифодашуда
Мушаххасоти сервер ва Гузариш
Ҷузъҳо
Шарҳи
Серверҳои Oracle Database 11g
Дуюм
Системаи оператсионии сервер
oracle linux
Версияи пойгоҳи додаҳои Oracle
11г (RAC)
Протсессорҳо барои як сервер
Ду 16 ядрои Intel® Xeon® CPU E5-2667 v2 @ 3.30 ГГц
Хотираи ҷисмонӣ барои як сервер
128GB
Шабакаи FC
16 Гб/с FC бо бисёрҷониба
ФК HBA
Emulex Lpe-16002B
Бандарҳои махсуси ҷамъиятии 1GbE барои идоракунии кластер
Адаптери Ethernet Intel RJ45
Калиди FC 16Gb/s
Варақаи 6505
Портҳои хусусии 10GbE барои ҳамоҳангсозии додаҳо
Intel X520
AccelStor NeoSapphire™ All Flash Array мушаххасоти
Ҷузъҳо
Шарҳи
Системаи нигоҳдорӣ
Модели дастрасии баланд NeoSapphire™: H710
Версияи тасвирӣ
4.0.1
Шумораи умумии дискҳо
48
Андозаи драйв
1.92TB
Навъи диск
SSD
Портҳои ҳадафи FC
Портҳои 16х 16 Гб (8 барои як гиреҳ)
Портҳои идоракунӣ
Сими Ethernet 1GbE ба ҳостҳо тавассути гузариши Ethernet пайваст мешавад
Порти набзи дил
Сими Ethernet 1GbE, ки байни ду гиреҳи нигаҳдорӣ пайваст мешавад
Порти ҳамоҳангсозии маълумот
Сими 56 Гб/с InfiniBand
Пеш аз он ки шумо массивро истифода баред, шумо бояд онро оғоз кунед. Бо нобаёнӣ, суроғаи назоратии ҳарду гиреҳ як аст (192.168.1.1). Шумо бояд ба онҳо як-як пайваст шавед ва суроғаҳои нави идоракуниро (аллакай гуногун) таъин кунед ва ҳамоҳангсозии вақтро танзим кунед, ки пас аз он портҳои Идоракуниро ба як шабакаи ягона пайваст кардан мумкин аст. Пас аз он, гиреҳҳо ба як ҷуфти HA бо роҳи таъин кардани зершабакаҳо барои пайвастҳои Interlink муттаҳид карда мешаванд.
Пас аз ба итмом расидани оғозёбӣ, шумо метавонед массивро аз ҳама гиреҳ идора кунед.
Минбаъд, мо ҳаҷми заруриро эҷод мекунем ва онҳоро дар серверҳои барномаҳо нашр мекунем.
Тавсия дода мешавад, ки барои Oracle ASM ҷилдҳои сершумор эҷод кунед, зеро ин шумораи ҳадафҳоро барои серверҳо зиёд мекунад, ки дар ниҳоят кори умумиро беҳтар мекунад (бештар дар бораи навбатҳо дар навбати дигар ).
Конфигуратсияи санҷиш
Номи ҳаҷми нигаҳдорӣ
Андозаи ҳаҷм
Маълумот 01
200GB
Маълумот 02
200GB
Маълумот 03
200GB
Маълумот 04
200GB
Маълумот 05
200GB
Маълумот 06
200GB
Маълумот 07
200GB
Маълумот 08
200GB
Маълумот 09
200GB
Маълумот 10
200GB
Шабакаи 01.
1GB
Шабакаи 02.
1GB
Шабакаи 03.
1GB
Шабакаи 04.
1GB
Шабакаи 05.
1GB
Шабакаи 06.
1GB
Боз 01
100GB
Боз 02
100GB
Боз 03
100GB
Боз 04
100GB
Боз 05
100GB
Боз 06
100GB
Боз 07
100GB
Боз 08
100GB
Боз 09
100GB
Боз 10
100GB
Баъзе шарҳҳо дар бораи режимҳои кори массив ва равандҳое, ки дар ҳолатҳои фавқулодда рух медиҳанд
Маҷмӯи маълумоти ҳар як гиреҳ дорои параметри "рақами версия" мебошад. Пас аз оғозкунии ибтидоӣ, он якхела аст ва ба 1 баробар аст. Агар бо ягон сабаб рақами версия гуногун бошад, он гоҳ маълумот ҳамеша аз версияи кӯҳна ба версияи хурдсол ҳамоҳанг карда мешавад, ки пас аз он рақами версияи ҷавонтар мувофиқ карда мешавад, яъне. ин маънои онро дорад, ки нусхаҳо якхелаанд. Сабабҳое, ки чаро версияҳо метавонанд гуногун бошанд:
- Бозсозии ба нақша гирифташудаи яке аз гиреҳҳо
- Ҳодиса дар яке аз гиреҳҳо дар натиҷаи қатъи ногаҳонӣ (таъмини барқ, аз ҳад зиёд гармшавӣ ва ғайра).
- Пайвасти гумшудаи InfiniBand бо имконнопазирии ҳамоҳангсозӣ
- Суқути яке аз гиреҳҳо аз сабаби фасоди маълумот. Дар ин ҷо ба шумо лозим меояд, ки гурӯҳи нави HA эҷод кунед ва ҳамоҳангсозии пурраи маҷмӯи маълумотро анҷом диҳед.
Дар ҳар сурат, гиреҳе, ки онлайн боқӣ мемонад, рақами версияи худро як маротиба зиёд мекунад, то пас аз барқарор шудани пайвастшавӣ бо ҷуфт маҷмӯи додаҳои худро ҳамоҳанг созад.
Агар пайвастшавӣ тавассути пайванди Ethernet гум шавад, Heartbeat муваққатан ба InfiniBand мегузарад ва дар давоми 10 сония пас аз барқарор шуданаш бармегардад.
Ҷойгир кардани ҳостҳо
Барои таъмини таҳаммулпазирии хатогиҳо ва беҳтар кардани кор, шумо бояд дастгирии MPIO-ро барои массив фаъол созед. Барои ин ба шумо лозим аст, ки сатрҳоро ба файли /etc/multipath.conf илова кунед ва сипас хидмати бисёрҷонибаро аз нав оғоз кунед
Матни пинҳоншудадастгоҳҳо {
дастгоҳ {
фурӯшанда "AStor"
path_grouping_policy "group_by_prio"
path_selector "навбат дарозии 0"
path_checker "tur"
хусусиятҳои "0"
hardware_andler "0"
пеш аз "const"
бозгашти фаврӣ
fast_io_fail_tmo 5
dev_loss_tmo 60
user_friendly_names ҳа
detect_prio ҳа
rr_min_io_rq 1
no_path_retry 0
}
}
Минбаъд, барои он ки ASM бо MPIO тавассути ASMLib кор кунад, шумо бояд файли /etc/sysconfig/oracleasm-ро тағир диҳед ва сипас скандискҳои /etc/init.d/oracleasm -ро иҷро кунед.
Матни пинҳоншуда
# ORACLEASM_SCANORDER: Намунаҳои мувофиқ барои фармоиши сканкунии диск
ORACLEASM_SCANORDER = "dm"
# ORACLEASM_SCANEXCLUDE: Намунаҳои мувофиқ барои хориҷ кардани дискҳо аз скан
ORACLEASM_SCANEXCLUDE="sd"
эрод гирифтан
Агар шумо нахоҳед, ки ASMLib-ро истифода баред, шумо метавонед қоидаҳои UDEV-ро, ки асоси ASMLib мебошанд, истифода баред.
Аз версияи 12.1.0.2-и Oracle Database сар карда, интихоб барои насб ҳамчун як қисми нармафзори ASMFD дастрас аст.
Боварӣ ҳосил кардан лозим аст, ки дискҳои барои Oracle ASM сохташуда бо андозаи блоке, ки массив бо он (4K) физикӣ кор мекунад, мувофиқат кунад. Дар акси ҳол, мушкилоти иҷроиш мумкин аст. Аз ин рӯ, ҳаҷмҳоро бо параметрҳои мувофиқ эҷод кардан лозим аст:
parted /dev/mapper/номи дастгоҳ mklabel gpt mkpart ибтидоӣ 2048s 100% ҳамоҳангсозӣ-санҷиши оптималӣ 1
Тақсими пойгоҳи додаҳо дар миқдорҳои сохташуда барои конфигуратсияи санҷишии мо
Номи ҳаҷми нигаҳдорӣ
Андозаи ҳаҷм
Харитасозии ҳаҷми LUNs
Тафсилоти дастгоҳи ҳаҷми ASM
Андозаи воҳиди тақсимот
Маълумот 01
200GB
Ҳама ҳаҷмҳои нигоҳдорӣ ба системаи нигаҳдории ҳама портҳои маълумотро хари кунед
Зиёдшавӣ: муқаррарӣ
Ном: DGDATA
Мақсад: Файлҳои маълумот
4MB
Маълумот 02
200GB
Маълумот 03
200GB
Маълумот 04
200GB
Маълумот 05
200GB
Маълумот 06
200GB
Маълумот 07
200GB
Маълумот 08
200GB
Маълумот 09
200GB
Маълумот 10
200GB
Шабакаи 01.
1GB
Зиёдшавӣ: муқаррарӣ
Ном: DGGRID1
Мақсад: Шабака: CRS ва овоздиҳӣ
4MB
Шабакаи 02.
1GB
Шабакаи 03.
1GB
Шабакаи 04.
1GB
Зиёдшавӣ: муқаррарӣ
Ном: DGGRID2
Мақсад: Шабака: CRS ва овоздиҳӣ
4MB
Шабакаи 05.
1GB
Шабакаи 06.
1GB
Боз 01
100GB
Зиёдшавӣ: муқаррарӣ
Ном: DGREDO1
Мақсад: Таҷдиди сабти риштаи 1
4MB
Боз 02
100GB
Боз 03
100GB
Боз 04
100GB
Боз 05
100GB
Боз 06
100GB
Зиёдшавӣ: муқаррарӣ
Ном: DGREDO2
Мақсад: Таҷдиди сабти риштаи 2
4MB
Боз 07
100GB
Боз 08
100GB
Боз 09
100GB
Боз 10
100GB
Танзимоти пойгоҳи додаҳо
- Андозаи блок = 8K
- Фазои иваз = 16 ГБ
- Хомӯш кардани AMM (Идоракунии худкори хотира)
- Саҳифаҳои бузурги шаффофро хомӯш кунед
Дигар танзимот
# vi /etc/sysctl.conf
✓ fs.aio-max-nr = 1048576
✓ fs.file-max = 6815744
✓ kernel.shmmax 103079215104
✓ kernel.shmal 31457280
✓ kernel.shmmn 4096
✓ kernel.sem = 250 32000 100 128
✓ net.ipv4.ip_local_port_range = 9000 65500
✓ net.core.rmem_default = 262144
✓ net.core.rmem_max = 4194304
✓ net.core.wmem_default = 262144
✓ net.core.wmem_max = 1048586
✓vm.swappiness=10
✓ vm.min_free_kbytes=524288 # агар шумо Linux x86-ро истифода баред, инро танзим накунед
✓ vm.vfs_cache_pressure=200
✓ vm.nr_hugepages = 57000
# vi /etc/security/limits.conf
✓ шабакаи soft nproc 2047
✓ шабакаи сахт nproc 16384
✓ шабакаи нармафзори nofile 1024
✓ grid nofile сахт 65536
✓ Шабакаи нарм 10240
✓ шабакаи сахти 32768
✓ oracle soft nproc 2047
✓ oracle hard nproc 16384
✓ oracle soft nofile 1024
✓ oracle hard nofile 65536
✓ stack soft oracle 10240
✓ стеки сахти oracle 32768
✓ memlock мулоим 120795954
✓ memlock hard 120795954
sqlplus "/ ҳамчун sysdba"
тағир додани равандҳои маҷмӯи система = 2000 доираи = spfile;
тағир додани маҷмӯи система open_cursors=2000 scope=spfile;
тағир додани маҷмӯи система session_cached_cursors=300 scope=spfile;
тағир додани маҷмӯи система db_files = 8192 scope = spfile;
Санҷиши ноком
Барои мақсадҳои намоишӣ, HammerDB барои тақлид кардани сарбории OLTP истифода мешуд. Конфигуратсияи HammerDB:
Шумораи анборҳо
256
Ҳамагӣ транзаксияҳо барои як корбар
1000000000000
Истифодабарандагони виртуалӣ
256
Дар натиҷа 2.1M TPM буд, ки аз ҳадди иҷрои массив дур аст , балки як "шифт" барои конфигуратсияи сахтафзори ҷории серверҳо (пеш аз ҳама аз ҳисоби коркардкунандагон) ва шумораи онҳо мебошад. Ҳадафи ин озмоиш то ҳол нишон додани таҳаммулпазирии хатогиҳои ҳалли мушкилот аст, на ба даст овардани ҳадди аксар. Аз ин рӯ, мо танҳо ба ин рақам асос хоҳем дод.
Санҷиши нокомии яке аз гиреҳҳо
Хостҳо як қисми роҳҳоро ба анбор гум карданд ва кори боқимондаро бо гиреҳи дуюм идома доданд. Намоиш аз сабаби барқарор кардани пайроҳаҳо чанд сония коҳиш ёфт ва сипас ба ҳолати муқаррарӣ баргашт. Дар хидмат ягон халалдор нашуд.
Санҷиши нокомии кабинет бо тамоми таҷҳизот
Дар ин ҳолат, кор низ бо сабаби таҷдиди сохтори роҳҳо чанд сония коҳиш ёфт ва сипас ба нисфи арзиши аслӣ баргашт. Натиҷа аз ҳисоби аввала ду баробар кам шуд, зеро як сервери барнома аз кор хориҷ карда шуд. Дар хизмат низ ягон кафомонй набуд.
Агар зарурати татбиқи як ҳалли барқарорсозии офатҳои табиии Cross-Rack ба хатогиҳо барои Oracle бо арзиши оқилона ва бо кӯшишҳои каме густариш/идоракунӣ вуҷуд дошта бошад, пас Oracle RAC ва меъморӣ якҷоя кор мекунанд. яке аз вариантхои бехтарин хохад шуд. Ба ҷои Oracle RAC, метавонад ягон нармафзори дигаре бошад, ки кластерро таъмин мекунад, ҳамон DBMS ё системаҳои виртуализатсия, масалан. Принсипи сохтани халли он як хел мемонад. Ва сатри поён барои RTO ва RPO сифр аст.
Манбаъ: will.com