Дар Skyeng мо Amazon Redshift-ро истифода мебарем, аз ҷумла миқёси мувозӣ, аз ин рӯ мо ин мақолаи Стефан Громолл, муассиси dotgo.com барои intermix.io ҷолиб ёфтем. Пас аз тарҷума каме таҷрибаи мо аз муҳандиси маълумот Данияр Белхоҷаев.
имкон медиҳад, ки миқёсро тавассути илова кардани гиреҳҳои нав ба кластер. Зарурати мубориза бо шумораи зиёди дархостҳо метавонад боиси аз ҳад зиёд таъмин намудани гиреҳҳо гардад. Миқёси ҳамзамон, бар хилофи илова кардани гиреҳҳои нав, қудрати ҳисоббарориро дар ҳолати зарурӣ афзоиш медиҳад.
Миқёси параллелӣ Amazon Redshift ба кластерҳои Redshift иқтидори иловагиро барои коркарди ҳаҷми қуллаи дархост медиҳад. Он тавассути интиқол додани дархостҳо ба кластерҳои нави "параллелӣ" дар замина кор мекунад. Дархостҳо дар асоси конфигуратсия ва қоидаҳои WLM равона карда мешаванд.
Нархи миқёси мувозӣ ба модели кредитӣ бо сатҳи ройгон асос ёфтааст. Зиёда аз кредитҳои ройгон, пардохт ба вақти коркарди Cluster Scaling Parallel дархостҳо асос ёфтааст.
Муаллиф миқёси мувозиро дар яке аз кластерҳои дохилӣ санҷидааст. Дар ин паём, ӯ дар бораи натиҷаҳои санҷиш сӯҳбат хоҳад кард ва дар бораи чӣ гуна оғоз кардан маслиҳатҳо медиҳад.
Талаботи кластер
Барои истифодаи миқёси мувозӣ, кластери Amazon Redshift-и шумо бояд ба талаботи зерин ҷавобгӯ бошад:
- платформа: EC2-VPC;
- навъи гиреҳ: dc2.8xlarge, ds2.8xlarge, dc2.large ё ds2.xlarge;
- шумораи гиреҳҳо: аз 2 то 32 (кластерҳои гиреҳи ягона дастгирӣ намешаванд).
Намудҳои дархостҳои қобили қабул
Миқёси параллелӣ барои ҳама намуди дархостҳо мувофиқ нест. Дар версияи аввал, он танҳо дархостҳои хонишро коркард мекунад, ки се шартро қонеъ мекунанд:
— Дархостҳои SELECT танҳо барои хондан мебошанд (гарчанде ки навъҳои бештар ба нақша гирифта шудаанд);
— дархост ба ҷадвал бо услуби ҷудокунии INTERLEAVED истинод намекунад;
- Дар дархост Amazon Redshift Spectrum барои истинод ба ҷадвалҳои беруна истифода намебарад.
Барои ба кластери миқёси параллелӣ интиқол додан, дархост бояд дар навбат гузошта шавад. Илова бар ин, дархостҳое, ки барои навбат мувофиқанд , дар кластерҳои миқёси мувозӣ кор намекунад.
Навбатҳо ва SQA конфигуратсияи дурустро талаб мекунанд . Мо тавсия медиҳем, ки аввал WLM-и худро оптимизатсия кунед - ин ниёз ба миқёси мувозиро коҳиш медиҳад. Ва ин муҳим аст, зеро миқёси мувозӣ танҳо барои шумораи муайяни соатҳо ройгон аст. AWS иддао дорад, ки миқёси мувозӣ барои 97% муштариён ройгон хоҳад буд, ки ин моро ба масъалаи нархгузорӣ меорад.
Арзиши миқёси параллелӣ
AWS модели кредитиро барои миқёси мувозӣ пешниҳод мекунад. Ҳар як кластери фаъол Қарзҳоро ҳар соат ҷамъ мекунад, то як соат кредитҳои миқёси параллелӣ дар як рӯз.
Шумо танҳо вақте пардохт мекунед, ки истифодаи кластерҳои параллелии шумо аз маблағи кредитҳои гирифтаатон зиёд бошад.
Арзиш бо суръати як сония барои кластери параллелӣ, ки аз меъёри ройгон истифода мешавад, ҳисоб карда мешавад. Аз шумо танҳо барои давомнокии дархостҳои шумо пардохт карда мешавад, бо пардохти ҳадди ақали як дақиқа ҳар дафъа фаъол кардани кластери миқёси параллелӣ. Меъёри як сония аз рӯи талабот дар асоси принсипҳои умумии нархгузорӣ ҳисоб карда мешавад , яъне он аз намуди гиреҳ ва шумораи гиреҳҳо дар кластери шумо вобаста аст.
Оғози миқёси параллелӣ
Миқёси параллелӣ барои ҳар як навбати WLM оғоз мешавад. Ба консоли AWS Redshift равед ва аз менюи навигатсионӣ дар чапи Идоракунии сарбории корӣ -ро интихоб кунед. Аз менюи афтанда гурӯҳи параметрҳои WLM-и кластери худро интихоб кунед.
Шумо дар паҳлӯи ҳар як навбат сутуни наверо хоҳед дид, ки "Усули миқёси ҳамзамон" ном дорад. Параметри пешфарз "Майдон" аст. "Таҳрир" -ро клик кунед ва шумо метавонед танзимоти ҳар як навбатро тағир диҳед.
Танзимот
Миқёси параллелӣ тавассути ирсоли дархостҳои мувофиқ ба кластерҳои нави бахшидашуда кор мекунад. Кластерҳои нав ҳамон андоза (навъ ва шумораи гиреҳҳо) бо кластери асосӣ доранд.
Миқдори пешфарз кластерҳое, ки барои миқёси параллелӣ истифода мешаванд, як (1) аст, ки қобилияти конфигуратсияи то даҳ (10) кластерро дорад.
Шумораи умумии кластерҳо барои миқёси параллелӣ метавонад бо параметри max_concurrency_scaling_clusters муқаррар карда шавад. Баланд бардоштани арзиши ин параметр кластерҳои иловагии зиёдатиро таъмин мекунад.
Мониторинг
Дар консолии AWS Redshift якчанд графикҳои иловагӣ мавҷуданд. Диаграммаи Clusters Scaling Configured Concurrency Max конфигуратсияшуда арзиши max_concurrency_scaling_clusters бо мурури замон нишон медиҳад.
Шумораи кластерҳои фаъоли миқёскунӣ дар интерфейси корбар дар бахши "Фаъолияти миқёси ҳамзамон" нишон дода мешавад:
Дар ҷадвали дархостҳо сутуне мавҷуд аст, ки нишон медиҳад, ки дархост дар кластери асосӣ ё дар кластери миқёси параллелӣ иҷро шудааст:
Новобаста аз он ки дархости мушаххас дар кластери асосӣ ё тавассути кластери миқёси мувозӣ иҷро шудааст, он дар stl_query.concurrency_scaling_status нигоҳ дошта мешавад.
Қимати 1 нишон медиҳад, ки дархост дар кластери миқёси мувозӣ иҷро шудааст, дар ҳоле ки арзишҳои дигар нишон медиҳанд, ки он дар кластери ибтидоӣ иҷро шудааст.
Мисол:
Маълумот дар бораи миқёси ҳамзамон инчунин дар баъзе ҷадвалҳо ва намуди дигар, ба монанди SVCS_CONCURRENCY_SCALING_USAGE нигоҳ дошта мешавад. Илова бар ин, як қатор ҷадвалҳои каталогӣ мавҷуданд, ки маълумотро дар бораи миқёси параллелӣ нигоҳ медоранд.
натиҷаҳои
Муаллифон миқёси мувозӣ барои як навбатро дар кластери дохилӣ тақрибан соати 18:30:00 GMT 29.03.2019/3/20 оғоз карданд. Параметри max_concurrency_scaling_clusters ба 30 дар тақрибан 00:29.03.2019:XNUMX XNUMX/XNUMX/XNUMX иваз карданд.
Барои тақлид кардани навбати дархост, мо шумораи слотҳоро барои ин навбат аз 15 то 5 кам кардем.
Дар зер диаграммаи панели intermix.io оварда шудааст, ки шумораи дархостҳои иҷрошуда ва навбатро пас аз кам кардани шумораи слотҳо нишон медиҳад.
Мо мебинем, ки вақти интизории дархостҳо дар навбат зиёд шудааст ва ҳадди аксар аз 5 дақиқа зиёд аст.
Ин аст маълумоти дахлдор аз консоли AWS дар бораи он чизе, ки дар ин муддат рӯй дод:
Redshift се (3) кластерҳои миқёси мувозиро тавре танзим кардааст, оғоз кард. Чунин ба назар мерасад, ки ин кластерҳо ба қадри кофӣ истифода нашудаанд, гарчанде ки бисёре аз дархостҳо дар кластери мо дар навбат буданд.
Графикаи истифода бо графи фаъолияти миқёссозӣ мувофиқат мекунад:
Пас аз чанд соат, муаллифон навбатро тафтиш карданд ва ба назар чунин менамуд, ки 6 дархост дар миқёси параллелӣ иҷро мешаванд. Мо инчунин ба таври тасодуфӣ ду дархостро тавассути интерфейси корбар санҷидем. Мо тафтиш накардаем, ки чӣ тавр истифода бурдани ин арзишҳо ҳангоми якбора фаъол будани якчанд кластерҳои параллелӣ.
натиҷаҳои
Миқёси параллелӣ метавонад вақти сарфи дархостҳоро дар навбат ҳангоми сарбории баланд кам кунад.
Дар асоси нати-чахои санчиши асосй маълум гардид, ки вазъияти пурборкунии дархостхо кисман бехтар шудааст. Бо вуҷуди ин, танҳо як миқёси параллелӣ на ҳама мушкилоти ҳамоҳангиро ҳал кард.
Ин ба маҳдудиятҳо оид ба намудҳои дархостҳо вобаста аст, ки метавонанд миқёси мувозиро истифода баранд. Масалан, муаллифон ҷадвалҳои зиёде доранд, ки калидҳои ҷудошуда доранд ва аксари сарбории мо навиштан аст.
Гарчанде ки миқёси параллелӣ ҳалли универсалӣ барои насб кардани WLM нест, истифодаи ин хусусият содда ва осон аст.
Аз ин рӯ, муаллиф тавсия медиҳад, ки онро барои навбатҳои WLM-и худ истифода баред. Бо як кластери параллелӣ оғоз кунед ва сарбории баландро тавассути консол назорат кунед, то муайян кунед, ки кластерҳои нав пурра истифода мешаванд.
Азбаски AWS барои навъҳо ва ҷадвалҳои дархостҳои иловагӣ дастгирӣ мекунад, миқёси параллелӣ бояд тадриҷан бештар ва самараноктар шавад.
Шарҳ аз Данияр Белхоҷаев, муҳандиси маълумотҳои Skyeng
Мо дар Skyeng низ дарҳол имкони пайдоиши миқёси параллелӣ пайхас кардем.
Функсия хеле ҷолиб аст, бахусус бо назардошти он, ки AWS тахмин мезанад, ки аксари корбарон ҳатто барои он пардохтҳои иловагӣ надоранд.Ҳамин тавр шуд, ки дар нимаи моҳи апрел мо як қатор дархостҳои ғайриоддӣ ба кластери Redshift доштем. Дар ин давра, мо аксар вақт ба миқёси ҳамоҳангӣ муроҷиат мекардем; баъзан кластери иловагӣ 24 соат дар як рӯз бидуни таваққуф кор мекард.
Ин имкон дод, ки агар масъала бо навбат пурра хал нашавад, акаллан вазъият кобили кабул карда шавад.
Мушоҳидаҳои мо асосан бо таассуроти бачаҳо аз intermix.io мувофиқат мекунанд.
Мо инчунин мушоҳида кардем, ки ҳарчанд дархостҳо дар навбат буданд, на ҳама дархостҳо фавран ба кластери параллелӣ фиристода шуданд. Эҳтимол, ин аз он сабаб рӯй медиҳад, ки кластери параллелӣ барои оғоз кардан ҳанӯз вақт лозим аст. Дар натиҷа, дар вақти сарбории авҷи кӯтоҳмуддат мо то ҳол навбатҳои хурд дорем ва ҳушдорҳои мувофиқ барои фаъол шудан вақт доранд.
Моҳи апрел аз сарбориҳои ғайримуқаррарӣ халос шуда, мо, тавре ки AWS интизор буд, ба ҳолати истифодаи баъзан - дар доираи меъёри ройгон ворид шудем.
Шумо метавонед хароҷоти миқёси мувозии худро дар AWS Cost Explorer пайгирӣ кунед. Шумо бояд Хидмат - Redshift, Навъи истифода - CS -ро интихоб кунед, масалан USW2-CS:dc2.large.Шумо метавонед бештар дар бораи нархҳо бо забони русӣ хонед
Манбаъ: will.com