У Скиенг-у користимо Амазон Редсхифт, укључујући паралелно скалирање, тако да смо сматрали занимљивим овај чланак Стефана Громола, оснивача дотго.цом, за интермик.ио. После превода, мало нашег искуства од инжењера података Данијара Белхоџајева.
омогућава скалирање додавањем нових чворова у кластер. Потреба да се носи са највећим бројем захтева може довести до прекомерног обезбеђивања чворова. Скалирање конкурентности, за разлику од додавања нових чворова, повећава рачунарску снагу по потреби.
Амазон Редсхифт паралелно скалирање даје Редсхифт кластерима додатни капацитет за руковање највећим количинама захтева. Функционише премештањем захтева у нове „паралелне“ кластере у позадини. Захтеви се рутирају на основу ВЛМ конфигурације и правила.
Паралелно скалирање цена је засновано на кредитном моделу са бесплатним нивоом. Изнад бесплатних кредита, плаћање је засновано на времену када Параллел Сцалинг Цлустер обрађује захтеве.
Аутор је тестирао паралелно скалирање на једном од интерних кластера. У овом посту ће говорити о резултатима теста и дати савете како да почнете.
Захтеви кластера
Да бисте користили паралелно скалирање, ваш Амазон Редсхифт кластер мора да испуни следеће захтеве:
- платформа: ЕЦ2-ВПЦ;
— тип чвора: дц2.8кларге, дс2.8кларге, дц2.ларге или дс2.кларге;
— број чворова: од 2 до 32 (кластери са једним чвором нису подржани).
Прихватљиви типови захтева
Паралелно скалирање није погодно за све врсте упита. У првој верзији, обрађује само захтеве за читање који испуњавају три услова:
— СЕЛЕЦТ упити су само за читање (иако је планирано више типова);
— упит не упућује на табелу са ИНТЕРЛЕАВЕД стилом сортирања;
– Упит не користи Амазон Редсхифт Спецтрум за упућивање на спољне табеле.
Да би се усмерио у кластер паралелног скалирања, захтев мора бити стављен у ред чекања. Поред тога, упити који испуњавају услове за ред , неће радити на кластерима паралелне размере.
Редови и СКА захтевају одговарајућу конфигурацију . Препоручујемо да прво оптимизујете свој ВЛМ - ово ће смањити потребу за паралелним скалирањем. А ово је важно јер је паралелно скалирање бесплатно само одређени број сати. АВС тврди да ће паралелно скалирање бити бесплатно за 97% купаца, што нас доводи до питања цена.
Цена паралелног скалирања
АВС нуди кредитни модел за паралелно скалирање. Сваки активни кластер Акумулира кредите по сату, до једног сата бесплатних кредита за паралелно скалирање дневно.
Плаћате само када ваша употреба кластера паралелног скалирања премашује износ кредита који сте примили.
Цена се израчунава по секунди на захтев за паралелни кластер који се користи изнад бесплатне стопе. Наплаћује вам се само за време трајања ваших захтева, са минималном наплатом од једног минута сваки пут када се активира кластер паралелног скалирања. Стопа по секунди на захтев се израчунава на основу општих принципа одређивања цена , односно зависи од типа чвора и броја чворова у вашем кластеру.
Покретање паралелног скалирања
Паралелно скалирање се покреће за сваки ВЛМ ред. Идите на АВС Редсхифт конзолу и изаберите Управљање радним оптерећењем из левог навигационог менија. Изаберите групу ВЛМ параметара вашег кластера из следећег падајућег менија.
Видећете нову колону под називом „Режим истовременог скалирања“ поред сваког реда. Подразумевано је „Онемогућено“. Кликните на „Измени“ и можете променити подешавања за сваки ред.
Конфигурација
Паралелно скалирање функционише тако што прослеђује одговарајуће захтеве новим наменским кластерима. Нови кластери имају исту величину (тип и број чворова) као главни кластер.
Подразумевани број кластера који се користи за паралелно скалирање је један (1), са могућношћу конфигурисања до укупно десет (10) кластера.
Укупан број кластера за паралелно скалирање може се подесити параметром мак_цонцурренци_сцалинг_цлустерс. Повећање вредности овог параметра обезбеђује додатне редундантне кластере.
Праћење
Постоји неколико додатних графикона доступних у АВС Редсхифт конзоли. Графикон Мак Цонфигуред Цонцурренци Сцалинг Цлустерс приказује вредност мак_цонцурренци_сцалинг_цлустерс током времена.
Број активних кластера за скалирање је приказан у корисничком интерфејсу у одељку „Активност истовременог скалирања“:
На картици Упити постоји колона која показује да ли је упит извршен у главном кластеру или у кластеру за паралелно скалирање:
Без обзира да ли је одређени упит извршен у главном кластеру или кроз кластер за паралелно скалирање, он се чува у стл_куери.цонцурренци_сцалинг_статус.
Вредност 1 означава да је упит извршен у кластеру паралелне скале, док друге вредности означавају да је извршен у примарном кластеру.
Пример:
Информације о скалирању паралелности се такође чувају у неким другим табелама и приказима, као што је СВЦС_ЦОНЦУРРЕНЦИ_СЦАЛИНГ_УСАГЕ. Поред тога, постоји велики број каталошких табела које чувају информације о паралелном скалирању.
Налази
Аутори су започели паралелно скалирање за један ред у интерном кластеру око 18:30:00 ГМТ 29.03.2019. Променили су параметар мак_цонцурренци_сцалинг_цлустерс на 3 отприлике у 20:30:00 29.03.2019.
Да бисмо симулирали ред захтева, смањили смо број слотова за овај ред са 15 на 5.
Испод је графикон интермик.ио контролне табле који приказује број покренутих захтева и чекања у реду након смањења броја слотова.
Видимо да се време чекања на захтеве у реду повећало, при чему је максимално време дуже од 5 минута.
Ево релевантних информација са АВС конзоле о томе шта се догодило за то време:
Редсхифт је покренуо три (3) кластера паралелног скалирања како је конфигурисано. Чини се да су ови кластери недовољно искоришћени, иако су многи захтеви у нашем кластеру били у реду чекања.
Графикон употребе корелира са графиконом активности скалирања:
Након неколико сати, аутори су проверили ред и изгледало је као да 6 захтева ради у паралелном скалирању. Такође смо насумично тестирали два захтева кроз кориснички интерфејс. Нисмо проверили како да користимо ове вредности када је неколико паралелних кластера активно истовремено.
Налази
Паралелно скалирање може смањити време које захтеви проводе у реду током вршног оптерећења.
На основу резултата основног теста испоставило се да се ситуација са захтевима за учитавање делимично поправила. Међутим, само паралелно скалирање није решило све проблеме истовремености.
Ово је због ограничења на типове упита који могу да користе паралелно скалирање. На пример, аутори имају много табела са испреплетеним кључевима за сортирање, а највећи део нашег посла је писање.
Иако паралелно скалирање није универзално решење за подешавање ВЛМ-а, коришћење ове функције је једноставно и једноставно.
Стога, аутор препоручује да га користите за своје ВЛМ редове. Почните са једним паралелним кластером и пратите максимално оптерећење кроз конзолу да бисте утврдили да ли се нови кластери у потпуности користе.
Како АВС додаје подршку за додатне типове упита и табеле, паралелно скалирање би постепено требало да постане све ефикасније.
Коментар Данијара Белхоџајева, Скиенг дата инжењера
Ми у Скиенг-у смо такође одмах приметили могућност паралелног скалирања.
Функционалност је веома атрактивна, посебно ако се има у виду да АВС процењује да већина корисника неће морати да је додатно плаћа.Десило се да смо средином априла имали необичан налет захтева према Редсхифт кластеру. Током овог периода, често смо прибегли истовременом скалирању; понекад је додатни кластер радио 24 сата дневно без престанка.
То је омогућило, ако не да се проблем са редовима у потпуности реши, онда барем да се ситуација учини прихватљивом.
Наша запажања се у великој мери поклапају са утисцима момака из интермик.ио.
Такође смо приметили да иако је било захтева на чекању у реду, сви захтеви нису одмах прослеђени паралелном кластеру. Очигледно се то дешава зато што је паралелном кластеру још увек потребно време да се покрене. Као резултат тога, током краткотрајних вршних оптерећења и даље имамо мале редове, а одговарајући аларми имају времена да се активирају.
Ослободивши се ненормалних оптерећења у априлу, ми смо, како је АВС очекивао, ушли у режим повремене употребе – у оквиру бесплатне норме.
Можете да пратите своје трошкове паралелног скалирања у АВС Цост Екплорер-у. Потребно је да изаберете Сервице - Редсхифт, Усаге Типе - ЦС, на пример УСВ2-ЦС:дц2.ларге.Више о ценама можете прочитати на руском
Извор: ввв.хабр.цом