Архитектура у меморији за веб услуге: основе и принципи технологије

Ин-Мемори је скуп концепата за складиштење података када се чувају у РАМ-у апликације, а диск се користи за прављење резервних копија. У класичним приступима, подаци се чувају на диску, а меморија се чува у кешу. На пример, веб апликација са позадином за обраду података их захтева у складиште: прима их, трансформише и много података се преноси преко мреже. У Ин-Мемори, прорачуни се шаљу у податке - у складиште, где се обрађују и мрежа је мање оптерећена.

Захваљујући својој архитектури, Ин-Мемори убрзава приступ подацима неколико пута, а понекад чак и за редове величине, брже. На пример, банкарски аналитичари желе да у аналитичкој апликацији виде извештај о издатим кредитима у динамици по данима за прошлу годину. Овај процес ће трајати неколико минута на класичном ДБМС-у, али са Ин-Мемори-ом ће се појавити скоро одмах. То је зато што вам приступ омогућава да кеширате много више информација и оне се чувају у РАМ-у „при руци“. Апликација не мора да захтева податке са чврстог диска, чија је доступност ограничена мрежом и брзином диска.

Које су друге могућности доступне са Ин-Мемори-ом и какав је ово приступ? Владимир Плигин - инжењер у ГридГаин-у. Овај материјал за преглед ће бити користан програмерима позадинских апликација веб апликација који нису радили са Ин-Мемори-ом и желе да пробају, или су заинтересовани за модерне трендове у развоју софтвера и дизајну архитектуре.

Приметити. Чланак је заснован на транскрипту Владимировог извештаја на #ГетИТ Цонф. Пре увођења самоизолације, редовно смо одржавали састанке и конференције за програмере у Москви и Санкт Петербургу: разговарали смо о трендовима, актуелним развојним проблемима, проблемима и њиховим решењима. Сада није могуће одржати конференцију, али време је да поделимо корисне материјале из прошлих времена.

Ко и како користи Ин-Мемори

Ин-Мемори се најчешће користи тамо где је потребна брза интеракција корисника или обрада великих количина података.

• Банке користите Ин-Мемори, на пример, да смањите кашњења када клијенти користе апликације или да анализирате клијента пре издавања зајма.
• Финтецх користи Ин-Мемори за побољшање перформанси услуга и апликација за банке које предају обраду и анализу података. 
• Осигуравајућа друштва: за израчунавање ризика, на пример, анализом података о клијентима током неколико година.
• Логистичке компаније. Они обрађују много података, на пример, да би израчунали оптималне руте за превоз терета и путника са хиљадама параметара и пратили статус пошиљки.
• Малопродаја. Ин-Мемори решења помажу да се купци брже опслужују и обрађују велике количине информација: пошиљке, фактуре, трансакције, присуство хиљада робе у складиштима и припрема аналитичких извештаја.
• В ИОТ Ин-Мемори замењује традиционалне базе података.
• Пхармацеутицал компаније користе Ин-Мемори, на пример, за сортирање комбинација композиција лекова. 

Рећи ћу вам неколико примера како наши клијенти користе Ин-Мемори решења и како сами можете да их примените.

У меморији као примарно складиште

Један од наших клијената је велики добављач медицинске научне опреме из САД. Они користе Ин-Мемори решење као главно складиште података. Сви подаци се чувају на диску, а подскуп података који се активно користи чува се у РАМ-у. Методе приступа складишту су стандардне - ГДБЦ (Генериц Датабасе Цоннецтор) и СКЛ језик упита.

Колективно се ово назива база података у меморији (ИМДБ) или меморијско-центрично складиште. Ова класа решења има много имена, ово нису једина. 

ИМДБ карактеристике:

• Подаци који се чувају у меморији и којима се приступа преко СКЛ-а исти су као и код других приступа. Оне су синхронизоване, само је начин презентовања, начин обраћања другачији. Трансакционост функционише између података.

• ИМДБ је бржи од релационих база података јер је брже преузимање информација из РАМ-а него са диска. 
• Алгоритми интерне оптимизације имају мање инструкција.
• ИМДБ-ови су погодни за управљање подацима, догађајима и трансакцијама у апликацијама.

ИМДБ-ови делимично подржавају АЦИД: атомичност, доследност и изолацију. Али не подржавају „издржљивост“ - када се напајање искључи, сви подаци се губе. Да бисте решили проблем, можете да користите снимке – „снимку“ базе података, аналогно резервној копији базе података на чврстом диску, или снимите трансакције (логове) да бисте вратили податке након поновног покретања.

За креирање апликација отпорних на грешке

Замислимо класичну архитектуру веб апликације отпорне на грешке. Функционише овако: сви захтеви се дистрибуирају помоћу веб балансера између сервера. Овај систем је стабилан јер се сервери међусобно дуплирају и праве резервне копије у случају инцидената.

Балансер усмерава све захтеве из једне сесије стриктно на један сервер. Ово је механизам штап сесије: свака сесија је повезана са сервером где се локално чува и обрађује. 

Шта се дешава када један од сервера поквари?

Услуга неће бити погођена јер је архитектура дуплирана. Али изгубићемо подскуп сесија мртвог сервера. А у исто време и корисници који су везани за ове сесије. На пример, клијент наручи и изненада га избаци из канцеларије. Биће несрећан када се поново пријави и установи да ће све морати поново да се уради.

Потребна је веб апликација да подржи велики број корисника и да не успорава како би могли удобно да раде. Али ако је одбијен, са сваким наредним захтевом време потребно за комуникацију са складиштем сесија ће се повећавати. Ово повећава просечно кашњење за друге кориснике. Али не желе да чекају дуже него што су навикли.

Овај проблем се може решити као и наш други клијент, велики ПАСС провајдер из САД. Користи Ин-Мемори за груписање веб сесија. Да би то урадио, складишти их не локално, већ централно - у кластеру у меморији. У овом случају, сесије су доступне много брже јер су већ у РАМ-у.

Када се сервер сруши, балансер шаље захтеве са срушеног сервера на друге сервере, као у класичној архитектури. Али постоји важна разлика: сесије се чувају у кластеру у меморији а сервери имају приступ сесијама палог сервера.

Ова архитектура повећава отпорност на грешке целог система. Штавише, могуће је потпуно напустити механизам за сесију штапића.

Хибридна аналитичка обрада трансакција (ХТАП)

Обично се трансакциони и аналитички системи држе одвојено. Када се одвоје, главна база долази под оптерећење. За аналитичку обраду, подаци се копирају у реплику тако да аналитичка обрада не омета трансакционе процесе. Али копирање се дешава са кашњењем — немогуће је реплицирати без кашњења. Ако ово радимо синхроно, то ће такође успорити главну базу и нећемо добити никакав добитак.

У ХТАП-у све функционише другачије – исто складиште података се користи за трансакцијско оптерећење из апликација, као и за аналитичке упите који могу потрајати дуго да се заврше. Када су подаци у РАМ-у, аналитички упити се извршавају брже, а сервер са базом података је мање оптерећен (у просеку).

Хибридни приступ руши зид између обраде трансакција и аналитике. Ако вршимо аналитику на истом складишту, онда се покрећу аналитички упити за податке из РАМ-а. Они су много тачнији, разумљивији и адекватнији.

Интеграција Ин-Мемори решења

(релативно) једноставан начин - развијати све од нуле. Чувамо податке на диску и чувамо вруће податке у меморији. Ово помаже да преживите поновно покретање или прекиде сервера.

Овде постоје два главна сценарија када се подаци чувају на диску. У првом, желимо да преживимо падове или редовна поновно покретање кластера или делова - желимо да га користимо као једноставну базу података. У другом сценарију, када има превише података, неки од њих су у меморији.

Ако није могуће изградити све од нуле, могуће је интегрисати Ин-Мемори у већ постојеће архитектуре. Али нису сва Ин-Мемори решења погодна за ово. Постоје три обавезна услова. Ин-Мемори решење мора да подржава:

• стандардни начин повезивања са базом података која ће се налазити испод ње (на пример, МиСКЛ);
• стандардни језик упита, како се не би преписивала и мењала логика интеракције са складиштем;
• трансакциони – чувају семантику интеракције.

Ако су испуњена сва три услова, онда је интеграција могућа. Постављамо Ин-Мемори Дата Грид између апликације и базе података. Сада ће захтеви за писање бити делегирани основној бази података, а захтеви за читање ће бити делегирани основној бази података ако подаци нису у кешу.

Ако вам је важан брз приступ подацима и њихова обрада, на пример, за пословну аналитику, можете размислити о примени Ин-Мемори-а. А за имплементацију, можете користити обе методе када дизајнирате нову архитектуру.

Извор: ввв.хабр.цом