Mäluarkitektuur veebi teenustele: tehnoloogia põhialused ja põhimõtted

In-Memory — andmete salvestamise kontseptsioonide kogum, kus need salvestatakse rakenduse mällu ning ketas kasutatakse varukoopiate jaoks. Traditsioonilistes lähenemisviisides hoitakse andmeid kettal, samas kui mälu töötab vahemäluna. Näiteks veebirakendus, millel on andmete töötlemise taust, pärib neid salvestusest: saab, transformeerib ning edastab palju andmeid üle võrgu. In-Memory puhul saadetakse arvutusandmed otse andmetele — salvestusse, kus nad töödeldakse, vähendades võrgu koormust.

Graafika arhitektuuri tõttu on In-Memory ligipääs andmetele mitu korda, mõnikord isegi kordades kiirem. Näiteks soovivad panga analüütikud vaadata analüüsirakenduses välja antud laenude aruandeid päevade kaupa eelmisel aastal. See protsess traditsioonilises andmebaasis võtab minuteid, samas kui In-Memory lahenduse puhul kuvatakse see peaaegu koheselt. Seda seetõttu, et lähenemine võimaldab salvestada palju rohkem teavet, mis on kergesti ligipääsetav mälus. Rakendus ei pea küsima andmeid kõvakettalt, mille ligipääs on piiratud võrgu ja ketta kiirusest.

Millised muud võimalused on In-Memory lahendusega saadaval ja mis see lähenemine endast kujutab, räägib Vladimir Pligin — GridGaini insener. See ülevaatlik artikkel on kasulik veebirakenduste tagaplaanide arendajatele, kes pole töötanud In-Memory tehnoloogiaga ja soovivad proovida, või huvituvad kaasaegsetest tarkvaraarenduse suundumustest ja arhitektuuri projekteerimisest.

Märkus. Artikkel põhineb Vladimiri ettekande tõlgendamises #GetIT Conf konverentsil. Enne isoleerimise algust korraldasime regulaarselt kohtumisi ja konverentse arendajatele Moskvas ja Peterburis, kus arutasime suundumusi, aktuaalseid arendusküsimusi, probleeme ja nende lahendusi. Praegu ei saa me konverentse korraldada, kuid on ideaalne aeg jagada kasulikke materjale minevikust.

Kes ja kuidas kasutab In-Memory

In-Memory kasutatakse kõige sagedamini seal, kus on vajalik kiire kasutajakogemus või suurte andmemahtude töötlemine.

• Banka kasutavad In-Memory tehnoloogiat, näiteks klientide rakenduste kasutamise viivituste vähendamiseks või kliendi analüüsimiseks enne laenu andmist.
• FinTech kasutavad In-Memoryt, et parandada pankade teenuste ja rakenduste jõudlust, kes viivad andmete töötlemise ja analüüsi välja. 
• Страховые компании: riskihindamiseks, näiteks, analüüsides kliendi andmeid mitme aasta jooksul.
• Logistikaettevõtted. Need töötlevad palju andmeid, näiteks üldiselt, et arvutada välja parimaid marsruute kaubaveo ja reisijate vedude jaoks, arvestades tuhandeid parameetreid, ja jälgida saadetiste staatust.
• Jaotusturg. In-Memory lahendused aitavad kiiremini teenindada kliente ja töödelda suuri andmemahtusid: saadetised, arved, tehingud, tuhandete toodete olemasolu laos, koostada analüütilisi aruandeid.
• V IoT In-Memory asendab traditsioonilisi andmebaase.
• Ravimitootmis- ettevõtted kasutavad In-Memory lahendusi näiteks ravimite koostisosade kombinatsioonide läbiproovimiseks. 

Räägin mõned näited, kuidas meie kliendid kasutavad In-Memory lahendusi ja kuidas võite neid enda juures rakendada.

In-Memory kui põhilaod

Üks meie klientidest on suur meditsiinilise teadustehnika tarnija USA-st. Nad kasutavad In-Memory lahendust kui põhilaod. Kõik andmed salvestatakse kettale, samas kui aktiivselt kasutatav andmestik hoitakse seadme mälus. Juurdepääsuloogika on standardne — GDBC (Generic Database Connector) ja SQL päringukeel.

Kokkuvõttes nimetatakse seda In-Memory Database (IMDB) või Memory-Centric Storage. Sellel lahenduste klassil on palju nimetusi, need ei ole ainsad. 

IMDB omadused:

• Andmed, mis on salvestatud In-Memory ja on SQL kaudu kergesti kättesaadavad, on samad, mis muudes lähenemisviisides. Need on sünkroonitud, erinev vaid esitamise viis ja sellele juurdepääsu meetod. Andmete vahel on tehingute toimetamine.

• IMDB on kiiremad kui relatsioonilised andmebaasid, kuna teabe saamine juhuslikust mälust on kiirem kui kettalt. 
• Sisemistel optimeerimisalgoritmidel on vähem käsklusi.
• IMDB sobivad andmete, sündmuste ja tehingute haldamiseks rakendustes.

IMDB toetavad osaliselt ACID-i: aatomilisust, järjepidevust ja isoleeritust. Kuid nad ei toeta 'püsivust' – voolukatkestuse korral kaovad kõik andmed. Probleemi lahendamiseks saab kasutada sämpleid – andmebaasi 'snapshot', mis on analoog bääkapile kõvakettale, või salvestada tehingud (logid), et andmeid pärast taaskäivitamist taastada.

Viksemise tagamiseks loodud rakenduste jaoks

Tutvustame klassikalist veebi rakenduse tõrke taluvuse arhitektuuri. See töötab nii, et kõik päringud jagatakse veebitasakaalustaja vahel serverite vahel. See süsteem on vastupidav, sest serverid dubleerivad üksteist ja katavad üksteist õnnetuste korral.

Tasakaalustaja suunab kõik päringud ühe seansiga rangelt ühele serverile. See on stick-sessiooni mehhanism: iga seanss on seotud serverile, kus seda kohalikult salvestatakse ja töödeldakse. 

Mis juhtub, kui üks serverite?

teenus ei kannata, sest arhitektuur on dubleeritud. Kuid me kaotame osa surnud serveriga seotud seanssidest. Ja ühtlasi ka need kasutajad, kes on nende seanssidega seotud. Näiteks, kui klient esitab tellimuse ja järsku visatakse ta kabinetist välja. Ta jääb rahule, kui peab uuesti sisse logima ja avastab, et peab kõik uuesti vormistama.

Veebirakendusele on vajalik toetada suurt kasutajate arvu ilma viivitusteta, et nad saaksid mugavalt töötada. Kui aga süsteem ebaõnnestub, suureneb iga järgmise päringu puhul suhtlemisaeg sessioonide hoidmisega. See tõstab keskmist latentsusaega teistele kasutajatele. Nad ei soovi oodata kauem kui harjunud.

Seda probleemi saab lahendada nagu meie teise kliendi puhul — suure USA PASS-teenuse pakkuja. Ta kasutab In-Memory tehnoloogiat, et klasterdada veebisessioonid. Selleks hoiab ta neid mitte kohalikult, vaid keskeltläbi — In-Memory klastris. Sel juhul on sessioonid märksa kiiremini kättesaadavad, sest need asuvad juba RAM-is.

Kui server langeb, suunab koormuse tasakaalustaja langevatelt serveritelt päringud teistele serveritele, nagu klassikalises arhitektuuris. Kuid oluline erinevus on: sessioonid on hoitud In-Memory klastris ja serveritel on juurdepääs langeva serveri sessioonidele.

Selline arhitektuur suurendab kogu süsteemi tõrkekindlust. Veelgi enam, on võimalik täielikult loobuda sticky-sessioonide mehhanismist.

Hübriidne tehingu- ja analüüsitöötlus (HTAP)

Tavaliselt hoitakse tehingu- ja analüüsisüsteeme eraldi. Kui need on eraldatud, koormatakse põhiteavet. Analüütilise töötlemise jaoks kopeeritakse andmed koopiasse, et analüütiline töötlemine ei segaks tehingu protsesse. Kuid kopeerimine toimub viivitusega — ilma viivituseta on replikeerimine võimatu. Kui teeme seda sünkroonselt, aeglustab see ka põhiteavet, millega me ei võida.

HTAPis töötab kõik teisiti — sama andmesalvestust kasutatakse rakenduste tehingukoormuse ja analüütiliste päringute jaoks, mis võivad kaua aega võtta. Kui andmed on RAMis, täidetakse analüütilised päringud kiiremini ja andmebaasiserver koormatakse vähem (keskmiselt).

Hübriidne lähenemine „murdub sein“ tehingute töötlemise ja analüüsi vahel. Kui me teeme analüüsides samas salvestuses, siis käivitatakse analüütilised päringud andmetele, mis on operatiivmälu. Need on palju täpsemad, paremini tõlgendatavad ja adekvaatsed.

In-Memory lahenduste integreerimine

Lihtne (suhteliselt) viis — arendada kõik nullist. Me hoiame andmeid kettal, kuumad andmed aga mälus. See aitab ellu jääda serveri taaskäivitustest või probleemidest.

Siin kehtivad kaks põhistsenaariumi, kus andmeid hoitakse kettal. Esimeses soovime ellu jääda klastrite või komponentide kokkuvarisemise või regulaarsete taaskäivituste ajal — soovime kasutada seda nagu lihtsat andmebaasi. Teises stsenaariumis, kui andmeid on liiga palju, jääb osa neist mälus.

Kui pole võimalik kõike nullist üles ehitada, võib integreerida In-Memory juba olemasolevasse arhitektuuri. Kuid mitte kõik In-Memory lahendused ei sobi selleks. On kolm kohustuslikku tingimust. In-Memory lahendus peab toetama:

• standardsed ühendusmeetod andmebaasiga, mis asub selle all (näiteks MySQL);
• standardsed päringute keeled, et mitte kirjutada üle ja muuta vastastikuse toimimise loogikat;
• transaktsionaalsus — säilitades interaktsiooni semantika.

Kui kõik kolm tingimust on täidetud, on integreerimine võimalik. Paigutame In-Memory Data Grid rakenduse ja andmebaasi vahele. Nüüd suunatakse kirjutuspäringud alumisse andmebaasi ja lugemisjärjekorrad andmebaasi, kui andmeid pole vahemikus.

Kui kiire andmete juurde pääsemine ja nende töötlemine, näiteks ärianalüütika jaoks, on teile oluline, siis tasub kaaluda In-Memory rakendamist. Uue arhitektuuri projekteerimisel võite rakendada mõlemat meetodit.

Allikas: habr.com