Tarantool Data Grid'i arhitektuur ja võimalused

Aastal 2017 võitsime konkursi Alfa-Bank'i investeerimisäri tehingu tuuma arendamiseks ning alustasime tööd (HighLoad++ 2018 esitasime ettekande investeerimisäri tuumast esines Vladimir Drynkin, Alfa-Bank'i investeerimisäri tehingu tuuma juht). See süsteem pidi koguma tehinguandmeid erinevatest allikatest erinevates formaatides, viima andmed ühtsesse vormi, salvestama need ning tagama neile juurdepääsu.

Arenduse käigus evolveeris süsteem ja sai üha rohkem funktsionaalsust, ning mingil hetkel mõistsime, et meie käes on midagi palju enamat kui lihtsalt rakendus, mis on loodud kindlate ülesannete täitmiseks: meil tekkis jaotatud rakenduste süsteem püsiva salvestusega. Saadud kogemus muutus uue toote aluseks — Tarantool Data Grid (TDG).

Soovin rääkida TDG arhitektuurist ja nendest lahendustest, mille oleme arendamise käigus leidnud, tutvustada teile põhifunktsiooni ning näidata, kuidas meie toode võib olla aluseks lõpetatud lahenduste loomisel.

Arhitektuurselt oleme süsteemi jaganud eraldi rollideks, millest igaühel on oma kindlad ülesanded. Üks käivitatud rakenduse eksemplar realiseerib ühe või mitu tüüpi rolle. Klibris võib olla mitu sama tüübi rolli:

Connector

Connector vastutab side eest välismaailmaga; selle ülesanne on vastu võtta päring, selle analüüsida ja kui see õnnestub, edastada andmed töötlemiseks input processorile. Me toetame formaate HTTP, SOAP, Kafka, FIX. Arhitektuur võimaldab lihtsalt lisada toetust uusutele formaatidele, peagi lisandub ka IBM MQ tugi. Kui päringu analüüs ebaõnnestub, siis connector tagastab vea; vastasel juhul vastab ta, et päring on edukalt töödeldud, isegi kui edasise töötlemise käigus tekkis viga. See on ette nähtud töötamiseks süsteemidega, mis ei oska päringuid uuesti esitada — või vastupidi, teevad seda liiga järjekindlalt. Andmete kaotsimineku vältimiseks kasutatakse remontjärjekorda: objekt satub esmalt sinna ja ainult pärast eduka töötlemise lõpetamist eemaldatakse see sealt. Administraator võib saada teateid remontjärjekorras olevate objektide kohta ning pärast programmiviga või riistvara rikke kõrvaldamist proovida uuesti.

Input processor

Input processor klassifitseerib saadud andmed iseloomulike tunnuste järgi ja kutsub välja sobivad töötlejjad. Töötlejateks on Lua keeles kirjutatud kood, mis käivitub liivakastis, seega ei saa nad süsteemi toimimist mõjutada. Sellel etapil saab andmeid vajaduse korral vormindada ning käivitada suvalise arvu ülesandeid, mis võivad ellu viia vajaliku loogika. Näiteks MDM (Master Data Management) tootes, mis on ehitatud Tarantool Data Grid'i peale, uue kasutaja lisamisel, et mitte päringu töötlust aeglustada, käivitame kuldse kirje loomise eraldi ülesandena. Liivakast toetab lugemis-, muutmis- ja andmete lisamisjalooge ning võimaldab teatud funktsiooni teostada kõigis storage tüüpi rollides ja koondada tulemus (map/reduce).

Töötlejad võivad olla kirja pandud failides:

sum.lua

local x, y = unpack(...)
return x + y

Ja seejärel määratud konfiguratsioonis:

functions:
  sum: { __file: sum.lua }

Miks Lua? Lua on väga lihtne keel. Meie kogemuse põhjal, paar tundi pärast sellega tutvumist, hakkavad inimesed kirjutama koodi, mis lahendab nende probleemi. Ja see ei ole ainult professionaalsed arendajad, vaid näiteks ka analüütikud. Lisaks, tänu jit-kompilaatorile, töötab Lua väga kiiresti.

Salvestus

Salvestus säilitab püsivaid andmeid. Enne salvestamist läbib andmed valideerimise, et need vastaksid andmeskeemile. Skeemi kirjeldamiseks kasutame täiustatud formaati Apache Avro. Näidis:

{
    "name": "Kasutaja",
    "type": "record",
    "logicalType": "Aggregate",
    "fields": [ 
        { "name": "id", "type": "string"}, 
        {"name": "eesnimi", "type": "string"}, 
        {"name": "perenimi", "type": "string"} 
    ], 
    "indexes": ["id"] 
}

Selle kirjelduse põhjal genereeritakse automaatselt DDL (Data Definition Language) TaranTUL andmebaasi jaoks ja GraphQL skeem andmete juurde pääsemiseks.

Toetatakse asünkroonset andmete replikatsiooni (plaanis on lisada sünkroonne).

Väljundiprotsessor

Mõnikord tuleb uute andmete saabumise kohta teavitada väliseid tarbijaid, selleks on olemas Väljundiprotsessori roll. Pärast andmete salvestamist võivad need olla edastatud neile vastavale töötlejale (näiteks nende vormi kohandamiseks, nagu tarbija nõuab) - ja seejärel edastatud konnektorile saatmiseks. Siin kasutatakse samuti remondijärjekorda: kui objekti keegi ei võtnud, saab administraator hiljem proovida uuesti.

Mastaabis

Konnektori, sisendiprotsessori ja väljundiprotsessori rollidel ei ole olekut, mis võimaldab meil süsteemi horisontaalselt skaleerida, lihtsalt lisades uusi rakenduse instantsi vajaliku tüübi rolliga. Horisontaalse skaleerimise jaoks kasutatakse salvestuses lähenemist klastri korraldamiseks virtuaalsete anumate kasutamisega. Pärast uue serveri lisamist kantakse osa anumatest vanadelt serveritelt taustal uuele serverile; see toimub kasutajate jaoks läbipaistvalt ja ei mõjuta kogu süsteemi toimimist.

Andmete omadused

Objektid võivad olla väga suured ja sisaldada teisi objekte. Tagame andmete lisamise ja värskendamise aatomilisuse, säilitades objekti koos kõigi sõltuvustega ühes virtuaalses anum, vältides objekti „laiali jooksma” mitmele füüsilisele serverile.

Toetatakse versiooni haldust: iga objekti uuendus loob uue versiooni ning me saame alati teha ajas tagasi vaatamise ja näha, millisena maailm siis oli. Andmete puhul, mis ei vaja pikka ajalugu, saame piirata versioonide arvu või hoida ainult ühte — viimast, mis on sisuliselt versiooni halduse väljajätmine teatud tüübi puhul. Samuti saab ajaloolist teavet ajas piirata: näiteks eemaldada kõik teatud tüüpi objektid, mis on vanemad kui 1 aasta. Arhiveerimist toetatakse samuti: saame eksportida objekte, mis on vanemad kui määratud aeg, vabastades seeläbi ruumi klastris.

Ülesanded

Huvi põnevate funktsioonide hulgas tasub välja tuua võimalus käivitada ülesandeid ajakava alusel, kasutaja soovil või programmiliselt liivakasti kaudu:

Siin näeme veel ühte rolli — runner. See roll ei oma seisundit ning klastrisse on vajadusel võimalik lisada täiendavaid rakenduse eksemplare selle rolliga. Runneri vastutus on ülesannete täitmine. Nagu mainitud, on liivakastist võimalik genereerida uusi ülesandeid; need salvestatakse järjekorda storage'i ja seejärel täidetakse runneris. Selle tüüpi ülesandeid nimetatakse Job. Samuti on meil ülesande tüüp, mida nimetatakse Task — need on kasutaja määratletud ülesanded, mis käivitatakse ajakava alusel (kasutatakse cron süntaksit) või nõudmisel. Selliste ülesannete käivitamiseks ja jälgimiseks on meil mugav ülesande haldur. Selle funktsiooniga tutvumiseks on vajalik lubada scheduler roll; see roll omab seisundit ja seetõttu ei skaleeru, kuigi see pole vajalik; samas võib see, nagu kõik teised rollid, omada koopiat, mis hakkab toimima, kui peamine (master) peaks ebaõnnestuma.

Logger

Veel üks roll on logger. See kogub logisid kõikidelt klastri liikmetelt ning pakub liidese nende eksportimiseks ja vaatamiseks läbi veebiliidese.

Teenused

Tuleb mainida, et süsteem võimaldab lihtsalt teenuste loomist. Konfiguratsioonifailis saab määrata, milliseid päringuid suunata kasutaja kirjutatud töötlejale, mis töötab liivakastis. Selles töötlejas saab näiteks teostada mingit analüütilist päringut ja tagastada tulemuse.

Teenust kirjeldatakse konfiguratsioonifailis:

services:
   sum:
      doc: "adds two numbers"
      function: sum
      return_type: int
      args:
         x: int
         y: int

GraphQL API genereeritakse automaatselt ja teenus muutub kutsumiseks kättesaadavaks:

query {
   sum(x: 1, y: 2) 
}

See viib töötleja kutsumiseni sum, mis tagastab tulemuse:

3

Küsimuste profiilimine ja metoodikad

Süsteemi töötamise ja päringute profiilimise mõistmiseks oleme rakendanud OpenTracing protokolli toe. Süsteem saab vajadusel edastada teavet sellele protokollile toetavatele tööriistadele, näiteks Zipkin, mis aitab välja selgitada, kuidas päring toimus:

Muidugi pakub süsteem sisemisi mõõdikuid, mida saab koguda Prometheuse abil ja visualiseerida Grafana kaudu.

Käivitamine

Tarantool Data Grid saab paigaldada RPM-pakettide või arhiivi kaudu, kasutades tarnitud utiliiti või Ansible'i, samuti on olemas Kubernetes'e tugi (Tarantool Kubernetes Operator).

Äriloogikat (konfiguratsioon, töötlejad) rakendavad rakendused laaditakse paigaldatud Tarantool Data Grid klastrisse arhiivina UI kaudu või skripti abil, kasutades meie pakutud API-d.

Rakenduste näited

Milliseid rakendusi saab luua Tarantool Data Grid abil? Tegelikult on enamik äritegevusest mingil moel seotud andmevoogude töötlemise, nende salvestamise ja neile juurdepääsuga. Seetõttu, kui teil on suured andmevood, mida tuleb usaldusväärselt salvestada ja neile juurdepääsu saada, võib meie toode säästa teile palju aega arenduses ja keskenduda oma äri loogikale.

Näiteks soovime koguda teavet kinnisvaraturust, et hiljem omada teavet kõige kasulikumate pakkumiste kohta. Sel juhul määratleme järgmised ülesanded:

1. Robotid, mis koguvad teavet avatud allikatest – need saavad olema meie andmeallikad. Selle ülesande saate lahendada, kasutades valmis lahendusi või kirjutades koodi mis tahes keeles.
2. Pärast seda Tarantool Data Grid võtab vastu ja salvestab andmed. Kui andmeformaat erinevatest allikatest erineb, saate kirjutada koodi Lua keeles, mis viib need ühtsesse vormingusse. Eelprotsessimise etapil saate näiteks filtreerida korduvad pakkumised või täiendavalt värskendada andmebaasis teavet turul tegutsevate agentide kohta.
3. Nüüd on teil juba olemas skaleeritav lahendus klastris, kuhu saab andmeid lisada ja andmeid pärida. Edasi saate rakendada uut funktsionaalsust, näiteks kirjutada teenuse, mis teeb päringu andmetele ja esitab kõige kasulikuma pakkumise päeva jooksul — see nõuab mõningaid rea konfiguratsioonifailis ja natuke koodi ilk Lua.

Mis edasi?

Meie prioriteet on arendamise mugavuse suurendamine läbi Tarantool Data Grid. Näiteks on see IDE, mis toetab profiligeerimist ja silumist liideseid, mis töötavad liivakastis.

Samuti pöörame suurt tähelepanu turvaküsimustele. Just praegu läbite FSTEK Venemaa sertifitseerimist, et kinnitada kõrget turvalisuse taset ja vastata nõuetele, mis on seotud sertifitseeritud tarkvaratoodete kasutamisega isikuandmete teabe süsteemides ja riiklike teabe süsteemides.

Allikas: habr.com