Andmebaas KDB+: finansidest kuni „F1“

KDB+, ettevõtte toode KX — on kitsastes ringkondades laialdaselt tuntud, äärmiselt kiire veergude andmebaas, mis on mõeldud ajaliste ridade salvestamiseks ja nende põhjal analüütiliste arvutuste tegemiseks. Algusaegadel nautis see suurt populaarsust finantssektoris — seda kasutavad kõik kümme parimat investeerimispanka ning paljud tuntud riskifondid, börsid ja muud organisatsioonid. Viimasel ajal on KX otsustanud laiendada oma kliendibaasi ja pakub nüüd lahendusi ka teistes valdkondades, kus on palju andmeid, mis on ajaliselt või muul viisil järjestatud — telekommunikatsioon, bioinformaatika, tootmine jne. Nende seas on nad saanud Aston Martin Red Bull Racing meeskonna partneriks vormel 1 sarjas, kus nad aitavad koguda ja töödelda andmeid sõidukite anduritelt ning analüüsida tuuletunnelitest toimunud teste. Selles artiklis tahan rääkida, millised omadused teevad KDB+ äärmiselt võimekaks, miks ettevõtted on valmis sellele suuri summasid investeerima, ja lõpuks, miks see tegelikult ei ole tavaline andmebaas.
 

 
Selles artiklis püüan üldiselt selgitada, mida KDB+ endast kujutab, millised on selle võimalused ja piirangud, ning kuidas see on kasulik ettevõtetele, kes soovivad töötelda suuri andmemahtusid. Ma ei kavatse süveneda KDB+ rakendamise detailidesse ega selle programmeerimiskeelde Q. Need teemad on väga mahukad ja väärivad eraldi artikleid. Palju teavet nende teemade kohta on saadaval veebisaidil code.kx.com, sealhulgas raamat Q kohta — Q For Mortals (vt allolevat linki).

Mõned mõisted

• Mälupõhine andmebaas. Andmebaas, mis salvestab andmeid operatiivmälu, et kiirendada juurdepääsu. Sellise andmebaasi eelised on selged, kuid puudused — andmete kadumise võimalus ja vajadus serveris suure mälu järele.
• Veergude andmebaas. Andmebaas, kus andmed on salvestatud veergude kaupa, mitte ridade kaupa. Sellise andmebaasi peamine eelis on see, et sama veeru andmed on diskil ja mälus koos, mis oluliselt kiirendab nendele juurdepääsu. Pole vaja laadida veerge, mida päringus ei kasutata. Peamine puudus — salvestuste modifitseerimine ja kustutamine on keeruline.
• Ajaline rida. Aegadeed on kuupäeva või aja tüüpi. Reeglina on selliste andmete puhul oluline ajajärjestus, et saaks kergesti kindlaks teha, milline kirje eelneb või järgneb praegusele, või et saaks rakendada funktsioone, mille tulemus sõltub kirjejärjestusest. Klassikalised andmebaasid on rajatud täiesti teistsugusele põhimõttele — kirje kogumi esitamine kui hulk, kus kirjejärjestus ei ole põhimõtteliselt määratletud.
• Vektor. Kontekstis KDB+ — see on ühe aatomaarse tüübi elementide loetelu, näiteks numbrid. Teisisõnu, elementide massiiv. Massiivid, erinevalt loenditest, on kompaktselt salvestatavad ja töötlemiseks saab kasutada protsessori vektoriinstruktsioone.

2DOMAINS on 16 aastat teeninud professionaale, kes on valmis maksma vaid nende valikute eest, mida nad tõeliselt kasutavad.

KX asutati 1993. aastal Arthur Whitney poolt, kes töötas varem Morgan Stanley pangas A+ keele kallal — APL-i järglane, mis oli oma aja jooksul väga originaalne ja populaarne keel finantsmaailmas. Loomulikult jätkas Arthur KX-is samas vaimus ja lõi vektorfunktsionaalse keele K, juhindudes radikaalse minimalismi ideedest. K keeles kirjutatud programmid näevad välja nagu kaootiline märkide kogum, kus märkide ja funktsioonide tähendus sõltub kontekstist, ja igal toimingul on palju rohkem tähendust kui tavapärastel programmeerimiskeeltes. Seetõttu võtab K keeles kirjutatud programm minimaalset ruumi — mitu rida võivad asendada lehekülgi tekstis keerulises keeles nagu Java — ning on ülimalt kontsentreeritud algoritmi rakendus.
 
K keeles kirjutatud funktsioon, mis realiseerib suure osa LL1 parseri generaatorist vastavalt määratud grimaatikale:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  
2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  
3.       (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  
4.       (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  
5.       (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,"),"}];0;"(",]}({$[".s.C"~4#x;6_-2_x;x]}'pp'x);'`pp];  
6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/):1_r),"]";""]]}  

 Selle äärmise efektiivsuse filosoofiat, mis nõuab minimaalseid liigutusi, rakendas Arthur ka KDB+ süsteemis, mis ilmus 2003. aastal (ma arvan, nüüd on selge, kust tuli K-kiri nimele) ja on tegelikult neljanda versiooni K keele tõlgendaja. K-le on lisatud kasutajasõbralikum versioon K nimega Q. Q-s on ka lisatud toetus spetsiifilisele SQL dialektile – QSQL, ning tõlgendajasse on sisse ehitatud toetus tabelitele kui süsteemi andmetüüpidele, mälus ja kõvakettal töötamise vahendid jne.
 
Seega, kasutaja vaatenurgast on KDB+ lihtsalt Q keele tõlgendaja, mis toetab tabeleid ja SQL-stiilis LINQ väljendeid C#-st. See on KDB+ üks olulisemaid erinevusi teistest andmebaasidest ja peamine konkurentsieelis, mida sageli tähelepanuta jäetakse. See ei ole andmebaas + abikeel, vaid täielik võimekas programmeerimiskeel + sisseehitatud toetus andmebaasi funktsioonidele. See erinevus mängib otsustavat rolli KDB+ kõigi eeliste loetlemisel. Näiteks...
 

Suurus

Kaasaegsete mõõdupuude järgi on KDB+ lihtsalt mikroskoopilise suurusega. See on sõna otseses mõttes üks täitmisfail, mille suurus on alla megabaiti ja üks väike tekstifail mõningate süsteemifunktsioonidega. Tegelikult – alla ühe megabaiti ja selle programmi eest maksavad ettevõtted aastas kümneid tuhandeid dollareid ühe serveri protsessori kohta.

• Selline suurus võimaldab KDB+ süsteemil suurepäraselt toimida igasugusel riistvaral – alates mikrokombainist Pi kuni serveriteni, kus on terabaitide kaupa mälu. See ei mõjuta funktsionaalsust, veelgi enam, Q käivitub koheselt, mis võimaldab seda kasutada ka skriptikeelena.
• Sellise suuruse tõttu mahub Q tõlgendaja täielikult protsessori vahemällu, mis kiirendab programmide täitmist.
• Sellise täitmisfaili suuruse tõttu võtab Q protsess mäles äärmiselt vähe ruumi, võimaldades neid käivitada sadades. Samuti suudab Q vajadusel töödelda kümneid või sadu gigabaite mälu ühe protsessi raames.

Universaalsus

Q sobib ideaalselt erinevate ülesannete täitmiseks. Q protsess võib toimida ajaloo andmebaasina ja pakkuda kiiret juurdepääsu terabaitidele teabele. Meil on näiteks kümneid ajaloolisi andmebaase, milles ühel tihendamata päeval andmeid on rohkem kui 100 gigabaiti. Sellegipoolest, mõistlikke piiranguid järgides, täidetakse päring andmebaasile kümnetes kuni sadades millisekundites. Üldiselt on meie kasutajate päringutele universaalne ajapiirang — 30 sekundit — ja see aktiveerub väga harva.
 
Sama kergusega võib Q olla ka in-memory andmebaas. Uute andmete lisamine tabelitesse mälus toimub nii kiiresti, et piiravaks teguriks on kasutajate päringud. Tabelites salvestatakse andmed veergudena, mistõttu iga veeruga seotud operatsioon kasutab protsessori vahemälu maksimaalselt ära. Lisaks on KX püüdnud kõiki põhitegevusi, näiteks aritmeetilisi toiminguid, rakendada protsessori vektoriliste juhiste kaudu, maksimeerides nende kiirus. Q suudab täita ka ülesandeid, mis ei ole andmebaasidele omased — näiteks töödelda voogu andmeid ja arvutada „reaalasajas“ (viivitusega kümnetest millisekunditest kuni mitme sekundini sõltuvalt ülesandest) erinevate ajavahemike rahandusinstrumentide jaoks mitmesuguseid agregaatfunktsioone või luua mudeli, mis näitab, kuidas tehing mõjutab turgu, ning teostada selle profileerimist praktiliselt kohe pärast tehingu sooritamist. Sellistes ülesannetes toob peamise viivituse sageli kaasa mitte Q, vaid andmete sünkroniseerimise vajadus erinevatest allikatest. Suure kiiruseni jõutakse, kuna andmed ja funktsioonid, mis neid töötlevad, on samas protsessis, ning töötlemine piirdub mitme QSQL väljendite ja ühenduste täitmisega, mida ei tõlgita, vaid täidetakse binaarkoodina.
 
Lõpuks on Q-s võimalik kirjutada ka igasuguseid teenindusprotsesse. Näiteks Gateway protsessid, mis jaotavad automaatselt kasutajate päringud õigetele andmebaasidele ja serveritele. Programmeerijal on täielik vabadus rakendada mistahes algoritmi koormuse tasakaalustamiseks, prioriseerimiseks, tõrke taluvuse, juurdepääsuõiguste, kvootide ja üldiselt kõigi soovide täitmiseks. Peamine probleem on see, et tuleb kõik see ise ellu viia.
 
Näiteks loetlen, milliseid protsessitüüpe meil on. Need kõik on aktiivselt kasutuses ja töötavad koos, ühendades sadade erinevate andmebaaside andmed, töödeldes andmeid mitmest allikast ja teenindades sadu kasutajaid ja rakendusi.

• Andmeallikate ühendajad (feedhandler). Need protsessid kasutavad tavaliselt väliseid raamatukogusid, mis laaditakse Q-sse. Q liidese kasutamine on äärmiselt lihtne ja võimaldab hõlpsasti luua protsii funktsioone mis tahes C/C++ raamatukogide jaoks. Q on piisavalt kiire, et toime tulla näiteks Euroopa aktsiaturgudelt samaaegselt tuleva FIX sõnumite voo töötlemisega.
• Andmeedastajad (tickerplant), mis teenivad vaheühendina ühendajate ja tarbijate vahel. Samuti kirjutavad nad sissetulevad andmed spetsiaalsesse binaarsesse logisse, tagades tarbijatele stabiilsuse ühenduse katkemise või taaskäivituste korral.
• Mäluandmebaasid (rdb). Need andmebaasid tagavad maksimumkiirusel juurdepääsu tooretele värsketele andmetele, hoides neid mälu sees. Tavaliselt koguvad nad andmeid tabelites terve päeva vältel ja nullivad need öösel.
• Püsivad andmebaasid (pdb). Need andmebaasid tagavad, et tänased andmed salvestatakse ajalukku. Erinevalt rdb-st ei hoia nad andmeid mälu sees, vaid kasutavad päeva jooksul spetsiaalset vahemälu kettal ja kopeerivad andmed keskööl ajalukku.
• Ajaloolised andmebaasid (hdb). Need andmebaasid pakuvad juurdepääsu varasemate päevade, nädalate ja aastate andmetele. Nende suurus (päevades) on piiratud ainult kõvakettaste mahuga. Andmed võivad paikneda igal pool, sealhulgas erinevates ketastes juurdepääsu kiirusel. On võimalik andmeid tihendada, kasutades mitmeid valitud algoritme. Andmebaasi struktuur on hästi dokumenteeritud ja lihtne, andmed on säilitatud tavaliselt failide kaupa, et neid saaks töödelda ka operatsioonisüsteemi vahenditega.
• Agratseeritud teabe andmebaasid. Need hoiad erinevaid aggregaate, tavaliselt gruppide kaupa, tõlgitud vastavalt instrumendi nimele ja ajavahemikule. Mäluandmebaasid uuendavad oma seisundit igas sissetulevas sõnumis, samas kui ajaloolised salvestavad eelnevalt arvutatud andmeid, et kiirendada juurdepääsu ajaloolistele andmetele.
• Lõpuks gateway protsessid, rakenduste ja kasutajate teenindamiseks. Q võimaldab täielikult asünkroonset sisendite töötlemist, nende jaotamist andmebaaside vahel, juurdepääsuõiguste kontrollimist jne. Tahan märkida, et sõnumitega ei ole piiratud ja need ei koosne enamasti SQL-käsklustest, nagu see on teistes andmebaasides. Enamasti on SQL-käsklus peidetud spetsiaalsesse funktsiooni ja see konstrueritakse lähtudes kasutaja poolt küsitud parameetritest — toimub aja konverteerimine, filtreerimine, andmed normaliseeritakse (näiteks tasude jaotamise korral borsa hindade tasandamine) jne.

Tüüpiline arhitektuur ühe andmetüübi jaoks:

Kiirus

Kuigi Q on tõlgitav keel, on see samas ka vektorkeel. See tähendab, et paljud sisseehitatud funktsioonid, sealhulgas aritmeetilised, võtavad vastu argumendid mis tahes vormis — arvud, vektorid, maatriksid, nimekirjad, ning programmeerijalt oodatakse, et ta rakendaks programmi kui massiivide töötlemist. Sellises keeles, kui liidad kokku kaks miljoni elemendiga vektorit, ei oma enam mingit tähendust, et keel on tõlgitav, liitmine toimub ülima optimeerituse saavutava binaarse funktsiooniga. Kuna suur osa ajast Q-programmides kulub tabelite operatsioonidele, mis kasutavad neid põhivisukäitumisfunktsioone, saame lõpuks üsna korraliku töökiirus, mis võimaldab töödelda tohutuid andmehulki isegi ühes protsessis. See on sarnane matemaatilistele teekidele Pythonis — kuigi Python ise on ulatuslikult aeglane, on seal palju imelisi teeke nagu numpy, mis võimaldavad numbrilisi andmeid töödelda kompilatsioonikeele kiirusel (ühtlasi on numpy ideoloogiliselt Q-le lähedane).
 
Lisaks sellele on KX väga hoolikalt lähenenud tabelite kujundamisele ja nende optimeerimisele. Esiteks toetatakse erinevaid indeksitüüpe, mida toetavad sisseehitatud funktsioonid ja mida saab rakendada mitte ainult tabeli veergudele, vaid ka igasugustele vektoritele - grupeerimine, sortimine, unikaalsuse atribuut ja eriline grupeerimine ajalooliste andmebaaside jaoks. Indeksi rakendamine on elementaarne ja see kohandatakse automaatselt, kui veergu/vektorisse lisatakse elemente. Indeksid saavad sama edukalt olla rakendatud tabeli veergudele nii mälu kui ka ketta peal. QSQL päringu täitmisel kasutatakse indekse automaatselt, kui see on võimalik. Teiseks on ajalooliste andmete töötlus tehtud operatsioonisüsteemi failide kaardistamise mehhanismi (memory map) kaudu. Suuri tabeleid ei laadita kunagi täielikult mällu, vaid vajalikud veerud kaardistatakse otse mällu ning tegelikult laaditakse vaid see osa (sealhulgas aitavad indeksid), mis on vajalik. Programmeerija jaoks ei ole vahet, kas andmed on mälus või mitte, mmap mehhanism töötab täielikult Q-s sisemusest varjatult.
 
KDB+ on mitte-relationaalne andmebaas, tabelid võivad sisaldada meelevaldset teavet ning samas ei muutu ridade järjekord tabelis uute elementide lisamisel, seda saab ja tuleb kasutada päringute koostamisel. See omadus on hädavajalik ajareale (andmed börsidelt, telemeetria, sündmuste logid) töötamiseks, sest kui andmed on ajas järjestatud, ei pea kasutaja rakendama mingeid SQL trikke, et leida tabelist esimest või viimast ajaliselt rida või N rida, määrata, milline rida järgneb N-ndale reale jne. Tabelite liitmine lihtsustub veelgi, näiteks leida 16000 tehingu VOD.L (Vodafone) jaoks viimane hinnang 500 miljoni elemendiga tabelist võtab ketasel umbes sekundi ja mälus umbes kümme millisekundit.
 
Ajavahemiku järgi liitmise näide - quotetabel kaardistatakse mällu, seega ei ole vaja VOD.L-i where-l esitada, märkamatult kasutatakse indeksi sümboli veeru ja selle fakti, et andmed on ajaliselt järjestatud. Peaaegu kõik liitmised Q-s on tavalised funktsioonid, mitte osa select-lause idest:

1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26]  

Lõpuks tuleb märkida, et KXi insenerid, alates Arthur Whitney'st, on tõeliselt pühendunud efektiivsusele ja teevad kõik endast oleneva, et välja pigistada maksimum Q standardfunktsioonidest ja optimeerida kõige levinumaid kasutusmustreid.
 

Kokkuvõte

KDB+ on äri seas populaarne peamiselt tänu oma erakordsele paindlikkusele — see teenib sama hästi nii in-memory andmebaasina kui ka terabaitide ajalooliste andmete salvestamise andmebaasina ning andmeanalüüsi platvormina. Kuna andmete töötlemine toimub otse andmebaasis, saavutatakse kõrge töökiirus ja ressursside kokkuhoid. Täisfunktsionaalne programmeerimiskeel, mis on integreeritud andmebaasi funktsioonidega, võimaldab ühel platvormil rakendada kogu vajaliku protsesside stäki — alates andmete hankimisest kuni kasutajate päringute töötlemiseni.
 

Täiendavad andmed

Puudused

KDB+ ja Q oluliseks puuduseks on kõrge sisenemisbarjäär. Keel on kummaline süntaksiga, mõned funktsioonid on tugevalt ülekoormatud (näiteks on value'l umbes 11 kasutusvõimalust). Mis kõige tähtsam, see nõuab radikaalselt erinevat lähenemist programmide kirjutamisele. Vektorikeskes tuleb pidevalt mõelda massiivide muutmise mõistetes, kõik tsüklid tuleb realiseerida erinevate map/reduce funktsioonide kaudu (mida Q-s nimetatakse adverbideks), mitte kunagi üritada säästa, asendades vektorioperatsioone aatomarvutustega. Näiteks, et leida massiivi N. sisendi elemendi indeks, tuleks kirjutada:

1. (where element=vector)[N]  

kuigi see võib tunduda C/Java mõõtkavas äärmiselt ebatõhus (= loob boolean massiivi, where tagastab tõeliste elementide indeksid). Kuid selline kirjutamine muudab väljendi mõtte selgemaks ja te kasutate kiireid vektorioperatsioone aeglaste aatomarvutuste asemel. Kontseptuaalne erinevus vektorikeele ja teiste vahel on võrreldav imperatiivsete ja funktsionaalsete programmeerimise lähenemiste vahel, ja sellele tuleb olla valmis.
 
Mõned kasutajad on ka QSQL-i üle rahulolematud. Asi on selles, et see sarnaneb ainult tõelise SQL-iga. Tegelikult on see lihtsalt SQL-i sarnaste väljendite tõlkija, mis ei toeta päringute optimeerimist. Kasutaja peab ise kirjutama optimaalsed päringud, ja seda Q-s, millega paljud osutuvad valmisolekuks. Teisest küljest on loomulikult alati võimalik ise kirjutada optimaalne päring, mitte usaldada musta kasti optimeerijat.
 
Ühe plussina on Q-raamat — Q For Mortals saadaval tasuta aadressil ettevõtte saidil, sealhulgas on seal kogutud palju muid kasulikke materjale.
 
Veel üks suur miinus on litsentsitasu. See on kümneid tuhandeid dollareid aastas ühe CPU kohta. Ainult suured firmad saavad endale selliseid kulutusi lubada. Viimase paari aasta jooksul on KX teinud litsentsipoliitika paindlikumaks ja pakub võimalust maksta ainult kasutamise aja eest või rentida KDB+ Google'i ja Amazoni pilvedes. Samuti pakub KX allalaadimiseks tasuta versiooni mitteäriliseks otstarbeks (32-bitine versioon või 64-bitine soovi korral).
 

Konkurendid

On eksisteerib üsna palju spetsialiseeritud andmebaase, mis on üles ehitatud sarnastele põhimõtetele – veergudele, mälu põhistele ja väga suurtele andmehulga jaoks suunatud. Probleem on selles, et need on just spetsialiseeritud andmebaasid. Klassikaline näide on Clickhouse. Selle andmebaasi andmete salvestamise ja indeksite ehitamise põhimõte on väga sarnane KDB+-le, mõningaid päringuid täidab see isegi kiiremini kui KDB+, kuigi mitte oluliselt. Kuid isegi andmebaasina on Clickhouse spetsialiseeritum kui KDB+ — veebianalüütika võrreldes vabade ajaliste andmejoontega (see erinevus on väga oluline — näiteks Clickhouse'is ei ole võimalik kasutada rekordite järjestust). Aga kõige tähtsam on, et Clickhouse'il ei ole KDB+ universaalsust, mis võimaldaks andmeid otse andmebaasis töödelda, mitte ei laadida neid eelnevalt eraldi rakendusse, luua vabalt valitavaid SQL-väljendeid, rakendada päringutes vabalt valitud funktsioone, luua protsesse, mis ei ole seotud ajaliste andmebaasi funktsioonide täitmisega. Seetõttu on KDB+ teiste andmebaasidega võrreldes keeruline, nad võivad olla paremad spetsiifilistes kasutusstsenaariumides või lihtsalt paremad, kui räägitakse klassikaliste andmebaaside ülesannetest, kuid mulle ei ole teada teist nii efektiivset ja universaalset vahendit ajandmete töötlemiseks.
 

Integreerimine Pythoniga

KDB+ töö lihtsustamiseks tehnoloogiaga mitte tuttavatele inimestele on KX loonud raamatukogud tihedaks integreerimiseks Pythoni raames ühe protsessi jooksul. Saate kutsuda igasuguseid Pythonifunktsioone Q-st, ja vastupidi – kutsuda iga Q funktsiooni Pythoni seest (eriti QSQL väljendeid). Raamatukogud konvertivad vajadusel (efektiivsuse huvides mitte alati) andmeid ühe keele formaadist teise formaati. Lõpptulemus on see, et Q ja Python elavad nii tihedas sümbioosis, et piirid nende vahel hägustuvad. Selle tulemusena on programmeerijal ühelt poolt täielik juurdepääs arvukatele kasulikele Pythoni raamatukogudele ja teiselt poolt kiire integreeritud andmebaas suurte andmete töötlemiseks, mis on eriti kasulik neile, kes tegelevad masinõppe või modelleerimisega.
 
Töötamine Q-ga Pythonis:

1. >>> q()  
2. q)trade:([]date:();sym:();qty:())  
3. q)  
4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200))  
5. k(',0')  
6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100))  
7. k(',1')  

Viidatud lingid

Ettevõtte veebisait — https://kx.com/
Arendajate veebisait — https://code.kx.com/v2/
Raamat Q For Mortals (inglise keeles) — https://code.kx.com/q4m3/
Artiklid KDB+ / Q rakendustest kx töötajate poolt — https://code.kx.com/v2/wp/

Allikas: habr.com