Andmebaas KDB+: rahandusest „F1“-ni

KDB+, ProHoster toode KX on laialdaselt tuntud kiire kolonn- andmebaas, mis on loodud ajaseeria ja nende analüütiliste arvutuste salvestamiseks. Alguses oli see väga populaarne finantssektoris — seda kasutavad kõik 10 parimat investeerimispanka ning paljud tuntud riskifondid, börsid ja muud organisatsioonid. Viimasel ajal on KX otsustanud laieneda ning pakub nüüd lahendusi ka teistes valdkondades, kus on suures koguses ajaga järjestatud andmeid — telekommunikatsioon, bioinformaatika, tootmine jne. Nad on leidnud koostöö Aston Martin Red Bull Racing meeskonnaga F1 sarjas, aidates koguda ja analüüsida andmeid autodest ja tuuletunnelitest. Selles artiklis tahan rääkida, millised omadused teevad KDB+ äärmiselt võimekaks, miks ettevõtted on valmis selle nimel suurt raha kulutama ja miks see ei ole tegelikult andmebaas.
 

 
Selles artiklis püüan ma selgitada, mis on KDB+, millised on selle võimalused ja piirangud ning kuidas see võib kasu tuua ettevõtetele, kes soovivad töödelda suuri andmehulkasid. Ma ei hakka sukelduma KDB+ rakenduse üksikasjadesse ega selle programmeerimiskeelesse Q. Mõlemad teemad on väga laiad ja väärivad eraldi artikleid. Palju teavet nende teemade kohta leiate veebisaidilt code.kx.com, sealhulgas raamatu Q — Q For Mortals (vt allolevat linki).

Mõned terminid

• Mäluandmebaas. Andmebaas, mis salvestab andmed peamise mälu (RAM) sisse, et kiirendada ligipääsu. Sellise andmebaasi eelised on ilmsed, puuduseks on andmekao oht ja vajadus serveris suure mälu järele.
• Veergandeva baas. Andmebaas, kus andmed salvestatakse veergude kaupa, mitte ridade kaupa. Peamine eelis on selles, et sama veeru andmed on salvestatud koos nii kettale kui mälu, mis oluliselt kiirendab nendele ligipääsu. Pole vaja laadida veerge, mida päringus ei kasutata. Peamine puudus — ridade muutmine ja kustutamine on keeruline.
• Ajavahemik. Kuupäeva või aja tüüpi veergude andmed. Reeglina on selliste andmete puhul oluline aegne järjestus, et oleks lihtne kindlaks teha, milline kirje eelneb või järgneb käesolevale, või et saaks rakendada funktsioone, mille tulemus sõltub kirgede järjestusest. Klassikalised andmebaasid on rajatud täiesti teistsugusele printsiibile — kirjeid esitatakse kogumina, kus kirgede järjekord ei ole põhimõtteliselt määratletud.
• Vektor. Konteksti KDB+ puhul — see on elementide nimekiri, mis on sama aatomaarse tüübi, näiteks numbrite, hulk. Teisisõnu, elementide massiiv. Erinevalt loenditest saab massiive säilitada kompaktsemalt ja töödelda, kasutades protsessori vektorinstruktsioone.

Ajalooline ülevaade

KX ettevõte asutati 1993. aastal Arthur Whitney poolt, kes enne seda töötas Morgan Stanley pangas A+ keele kallal — APL-i järeltulija, mis oli väga originaalne ja oma aja jooksul populaarne keel rahanduse maailmas. Loomulikult jätkas Arthur KX-is sama vaimu ja lõi vektorfunktsionaalse K keele, järgides äärmise minimalismi ideid. K-s kirjutatud programmid näevad välja kui segane märkide ja sümbolite kogum, mille tähendus sõltub kontekstist, ning iga operatsioon kannab endas palju rohkem tähendust kui tavapärastes programmeerimiskeeltes. Selle tõttu võtab K-s kirjutatud programm minimaalselt ruumi — mitu rida võivad asendada lehekülgi pikkade tekstide jaoks nagu Java — ja see on ülekaalukalt kontsentreeritud algoritmi rakendus.
 
K-s kirjutatud funktsioon, mis rakendab suure osa LL1 parsi generaatorist antud grammatika järgi:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  
2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  
3.      (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  
4.      (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  
5.      (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,")"}];0;"(",]}({$[".s.C"~4#x;6_-2_x;x]}'pp'x);'`pp];  
6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/:1_r),"]";""]]}  

 Seda äärmusliku efektiivsuse filosoofia, kus püütakse minimaalsete liigutustega maksimaalset tulemust, on Arthur ellu viinud ka KDB+ , mis ilmus 2003. aastal (arvan, et nüüd on selge, kust tuli K täht pealkirjas) ja on mitte midagi muud kui K keele neljanda versiooni tõlgendaja. K peal on välja töötatud user-friendly versioon nimega Q. Q-s on samuti lisatud tugi spetsiifilisele SQL-dialektile - QSQL, ning tõlgendajasse on lisatud tabelite tugi kui süsteemi tüüpi andmed, mälus ja kettal töötamiseks mõeldud tööriistad jne.
 
Seega KDB+ kasutaja jaoks on see lihtsalt Q keele tõlkija, millel on tabelite ja C#-i LINQ-st inspireeritud SQL-laadsete päringute tugi. See on KDB+ olulisim erinevus teistest andmebaasidest ning peamine konkurentsieelis, mida sageli ignoreeritakse. See ei ole lihtsalt andmebaas koos abikeelena, vaid täisväärtuslik võimas programmeerimiskeel koos sisseehitatud andmebaasifunktsioonide toega. See erinevus mängib määravat rolli KDB+ kõikide eeliste loetlemisel. Näiteks…
 

Suurus

Kaasaegsete standardite järgi on KDB+ lihtsalt mikroskoopilise suurusega. See on sõna otseses mõttes üks käivitatav fail, mille suurus on väiksem kui megabait, ja üks väike tekstifail koos mõnede süsteemifunktsioonidega. Tegelikult on see alla ühe megabaiti ning selle programmi eest maksab ettevõte aastas kümneid tuhandeid dollareid ühe protsessori kohta serveris.

• Selline suurus võimaldab KDB+ suurepäraselt toimida igasugusel riistvaral — alates Pi mikrokonteinerist kuni terabaitide mäluga serveriteni. Funktsionaalsusele see kuidagi ei mõju, vastupidi, Q käivitub koheselt, mis võimaldab seda kasutada ka skriptimiskeelena.
• Selle suuruse korral mahtus Q tõlgendaja täielikult protsessori vahemällu, mis kiirendab programmide täitmist.
• Selle suuruse juures võtab Q täidetav fail mälu suhtes väga vähe ruumi, neid saab käivitada sadu. Samuti suudab Q vajadusel töötada kümnete ja sadade gigabaitidega mälu raames ühes protsessis.

Universaalsus

Q sobib suurepäraselt erinevate ülesannetega. Q protsess võib toimida ajaloolise andmebaasina ja pakkuda kiiret juurdepääsu terabaitidele teabele. Meil on näiteks kümneid ajaloolisi andmebaase, milles üks kokku surumata päevaandmestik hõivab üle 100 gigabaidi. Siiski, mõistlike piirangute korral täidetakse päring andmebaasi tavaliselt kümnete-kohandatud millisekunditega. Üldiselt on meie kasutajate päringutele kehtestatud universaalne ajaülem — 30 sekundit — mis aktiveerub väga harva.
 
Sama lihtsusega võib Q olla mälupõhine andmebaas. Uute andmete lisamine mälus olevatesse tabelitesse toimub nii kiiresti, et piiravaks teguriks on kasutajate päringud. Tabelites hoitakse andmeid veergudena, mistõttu iga veeruoperatsioon kasutab protsessori vahemälu maksimaalselt. Lisaks sellele on KX püüdnud rakendada kõiki põhitoiminguid, näiteks aritmeetilisi, protsessori vektoriliste käskude kaudu, et maksimeerida nende kiirust. Q suudab teostada ka ülesandeid, mis ei ole andmebaaside jaoks iseloomulikud — näiteks voogandmete töötlemine ja erinevate ajavahemike finantsinstrumentide erinevate agregaadifunktsioonide arvutamine reaalajas (hilinemisega paarikümne millisekundi kuni mitme sekundi ulatuses sõltuvalt ülesandest) või tehingu mõju turule mudeli koostamine ja selle profileerimine praktiliselt kohe pärast tehingu sooritamist. Sellistes ülesannetes tekitab peamise ajakulu sageli mitte Q, vaid vajadus sünkroonida andmeid erinevatest allikatest. Kõrge kiirus saavutatakse tänu sellele, et andmed ja neid töötlevad funktsioonid asuvad ühes protsessis ning töötlemine piirdub mitme QSQL lause ja ühendumise täitmisega, mis ei tõlgita, vaid täidetakse binaarkoodina.
 
Lõ finally, saab Q-s kirjutada ka igasuguseid teenusprotsesse. Näiteks Gateway protsessid, mis jagavad automaatselt kasutajate päringud õigete andmebaaside ja serverite vahel. Programmeerijal on täielik vabadus rakendada murdumatult mistahes algoritmi tasakaalustamiseks, prioriseerimiseks, veakindluseks, kasutusõiguseks, kvootideks ja üldiselt kõik, mis hinge ihkab. Peamine probleem on see, et see kõik tuleb iseseisvalt ellu viia.
 
Näiteks loen üles, milliseid protsessitüüpe meil on. Kõik need on aktiivses kasutuses ja töötavad koos, ühendades ühte tervikusse kümneid erinevaid andmebaase, töötledes andmeid mitmest allikast ja teenindades sadu kasutajaid ja rakendusi.

• Konnektorid (feedhandler) andmeallikatele. Need protsessid kasutavad tavaliselt väliseid raamatukogusid, mis laaditakse Q-sse. C-liides Q-s on äärmiselt lihtne ja võimaldab vaevata luua proksifunktsioone mistahes C/C++ raamatukogu jaoks. Q on piisavalt kiire, et toime tulla näiteks FIX sõnumite voogude töötlemisega kõikidest Euroopa aktsiaturgudest korraga.
• Andmete jaotajad (tickerplant) mis saavad toimida antara ühenduste ja tarbijate vahel. Samal ajal kirjutavad nad sissetulevaid andmeid spetsiaalsesse binaarsesse logifaili, tagades tarbijate vastupidavuse ühenduste kadumisele või taaskäivitusele.
• Mäluandmebaasid (rdb). Need andmebaasid tagavad maksimaalselt kiire juurdepääsu tooretele värsketele andmetele, hoides neid mälus. Reeglina koguvad nad andmeid tabelitesse päeva jooksul ja lähtestavad need öösel.
• Püsivad andmebaasid (pdb). Need andmebaasid tagavad, et tänase päeva andmed salvestatakse ajalukku. Erinevalt rdb-st ei hoia nad reeglina andmeid mälus, vaid kasutavad spetsiaalset kettavaru päevasel ajal ja kopeerivad andmed keskööl ajaloo andmebaasi.
• Ajaloolised andmebaasid (hdb). Need basid pakuvad juurdepääsu andmetele varasemate päevade, kuude ja aastate kohta. Nende suurus (päevades) on piiratud ainult kõvakettamate suurusega. Andmed võivad olla paigutatud ükskõik kuhu, sealhulgas erinevatele kettale, et kiirendada juurdepääsu. Andmete kokkutõmbamise võimalus on olemas, kasutades erinevaid valitud algoritme. Andmebaasi struktuur on hästi dokumenteeritud ja lihtne, andmed on salvestatud järk-järgult tavalistes failides, seega saab neid töödelda ka operatsioonisüsteemi vahenditega.
• Agravatsioonilised andmebaasid. Salvestavad erinevaid agregatsioone, mis on tavaliselt gruppeeritud tööriista nime ja ajavahemiku järgi. In-memory andmebaasid värskendavad oma olekut iga siseneva sõnumi korral, samas kui ajaloolised salvestavad eelnevalt arvutatud andmeid, et kiirendada juurdepääsu ajaloolistele andmetele.
• Lõpuks, gateway protsessid, mis haldavad rakendusi ja kasutajaid. Q võimaldab teostada täielikku asünkroonset sisendite töötlemist, nende jaotamist andmebaaside vahel, pääsulubade kontrollimist jne. Tähelepanuväärne on, et sõnumid ei piirdu ja enamasti ei ole need SQL väljendid, nagu see on teistes andmebaasides. Enamasti on SQL väljend varjatud spetsiaalses funktsioonis ja koostatakse vastavalt kasutaja poolt nõutud parameetritele — toimub aja konverteerimine, filtreerimine, andmed normaliseeritakse (näiteks aktsiahindade tasandamine, kui on toimunud dividendide maksmine) jne.

Tüüpiline arhitektuur ühe tüüpi andmete jaoks:

Kiirus

Kuigi Q on tõlgitav keel, on see samal ajal ka vektorikeel. See tähendab, et paljud sisseehitatud funktsioonid, sealhulgas aritmeetilised, võtavad vastu argumendid mis tahes vormis — numbrid, vektorid, maatriksid, nimekirjad, ning programmerijalt oodatakse, et ta realiseeriks programmi massiivi operatsioonidena. Sellises keeles, kui liidate omavahel kaks miljoni elemendiga vektorit, ei oma tähtsust, et keel on tõlgitav; liitmine toimub superoptimeeritud binaarse funktsiooni kaudu. Kuna suur osa Q-keeles olevatest programmidest kulub tabelioperatsioonidele, mis kasutavad neid baasil põhinevaid vektoriseeritud funktsioone, on tulemuseks üsna korralik kiirus, mis võimaldab töödelda suurt hulka andmeid isegi ühe protsessi jooksul. See on sarnane matemaatikabiblioteekidega Pythonis — kuigi Python ise on üsna aeglane, on seal palju suurepäraseid raamatukogusid nagu numpy, mis võimaldavad numbrilisi andmeid töödelda kompileeritud keele kiirusel (ühtlasi on numpy ideoloogiliselt lähedane Q-le).
 
Lisaks sellele on KX lähenenud tabelite projekteerimisele ja nende kasutamise optimeerimisele äärmiselt hoolikalt. Esiteks toetatakse mitmeid indeksite tüüpe, mida toetavad sisseehitatud funktsioonid, ja neid saab rakendada mitte ainult tabeli veergudele, vaid ka mistahes vektoritele — gruppeerimine, sorteerimine, unikaalsuse atribuut ja spetsiaalne gruppeerimine ajalooliste andmebaaside jaoks. Indeks asetatakse lihtsalt ja korrigeeritakse automaatselt, kui veergu/vektorisse lisatakse elemente. Indekseid saab edukalt rakendada tabeli veergudele, olgu need siis mälus või kettal. QSQL päringute täitmisel kasutatakse indekseid automaatselt, kui see on võimalik. Teiseks toimub ajalooliste andmete töötlemine OS-i failide kaardistamise mehhanismi kaudu (memory map). Suuri tabeleid ei laeta kunagi mällu; selle asemel kaardistatakse vajalikud veerud otse mällu ja reaalselt laaditakse ainult see osa (sealhulgas aitavad indeksid), mis on vajalik. Programmeerija jaoks ei ole vahet, kas andmed on mälus või mitte, mmap-iga töömehhanism on täielikult peidetud Q sügavustes.
 
KDB+ on relatsioonitüüp mitte-andmebaas, tabelid võivad sisaldada suvalisi andmeid, samal ajal kui tabelis olevate ridade järjekord ei muutu uute elementide lisamisel ja seda saab ja tuleks kasutada päringute kirjutamiseks. See omadus on äärmiselt vajalik ajaseeriate töötlemiseks (andmed börsidelt, telemeetriast, sündmuste logid), kuna kui andmed on ajaliselt sorteeritud, ei pea kasutaja rakendama mingeid SQL nippe, et leida tabelist esimest või viimast ajaliselt rida või N rida, samuti määrata, milline rida järgneb N-ndale reale jne. Tabelite ühendamised lihtsustuvad veelgi, näiteks viimase VOD.L (Vodafone) pakkumise leidmine 16000 tehingu puhul 500 miljoni elemendi tabelist võtab kettal umbes sekundi ja mälus kümneid millisekunde.
 
Ajaliselt ühendamise näide — quote tabel laaditakse mällu, seega ei ole vaja VOD.L-i where klauslis märkida, kasutatakse vaikimisi sym veergu indeksi ja seda, et andmed on ajaliselt sorteeritud. Peaaegu kõik Q-s olevad ühendamised on tavalised funktsioonid, mitte osa select väljendist:

1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26]  

Lõpuks tuleb märkida, et KX insenerid, alates Arthur Whitney'st, on tõeliselt efektiivsuse kinnismõttega ning teevad kõik endast oleneva, et maksimaalset kasu saada Q standardfunktsioonidest ja optimeerida kõige sagedamini kasutatavaid kasutusmustreid.
 

Kokkuvõte

KDB+ on äriarenduses populaarne peamiselt oma erakordse paindlikkuse tõttu — see toimib ühtviisi hästi nii in-memory andmebaasina kui ka terabaytide ajalooliste andmete salvestussüsteemina ja andmeanalüüsi platvormina. Andmete töötlemine toimub otse andmebaasis, mis tagab kõrge töökiirus ja ressursside kokkuhoiu. Täisfunktsionaalne programmeerimiskeel, mis on integreeritud andmebaasi funktsioonidega, võimaldab ühel platvormil ellu viia kogu vajalike protsesside korra — andmete hankimisest kuni kasutaja päringute töötlemiseni.
 

Lisainformatsioon

Puudused

KDB+/Q peamine puudus on kõrge sisenemiskünnis. Keel omab kummalist süntaksit, mõned funktsioonid on tugevalt ülekoormatud (näiteks value on umbes 11 kasutusvarianti). Mis kõige tähtsam, see nõuab radikaalselt erinevat lähenemist programmide kirjutamisele. Vektorkeeles tuleb pidevalt mõelda massiivide transformatsioonide kontekstis, kõik tsüklid tuleb teostada mitme map/reduce funktsiooni variandi abil (mida Q-s nimetatakse adverbs), kunagi ei tohi proovida kokku hoida, asendades vektorioperatsioonid aatomi operatsioonidega. Näiteks, et leida N-nda esinemise indekse massiivis, tuleks kirjutada:

1. (where element=vector)[N]  

kuigi see tundub C/Java mõõtkavas kohutavalt ebaefektiivne (= loob boolesed massiivid, where tagastab tõese indeksid elementides). Kuid selline vorm muudab väljendi mõtte arusaadavamaks ja te kasutate kiireid vektorioperatsioone aeglaste aatomite asemel. Kontseptuaalne erinevus vektorkeele ja teiste vahel on võrreldav imperatiivsete ja funktsionaalsete programmeerimisviiside vahelise erinevusega, ning selleks tuleb end ette valmistada.
 
Mõned kasutajad võivad QSQL-i üle ka kaebusi esitada. Tõde on see, et see sarnaneb vaid tõelise SQL-iga. Tegelikult on see lihtsalt SQL-i sarnaste avalduste tõlgendaja, mis ei toeta päringute optimeerimist. Kasutaja peab ise kirjutama optimaalsed päringud, kasutades Q-d, milleks paljud osutuvad mitte valmis. Teisest küljest on alati võimalik ise kirjutada optimaalne päring, mitte loota mustale kasti-optimisaatorile.
 
Positiivse poole pealt on Q raamat - Q For Mortals saadaval tasuta ettevõtte kodulehelt, seal on ka palju teisi kasulikke materjale.
 
Teine suur miinus on litsentsi hind. See on kümneid tuhandeid dollareid aastas ühe CPU kohta. Ainult suured ettevõtted saavad endale selliseid kulutusi lubada. Viimastel aegadel on KX muutnud litsentsipoliitikat paindlikumaks ja pakub võimalust maksta ainult kasutusaja eest või rentida KDB+ Google'i ja Amazoni pilvedes. Samuti pakub KX allalaadimist tasuta versioon mittekommertslikel eesmärkidel (32-bitine versioon või 64-bitine soovi korral).
 

Konkurendid

Eksisteerib üsna palju spetsialiseeritud andmebaase, mis on üles ehitatud sarnastele põhimõtetele — veergudega, in-memory ja väga suurtel andmemahtudel suunatud. Probleem on selles, et need on just spetsialiseeritud andmebaasid. Selge näide on Clickhouse. Selle andmebaasi andmete salvestamise ja indekseerimise põhimõte on väga sarnane KDB+-le, mõned päringud täidab ta kiiremini kui KDB+, kuigi mitte oluliselt. Kuid isegi andmebaasina on Clickhouse palju spetsialiseeritum kui KDB+ — veebianalüüs versus üldised ajaseerud (see erinevus on väga oluline — näiteks Clickhouse'is ei ole võimalust kasutada salvestusjärjekorda). Kuid kõige tähtsam on see, et Clickhouse'il puudub KDB+ universaalsus, keele, millega saab andmeid otse andmebaasis töödelda, mitte neid eelnevalt eraldi rakendusse laadida, luua üldisi SQL väljendeid, rakendada erinevaid funktsioone päringus, luua protsesse, mis ei ole seotud ajaloolise andmebaasi funktsioonide täitmisega. Seetõttu on KDB+ teiste andmebaasidega võrdlemine keeruline, nad võivad olla paremad teatud kasutusstsenaariumites või lihtsalt paremad, kui rääkida klassikaliste andmebaaside ülesannetest, kuid mulle ei ole teada teist sama tõhusat ja universaalset vahendit ajandmete töötlemiseks.
 

Integreerimine Pythoniga

KDB+ kasutamise lihtsustamiseks tehnoloogiaga mittetuttavatele inimestele on KX loonud raamatukogud, mis võimaldavad tihedat integreerimist Pythoniga ühe protsessi raames. Saate kutsuda üles ükskõik millise Python'i funktsiooni Q-st ja vastupidi — kutsuda ükskõik millise Q funktsiooni Pythonist (sealhulgas QSQL laused). Raamatukogud konverteerivad vajadusel (tõhususe huvides mitte alati) andmeid ühe keele formaadist teise. Tulemuseks on see, et Q ja Python elavad nii tihedas sümbioosis, et nende vahelised piirid hägustuvad. Seetõttu on programmeerijal, ühelt poolt, täielik juurdepääs paljudele kasulikele Python'i raamatukogudele ja teiselt poolt saab ta Pythoni integreeritud kiire andmebaasi, mis sobib suurepäraselt suurte andmetega töötamiseks, mis on eriti kasulik neile, kes tegelevad masinõppe või modelleerimisega.
 
Q kasutamine Pythoni abil:

1. >>> q()  
2. q) trade:([]date:();sym:();qty:())  
3. q)  
4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200))  
5. k(',0')  
6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100))  
7. k(',1')  

Lingid

Ettevõtte veebisait — https://kx.com/
Arendajate veebisait — https://code.kx.com/v2/
Raamat Q For Mortals (inglise keeles) — https://code.kx.com/q4m3/
Artiklid KDB+/Q rakendustest kx töötajatelt — https://code.kx.com/v2/wp/

Allikas: habr.com