КДБ+ база података: од финансија до Формуле 1

КДБ+, производ компаније KX је надалеко позната у уским круговима, изузетно брза, колонаста база података дизајнирана за складиштење временских серија и аналитичких прорачуна на основу њих. У почетку је био (и јесте) веома популаран у финансијској индустрији - користе га свих 10 најбољих инвестиционих банака и многи познати хеџ фондови, берзе и друге организације. Недавно је ККС одлучио да прошири своју корисничку базу и сада нуди решења у другим областима где постоји велика количина података, организованих по времену или на други начин - телеком, биоинформатика, производња итд. Такође су постали партнер Астон Мартин Ред Булл Рацинг тима у Формули 1, где помажу у прикупљању и обради података са сензора аутомобила и анализирају тестове у аеротунелу. У овом чланку желим да вам кажем које карактеристике КДБ+ га чине врхунским, зашто су компаније спремне да потроше много новца на њега, и на крају, зашто то заправо није база података.
 

 
У овом чланку покушаћу да вам уопштено кажем шта је КДБ+, које могућности и ограничења има и које су његове предности за компаније које желе да обрађују велике количине података. Нећу улазити у детаље имплементације КДБ+ или детаље његовог програмског језика К. Обе ове теме су веома широке и заслужују посебне чланке. Много информација о овим темама може се наћи на цоде.кк.цом, укључујући књигу о К - К за смртнике (погледајте везу испод).

Неки термини

• База података у меморији. База података која чува податке у РАМ-у ради бржег приступа. Предности такве базе података су јасне, али недостаци су могућност губитка података и потреба да се на серверу има доста меморије.
• Колумна база података. База података у којој се подаци складиште колону по колону, а не запис по запис. Основна предност такве базе података је што се подаци из једне колоне чувају заједно на диску и у меморији, што значајно убрзава приступ њој. Нема потребе за учитавањем колона које се не користе у упиту. Главни недостатак је што је тешко мењати и брисати записе.
• Временске серије. Подаци са колоном датума или времена. Обично је временски поредак важан за такве податке, тако да можете лако да одредите који запис претходи или следи текућем, или да примените функције чији резултати зависе од редоследа записа. Класичне базе података граде се на потпуно другачијем принципу – представљају збирку записа као скуп, при чему редослед записа, у принципу, није дефинисан.
• Вецтор. У контексту КДБ+, ово је листа елемената истог атомског типа, на пример, бројеви. Другим речима, низ елемената. Низови, за разлику од листа, могу се складиштити компактно и обрадити помоћу инструкција векторског процесора.

 

Историјски подаци

ККС је 1993. године основао Артур Витни, који је раније радио у Морган Станлеи банци на А+ језику, наследнику АПЛ-а - веома оригиналном и једно време популарном језику у свету финансија. Наравно, у ККС-у, Артур је наставио у истом духу и створио векторско-функционални језик К, вођен идејама радикалног минимализма. К програми изгледају као збрка интерпункције и специјалних знакова, значење знакова и функција зависи од контекста, а свака операција носи много више значења него у конвенционалним програмским језицима. Због тога, К програм заузима минималан простор—неколико редова може заменити странице текста на опширном језику као што је Јава—и представља суперконцентрисану имплементацију алгоритма.
 
Функција у К која имплементира већину генератора ЛЛ1 парсера према датој граматици:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  
2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  
3.      (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  
4.      (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  
5.      (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,")"}];0;"(",]}({$[".s.C"~4#x;6_-2_x;x]}'pp'x);'`pp];  
6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/:1_r),"]";""]]}  

 Артур је ову филозофију екстремне ефикасности отелотворио са минималним покретима тела у КДБ+, који се појавио 2003. (мислим да је сада јасно одакле долази слово К у имену) и није ништа друго до тумач четврте верзије К. Додата је верзија која је лакша за употребу на врху К К под називом К. К је такође додао подршку за одређени дијалект СКЛ-а - КСКЛ, и интерпретер - подршку за табеле као системски тип података, алате за рад са табелама у меморији и на диску итд.
 
Дакле, из перспективе корисника, КДБ+ је једноставно К језика тумач са подршком за табеле и изразе у стилу ЛИНК-а из Ц#-а. Ово је најважнија разлика између КДБ+ и других база података и њена главна конкурентска предност, која се често занемарује. Ово није база података + онемогућени помоћни језик, већ пуноправни моћни програмски језик + уграђена подршка за функције базе података. Ова разлика ће играти одлучујућу улогу у навођењу свих предности КДБ+. На пример…
 

Величина

По савременим стандардима, КДБ+ је једноставно микроскопске величине. То је буквално једна извршна датотека испод мегабајта и једна мала текстуална датотека са неким системским функцијама. У стварности – мање од једног мегабајта, а за овај програм компаније плаћају десетине хиљада долара годишње за један процесор на серверу.

• Ова величина омогућава КДБ+ да се осећа одлично на било ком хардверу - од Пи микрорачунара до сервера са терабајтима меморије. Ово ни на који начин не утиче на функционалност; штавише, К се покреће тренутно, што му омогућава да се, између осталог, користи као скриптни језик.
• На овој величини К интерпретер се у потпуности уклапа у кеш процесора, што убрзава извршавање програма.
• Са овом величином извршне датотеке, К процес заузима занемарљив простор у меморији; можете их покренути на стотине. Штавише, ако је потребно, К може да ради са десетинама или стотинама гигабајта меморије у оквиру једног процеса.

прилагодљивост

К је одличан за широк спектар примена. Процес К може деловати као историјска база података и обезбедити брз приступ терабајтима информација. На пример, имамо десетине историјских база података, у некима од којих један некомпримовани дан података заузима више од 100 гигабајта. Међутим, под разумним ограничењима, упит бази података ће бити завршен за десетине до стотине милисекунди. Генерално, имамо универзално временско ограничење за корисничке захтеве - 30 секунди - и то ради веома ретко.
 
К може исто тако лако бити база података у меморији. Нови подаци се додају у табеле у меморији тако брзо да су захтеви корисника ограничавајући фактор. Подаци у табелама се чувају у колонама, што значи да ће свака операција на колони користити кеш процесора до свог пуног капацитета. Поред овога, ККС је покушао да имплементира све основне операције као што је аритметика кроз векторске инструкције процесора, максимизирајући њихову брзину. К такође може да обавља задатке који нису типични за базе података – на пример, обрађује стримовање података и израчунава у „реалном времену“ (са кашњењем од десетина милисекунди до неколико секунди у зависности од задатка) различите функције агрегације за финансијске инструменте за различито време интервалима или изградити модел утицаја савршених трансакција на тржиште и извршити његово профилисање скоро одмах по његовом завршетку. Код оваквих задатака најчешће главно временско кашњење није К, већ потреба за синхронизацијом података из различитих извора. Велика брзина се постиже захваљујући чињеници да су подаци и функције које их обрађују у једном процесу, а обрада се своди на извршавање више КСКЛ израза и спајања, који се не интерпретирају, већ се извршавају у бинарном коду.
 
Коначно, можете написати било који сервисни процес у К. На пример, Гатеваи процеси који аутоматски дистрибуирају корисничке захтеве потребним базама података и серверима. Програмер има потпуну слободу да имплементира било који алгоритам за балансирање, одређивање приоритета, толеранцију грешака, права приступа, квоте и у суштини све остало што му срце пожели. Главни проблем овде је што ћете све ово морати сами да примените.
 
Као пример, навешћу које врсте процеса имамо. Сви они се активно користе и раде заједно, комбинујући десетине различитих база података у једну, обрађујући податке из више извора и служећи стотинама корисника и апликација.

• Конектори (феедхандлер) за изворе података. Ови процеси обично користе екстерне библиотеке које се учитавају у К. Ц интерфејс у ​​К-у је изузетно једноставан и омогућава вам да лако креирате проки функције за било коју Ц/Ц++ библиотеку. К је довољно брз да истовремено обрађује, на пример, поплаву ФИКС порука са свих европских берзи.
• Дистрибутери података (тицкерплант), који служе као посредна карика између конектора и потрошача. Истовремено, они записују долазне податке у посебан бинарни дневник, обезбеђујући робустност потрошачима против губитака везе или поновног покретања.
• База података у меморији (рдб). Ове базе података обезбеђују најбржи могући приступ сировим, свежим подацима тако што их чувају у меморији. Обично акумулирају податке у табелама током дана и ресетују их ноћу.
• Упорна база података (пдб). Ове базе података обезбеђују да се данашњи подаци чувају у историјској бази података. По правилу, за разлику од рдб-а, они не чувају податке у меморији, већ користе посебан кеш на диску током дана и копирају податке у поноћ у историјску базу података.
• Историјске базе података (хдб). Ове базе података омогућавају приступ подацима за претходне дане, месеце и године. Њихова величина (у данима) је ограничена само величином чврстих дискова. Подаци се могу налазити било где, посебно на различитим дисковима да би се убрзао приступ. Могуће је компримовати податке користећи неколико алгоритама за избор. Структура базе података је добро документована и једноставна, подаци се чувају колону по колону у регуларним датотекама, тако да се могу обрадити, укључујући и помоћу оперативног система.
• Базе података са агрегираним информацијама. Они чувају различите агрегације, обично са, груписане по имену инструмента и временском интервалу. Базе података у меморији ажурирају своје стање са сваком долазном поруком, а историјске базе података чувају унапред израчунате податке како би убрзали приступ историјским подацима.
• Коначно, гатеваи процесисервисирање апликација и корисника. К вам омогућава да имплементирате потпуно асинхрону обраду долазних порука, дистрибуцију по базама података, проверу права приступа итд. Имајте на уму да поруке нису ограничене и најчешће нису СКЛ изрази, као што је случај у другим базама података. Најчешће се СКЛ израз крије у посебној функцији и конструише се на основу параметара које захтева корисник – време се конвертује, филтрира, подаци се нормализују (на пример, цена акција се изједначава ако су исплаћене дивиденде) итд.

Типична архитектура за један тип података:

Брзина

Иако је К интерпретирани језик, он је такође векторски језик. То значи да многе уграђене функције, посебно аритметичке, узимају аргументе било ког облика - бројеве, вектори, матрице, листе - и од програмера се очекује да имплементира програм као низ операција. У таквом језику, ако додате два вектора од милион елемената, више није важно да се језик тумачи; сабирање ће бити извршено супер-оптимизованом бинарном функцијом. Пошто се лавовски део времена у К програмима троши на операције са табелама које користе ове основне векторизоване функције, излаз је веома пристојна брзина рада, што нам омогућава да обрадимо огромну количину података чак и у једном процесу. Ово је слично математичким библиотекама у Питхон-у – иако је сам Питхон веома спор језик, он има много одличних библиотека као што је нумпи које вам омогућавају да обрађујете нумеричке податке брзином компајлираног језика (успут, нумпи је идеолошки близак К ).
 
Поред тога, ККС је веома пажљиво приступио дизајнирању табела и оптимизацији рада са њима. Прво, подржано је неколико типова индекса, који су подржани уграђеним функцијама и могу се применити не само на колоне табеле, већ и на све векторе – груписање, сортирање, атрибут јединствености и посебно груписање за историјске базе података. Индекс се једноставно примењује и аутоматски се прилагођава приликом додавања елемената колони/вектору. Индекси се могу подједнако успешно применити на колоне табеле и у меморији и на диску. Када се извршава КСКЛ упит, индекси се аутоматски користе ако је могуће. Друго, рад са историјским подацима се обавља преко механизма за приказивање ОС датотека (мапа меморије). Велике табеле се никада не учитавају у меморију; уместо тога, потребне колоне се мапирају директно у меморију и само онај део њих се заправо учитава (ту помажу и индекси) који су потребни. Програмеру није битно да ли су подаци у меморији или не; механизам за рад са ммап је потпуно скривен у дубинама К.
 
КДБ+ није релациона база података; табеле могу да садрже произвољне податке, док се редослед редова у табели не мења када се додају нови елементи и може и треба да се користи приликом писања упита. Ова функција је хитно потребна за рад са временским серијама (подаци са размена, телеметрија, евиденција догађаја), јер ако се подаци сортирају по времену, онда корисник не мора да користи никакве СКЛ трикове да пронађе први или последњи ред или Н редова у табели , одредити који ред прати Н-ту линију итд. Спајање табела је још више поједностављено, на пример, проналажење последње понуде за 16000 ВОД.Л (Водафоне) трансакција у табели од 500 милиона елемената траје око секунде на диску и десетине милисекунди у меморији.
 
Пример временског спајања – табела цитата је мапирана у меморију, тако да нема потребе да наведете ВОД.Л где се имплицитно користи индекс на колони сим и чињеница да су подаци сортирани по времену. Скоро сви спојеви у К су регуларне функције, а не део израза за одабир:

1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26]  

Коначно, вреди напоменути да су инжењери у ККС-у, почевши од самог Артура Витнија, заиста опседнути ефикасношћу и улажу се у велике дужине да извуку максимум из стандардних функција К-а и оптимизују најчешће обрасце коришћења.
 

Укупан

КДБ+ је популаран међу предузећима првенствено због своје изузетне свестраности – подједнако добро служи и као база података у меморији, као база података за складиштење терабајта историјских података и као платформа за анализу података. Због чињенице да се обрада података одвија директно у бази података, постиже се велика брзина рада и уштеда ресурса. Пуноправни програмски језик интегрисан са функцијама базе података омогућава вам да имплементирате читав низ неопходних процеса на једној платформи - од пријема података до обраде корисничких захтева.
 

За више информација,

Ограничења

Значајан недостатак КДБ+/К је висок улазни праг. Језик има чудну синтаксу, неке функције су јако преоптерећене (вредност, на пример, има око 11 случајева употребе). Оно што је најважније, захтева радикално другачији приступ писању програма. У векторском језику, увек морате размишљати у смислу трансформација низа, имплементирати све петље кроз неколико варијанти функција мапирања/редуцирања (које се у К називају прилозима) и никада не покушавајте да уштедите новац заменом векторских операција атомским. На пример, да бисте пронашли индекс Н-тог појављивања елемента у низу, требало би да напишете:

1. (where element=vector)[N]  

иако ово изгледа страшно неефикасно по Ц/Јава стандардима (= креира логички вектор, где враћа праве индексе елемената у њему). Али ова нотација чини значење израза јаснијим и користите брзе векторске операције уместо спорих атомских. Концептуална разлика између векторског језика и других је упоредива са разликом између императивног и функционалног приступа програмирању, и за то морате бити спремни.
 
Неки корисници су такође незадовољни КСКЛ-ом. Поента је да изгледа само као прави СКЛ. У стварности, то је само тумач израза сличних СКЛ-у који не подржава оптимизацију упита. Корисник мора сам да пише оптималне упите и то у К, за шта многи нису спремни. Са друге стране, наравно, увек можете сами да напишете оптимални упит, уместо да се ослањате на оптимизатор црне кутије.
 
Као плус, књига о К - К за смртнике је доступна бесплатно на веб страница компаније, ту је и доста других корисних материјала прикупљених.
 
Још један велики недостатак је цена лиценце. То је десетине хиљада долара годишње по ЦПУ-у. Само велике компаније могу себи приуштити такве трошкове. Недавно је ККС своју политику лиценцирања учинио флексибилнијом и пружа могућност плаћања само за време коришћења или изнајмљивања КДБ+ у Гоогле и Амазон облацима. ККС такође нуди за преузимање бесплатна верзија за некомерцијалне сврхе (32-битна верзија или 64-битна на захтев).
 

Такмичари

Постоји доста специјализованих база података изграђених на сличним принципима – ступастих, у меморији, фокусираних на веома велике количине података. Проблем је што су то специјализоване базе података. Упечатљив пример је Цлицкхоусе. Ова база података има веома сличан принцип као КДБ+ за складиштење података на диску и прављење индекса; неке упите обавља брже од КДБ+, иако не значајно. Али чак и као база података, Цлицкхоусе је специјализованији од КДБ+ - веб аналитика наспрам произвољних временских серија (ова разлика је веома важна - због ње, на пример, у Цлицкхоусе-у није могуће користити редослед записа). Али, што је најважније, Цлицкхоусе нема свестраност КДБ+, језика који би омогућио обраду података директно у бази података, уместо да их прво учитава у посебну апликацију, прављење произвољних СКЛ израза, примену произвољних функција у упиту, креирање процеса није у вези са извршавањем историјских функција базе података . Због тога је тешко поредити КДБ+ са другим базама података, можда су боље у одређеним случајевима употребе или једноставно боље када су у питању класични задаци базе података, али не знам за други једнако ефикасан и свестран алат за обраду привремених података.
 

Питхон интеграција

Да би КДБ+ учинио лакшим за коришћење људима који нису упознати са технологијом, ККС је креирао библиотеке да се чврсто интегрише са Питхон-ом у оквиру једног процеса. Можете или позвати било коју Питхон функцију из К, или обрнуто - позвати било коју К функцију из Питхон-а (посебно, КСКЛ изразе). Библиотеке конвертују, ако је потребно (не увек ради ефикасности), податке из формата једног језика у формат другог. Као резултат тога, К и Питхон живе у тако блиској симбиози да су границе између њих замагљене. Као резултат тога, програмер, с једне стране, има пун приступ бројним корисним Питхон библиотекама, с друге стране, добија брзу базу за рад са великим подацима интегрисаним у Питхон, што је посебно корисно за оне који се баве машинским учењем. или моделирање.
 
Рад са К у Питхон-у:

1. >>> q()  
2.q)trade:([]date:();sym:();qty:())  
3. q)  
4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200))  
5. k(',0')  
6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100))  
7. k(',1')  

референце

Сајт компаније - https://kx.com/
Веб сајт за програмере - https://code.kx.com/v2/
Књига К за смртнике (на енглеском) - https://code.kx.com/q4m3/
Чланци о КДБ+/К апликацијама од кк запослених - https://code.kx.com/v2/wp/

Извор: ввв.хабр.цом