KDB+ база на податоци: од финансии до Формула 1

KDB+, производ на компанијата KX е широко позната во тесни кругови, исклучително брза, колонообразна база на податоци дизајнирана за складирање на временски серии и аналитички пресметки врз основа на нив. Првично, беше (и е) многу популарен во финансиската индустрија - го користат сите топ 10 инвестициски банки и многу познати хеџ фондови, берзи и други организации. Неодамна, KX одлучи да ја прошири својата база на корисници и сега нуди решенија во други области каде што има голема количина на податоци, организирани според времето или на друг начин - телеком, биоинформатика, производство итн. Тие, исто така, станаа партнер на тимот на Aston Martin Red Bull Racing во Формула 1, каде што помагаат да се собираат и обработуваат податоци од сензорите на автомобилите и да се анализираат тестовите во тунелот за ветер. Во оваа статија, сакам да ви кажам кои карактеристики на KDB+ го прават супер-перформанси, зошто компаниите се подготвени да потрошат многу пари на тоа и, конечно, зошто тоа всушност не е база на податоци.
 

 
Во оваа статија ќе се обидам да ви кажам воопшто што е KDB+, какви можности и ограничувања има и кои се неговите придобивки за компаниите кои сакаат да обработуваат големи количини на податоци. Нема да навлегувам во деталите за имплементацијата на KDB+ или деталите за неговиот програмски јазик Q. И двете од овие теми се многу широки и заслужуваат посебни написи. Многу информации за овие теми може да се најдат на code.kx.com, вклучително и книга за Q - Q For Mortals (видете ја врската подолу).

Некои термини

• База на податоци во меморијата. База на податоци што складира податоци во RAM меморија за побрз пристап. Предностите на таквата база на податоци се јасни, но недостатоците се можноста за губење податоци и потребата да се има многу меморија на серверот.
• Колоносна база на податоци. База на податоци каде што податоците се складираат колона по колона наместо евиденција по запис. Главната предност на таквата база на податоци е тоа што податоците од една колона се складираат заедно на дискот и во меморијата, што значително го забрзува пристапот до него. Нема потреба да се вчитуваат колони што не се користат во барањето. Главниот недостаток е тоа што е тешко да се менуваат и бришат записите.
• Временски серии. Податоци со колона за датум или време. Вообичаено, распоредот на време е важен за таквите податоци, така што можете лесно да одредите кој запис му претходи или следи на тековниот или да примените функции чии резултати зависат од редоследот на записите. Класичните бази на податоци се изградени на сосема поинаков принцип - претставуваат збирка записи како збир, каде што редоследот на записите, во принцип, не е дефиниран.
• Вектор. Во контекст на KDB+, ова е список на елементи од ист атомски тип, на пример, броеви. Со други зборови, низа елементи. Низите, за разлика од списоците, може да се складираат компактно и да се обработуваат со помош на инструкции за векторски процесор.

 

историја

KX е основан во 1993 година од Артур Витни, кој претходно работеше во банката Морган Стенли на јазикот А+, наследникот на APL - многу оригинален и некогаш популарен јазик во финансискиот свет. Се разбира, во KX, Артур продолжи во истиот дух и го создаде векторско-функционалниот јазик К, водејќи се од идеите на радикалниот минимализам. K програмите изгледаат како збркање од интерпункциски знаци и специјални знаци, значењето на знаците и функциите зависи од контекстот, а секоја операција носи многу повеќе значење отколку во конвенционалните програмски јазици. Поради ова, програмата K зафаќа минимален простор - неколку линии може да ги заменат страниците со текст на обилен јазик како Java - и е суперконцентрирана имплементација на алгоритмот.
 
Функција во K што го имплементира најголемиот дел од генераторот на парсерот LL1 според дадена граматика:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  
2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  
3.      (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  
4.      (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  
5.      (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,")"}];0;"(",]}({$[".s.C"~4#x;6_-2_x;x]}'pp'x);'`pp];  
6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/:1_r),"]";""]]}  

 Артур ја отелотвори оваа филозофија на екстремна ефикасност со минимум движења на телото во KDB+, која се појави во 2003 година (мислам дека сега е јасно од каде доаѓа буквата К во името) и не е ништо повеќе од толкувач на четвртата верзија на К јазик. Додадена е повеќе прифатлива верзија на K K наречена Q. Q исто така додаде поддршка за специфичен дијалект на SQL - QSQL и преведувачот - поддршка за табели како системски тип на податоци, алатки за работа со табели во меморија и на диск, итн.
 
Значи, од перспектива на корисникот, KDB+ е едноставно преведувач на јазикот Q со поддршка за табели и изрази во стилот на SQL од C#. Ова е најважната разлика помеѓу KDB+ и другите бази на податоци и нејзината главна конкурентна предност, која често се занемарува. Ова не е база на податоци + оневозможен помошен јазик, туку полноправно моќен програмски јазик + вградена поддршка за функциите на базата на податоци. Оваа разлика ќе игра одлучувачка улога во набројувањето на сите придобивки од KDB+. На пример…
 

Големина

Според современите стандарди, KDB+ е едноставно микроскопска по големина. Тоа е буквално еден под-мегабајт извршна датотека и една мала текстуална датотека со некои системски функции. Во реалноста - помалку од еден мегабајт, а за оваа програма компаниите плаќаат десетици илјади долари годишно за еден процесор на серверот.

• Оваа големина овозможува KDB+ да се чувствува одлично на кој било хардвер - од микрокомпјутер Pi до сервери со терабајти меморија. Ова на никаков начин не влијае на функционалноста; згора на тоа, Q започнува веднаш, што овозможува да се користи, меѓу другото, како јазик за скриптирање.
• Со оваа големина, интерпретерот Q целосно се вклопува во кешот на процесорот, што го забрзува извршувањето на програмата.
• Со оваа големина на извршната датотека, процесот Q зазема незначителен простор во меморијата; можете да извршите стотици од нив. Освен тоа, доколку е потребно, Q може да работи со десетици или стотици гигабајти меморија во еден процес.

разноврсност

Q е одличен за широк опсег на апликации. Процесот Q може да дејствува како историска база на податоци и да обезбеди брз пристап до терабајти информации. На пример, имаме десетици историски бази на податоци, во некои од кои еден некомпресиран ден на податоци зафаќа повеќе од 100 гигабајти. Меѓутоа, под разумни ограничувања, барањето до базата на податоци ќе биде завршено за десетици до стотици милисекунди. Општо земено, имаме универзален тајмут за барањата на корисниците - 30 секунди - и работи многу ретко.
 
Q исто толку лесно може да биде база на податоци во меморијата. Новите податоци се додаваат на табелите во меморијата толку брзо што барањата на корисниците се ограничувачки фактор. Податоците во табелите се складираат во колони, што значи дека секоја операција на колона ќе го користи кешот на процесорот со полн капацитет. Покрај ова, KX се обиде да ги спроведе сите основни операции како што е аритметиката преку векторски инструкции на процесорот, максимизирајќи ја нивната брзина. Q, исто така, може да извршува задачи што не се типични за базите на податоци - на пример, да обработува стриминг податоци и да пресметува во „реално време“ (со задоцнување од десетици милисекунди до неколку секунди во зависност од задачата) различни функции за собирање за финансиски инструменти за различно време интервали или да се изгради модел на влијанието на совршените трансакции на пазарот и да се изврши неговото профилирање речиси веднаш по неговото завршување. Кај таквите задачи најчесто главното временско доцнење не е Q, туку потребата од синхронизирање на податоците од различни извори. Голема брзина се постигнува поради фактот што податоците и функциите кои ги обработуваат се во еден процес, а обработката се сведува на извршување на неколку QSQL изрази и спојувања, кои не се толкуваат, туку се извршуваат со бинарен код.
 
Конечно, можете да напишете какви било сервисни процеси во Q. На пример, Gateway процесира кои автоматски ги дистрибуираат корисничките барања до потребните бази на податоци и сервери. Програмерот има целосна слобода да имплементира каков било алгоритам за балансирање, одредување приоритети, толеранција на грешки, права на пристап, квоти и во основа се друго што сака неговото срце. Главниот проблем овде е што сето ова ќе треба сами да го спроведете.
 
Како пример ќе наведам какви видови процеси имаме. Сите тие активно се користат и работат заедно, комбинирајќи десетици различни бази на податоци во една, обработувајќи податоци од повеќе извори и опслужувајќи стотици корисници и апликации.

• Конектори (feedhandler) до изворите на податоци. Овие процеси обично користат надворешни библиотеки кои се вчитани во Q. Интерфејсот C во Q е исклучително едноставен и ви овозможува лесно да креирате прокси функции за која било библиотека C/C++. Q е доволно брз за да се справи, на пример, со обработка на поплава од FIX пораки од сите европски берзи истовремено.
• Дистрибутери на податоци (тикерс), кои служат како средна врска помеѓу конекторите и потрошувачите. Во исто време, тие ги запишуваат дојдовните податоци во специјален бинарен дневник, обезбедувајќи им робусност на потрошувачите против загуби на поврзување или рестартирање.
• База на податоци во меморијата (rdb). Овие бази на податоци обезбедуваат најбрз можен пристап до необработени, свежи податоци со складирање во меморијата. Обично, тие акумулираат податоци во табели во текот на денот и ги ресетираат ноќе.
• Постојана база на податоци (pdb). Овие бази на податоци обезбедуваат дека податоците за денес се чуваат во историска база на податоци. Како по правило, за разлика од rdb, тие не складираат податоци во меморијата, туку користат посебен кеш на дискот во текот на денот и ги копираат податоците на полноќ во историската база на податоци.
• Историски бази на податоци (hdb). Овие бази на податоци обезбедуваат пристап до податоците за претходните денови, месеци и години. Нивната големина (во денови) е ограничена само од големината на хард дисковите. Податоците може да се лоцираат насекаде, особено на различни дискови за да се забрза пристапот. Можно е да се компресираат податоците користејќи неколку алгоритми за избор. Структурата на базата на податоци е добро документирана и едноставна, податоците се складираат колона по колона во обични датотеки, за да може да се обработуваат, вклучително и со помош на оперативниот систем.
• Бази на податоци со збирни информации. Тие чуваат различни агрегации, обично со, групирани по име на инструментот и временски интервал. Базите на податоци во меморијата ја ажурираат нивната состојба со секоја дојдовна порака, а историските бази на податоци складираат претходно пресметани податоци за да го забрзаат пристапот до историските податоци.
• Конечно, портата процесисервисирање на апликации и корисници. Q ви овозможува да имплементирате целосно асинхрона обработка на дојдовните пораки, да ги дистрибуирате меѓу базите на податоци, да ги проверите правата за пристап итн. Забележете дека пораките не се ограничени и најчесто не се SQL изрази, како што е случај во другите бази на податоци. Најчесто, изразот SQL се крие во посебна функција и се конструира врз основа на параметрите што ги бара корисникот - времето се конвертира, се филтрира, податоците се нормализираат (на пример, цената на акцијата се изедначува ако се плаќале дивиденди) итн.

Типична архитектура за еден тип на податоци:

Брзина

Иако Q е интерпретиран јазик, тој е и векторски јазик. Ова значи дека многу вградени функции, особено аритметичките, земаат аргументи од која било форма - броеви, вектори, матрици, листи - и од програмерот се очекува да ја имплементира програмата како операции со низа. Во таков јазик, ако додадете два вектори од милион елементи, веќе не е важно јазикот да се толкува; собирањето ќе се изврши со супер-оптимизирана бинарна функција. Бидејќи лавовскиот дел од времето во програмите Q се троши на операции со табели кои ги користат овие основни векторизирани функции, излезот е многу пристојна работна брзина, што ни овозможува да обработиме огромна количина на податоци дури и во еден процес. Ова е слично на математичките библиотеки во Python - иако самиот Python е многу бавен јазик, тој има многу одлични библиотеки како numpy кои ви дозволуваат да обработувате нумерички податоци со брзина на компајлиран јазик (патем, numpy е идеолошки блиску до Q ).
 
Покрај тоа, KX зеде многу внимателен пристап кон дизајнирање табели и оптимизирање на работата со нив. Прво, поддржани се неколку типови на индекси, кои се поддржани со вградени функции и можат да се применат не само на колоните на табелите, туку и на сите вектори - групирање, сортирање, атрибут за уникатност и специјално групирање за историски бази на податоци. Индексот се применува едноставно и автоматски се прилагодува кога се додаваат елементи во колоната/векторот. Индексите можат подеднакво успешно да се применат на колоните на табелата и во меморијата и на дискот. Кога се извршува QSQL барање, индексите се користат автоматски ако е можно. Второ, работата со историските податоци се врши преку механизмот за прикажување на датотеки на ОС (мемориска карта). Големите табели никогаш не се вчитуваат во меморијата, наместо тоа, потребните колони се мапираат директно во меморијата и само тој дел од нив е всушност вчитан (индексите исто така помагаат овде) што се потребни. За програмерот нема разлика дали податоците се во меморија или не; механизмот за работа со mmap е целосно скриен во длабочините на Q.
 
KDB+ не е релациона база на податоци; табелите може да содржат произволни податоци, додека редоследот на редовите во табелата не се менува кога се додаваат нови елементи и може и треба да се користат при пишување прашања. Оваа функција е итно потребна за работа со временски серии (податоци од размена, телеметрија, дневници на настани), бидејќи ако податоците се подредени по време, тогаш корисникот нема потреба да користи никакви SQL трикови за да го пронајде првиот или последниот ред или N редови во табелата, одреди која линија следи по N-тата линија, итн. Приклучувањето на табелите се поедноставува уште повеќе, на пример, наоѓањето на последната понуда за 16000 VOD.L (Vodafone) трансакции во табела од 500 милиони елементи трае околу секунда на дискот и десетици милисекунди во меморијата.
 
Пример за временско приклучување - табелата со цитати е мапирана во меморијата, така што нема потреба да се одредува VOD.L каде, индексот на колоната sym и фактот дека податоците се подредени по време се имплицитно користени. Речиси сите спојувања во Q се редовни функции, а не дел од избран израз:

1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26]  

Конечно, вреди да се напомене дека инженерите во KX, почнувајќи од самиот Артур Витни, се навистина опседнати со ефикасноста и се трудат да го извлечат максимумот од стандардните карактеристики на Q и да ги оптимизираат најчестите модели на користење.
 

Вкупно

KDB+ е популарен меѓу бизнисите првенствено поради неговата исклучителна разновидност - служи подеднакво добро како база на податоци во меморијата, како база на податоци за складирање на терабајти историски податоци и како платформа за анализа на податоци. Поради фактот што обработката на податоците се случува директно во базата на податоци, се постигнува голема брзина на работа и заштеда на ресурси. Полноправниот програмски јазик интегриран со функциите на базата на податоци ви овозможува да го имплементирате целиот куп потребни процеси на една платформа - од примање податоци до обработка на барањата на корисниците.
 

За повеќе информации,

Ограничувања

Значаен недостаток на KDB+/Q е високиот влезен праг. Јазикот има чудна синтакса, некои функции се силно преоптоварени (вредноста, на пример, има околу 11 случаи на употреба). Што е најважно, тоа бара радикално поинаков пристап за пишување програми. Во векторскиот јазик, мора секогаш да размислувате во смисла на трансформации на низи, да ги имплементирате сите циклуси преку неколку варијанти на функциите на мапата/намалувањето (кои се нарекуваат прилози во Q) и никогаш да не се обидувате да заштедите пари со замена на векторските операции со атомски. На пример, за да го пронајдете индексот на N-тата појава на елемент во низа, треба да напишете:

1. (where element=vector)[N]  

иако ова изгледа ужасно неефикасно според C/Java стандардите (= создава булов вектор, каде што ги враќа вистинските индекси на елементите во него). Но, оваа нотација го прави значењето на изразот појасно и користите брзи векторски операции наместо бавни атомски. Концептуалната разлика помеѓу векторскиот јазик и другите е споредлива со разликата помеѓу императивните и функционалните пристапи за програмирање, и треба да бидете подготвени за ова.
 
Некои корисници исто така не се задоволни со QSQL. Поентата е дека изгледа само како вистински SQL. Во реалноста, тоа е само преведувач на изрази слични на SQL што не поддржува оптимизација на барања. Корисникот мора самиот да напише оптимални прашања, и во Q, за што многумина не се подготвени. Од друга страна, се разбира, секогаш можете сами да го напишете оптималното барање, наместо да се потпирате на оптимизатор на црна кутија.
 
Како плус, книга за Q - Q For Mortals е достапна бесплатно на веб-страница на компанијата, таму се собрани и многу други корисни материјали.
 
Друг голем недостаток е цената на лиценцата. Тоа се десетици илјади долари годишно по процесор. Само големите компании можат да си дозволат такви трошоци. Неодамна, KX ја направи својата политика за лиценцирање пофлексибилна и дава можност да се плати само за времето на користење или да се изнајми KDB+ во облаците на Google и Amazon. KX нуди и за преземање бесплатна верзија за некомерцијални цели (32 битна верзија или 64 битна на барање).
 

Натпреварувачи

Постојат неколку специјализирани бази на податоци изградени на слични принципи - колонообразни, во меморијата, фокусирани на многу големи количини на податоци. Проблемот е што тоа се специјализирани бази на податоци. Впечатлив пример е Clickhouse. Оваа база на податоци има многу сличен принцип на KDB+ за складирање податоци на диск и градење на индекс; таа извршува некои прашања побрзо од KDB+, иако не значително. Но, дури и како база на податоци, Clickhouse е поспецијализиран од KDB+ - веб-аналитика наспроти произволни временски серии (оваа разлика е многу важна - поради неа, на пример, во Clickhouse не е можно да се користи подредувањето на записите). Но, што е најважно, Clickhouse ја нема разновидноста на KDB+, јазик што би овозможил обработка на податоците директно во базата на податоци, наместо да се вчитуваат прво во посебна апликација, да се градат произволни SQL изрази, да се применуваат произволни функции во барањето, да се креираат процеси не се поврзани со извршувањето на функциите на историската база на податоци. Затоа, тешко е да се спореди KDB+ со други бази на податоци; тие може да бидат подобри во одредени случаи на употреба или едноставно подобри кога станува збор за класични задачи за бази на податоци, но не знам за друга подеднакво ефикасна и разновидна алатка за обработка на привремени податоци.
 

Пајтон интеграција

За да го олесни користењето на KDB+ за луѓе кои не се запознаени со технологијата, KX создаде библиотеки за цврсто интегрирање со Python во еден процес. Можете или да повикате која било функција на Python од Q, или обратно - повикајте која било Q функција од Python (особено, QSQL изрази). Библиотеките конвертираат, доколку е потребно (не секогаш заради ефикасност), податоците од форматот на еден јазик во форматот на друг. Како резултат на тоа, Q и Python живеат во толку блиска симбиоза што границите меѓу нив се нејасни. Како резултат на тоа, програмерот, од една страна, има целосен пристап до бројни корисни библиотеки на Python, од друга страна, тој добива брза база за работа со големи податоци интегрирани во Python, што е особено корисно за оние кои се вклучени во машинско учење или моделирање.
 
Работа со Q во Python:

1. >>> q()  
2.q)trade:([]date:();sym:();qty:())  
3. q)  
4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200))  
5. k(',0')  
6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100))  
7. k(',1')  

референци

Сајтот на компанијата - https://kx.com/
Веб-страница за програмери - https://code.kx.com/v2/
Книга П за смртници (на англиски) - https://code.kx.com/q4m3/
Написи за KDB+/Q апликации од вработени во kx - https://code.kx.com/v2/wp/

Извор: www.habr.com