KDB+ ഡാറ്റാബേസ്: ഫിനാൻസ് മുതൽ ഫോർമുല 1 വരെ

KDB+, കമ്പനി ഉൽപ്പന്നം KX ഇടുങ്ങിയ സർക്കിളുകളിൽ വ്യാപകമായി അറിയപ്പെടുന്ന, വളരെ വേഗതയേറിയതും, സമയ ശ്രേണിയും അവയെ അടിസ്ഥാനമാക്കിയുള്ള വിശകലന കണക്കുകൂട്ടലുകളും സംഭരിക്കുന്നതിനായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന കോളാർ ഡാറ്റാബേസ് ആണ്. തുടക്കത്തിൽ, ഇത് സാമ്പത്തിക വ്യവസായത്തിൽ വളരെ പ്രചാരത്തിലായിരുന്നു (അതും) - എല്ലാ മികച്ച 10 നിക്ഷേപ ബാങ്കുകളും നിരവധി അറിയപ്പെടുന്ന ഹെഡ്ജ് ഫണ്ടുകളും എക്സ്ചേഞ്ചുകളും മറ്റ് ഓർഗനൈസേഷനുകളും ഇത് ഉപയോഗിക്കുന്നു. ഈയിടെ, KX അതിന്റെ ഉപഭോക്തൃ അടിത്തറ വിപുലീകരിക്കാൻ തീരുമാനിച്ചു, കൂടാതെ സമയമനുസരിച്ചോ മറ്റോ ക്രമീകരിച്ച് വലിയ അളവിലുള്ള ഡാറ്റയുള്ള മറ്റ് മേഖലകളിൽ പരിഹാരങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു - ടെലികോം, ബയോ ഇൻഫോർമാറ്റിക്‌സ്, മാനുഫാക്ചറിംഗ് മുതലായവ. അവർ ഫോർമുല 1 ലെ ആസ്റ്റൺ മാർട്ടിൻ റെഡ് ബുൾ റേസിംഗ് ടീമിന്റെ പങ്കാളിയായി. ഈ ലേഖനത്തിൽ, KDB+ ന്റെ സവിശേഷതകൾ എന്തൊക്കെയാണെന്ന് നിങ്ങളോട് പറയാൻ ഞാൻ ആഗ്രഹിക്കുന്നു, അത് മികച്ച പ്രകടനം കാഴ്ചവെക്കുന്നു, എന്തുകൊണ്ടാണ് കമ്പനികൾ ഇതിനായി ധാരാളം പണം ചെലവഴിക്കാൻ തയ്യാറാവുന്നത്, ഒടുവിൽ, എന്തുകൊണ്ടാണ് ഇത് യഥാർത്ഥത്തിൽ ഒരു ഡാറ്റാബേസ് അല്ലാത്തത്.
 

 
ഈ ലേഖനത്തിൽ, കെ‌ഡി‌ബി+ എന്താണെന്നും അതിന്റെ കഴിവുകളും പരിമിതികളും എന്താണെന്നും വലിയ അളവിലുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യാൻ ആഗ്രഹിക്കുന്ന കമ്പനികൾക്ക് അതിന്റെ നേട്ടങ്ങൾ എന്താണെന്നും പൊതുവായി നിങ്ങളോട് പറയാൻ ഞാൻ ശ്രമിക്കും. KDB+ നടപ്പിലാക്കുന്നതിന്റെ വിശദാംശങ്ങളിലേക്കോ അതിന്റെ Q പ്രോഗ്രാമിംഗ് ഭാഷയുടെ വിശദാംശങ്ങളിലേക്കോ ഞാൻ പോകുന്നില്ല. ഈ രണ്ട് വിഷയങ്ങളും വളരെ വിശാലവും പ്രത്യേക ലേഖനങ്ങൾ അർഹിക്കുന്നതുമാണ്. Q - Q ഫോർ മോർട്ടലുകൾ (ചുവടെയുള്ള ലിങ്ക് കാണുക) എന്ന പുസ്തകം ഉൾപ്പെടെ, ഈ വിഷയങ്ങളെക്കുറിച്ചുള്ള ധാരാളം വിവരങ്ങൾ code.kx.com ൽ കണ്ടെത്താനാകും.

ചില നിബന്ധനകൾ

• ഇൻ-മെമ്മറി ഡാറ്റാബേസ്. വേഗത്തിലുള്ള ആക്‌സസിനായി റാമിൽ ഡാറ്റ സംഭരിക്കുന്ന ഒരു ഡാറ്റാബേസ്. അത്തരം ഒരു ഡാറ്റാബേസിന്റെ ഗുണങ്ങൾ വ്യക്തമാണ്, പക്ഷേ ദോഷങ്ങൾ ഡാറ്റ നഷ്ടപ്പെടാനുള്ള സാധ്യതയും സെർവറിൽ ധാരാളം മെമ്മറി ഉണ്ടായിരിക്കേണ്ടതിന്റെ ആവശ്യകതയുമാണ്.
• കോളം ഡാറ്റാബേസ്. റെക്കോർഡ് ബൈ റെക്കോർഡ് ചെയ്യുന്നതിനുപകരം കോളം അനുസരിച്ച് ഡാറ്റ സംഭരിക്കുന്ന ഒരു ഡാറ്റാബേസ്. അത്തരമൊരു ഡാറ്റാബേസിന്റെ പ്രധാന നേട്ടം, ഒരു നിരയിൽ നിന്നുള്ള ഡാറ്റ ഡിസ്കിലും മെമ്മറിയിലും ഒരുമിച്ച് സംഭരിക്കുന്നു, ഇത് അതിലേക്കുള്ള ആക്സസ് ഗണ്യമായി വേഗത്തിലാക്കുന്നു. അന്വേഷണത്തിൽ ഉപയോഗിക്കാത്ത കോളങ്ങൾ ലോഡ് ചെയ്യേണ്ട ആവശ്യമില്ല. രേഖകൾ പരിഷ്കരിക്കാനും ഇല്ലാതാക്കാനും ബുദ്ധിമുട്ടാണ് എന്നതാണ് പ്രധാന പോരായ്മ.
• സമയ പരമ്പര. തീയതിയോ സമയ കോളമോ ഉള്ള ഡാറ്റ. സാധാരണഗതിയിൽ, അത്തരം ഡാറ്റയ്ക്ക് സമയ ക്രമം പ്രധാനമാണ്, അതുവഴി നിലവിലുള്ള റെക്കോർഡിന് മുമ്പുള്ളതോ പിന്തുടരുന്നതോ ആയ റെക്കോർഡ് നിങ്ങൾക്ക് എളുപ്പത്തിൽ നിർണ്ണയിക്കാനാകും, അല്ലെങ്കിൽ റെക്കോർഡുകളുടെ ക്രമത്തെ ആശ്രയിച്ചിരിക്കുന്ന ഫംഗ്ഷനുകൾ പ്രയോഗിക്കുക. ക്ലാസിക് ഡാറ്റാബേസുകൾ തികച്ചും വ്യത്യസ്തമായ ഒരു തത്വത്തിലാണ് നിർമ്മിച്ചിരിക്കുന്നത് - റെക്കോർഡുകളുടെ ഒരു ശേഖരത്തെ ഒരു സെറ്റായി പ്രതിനിധീകരിക്കുന്നു, ഇവിടെ റെക്കോർഡുകളുടെ ക്രമം തത്വത്തിൽ നിർവചിക്കപ്പെട്ടിട്ടില്ല.
• വെക്റ്റർ. KDB+ ന്റെ പശ്ചാത്തലത്തിൽ, ഇത് ഒരേ ആറ്റോമിക് തരത്തിലുള്ള മൂലകങ്ങളുടെ ഒരു പട്ടികയാണ്, ഉദാഹരണത്തിന്, സംഖ്യകൾ. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, ഘടകങ്ങളുടെ ഒരു നിര. അറേകൾ, ലിസ്റ്റുകളിൽ നിന്ന് വ്യത്യസ്തമായി, വെക്റ്റർ പ്രൊസസർ നിർദ്ദേശങ്ങൾ ഉപയോഗിച്ച് ഒതുക്കമുള്ള രീതിയിൽ സംഭരിക്കാനും പ്രോസസ്സ് ചെയ്യാനും കഴിയും.

ചരിത്ര പശ്ചാത്തലം

APL-ന്റെ പിൻഗാമിയായ A+ ഭാഷയിൽ മുമ്പ് മോർഗൻ സ്റ്റാൻലി ബാങ്കിൽ ജോലി ചെയ്തിരുന്ന ആർതർ വിറ്റ്‌നിയാണ് 1993-ൽ KX സ്ഥാപിച്ചത് - വളരെ യഥാർത്ഥവും ഒരു കാലത്ത് സാമ്പത്തിക ലോകത്തെ ജനപ്രിയവുമായ ഭാഷ. തീർച്ചയായും, കെഎക്‌സിൽ, ആർതർ അതേ സ്പിരിറ്റിൽ തുടരുകയും റാഡിക്കൽ മിനിമലിസത്തിന്റെ ആശയങ്ങളാൽ നയിക്കപ്പെടുന്ന വെക്റ്റർ-ഫംഗ്ഷണൽ ഭാഷയായ കെ സൃഷ്ടിക്കുകയും ചെയ്തു. കെ പ്രോഗ്രാമുകൾ വിരാമചിഹ്നങ്ങളുടെയും പ്രത്യേക പ്രതീകങ്ങളുടെയും ഒരു കൂട്ടം പോലെ കാണപ്പെടുന്നു, ചിഹ്നങ്ങളുടെയും പ്രവർത്തനങ്ങളുടെയും അർത്ഥം സന്ദർഭത്തെ ആശ്രയിച്ചിരിക്കുന്നു, കൂടാതെ ഓരോ ഓപ്പറേഷനും പരമ്പരാഗത പ്രോഗ്രാമിംഗ് ഭാഷകളിൽ ഉള്ളതിനേക്കാൾ കൂടുതൽ അർത്ഥം വഹിക്കുന്നു. ഇക്കാരണത്താൽ, ഒരു കെ പ്രോഗ്രാമിന് കുറഞ്ഞ ഇടം മാത്രമേ എടുക്കൂ—കുറച്ച് വരികൾക്ക് ജാവ പോലെയുള്ള ഒരു വാചാലമായ ഭാഷയിൽ ടെക്‌സ്‌റ്റിന്റെ പേജുകൾ മാറ്റിസ്ഥാപിക്കാൻ കഴിയും—അത് അൽഗോരിതത്തിന്റെ അതിസാന്ദ്രമായ നിർവ്വഹണമാണ്.
 
തന്നിരിക്കുന്ന വ്യാകരണമനുസരിച്ച് LL1 പാർസർ ജനറേറ്ററിന്റെ ഭൂരിഭാഗവും നടപ്പിലാക്കുന്ന കെയിലെ ഒരു ഫംഗ്ഷൻ:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  
2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  
3.      (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  
4.      (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  
5.      (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,")"}];0;"(",]}({$[".s.C"~4#x;6_-2_x;x]}'pp'x);'`pp];  
6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/:1_r),"]";""]]}  

 2003-ൽ പ്രത്യക്ഷപ്പെട്ട KDB+ ലെ ഏറ്റവും കുറഞ്ഞ ശരീര ചലനങ്ങളോടെയാണ് ആർതർ ഈ അങ്ങേയറ്റത്തെ കാര്യക്ഷമതയുടെ തത്ത്വചിന്തയെ ഉൾക്കൊണ്ടത്, അത് XNUMX-ൽ പ്രത്യക്ഷപ്പെട്ടു (പേരിലെ K എന്ന അക്ഷരം എവിടെ നിന്നാണ് വന്നതെന്ന് ഇപ്പോൾ വ്യക്തമാണെന്ന് ഞാൻ കരുതുന്നു) ഇത് K യുടെ നാലാമത്തെ പതിപ്പിന്റെ ഒരു വ്യാഖ്യാതാവല്ലാതെ മറ്റൊന്നുമല്ല. ഭാഷ, K K യുടെ മുകളിൽ Q എന്ന് വിളിക്കുന്ന കൂടുതൽ ഉപയോക്തൃ-സൗഹൃദ പതിപ്പ് ചേർത്തിരിക്കുന്നു. Q കൂടാതെ SQL - QSQL, കൂടാതെ ഇന്റർപ്രെറ്റർ - ടേബിളുകൾക്കുള്ള പിന്തുണ സിസ്റ്റം ഡാറ്റാ തരമായി, ടേബിളുകൾക്കൊപ്പം പ്രവർത്തിക്കുന്നതിനുള്ള ടൂളുകൾക്കുള്ള പിന്തുണയും ചേർത്തു. മെമ്മറിയിലും ഡിസ്കിലും മുതലായവ.
 
അതിനാൽ ഒരു ഉപയോക്താവിന്റെ വീക്ഷണകോണിൽ, KDB+ എന്നത് പട്ടികകൾക്കുള്ള പിന്തുണയുള്ള ഒരു Q ഭാഷാ വ്യാഖ്യാതാവാണ്, C#-ൽ നിന്നുള്ള SQL-പോലുള്ള LINQ-ശൈലി എക്സ്പ്രഷനുകൾ. KDB+ ഉം മറ്റ് ഡാറ്റാബേസുകളും തമ്മിലുള്ള ഏറ്റവും പ്രധാനപ്പെട്ട വ്യത്യാസവും അതിന്റെ പ്രധാന മത്സര നേട്ടവും ഇതാണ്, ഇത് പലപ്പോഴും അവഗണിക്കപ്പെടുന്നു. ഇതൊരു ഡാറ്റാബേസ് + അപ്രാപ്തമാക്കിയ സഹായ ഭാഷയല്ല, പൂർണ്ണമായ ശക്തമായ പ്രോഗ്രാമിംഗ് ഭാഷ + ഡാറ്റാബേസ് ഫംഗ്ഷനുകൾക്കുള്ള ബിൽറ്റ്-ഇൻ പിന്തുണ. KDB+ ന്റെ എല്ലാ ആനുകൂല്യങ്ങളും പട്ടികപ്പെടുത്തുന്നതിൽ ഈ വ്യത്യാസം നിർണായക പങ്ക് വഹിക്കും. ഉദാഹരണത്തിന്…
 

വലുപ്പം

ആധുനിക നിലവാരമനുസരിച്ച്, KDB+ വലിപ്പത്തിൽ സൂക്ഷ്മമാണ്. ഇത് അക്ഷരാർത്ഥത്തിൽ ഒരു സബ് മെഗാബൈറ്റ് എക്സിക്യൂട്ടബിൾ ഫയലും ചില സിസ്റ്റം ഫംഗ്ഷനുകളുള്ള ഒരു ചെറിയ ടെക്സ്റ്റ് ഫയലുമാണ്. വാസ്തവത്തിൽ - ഒരു മെഗാബൈറ്റിൽ കുറവ്, ഈ പ്രോഗ്രാമിനായി കമ്പനികൾ സെർവറിലെ ഒരു പ്രോസസറിന് വർഷത്തിൽ പതിനായിരക്കണക്കിന് ഡോളർ നൽകുന്നു.

• പൈ മൈക്രോകമ്പ്യൂട്ടർ മുതൽ ടെറാബൈറ്റ് മെമ്മറിയുള്ള സെർവറുകൾ വരെയുള്ള ഏതൊരു ഹാർഡ്‌വെയറിലും മികച്ച അനുഭവം നൽകാൻ ഈ വലുപ്പം KDB+-നെ അനുവദിക്കുന്നു. ഇത് പ്രവർത്തനത്തെ ഒരു തരത്തിലും ബാധിക്കില്ല; കൂടാതെ, Q തൽക്ഷണം ആരംഭിക്കുന്നു, ഇത് മറ്റ് കാര്യങ്ങൾക്കൊപ്പം ഒരു സ്ക്രിപ്റ്റിംഗ് ഭാഷയായി ഉപയോഗിക്കാൻ അനുവദിക്കുന്നു.
• ഈ വലുപ്പത്തിൽ, ക്യു ഇന്റർപ്രെട്ടർ പ്രോസസർ കാഷെയിലേക്ക് പൂർണ്ണമായും യോജിക്കുന്നു, ഇത് പ്രോഗ്രാം എക്സിക്യൂഷൻ വേഗത്തിലാക്കുന്നു.
• എക്സിക്യൂട്ടബിൾ ഫയലിന്റെ ഈ വലുപ്പത്തിൽ, Q പ്രോസസ്സ് മെമ്മറിയിൽ നിസ്സാരമായ ഇടം എടുക്കുന്നു; നിങ്ങൾക്ക് നൂറുകണക്കിന് അവ പ്രവർത്തിപ്പിക്കാൻ കഴിയും. മാത്രവുമല്ല, ആവശ്യമെങ്കിൽ, ഒരു പ്രോസസ്സിനുള്ളിൽ പതിനായിരക്കണക്കിന് അല്ലെങ്കിൽ നൂറുകണക്കിന് ജിഗാബൈറ്റ് മെമ്മറി ഉപയോഗിച്ച് Q പ്രവർത്തിക്കാൻ കഴിയും.

വക്രത

വിപുലമായ ആപ്ലിക്കേഷനുകൾക്ക് Q മികച്ചതാണ്. പ്രോസസ്സ് ക്യൂവിന് ഒരു ചരിത്രപരമായ ഡാറ്റാബേസായി പ്രവർത്തിക്കാനും ടെറാബൈറ്റ് വിവരങ്ങളിലേക്ക് പെട്ടെന്ന് പ്രവേശനം നൽകാനും കഴിയും. ഉദാഹരണത്തിന്, ഞങ്ങൾക്ക് ഡസൻ കണക്കിന് ചരിത്രപരമായ ഡാറ്റാബേസുകൾ ഉണ്ട്, അവയിൽ ചിലതിൽ കംപ്രസ് ചെയ്യാത്ത ഒരു ദിവസത്തെ ഡാറ്റ 100 ജിഗാബൈറ്റിലധികം എടുക്കുന്നു. എന്നിരുന്നാലും, ന്യായമായ നിയന്ത്രണങ്ങൾക്ക് കീഴിൽ, ഡാറ്റാബേസിലേക്കുള്ള ഒരു ചോദ്യം പതിനായിരക്കണക്കിന് മില്ലിസെക്കൻഡിനുള്ളിൽ പൂർത്തിയാകും. പൊതുവേ, ഉപയോക്തൃ അഭ്യർത്ഥനകൾക്കായി ഞങ്ങൾക്ക് സാർവത്രിക സമയപരിധി ഉണ്ട് - 30 സെക്കൻഡ് - ഇത് വളരെ അപൂർവമായി മാത്രമേ പ്രവർത്തിക്കൂ.
 
Q ഒരു ഇൻ-മെമ്മറി ഡാറ്റാബേസ് ആകാം. ഉപയോക്തൃ അഭ്യർത്ഥനകൾ പരിമിതപ്പെടുത്തുന്ന ഘടകമായതിനാൽ, ഇൻ-മെമ്മറി ടേബിളുകളിലേക്ക് പുതിയ ഡാറ്റ ചേർക്കുന്നു. പട്ടികകളിലെ ഡാറ്റ കോളങ്ങളിൽ സംഭരിച്ചിരിക്കുന്നു, അതായത് ഒരു നിരയിലെ ഏത് പ്രവർത്തനവും പൂർണ്ണ ശേഷിയിൽ പ്രോസസ്സർ കാഷെ ഉപയോഗിക്കും. ഇതുകൂടാതെ, ഗണിതശാസ്ത്രം പോലുള്ള എല്ലാ അടിസ്ഥാന പ്രവർത്തനങ്ങളും പ്രോസസറിന്റെ വെക്റ്റർ നിർദ്ദേശങ്ങളിലൂടെ അവയുടെ വേഗത പരമാവധിയാക്കാൻ KX ശ്രമിച്ചു. ഡാറ്റാബേസുകൾക്ക് സാധാരണമല്ലാത്ത ടാസ്‌ക്കുകളും Q-ന് നിർവഹിക്കാൻ കഴിയും - ഉദാഹരണത്തിന്, സ്ട്രീമിംഗ് ഡാറ്റ പ്രോസസ്സ് ചെയ്യുകയും "തത്സമയം" കണക്കാക്കുകയും ചെയ്യുക (ടാസ്‌ക്കിനെ ആശ്രയിച്ച് പതിനായിരക്കണക്കിന് മില്ലിസെക്കൻഡ് മുതൽ നിരവധി സെക്കൻഡ് വരെ കാലതാമസത്തോടെ) വിവിധ സമയങ്ങളിൽ സാമ്പത്തിക ഉപകരണങ്ങൾക്കായി വിവിധ അഗ്രഗേഷൻ പ്രവർത്തനങ്ങൾ ഇടവേളകൾ അല്ലെങ്കിൽ വിപണിയിൽ തികഞ്ഞ ഇടപാടുകളുടെ സ്വാധീനത്തിന്റെ ഒരു മാതൃക നിർമ്മിക്കുകയും അത് പൂർത്തിയായ ഉടൻ തന്നെ അതിന്റെ പ്രൊഫൈലിംഗ് നടപ്പിലാക്കുകയും ചെയ്യുക. അത്തരം ജോലികളിൽ, മിക്കപ്പോഴും പ്രധാന സമയ കാലതാമസം Q അല്ല, വ്യത്യസ്ത ഉറവിടങ്ങളിൽ നിന്നുള്ള ഡാറ്റ സമന്വയിപ്പിക്കേണ്ടതിന്റെ ആവശ്യകതയാണ്. ഡാറ്റയും അവ പ്രോസസ്സ് ചെയ്യുന്ന ഫംഗ്‌ഷനുകളും ഒരു പ്രക്രിയയിലാണെന്ന വസ്തുത കാരണം ഉയർന്ന വേഗത കൈവരിക്കാനാകും, കൂടാതെ പ്രോസസ്സിംഗ് നിരവധി QSQL എക്‌സ്‌പ്രഷനുകളും ജോയിനുകളും എക്‌സിക്യൂട്ട് ചെയ്യുന്നതിലേക്ക് ചുരുക്കിയിരിക്കുന്നു, അവ വ്യാഖ്യാനിക്കപ്പെടുന്നില്ല, പക്ഷേ ബൈനറി കോഡ് ഉപയോഗിച്ച് നടപ്പിലാക്കുന്നു.
 
അവസാനമായി, Q-ൽ നിങ്ങൾക്ക് ഏത് സേവന പ്രക്രിയകളും എഴുതാം. ഉദാഹരണത്തിന്, ആവശ്യമായ ഡാറ്റാബേസുകളിലേക്കും സെർവറുകളിലേക്കും ഉപയോക്തൃ അഭ്യർത്ഥനകൾ സ്വയമേവ വിതരണം ചെയ്യുന്ന ഗേറ്റ്‌വേ പ്രോസസ്സുകൾ. സന്തുലിതമാക്കൽ, മുൻ‌ഗണന നൽകൽ, തെറ്റ് സഹിഷ്ണുത, ആക്‌സസ് അവകാശങ്ങൾ, ക്വാട്ടകൾ എന്നിവയ്‌ക്കും അടിസ്ഥാനപരമായി അവന്റെ ഹൃദയം ആഗ്രഹിക്കുന്ന മറ്റെന്തും എന്നിവയ്‌ക്കായി ഏത് അൽഗോരിതം നടപ്പിലാക്കാനും പ്രോഗ്രാമർക്ക് പൂർണ്ണ സ്വാതന്ത്ര്യമുണ്ട്. ഇവിടെയുള്ള പ്രധാന പ്രശ്നം നിങ്ങൾ തന്നെ ഇതെല്ലാം നടപ്പിലാക്കേണ്ടി വരും എന്നതാണ്.
 
ഒരു ഉദാഹരണമായി, നമുക്ക് ഏത് തരത്തിലുള്ള പ്രക്രിയകളാണ് ഉള്ളതെന്ന് ഞാൻ പട്ടികപ്പെടുത്തും. അവയെല്ലാം സജീവമായി ഉപയോഗിക്കുകയും ഒരുമിച്ച് പ്രവർത്തിക്കുകയും ഡസൻ കണക്കിന് വ്യത്യസ്ത ഡാറ്റാബേസുകൾ ഒന്നായി സംയോജിപ്പിക്കുകയും ഒന്നിലധികം ഉറവിടങ്ങളിൽ നിന്നുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യുകയും നൂറുകണക്കിന് ഉപയോക്താക്കൾക്കും ആപ്ലിക്കേഷനുകൾക്കും സേവനം നൽകുകയും ചെയ്യുന്നു.

• ഡാറ്റ ഉറവിടങ്ങളിലേക്കുള്ള കണക്ടറുകൾ (ഫീഡ്ഹാൻഡ്ലർ). ഈ പ്രക്രിയകൾ സാധാരണയായി Q-യിൽ ലോഡുചെയ്തിട്ടുള്ള ബാഹ്യ ലൈബ്രറികൾ ഉപയോഗിക്കുന്നു. Q-ലെ C ഇന്റർഫേസ് വളരെ ലളിതവും ഏത് C/C++ ലൈബ്രറിക്കും എളുപ്പത്തിൽ പ്രോക്സി ഫംഗ്ഷനുകൾ സൃഷ്ടിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. Q കൈകാര്യം ചെയ്യാൻ കഴിയുന്നത്ര വേഗതയുള്ളതാണ്, ഉദാഹരണത്തിന്, എല്ലാ യൂറോപ്യൻ സ്റ്റോക്ക് എക്സ്ചേഞ്ചുകളിൽ നിന്നുമുള്ള FIX സന്ദേശങ്ങളുടെ ഒരു പ്രളയം ഒരേസമയം പ്രോസസ്സ് ചെയ്യുന്നു.
• ഡാറ്റ വിതരണക്കാർ (ടിക്കർപ്ലാന്റ്), കണക്ടറുകൾക്കും ഉപഭോക്താക്കൾക്കും ഇടയിലുള്ള ഒരു ഇന്റർമീഡിയറ്റ് ലിങ്കായി ഇത് പ്രവർത്തിക്കുന്നു. അതേ സമയം, അവർ ഇൻകമിംഗ് ഡാറ്റ ഒരു പ്രത്യേക ബൈനറി ലോഗിലേക്ക് എഴുതുന്നു, കണക്ഷൻ നഷ്ടങ്ങൾ അല്ലെങ്കിൽ പുനരാരംഭിക്കലുകൾക്കെതിരെ ഉപഭോക്താക്കൾക്ക് കരുത്ത് നൽകുന്നു.
• ഇൻ-മെമ്മറി ഡാറ്റാബേസ് (RDB). ഈ ഡാറ്റാബേസുകൾ മെമ്മറിയിൽ സംഭരിച്ചുകൊണ്ട് അസംസ്കൃതവും പുതിയതുമായ ഡാറ്റയിലേക്ക് സാധ്യമായ ഏറ്റവും വേഗത്തിലുള്ള ആക്സസ് നൽകുന്നു. സാധാരണഗതിയിൽ, അവർ പകൽ സമയത്ത് പട്ടികകളിൽ ഡാറ്റ ശേഖരിക്കുകയും രാത്രിയിൽ അവയെ പുനഃസജ്ജമാക്കുകയും ചെയ്യുന്നു.
• പെർസിസ്റ്റ് ഡാറ്റാബേസ് (pdb). ഇന്നത്തെ ഡാറ്റ ഒരു ചരിത്രപരമായ ഡാറ്റാബേസിൽ സംഭരിച്ചിട്ടുണ്ടെന്ന് ഈ ഡാറ്റാബേസുകൾ ഉറപ്പാക്കുന്നു. ചട്ടം പോലെ, ആർഡിബിയിൽ നിന്ന് വ്യത്യസ്തമായി, അവർ മെമ്മറിയിൽ ഡാറ്റ സംഭരിക്കുന്നില്ല, പക്ഷേ പകൽ സമയത്ത് ഡിസ്കിൽ ഒരു പ്രത്യേക കാഷെ ഉപയോഗിക്കുകയും ചരിത്രപരമായ ഡാറ്റാബേസിലേക്ക് അർദ്ധരാത്രിയിൽ ഡാറ്റ പകർത്തുകയും ചെയ്യുന്നു.
• ചരിത്രപരമായ ഡാറ്റാബേസുകൾ (hdb). ഈ ഡാറ്റാബേസുകൾ മുൻ ദിവസങ്ങൾ, മാസങ്ങൾ, വർഷങ്ങൾ എന്നിവയിലേക്കുള്ള ഡാറ്റയിലേക്ക് പ്രവേശനം നൽകുന്നു. അവയുടെ വലുപ്പം (ദിവസങ്ങളിൽ) ഹാർഡ് ഡ്രൈവുകളുടെ വലുപ്പത്തിൽ മാത്രം പരിമിതപ്പെടുത്തിയിരിക്കുന്നു. ആക്സസ് വേഗത്തിലാക്കാൻ ഡാറ്റ എവിടെയും കണ്ടെത്താനാകും, പ്രത്യേകിച്ച് വ്യത്യസ്ത ഡിസ്കുകളിൽ. തിരഞ്ഞെടുക്കാൻ നിരവധി അൽഗോരിതങ്ങൾ ഉപയോഗിച്ച് ഡാറ്റ കംപ്രസ് ചെയ്യാൻ സാധിക്കും. ഡാറ്റാബേസിന്റെ ഘടന നന്നായി രേഖപ്പെടുത്തപ്പെട്ടതും ലളിതവുമാണ്, ഡാറ്റ സാധാരണ ഫയലുകളിൽ കോളം പ്രകാരം സംഭരിച്ചിരിക്കുന്നു, അതിനാൽ അവ ഓപ്പറേറ്റിംഗ് സിസ്റ്റം മുഖേന ഉൾപ്പെടെ പ്രോസസ്സ് ചെയ്യാൻ കഴിയും.
• സംഗ്രഹിച്ച വിവരങ്ങളുള്ള ഡാറ്റാബേസുകൾ. അവർ വിവിധ അഗ്രിഗേഷനുകൾ സംഭരിക്കുന്നു, സാധാരണയായി ഉപകരണത്തിന്റെ പേരും സമയ ഇടവേളയും അനുസരിച്ച് ഗ്രൂപ്പുചെയ്യുന്നു. ഇൻ-മെമ്മറി ഡാറ്റാബേസുകൾ ഓരോ ഇൻകമിംഗ് സന്ദേശത്തിലും അവയുടെ അവസ്ഥ അപ്ഡേറ്റ് ചെയ്യുന്നു, കൂടാതെ ചരിത്രപരമായ ഡാറ്റാബേസുകൾ ചരിത്രപരമായ ഡാറ്റയിലേക്കുള്ള ആക്സസ് വേഗത്തിലാക്കാൻ പ്രീ-കംപ്യൂട്ടഡ് ഡാറ്റ സംഭരിക്കുന്നു.
• അവസാനമായി ഗേറ്റ്വേ പ്രക്രിയകൾസേവന ആപ്ലിക്കേഷനുകളും ഉപയോക്താക്കളും. ഇൻകമിംഗ് സന്ദേശങ്ങളുടെ പൂർണ്ണമായും അസമന്വിത പ്രോസസ്സിംഗ് നടപ്പിലാക്കാനും ഡാറ്റാബേസുകളിലുടനീളം അവ വിതരണം ചെയ്യാനും ആക്സസ് അവകാശങ്ങൾ പരിശോധിക്കാനും Q നിങ്ങളെ അനുവദിക്കുന്നു. മറ്റ് ഡാറ്റാബേസുകളിലെ പോലെ സന്ദേശങ്ങൾ പരിമിതമല്ലെന്നും മിക്കപ്പോഴും SQL എക്സ്പ്രഷനുകളല്ലെന്നും ശ്രദ്ധിക്കുക. മിക്കപ്പോഴും, SQL എക്സ്പ്രഷൻ ഒരു പ്രത്യേക ഫംഗ്ഷനിൽ മറച്ചിരിക്കുന്നു കൂടാതെ ഉപയോക്താവ് അഭ്യർത്ഥിച്ച പാരാമീറ്ററുകളെ അടിസ്ഥാനമാക്കിയാണ് നിർമ്മിച്ചിരിക്കുന്നത് - സമയം പരിവർത്തനം ചെയ്യപ്പെടുകയും ഫിൽട്ടർ ചെയ്യുകയും ഡാറ്റ സാധാരണമാക്കുകയും ചെയ്യുന്നു (ഉദാഹരണത്തിന്, ലാഭവിഹിതം നൽകിയാൽ സ്റ്റോക്ക് വില തുല്യമാകും) മുതലായവ.

ഒരു ഡാറ്റ തരത്തിനായുള്ള സാധാരണ ആർക്കിടെക്ചർ:

വേഗത

Q ഒരു വ്യാഖ്യാന ഭാഷയാണെങ്കിലും, ഇത് ഒരു വെക്റ്റർ ഭാഷ കൂടിയാണ്. ഇതിനർത്ഥം, അനേകം ബിൽറ്റ്-ഇൻ ഫംഗ്‌ഷനുകൾ, പ്രത്യേകിച്ച് ഗണിതശാസ്ത്രം, ഏത് രൂപത്തിന്റെയും ആർഗ്യുമെന്റുകൾ എടുക്കുന്നു - നമ്പറുകൾ, വെക്‌ടറുകൾ, മെട്രിക്‌സ്, ലിസ്റ്റുകൾ - കൂടാതെ പ്രോഗ്രാമർ പ്രോഗ്രാം അറേ ഓപ്പറേഷനുകളായി നടപ്പിലാക്കുമെന്ന് പ്രതീക്ഷിക്കുന്നു. അത്തരമൊരു ഭാഷയിൽ, നിങ്ങൾ ഒരു ദശലക്ഷം മൂലകങ്ങളുടെ രണ്ട് വെക്‌ടറുകൾ ചേർക്കുകയാണെങ്കിൽ, ഭാഷ വ്യാഖ്യാനിക്കപ്പെടുന്നതിൽ കാര്യമില്ല; കൂട്ടിച്ചേർക്കൽ ഒരു സൂപ്പർ-ഒപ്റ്റിമൈസ് ചെയ്ത ബൈനറി ഫംഗ്‌ഷൻ വഴി നടത്തും. ക്യു പ്രോഗ്രാമുകളിലെ സമയത്തിന്റെ സിംഹഭാഗവും ഈ അടിസ്ഥാന വെക്‌ടറൈസ്ഡ് ഫംഗ്‌ഷനുകൾ ഉപയോഗിക്കുന്ന ടേബിളുകളുള്ള ഓപ്പറേഷനുകൾക്കായി ചെലവഴിക്കുന്നതിനാൽ, ഔട്ട്‌പുട്ട് വളരെ മാന്യമായ പ്രവർത്തന വേഗതയാണ്, ഒരു പ്രക്രിയയിൽ പോലും വലിയ അളവിലുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യാൻ ഞങ്ങളെ അനുവദിക്കുന്നു. ഇത് പൈത്തണിലെ ഗണിതശാസ്ത്ര ലൈബ്രറികൾക്ക് സമാനമാണ് - പൈത്തൺ തന്നെ വളരെ മന്ദഗതിയിലുള്ള ഭാഷയാണെങ്കിലും, കംപൈൽ ചെയ്ത ഭാഷയുടെ വേഗതയിൽ സംഖ്യാ ഡാറ്റ പ്രോസസ്സ് ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്ന numpy പോലുള്ള നിരവധി മികച്ച ലൈബ്രറികൾ ഇതിലുണ്ട് (വഴി, numpy ആശയപരമായി Q യോട് അടുത്താണ്. ).
 
കൂടാതെ, പട്ടികകൾ രൂപകൽപ്പന ചെയ്യുന്നതിനും അവ ഉപയോഗിച്ച് ജോലി ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിനും KX വളരെ ശ്രദ്ധാപൂർവ്വമായ സമീപനം സ്വീകരിച്ചു. ഒന്നാമതായി, നിരവധി തരം സൂചികകൾ പിന്തുണയ്ക്കുന്നു, അവ അന്തർനിർമ്മിത ഫംഗ്ഷനുകൾ പിന്തുണയ്ക്കുന്നു, കൂടാതെ പട്ടിക നിരകളിൽ മാത്രമല്ല, ഏത് വെക്റ്ററുകളിലും പ്രയോഗിക്കാൻ കഴിയും - ഗ്രൂപ്പിംഗ്, സോർട്ടിംഗ്, തനതായ ആട്രിബ്യൂട്ട്, ചരിത്ര ഡാറ്റാബേസുകൾക്കായുള്ള പ്രത്യേക ഗ്രൂപ്പിംഗ്. സൂചിക ലളിതമായി പ്രയോഗിക്കുകയും കോളം/വെക്‌ടറിലേക്ക് ഘടകങ്ങൾ ചേർക്കുമ്പോൾ യാന്ത്രികമായി ക്രമീകരിക്കുകയും ചെയ്യുന്നു. മെമ്മറിയിലും ഡിസ്കിലുമുള്ള പട്ടിക നിരകളിൽ സൂചികകൾ ഒരുപോലെ വിജയകരമായി പ്രയോഗിക്കാൻ കഴിയും. ഒരു QSQL അന്വേഷണം നടപ്പിലാക്കുമ്പോൾ, സാധ്യമെങ്കിൽ സൂചികകൾ സ്വയമേവ ഉപയോഗിക്കും. രണ്ടാമതായി, OS ഫയലുകൾ (മെമ്മറി മാപ്പ്) പ്രദർശിപ്പിക്കുന്നതിനുള്ള സംവിധാനം വഴിയാണ് ചരിത്രപരമായ ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നത്. വലിയ ടേബിളുകൾ ഒരിക്കലും മെമ്മറിയിലേക്ക് ലോഡുചെയ്യില്ല; പകരം, ആവശ്യമായ നിരകൾ നേരിട്ട് മെമ്മറിയിലേക്ക് മാപ്പ് ചെയ്യുന്നു, അവയിൽ ആ ഭാഗം മാത്രമേ യഥാർത്ഥത്തിൽ ലോഡ് ചെയ്തിട്ടുള്ളൂ (ഇൻഡക്സുകളും ഇവിടെ സഹായിക്കുന്നു) ആവശ്യമാണ്. ഡാറ്റ മെമ്മറിയിലുണ്ടോ ഇല്ലയോ എന്നത് പ്രോഗ്രാമർക്ക് ഒരു വ്യത്യാസവും വരുത്തുന്നില്ല; mmap ഉപയോഗിച്ച് പ്രവർത്തിക്കാനുള്ള സംവിധാനം Q യുടെ ആഴത്തിൽ പൂർണ്ണമായും മറഞ്ഞിരിക്കുന്നു.
 
KDB+ ഒരു റിലേഷണൽ ഡാറ്റാബേസ് അല്ല; പട്ടികകളിൽ അനിയന്ത്രിതമായ ഡാറ്റ അടങ്ങിയിരിക്കാം, അതേസമയം പുതിയ ഘടകങ്ങൾ ചേർക്കുമ്പോൾ പട്ടികയിലെ വരികളുടെ ക്രമം മാറില്ല, കൂടാതെ ചോദ്യങ്ങൾ എഴുതുമ്പോൾ ഉപയോഗിക്കാനും ഉപയോഗിക്കാനും കഴിയും. സമയ ശ്രേണിയിൽ (എക്‌സ്‌ചേഞ്ചുകൾ, ടെലിമെട്രി, ഇവന്റ് ലോഗുകൾ എന്നിവയിൽ നിന്നുള്ള ഡാറ്റ) പ്രവർത്തിക്കുന്നതിന് ഈ സവിശേഷത അടിയന്തിരമായി ആവശ്യമാണ്, കാരണം ഡാറ്റ സമയത്തിനനുസരിച്ച് അടുക്കുകയാണെങ്കിൽ, ആദ്യ അല്ലെങ്കിൽ അവസാന വരി അല്ലെങ്കിൽ N കണ്ടെത്താൻ ഉപയോക്താവിന് SQL തന്ത്രങ്ങളൊന്നും ഉപയോഗിക്കേണ്ടതില്ല. പട്ടികയിലെ വരികൾ , ഏത് വരി Nth വരി പിന്തുടരുന്നുവെന്ന് നിർണ്ണയിക്കുക, മുതലായവ. ടേബിൾ ജോയിനുകൾ കൂടുതൽ ലളിതമാക്കിയിരിക്കുന്നു, ഉദാഹരണത്തിന്, 16000 ദശലക്ഷം മൂലകങ്ങളുടെ പട്ടികയിൽ 500 VOD.L (വോഡഫോൺ) ഇടപാടുകൾക്കുള്ള അവസാന ഉദ്ധരണി കണ്ടെത്തുന്നതിന് ഡിസ്കിൽ ഒരു സെക്കൻഡും മെമ്മറിയിൽ പതിനായിരക്കണക്കിന് മില്ലിസെക്കൻഡും എടുക്കും.
 
സമയം ചേരുന്നതിന്റെ ഒരു ഉദാഹരണം - ഉദ്ധരണി പട്ടിക മെമ്മറിയിലേക്ക് മാപ്പ് ചെയ്‌തിരിക്കുന്നു, അതിനാൽ VOD.L എന്ന് വ്യക്തമാക്കേണ്ട ആവശ്യമില്ല, സിം കോളത്തിലെ സൂചികയും സമയമനുസരിച്ച് ഡാറ്റ അടുക്കുന്നു എന്ന വസ്തുതയും പരോക്ഷമായി ഉപയോഗിക്കുന്നു. Q-ലെ മിക്കവാറും എല്ലാ ചേരലുകളും റെഗുലർ ഫംഗ്‌ഷനുകളാണ്, തിരഞ്ഞെടുത്ത എക്‌സ്‌പ്രെഷന്റെ ഭാഗമല്ല:

1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26]  

അവസാനമായി, ആർതർ വിറ്റ്‌നിയിൽ നിന്ന് തന്നെ ആരംഭിക്കുന്ന കെഎക്‌സിലെ എഞ്ചിനീയർമാർ, കാര്യക്ഷമതയിൽ ശരിക്കും ശ്രദ്ധാലുക്കളാണ്, കൂടാതെ ക്യു-യുടെ സ്റ്റാൻഡേർഡ് ഫീച്ചറുകൾ പരമാവധി പ്രയോജനപ്പെടുത്താനും ഏറ്റവും സാധാരണമായ ഉപയോഗ രീതികൾ ഒപ്റ്റിമൈസ് ചെയ്യാനും വളരെയധികം ശ്രമിക്കുന്നു എന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്.
 

ഫലം

കെഡിബി+ അതിന്റെ അസാധാരണമായ വൈദഗ്ധ്യം കാരണം ബിസിനസുകൾക്കിടയിൽ പ്രചാരത്തിലുണ്ട് - ഇത് ഒരു ഇൻ-മെമ്മറി ഡാറ്റാബേസ്, ചരിത്രപരമായ ഡാറ്റയുടെ ടെറാബൈറ്റ് സംഭരിക്കുന്നതിനുള്ള ഒരു ഡാറ്റാബേസ്, ഡാറ്റ വിശകലനത്തിനുള്ള ഒരു പ്ലാറ്റ്ഫോം എന്നീ നിലകളിൽ തുല്യമായി പ്രവർത്തിക്കുന്നു. ഡാറ്റാ പ്രോസസ്സിംഗ് നേരിട്ട് ഡാറ്റാബേസിൽ സംഭവിക്കുന്നു എന്ന വസ്തുത കാരണം, ജോലിയുടെ ഉയർന്ന വേഗതയും റിസോഴ്സ് സേവിംഗും കൈവരിക്കുന്നു. ഡാറ്റാബേസ് ഫംഗ്‌ഷനുകളുമായി സംയോജിപ്പിച്ച ഒരു പൂർണ്ണമായ പ്രോഗ്രാമിംഗ് ഭാഷ, ആവശ്യമായ പ്രോസസ്സുകളുടെ മുഴുവൻ സ്റ്റാക്കും ഒരു പ്ലാറ്റ്‌ഫോമിൽ നടപ്പിലാക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു - ഡാറ്റ സ്വീകരിക്കുന്നത് മുതൽ ഉപയോക്തൃ അഭ്യർത്ഥനകൾ പ്രോസസ്സ് ചെയ്യുന്നത് വരെ.
 

കൂടുതൽ വിവരങ്ങൾക്ക്,

അസൗകര്യങ്ങൾ

KDB+/Q ന്റെ ഒരു പ്രധാന പോരായ്മ ഉയർന്ന എൻട്രി ത്രെഷോൾഡാണ്. ഭാഷയ്ക്ക് വിചിത്രമായ ഒരു വാക്യഘടനയുണ്ട്, ചില ഫംഗ്‌ഷനുകൾ വളരെയധികം ഓവർലോഡ് ചെയ്‌തിരിക്കുന്നു (മൂല്യം, ഉദാഹരണത്തിന്, ഏകദേശം 11 ഉപയോഗ കേസുകൾ ഉണ്ട്). ഏറ്റവും പ്രധാനമായി, പ്രോഗ്രാമുകൾ എഴുതുന്നതിന് തികച്ചും വ്യത്യസ്തമായ ഒരു സമീപനം ആവശ്യമാണ്. ഒരു വെക്റ്റർ ഭാഷയിൽ, നിങ്ങൾ എല്ലായ്പ്പോഴും അറേ പരിവർത്തനങ്ങളുടെ അടിസ്ഥാനത്തിൽ ചിന്തിക്കണം, മാപ്പിന്റെ നിരവധി വകഭേദങ്ങളിലൂടെ എല്ലാ ലൂപ്പുകളും നടപ്പിലാക്കണം/കുറയ്ക്കുക (Q-ൽ ക്രിയാവിശേഷണങ്ങൾ എന്ന് വിളിക്കുന്നു), കൂടാതെ വെക്റ്റർ പ്രവർത്തനങ്ങളെ ആറ്റോമിക് ഉപയോഗിച്ച് മാറ്റി പണം ലാഭിക്കാൻ ഒരിക്കലും ശ്രമിക്കരുത്. ഉദാഹരണത്തിന്, ഒരു അറേയിലെ ഒരു മൂലകത്തിന്റെ Nth സംഭവത്തിന്റെ സൂചിക കണ്ടെത്താൻ, നിങ്ങൾ എഴുതണം:

1. (where element=vector)[N]  

C/Java മാനദണ്ഡങ്ങൾ പ്രകാരം ഇത് വളരെ കാര്യക്ഷമമല്ലെന്ന് തോന്നുമെങ്കിലും (= ഒരു ബൂളിയൻ വെക്റ്റർ സൃഷ്ടിക്കുന്നു, അവിടെ മൂലകങ്ങളുടെ യഥാർത്ഥ സൂചികകൾ നൽകുന്നു). എന്നാൽ ഈ നൊട്ടേഷൻ പദപ്രയോഗത്തിന്റെ അർത്ഥം കൂടുതൽ വ്യക്തമാക്കുന്നു, സ്ലോ ആറ്റോമിക് പ്രവർത്തനങ്ങൾക്ക് പകരം നിങ്ങൾ ഫാസ്റ്റ് വെക്റ്റർ പ്രവർത്തനങ്ങൾ ഉപയോഗിക്കുന്നു. ഒരു വെക്റ്റർ ഭാഷയും മറ്റുള്ളവയും തമ്മിലുള്ള ആശയപരമായ വ്യത്യാസം പ്രോഗ്രാമിംഗിലേക്കുള്ള അനിവാര്യവും പ്രവർത്തനപരവുമായ സമീപനങ്ങൾ തമ്മിലുള്ള വ്യത്യാസവുമായി താരതമ്യപ്പെടുത്താവുന്നതാണ്, ഇതിനായി നിങ്ങൾ തയ്യാറാകേണ്ടതുണ്ട്.
 
ചില ഉപയോക്താക്കൾ QSQL-ൽ അതൃപ്തരാണ്. ഇത് യഥാർത്ഥ SQL പോലെ മാത്രമേ കാണപ്പെടുന്നുള്ളൂ എന്നതാണ് കാര്യം. വാസ്തവത്തിൽ, ഇത് അന്വേഷണ ഒപ്റ്റിമൈസേഷനെ പിന്തുണയ്‌ക്കാത്ത SQL പോലുള്ള എക്‌സ്‌പ്രഷനുകളുടെ ഒരു വ്യാഖ്യാതാവ് മാത്രമാണ്. ഉപയോക്താവ് സ്വയം ഒപ്റ്റിമൽ അന്വേഷണങ്ങൾ എഴുതണം, കൂടാതെ Q-യിലും, പലരും തയ്യാറല്ല. മറുവശത്ത്, തീർച്ചയായും, ഒരു ബ്ലാക്ക്-ബോക്സ് ഒപ്റ്റിമൈസറിനെ ആശ്രയിക്കുന്നതിനുപകരം നിങ്ങൾക്ക് എല്ലായ്പ്പോഴും ഒപ്റ്റിമൽ അന്വേഷണം സ്വയം എഴുതാൻ കഴിയും.
 
ഒരു പ്ലസ് എന്ന നിലയിൽ, Q - Q ഫോർ മോർട്ടലുകൾ എന്ന പുസ്തകം ഇവിടെ സൗജന്യമായി ലഭ്യമാണ് കമ്പനി വെബ്സൈറ്റ്, മറ്റ് ഉപയോഗപ്രദമായ വസ്തുക്കളും അവിടെ ശേഖരിച്ചിട്ടുണ്ട്.
 
ലൈസൻസിന്റെ വിലയാണ് മറ്റൊരു വലിയ പോരായ്മ. അത് ഒരു സിപിയുവിന് പ്രതിവർഷം പതിനായിരക്കണക്കിന് ഡോളറാണ്. വലിയ കമ്പനികൾക്ക് മാത്രമേ അത്തരം ചെലവുകൾ താങ്ങാൻ കഴിയൂ. അടുത്തിടെ, KX അതിന്റെ ലൈസൻസിംഗ് നയം കൂടുതൽ അയവുള്ളതാക്കുകയും ഗൂഗിൾ, ആമസോൺ ക്ലൗഡുകളിൽ KDB+ വാടകയ്‌ക്കെടുക്കുന്നതിനോ ഉപയോഗിക്കുന്ന സമയത്തിനോ മാത്രം പണം നൽകാനുള്ള അവസരം നൽകുന്നു. KX ഡൗൺലോഡ് ചെയ്യാനുള്ള ഓഫറുകളും നൽകുന്നു വാണിജ്യേതര ആവശ്യങ്ങൾക്കുള്ള സൗജന്യ പതിപ്പ് (32 ബിറ്റ് പതിപ്പ് അല്ലെങ്കിൽ അഭ്യർത്ഥന പ്രകാരം 64 ബിറ്റ്).
 

എതിരാളികൾ

സമാനമായ തത്ത്വങ്ങളിൽ നിർമ്മിച്ച ചില പ്രത്യേക ഡാറ്റാബേസുകൾ ഉണ്ട് - കോളം, ഇൻ-മെമ്മറി, വളരെ വലിയ അളവിലുള്ള ഡാറ്റയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. ഇവ പ്രത്യേക ഡാറ്റാബേസുകളാണ് എന്നതാണ് പ്രശ്നം. ഒരു ശ്രദ്ധേയമായ ഉദാഹരണം Clickhouse ആണ്. ഡിസ്കിൽ ഡാറ്റ സംഭരിക്കുന്നതിനും ഒരു സൂചിക നിർമ്മിക്കുന്നതിനും ഈ ഡാറ്റാബേസിന് KDB+ ന് സമാനമായ ഒരു തത്വമുണ്ട്; ഇത് KDB+ നേക്കാൾ വേഗത്തിൽ ചില അന്വേഷണങ്ങൾ നടത്തുന്നു, കാര്യമായതല്ലെങ്കിലും. എന്നാൽ ഒരു ഡാറ്റാബേസ് എന്ന നിലയിൽ പോലും, ക്ലിക്ക്ഹൗസ് KDB+ - വെബ് അനലിറ്റിക്‌സ് vs അനിയന്ത്രിതമായ സമയ ശ്രേണിയേക്കാൾ കൂടുതൽ പ്രത്യേകതയുള്ളതാണ് (ഈ വ്യത്യാസം വളരെ പ്രധാനമാണ് - ഇത് കാരണം, ഉദാഹരണത്തിന്, ക്ലിക്ക്ഹൗസിൽ റെക്കോർഡുകളുടെ ക്രമം ഉപയോഗിക്കുന്നത് സാധ്യമല്ല). പക്ഷേ, ഏറ്റവും പ്രധാനമായി, ക്ലിക്ക്ഹൗസിന് KDB+ ന്റെ വൈദഗ്ധ്യം ഇല്ല, അത് ഒരു പ്രത്യേക ആപ്ലിക്കേഷനിലേക്ക് ആദ്യം ലോഡുചെയ്യുന്നതിനുപകരം ഡാറ്റാബേസിൽ നേരിട്ട് പ്രോസസ്സ് ചെയ്യാൻ അനുവദിക്കുന്ന ഒരു ഭാഷയാണ്, അനിയന്ത്രിതമായ SQL എക്സ്പ്രഷനുകൾ നിർമ്മിക്കുക, ഒരു അന്വേഷണത്തിൽ അനിയന്ത്രിതമായ പ്രവർത്തനങ്ങൾ പ്രയോഗിക്കുക, പ്രക്രിയകൾ സൃഷ്ടിക്കുക. ചരിത്രപരമായ ഡാറ്റാബേസ് ഫംഗ്ഷനുകളുടെ നിർവ്വഹണവുമായി ബന്ധപ്പെട്ടതല്ല. അതിനാൽ, മറ്റ് ഡാറ്റാബേസുകളുമായി KDB+ താരതമ്യം ചെയ്യുന്നത് ബുദ്ധിമുട്ടാണ്; ചില ഉപയോഗ സന്ദർഭങ്ങളിൽ അവ മികച്ചതാകാം അല്ലെങ്കിൽ ക്ലാസിക് ഡാറ്റാബേസ് ടാസ്ക്കുകൾ വരുമ്പോൾ മികച്ചതാകാം, എന്നാൽ താൽകാലിക ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിന് തുല്യമായ ഫലപ്രദവും ബഹുമുഖവുമായ മറ്റൊരു ടൂളിനെക്കുറിച്ച് എനിക്കറിയില്ല.
 

പൈത്തൺ സംയോജനം

സാങ്കേതികവിദ്യയുമായി പരിചയമില്ലാത്ത ആളുകൾക്ക് KDB+ ഉപയോഗിക്കുന്നത് എളുപ്പമാക്കുന്നതിന്, KX ഒരു പ്രക്രിയയ്ക്കുള്ളിൽ പൈത്തണുമായി കർശനമായി സംയോജിപ്പിക്കാൻ ലൈബ്രറികൾ സൃഷ്ടിച്ചു. നിങ്ങൾക്ക് ഒന്നുകിൽ Q-ൽ നിന്ന് ഏതെങ്കിലും പൈത്തൺ ഫംഗ്‌ഷനിലേക്ക് വിളിക്കാം, അല്ലെങ്കിൽ തിരിച്ചും - പൈത്തണിൽ നിന്ന് (പ്രത്യേകിച്ച്, QSQL എക്സ്പ്രഷനുകൾ) ഏതെങ്കിലും Q ഫംഗ്‌ഷൻ വിളിക്കുക. ലൈബ്രറികൾ ആവശ്യമെങ്കിൽ (എല്ലായ്‌പ്പോഴും കാര്യക്ഷമതയ്‌ക്ക് വേണ്ടിയല്ല), ഒരു ഭാഷയുടെ ഫോർമാറ്റിൽ നിന്ന് മറ്റൊന്നിന്റെ ഫോർമാറ്റിലേക്ക് ഡാറ്റ പരിവർത്തനം ചെയ്യുന്നു. തൽഫലമായി, ക്യുവും പൈത്തണും വളരെ അടുത്ത സഹവർത്തിത്വത്തിലാണ് ജീവിക്കുന്നത്, അവയ്ക്കിടയിലുള്ള അതിരുകൾ മങ്ങുന്നു. തൽഫലമായി, പ്രോഗ്രാമർക്ക്, ഒരു വശത്ത്, ഉപയോഗപ്രദമായ നിരവധി പൈത്തൺ ലൈബ്രറികളിലേക്ക് പൂർണ്ണ ആക്‌സസ് ഉണ്ട്, മറുവശത്ത്, പൈത്തണുമായി സംയോജിപ്പിച്ചിരിക്കുന്ന വലിയ ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നതിനുള്ള ഒരു ഫാസ്റ്റ് ബേസ് അദ്ദേഹത്തിന് ലഭിക്കുന്നു, ഇത് മെഷീൻ ലേണിംഗിൽ ഏർപ്പെട്ടിരിക്കുന്നവർക്ക് പ്രത്യേകിച്ചും ഉപയോഗപ്രദമാണ്. അല്ലെങ്കിൽ മോഡലിംഗ്.
 
പൈത്തണിൽ Q-നൊപ്പം പ്രവർത്തിക്കുന്നു:

1. >>> q()  
2.q)trade:([]date:();sym:();qty:())  
3. q)  
4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200))  
5. k(',0')  
6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100))  
7. k(',1')  

റെഫറൻസുകൾ

കമ്പനിയുടെ സൈറ്റ് - https://kx.com/
ഡെവലപ്പർമാർക്കുള്ള വെബ്സൈറ്റ് - https://code.kx.com/v2/
ബുക് ക്യു ഫോർ മോർട്ടൽസ് (ഇംഗ്ലീഷിൽ) - https://code.kx.com/q4m3/
kx ജീവനക്കാരിൽ നിന്നുള്ള KDB+/Q ആപ്ലിക്കേഷനുകളെക്കുറിച്ചുള്ള ലേഖനങ്ങൾ - https://code.kx.com/v2/wp/

അവലംബം: www.habr.com