KDB+ ડેટાબેઝ: ફાઇનાન્સથી ફોર્મ્યુલા 1 સુધી

KDB+, કંપનીનું ઉત્પાદન KX સાંકડા વર્તુળોમાં વ્યાપકપણે જાણીતું છે, અત્યંત ઝડપી, સ્તંભાકાર ડેટાબેઝ જે સમય શ્રેણી અને તેના આધારે વિશ્લેષણાત્મક ગણતરીઓ સ્ટોર કરવા માટે રચાયેલ છે. શરૂઆતમાં, તે નાણાકીય ઉદ્યોગમાં ખૂબ જ લોકપ્રિય હતું (અને છે) - તમામ ટોચની 10 રોકાણ બેંકો અને ઘણી જાણીતી હેજ ફંડ્સ, એક્સચેન્જો અને અન્ય સંસ્થાઓ તેનો ઉપયોગ કરે છે. તાજેતરમાં, KX એ તેના ગ્રાહક આધારને વિસ્તારવાનું નક્કી કર્યું છે અને હવે તે અન્ય ક્ષેત્રોમાં ઉકેલો ઓફર કરે છે જ્યાં મોટી માત્રામાં ડેટા છે, જે સમય અનુસાર ગોઠવવામાં આવે છે અથવા અન્યથા - ટેલિકોમ, બાયોઇન્ફોર્મેટિક્સ, મેન્યુફેક્ચરિંગ વગેરે. તેઓ ફોર્મ્યુલા 1 માં એસ્ટન માર્ટિન રેડ બુલ રેસિંગ ટીમના ભાગીદાર પણ બન્યા, જ્યાં તેઓ કારના સેન્સરમાંથી ડેટા એકત્રિત કરવામાં અને પ્રક્રિયા કરવામાં અને વિન્ડ ટનલ પરીક્ષણોનું વિશ્લેષણ કરવામાં મદદ કરે છે. આ લેખમાં, હું તમને જણાવવા માંગુ છું કે KDB+ ની કઈ વિશેષતાઓ તેને સુપર-પરફોર્મિંગ બનાવે છે, શા માટે કંપનીઓ તેના પર ઘણા પૈસા ખર્ચવા તૈયાર છે અને આખરે, તે ખરેખર ડેટાબેઝ કેમ નથી.
 

 
આ લેખમાં હું તમને સામાન્ય રીતે જણાવવાનો પ્રયત્ન કરીશ કે KDB+ શું છે, તેની ક્ષમતાઓ અને મર્યાદાઓ શું છે અને મોટી માત્રામાં ડેટા પર પ્રક્રિયા કરવા માગતી કંપનીઓ માટે તેના ફાયદા શું છે. હું KDB+ ના અમલીકરણની વિગતો અથવા તેની Q પ્રોગ્રામિંગ ભાષાની વિગતોમાં જઈશ નહીં. આ બંને વિષયો ખૂબ વ્યાપક છે અને અલગ લેખોને લાયક છે. આ વિષયો પર ઘણી બધી માહિતી code.kx.com પર મળી શકે છે, જેમાં Q - Q ફોર મૉર્ટલ્સ (નીચેની લિંક જુઓ) પરનું પુસ્તક પણ સામેલ છે.

કેટલીક શરતો

• ઇન-મેમરી ડેટાબેઝ. ડેટાબેઝ કે જે ઝડપી ઍક્સેસ માટે RAM માં ડેટા સ્ટોર કરે છે. આવા ડેટાબેઝના ફાયદા સ્પષ્ટ છે, પરંતુ ગેરફાયદામાં ડેટા ખોવાઈ જવાની શક્યતા અને સર્વર પર ઘણી બધી મેમરી હોવી જરૂરી છે.
• સ્તંભાકાર ડેટાબેઝ. ડેટાબેઝ જ્યાં ડેટા રેકોર્ડ દ્વારા રેકોર્ડ કરવાને બદલે કૉલમ દ્વારા કૉલમ સંગ્રહિત થાય છે. આવા ડેટાબેઝનો મુખ્ય ફાયદો એ છે કે એક કૉલમમાંથી ડેટા ડિસ્ક પર અને મેમરીમાં એકસાથે સંગ્રહિત થાય છે, જે તેની ઍક્સેસને નોંધપાત્ર રીતે ઝડપી બનાવે છે. કૉલમ લોડ કરવાની કોઈ જરૂર નથી કે જેનો ઉપયોગ ક્વેરીમાં ન થયો હોય. મુખ્ય ગેરલાભ એ છે કે રેકોર્ડ્સને સંશોધિત કરવું અને કાઢી નાખવું મુશ્કેલ છે.
• સમય શ્રેણી. તારીખ અથવા સમય કૉલમ સાથેનો ડેટા. સામાન્ય રીતે, આવા ડેટા માટે સમયનો ક્રમ મહત્વનો હોય છે, જેથી તમે સરળતાથી નક્કી કરી શકો કે કયો રેકોર્ડ વર્તમાન રેકોર્ડની આગળ છે અથવા તેને અનુસરે છે અથવા ફંક્શન્સ લાગુ કરવા કે જેના પરિણામો રેકોર્ડના ક્રમ પર આધારિત છે. ક્લાસિક ડેટાબેસેસ સંપૂર્ણપણે અલગ સિદ્ધાંત પર બાંધવામાં આવે છે - એક સેટ તરીકે રેકોર્ડના સંગ્રહનું પ્રતિનિધિત્વ કરે છે, જ્યાં રેકોર્ડનો ક્રમ સિદ્ધાંતમાં, વ્યાખ્યાયિત નથી.
• વેક્ટર. KDB+ ના સંદર્ભમાં, આ સમાન અણુ પ્રકારના તત્વોની સૂચિ છે, ઉદાહરણ તરીકે, સંખ્યાઓ. બીજા શબ્દોમાં કહીએ તો, તત્વોની શ્રેણી. અરે, યાદીઓથી વિપરીત, વેક્ટર પ્રોસેસર સૂચનાઓનો ઉપયોગ કરીને સઘન રીતે સંગ્રહિત અને પ્રક્રિયા કરી શકાય છે.

 

ઐતિહાસિક પૃષ્ઠભૂમિ

KX ની સ્થાપના 1993 માં આર્થર વ્હિટની દ્વારા કરવામાં આવી હતી, જેમણે અગાઉ મોર્ગન સ્ટેનલી બેંકમાં A+ ભાષા પર કામ કર્યું હતું, જે APL ના અનુગામી હતા - જે નાણાકીય વિશ્વમાં ખૂબ જ મૂળ અને એક સમયે લોકપ્રિય ભાષા છે. અલબત્ત, KX માં, આર્થરે એ જ ભાવના ચાલુ રાખી અને વેક્ટર-ફંક્શનલ લેંગ્વેજ K બનાવ્યું, જે રેડિકલ મિનિમલિઝમના વિચારો દ્વારા માર્ગદર્શન આપ્યું. K પ્રોગ્રામ્સ વિરામચિહ્નો અને વિશિષ્ટ અક્ષરોના ગૂંચવાડા જેવા દેખાય છે, ચિહ્નો અને કાર્યોનો અર્થ સંદર્ભ પર આધાર રાખે છે, અને દરેક ઑપરેશન પરંપરાગત પ્રોગ્રામિંગ ભાષાઓ કરતાં વધુ અર્થ ધરાવે છે. આને કારણે, K પ્રોગ્રામ ન્યૂનતમ જગ્યા લે છે-થોડી લીટીઓ જાવા જેવી વર્બોઝ ભાષામાં ટેક્સ્ટના પૃષ્ઠોને બદલી શકે છે-અને અલ્ગોરિધમનું સુપર-કેન્દ્રિત અમલીકરણ છે.
 
K માં એક કાર્ય જે આપેલ વ્યાકરણ અનુસાર મોટાભાગના LL1 પાર્સર જનરેટરને અમલમાં મૂકે છે:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  
2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  
3.      (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  
4.      (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  
5.      (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,")"}];0;"(",]}({$[".s.C"~4#x;6_-2_x;x]}'pp'x);'`pp];  
6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/:1_r),"]";""]]}  

 આર્થરે KDB+ માં શરીરની ઓછામાં ઓછી હલનચલન સાથે આત્યંતિક કાર્યક્ષમતાના આ ફિલસૂફીને મૂર્ત સ્વરૂપ આપ્યું હતું, જે 2003 માં દેખાયું હતું (મને લાગે છે કે હવે તે સ્પષ્ટ છે કે નામમાં K અક્ષર ક્યાંથી આવે છે) અને K ના ચોથા સંસ્કરણના દુભાષિયા સિવાય બીજું કંઈ નથી. ભાષા. K K ની ટોચ પર વધુ વપરાશકર્તા-મૈત્રીપૂર્ણ સંસ્કરણ ઉમેરવામાં આવ્યું છે જેને Q કહેવાય છે. Q એ SQL ની ચોક્કસ બોલી માટે સપોર્ટ પણ ઉમેર્યો છે - QSQL, અને દુભાષિયા - સિસ્ટમ ડેટા પ્રકાર તરીકે કોષ્ટકો માટે સપોર્ટ, કોષ્ટકો સાથે કામ કરવા માટેના સાધનો મેમરીમાં અને ડિસ્ક પર, વગેરે.
 
તેથી વપરાશકર્તાના પરિપ્રેક્ષ્યમાં, KDB+ એ C# માંથી કોષ્ટકો અને SQL-જેવા LINQ-શૈલી અભિવ્યક્તિઓ માટે સપોર્ટ સાથે માત્ર એક Q ભાષા દુભાષિયા છે. આ KDB+ અને અન્ય ડેટાબેઝ અને તેના મુખ્ય સ્પર્ધાત્મક લાભ વચ્ચેનો સૌથી મહત્વપૂર્ણ તફાવત છે, જેને ઘણીવાર અવગણવામાં આવે છે. આ ડેટાબેઝ + અક્ષમ સહાયક ભાષા નથી, પરંતુ સંપૂર્ણ સુવિધાયુક્ત શક્તિશાળી પ્રોગ્રામિંગ ભાષા + ડેટાબેઝ કાર્યો માટે બિલ્ટ-ઇન સપોર્ટ છે. આ તફાવત KDB+ ના તમામ લાભોને સૂચિબદ્ધ કરવામાં નિર્ણાયક ભૂમિકા ભજવશે. દાખ્લા તરીકે…
 

કદ

આધુનિક ધોરણો દ્વારા, KDB+ કદમાં માત્ર માઇક્રોસ્કોપિક છે. તે શાબ્દિક રીતે એક સબ-મેગાબાઈટ એક્ઝિક્યુટેબલ ફાઈલ અને કેટલાક સિસ્ટમ ફંક્શન્સ સાથે એક નાની ટેક્સ્ટ ફાઈલ છે. વાસ્તવમાં - એક મેગાબાઇટ કરતાં ઓછી, અને આ પ્રોગ્રામ માટે કંપનીઓ સર્વર પરના એક પ્રોસેસર માટે વર્ષમાં હજારો ડોલર ચૂકવે છે.

• આ કદ KDB+ ને કોઈપણ હાર્ડવેર પર - Pi માઈક્રોકોમ્પ્યુટરથી ટેરાબાઈટ મેમરીવાળા સર્વર્સ પર સરસ અનુભવ કરવાની મંજૂરી આપે છે. આ કાર્યક્ષમતાને કોઈપણ રીતે અસર કરતું નથી; વધુમાં, Q તરત જ શરૂ થાય છે, જે તેને અન્ય વસ્તુઓની સાથે, સ્ક્રિપ્ટીંગ ભાષા તરીકે ઉપયોગમાં લેવાની મંજૂરી આપે છે.
• આ કદ પર, ક્યૂ ઇન્ટરપ્રીટર સંપૂર્ણપણે પ્રોસેસર કેશમાં બંધબેસે છે, જે પ્રોગ્રામના અમલીકરણને ઝડપી બનાવે છે.
• એક્ઝેક્યુટેબલ ફાઇલના આ કદ સાથે, Q પ્રક્રિયા મેમરીમાં નજીવી જગ્યા લે છે; તમે તેમાંથી સેંકડો ચલાવી શકો છો. વધુમાં, જો જરૂરી હોય તો, Q એક જ પ્રક્રિયામાં દસ અથવા સેંકડો ગીગાબાઈટ મેમરી સાથે કામ કરી શકે છે.

વર્સેટિલિટી

એપ્લિકેશનની વિશાળ શ્રેણી માટે Q શ્રેષ્ઠ છે. પ્રક્રિયા Q એ ઐતિહાસિક ડેટાબેઝ તરીકે કાર્ય કરી શકે છે અને ટેરાબાઇટ માહિતીની ઝડપી ઍક્સેસ પ્રદાન કરી શકે છે. ઉદાહરણ તરીકે, અમારી પાસે ડઝનેક ઐતિહાસિક ડેટાબેઝ છે, જેમાંથી કેટલાકમાં એક અસંકુચિત દિવસનો ડેટા 100 ગીગાબાઇટ્સથી વધુ લે છે. જો કે, વાજબી પ્રતિબંધો હેઠળ, ડેટાબેઝની ક્વેરી દસથી સેંકડો મિલિસેકન્ડ્સમાં પૂર્ણ થશે. સામાન્ય રીતે, અમારી પાસે વપરાશકર્તા વિનંતીઓ માટે સાર્વત્રિક સમય સમાપ્ત થાય છે - 30 સેકન્ડ - અને તે ખૂબ જ ભાગ્યે જ કાર્ય કરે છે.
 
Q એ સરળતાથી ઇન-મેમરી ડેટાબેઝ બની શકે છે. ઇન-મેમરી કોષ્ટકોમાં નવો ડેટા એટલી ઝડપથી ઉમેરવામાં આવે છે કે વપરાશકર્તા વિનંતીઓ મર્યાદિત પરિબળ છે. કોષ્ટકોમાંનો ડેટા કૉલમ્સમાં સંગ્રહિત થાય છે, જેનો અર્થ છે કે કૉલમ પરની કોઈપણ કામગીરી પ્રોસેસર કેશનો સંપૂર્ણ ક્ષમતા પર ઉપયોગ કરશે. આ ઉપરાંત, KX એ પ્રોસેસરની વેક્ટર સૂચનાઓ દ્વારા અંકગણિત જેવી તમામ મૂળભૂત કામગીરીને અમલમાં મૂકવાનો પ્રયાસ કર્યો, તેમની ઝડપને મહત્તમ કરી. Q એવા કાર્યો પણ કરી શકે છે જે ડેટાબેસેસ માટે લાક્ષણિક નથી - ઉદાહરણ તરીકે, સ્ટ્રીમિંગ ડેટાની પ્રક્રિયા કરો અને "રીઅલ ટાઇમ" માં ગણતરી કરો (કાર્યના આધારે દસ મિલીસેકંડથી કેટલાક સેકંડ સુધીના વિલંબ સાથે) વિવિધ સમય માટે નાણાકીય સાધનો માટે વિવિધ એકત્રીકરણ કાર્યો અંતરાલો અથવા બજારમાં સંપૂર્ણ વ્યવહારોના પ્રભાવનું મોડેલ બનાવો અને તેની પ્રોફાઇલિંગ પૂર્ણ થયા પછી લગભગ તરત જ હાથ ધરો. આવા કાર્યોમાં, મોટેભાગે મુખ્ય સમય વિલંબ Q નથી, પરંતુ વિવિધ સ્રોતોમાંથી ડેટાને સિંક્રનાઇઝ કરવાની જરૂર છે. ઉચ્ચ ઝડપ એ હકીકતને કારણે પ્રાપ્ત થાય છે કે ડેટા અને ફંક્શન્સ જે તેમને પ્રક્રિયા કરે છે તે એક પ્રક્રિયામાં છે, અને પ્રોસેસિંગ ઘણા QSQL અભિવ્યક્તિઓ અને જોડાવા માટે ઘટાડવામાં આવે છે, જેનું અર્થઘટન કરવામાં આવતું નથી, પરંતુ બાઈનરી કોડ દ્વારા ચલાવવામાં આવે છે.
 
છેલ્લે, તમે Q માં કોઈપણ સેવા પ્રક્રિયાઓ લખી શકો છો. ઉદાહરણ તરીકે, ગેટવે પ્રક્રિયાઓ જે આપમેળે જરૂરી ડેટાબેસેસ અને સર્વર્સ પર વપરાશકર્તા વિનંતીઓનું વિતરણ કરે છે. પ્રોગ્રામરને સંતુલન, અગ્રતા, દોષ સહિષ્ણુતા, ઍક્સેસ અધિકારો, ક્વોટા અને મૂળભૂત રીતે તેના હૃદયની ઈચ્છા મુજબ કોઈપણ અલ્ગોરિધમનો અમલ કરવાની સંપૂર્ણ સ્વતંત્રતા છે. અહીં મુખ્ય સમસ્યા એ છે કે તમારે આ બધું જાતે જ અમલમાં મૂકવું પડશે.
 
ઉદાહરણ તરીકે, હું સૂચિબદ્ધ કરીશ કે આપણી પાસે કયા પ્રકારની પ્રક્રિયાઓ છે. તે બધા સક્રિયપણે ઉપયોગમાં લેવાય છે અને સાથે મળીને કામ કરે છે, ડઝનેક વિવિધ ડેટાબેસેસને એકમાં જોડીને, બહુવિધ સ્ત્રોતોમાંથી ડેટાની પ્રક્રિયા કરે છે અને સેંકડો વપરાશકર્તાઓ અને એપ્લિકેશનોને સેવા આપે છે.

• ડેટા સ્ત્રોતો માટે કનેક્ટર્સ (ફીડહેન્ડલર). આ પ્રક્રિયાઓ સામાન્ય રીતે બાહ્ય પુસ્તકાલયોનો ઉપયોગ કરે છે જે Q માં લોડ થાય છે. Q માં C ઇન્ટરફેસ અત્યંત સરળ છે અને તમને કોઈપણ C/C++ લાઇબ્રેરી માટે સરળતાથી પ્રોક્સી ફંક્શન્સ બનાવવાની મંજૂરી આપે છે. ક્યુ હેન્ડલ કરવા માટે પૂરતું ઝડપી છે, ઉદાહરણ તરીકે, તમામ યુરોપિયન સ્ટોક એક્સચેન્જોમાંથી એક સાથે FIX સંદેશાઓના પૂર પર પ્રક્રિયા કરવી.
• ડેટા વિતરકો (ટીકરપ્લાન્ટ), જે કનેક્ટર્સ અને ગ્રાહકો વચ્ચે મધ્યવર્તી કડી તરીકે સેવા આપે છે. તે જ સમયે, તેઓ ખાસ દ્વિસંગી લોગમાં ઇનકમિંગ ડેટા લખે છે, કનેક્શન ખોટ અથવા પુનઃપ્રારંભ સામે ગ્રાહકોને મજબૂતી પ્રદાન કરે છે.
• ઇન-મેમરી ડેટાબેઝ (rdb). આ ડેટાબેઝ કાચા, તાજા ડેટાને મેમરીમાં સ્ટોર કરીને તેની સૌથી ઝડપી શક્ય ઍક્સેસ પ્રદાન કરે છે. સામાન્ય રીતે, તેઓ દિવસ દરમિયાન કોષ્ટકોમાં ડેટા એકઠા કરે છે અને રાત્રે તેમને ફરીથી સેટ કરે છે.
• પર્સિસ્ટ ડેટાબેઝ (pdb). આ ડેટાબેઝ એ સુનિશ્ચિત કરે છે કે આજનો ડેટા ઐતિહાસિક ડેટાબેઝમાં સંગ્રહિત છે. નિયમ પ્રમાણે, આરડીબીથી વિપરીત, તેઓ મેમરીમાં ડેટા સ્ટોર કરતા નથી, પરંતુ દિવસ દરમિયાન ડિસ્ક પર વિશિષ્ટ કેશનો ઉપયોગ કરે છે અને મધ્યરાત્રિએ ડેટાને ઐતિહાસિક ડેટાબેઝમાં કૉપિ કરે છે.
• ઐતિહાસિક ડેટાબેસેસ (hdb). આ ડેટાબેઝ પાછલા દિવસો, મહિનાઓ અને વર્ષોના ડેટાની ઍક્સેસ પ્રદાન કરે છે. તેમનું કદ (દિવસોમાં) ફક્ત હાર્ડ ડ્રાઇવ્સના કદ દ્વારા મર્યાદિત છે. ડેટા ગમે ત્યાં સ્થિત કરી શકાય છે, ખાસ કરીને એક્સેસને ઝડપી બનાવવા માટે વિવિધ ડિસ્ક પર. પસંદ કરવા માટે ઘણા અલ્ગોરિધમનો ઉપયોગ કરીને ડેટાને સંકુચિત કરવાનું શક્ય છે. ડેટાબેઝનું માળખું સારી રીતે દસ્તાવેજીકૃત અને સરળ છે, ડેટા નિયમિત ફાઇલોમાં કૉલમ દ્વારા સંગ્રહિત થાય છે, જેથી ઑપરેટિંગ સિસ્ટમના માધ્યમો સહિત તેની પ્રક્રિયા કરી શકાય.
• એકત્રિત માહિતી સાથે ડેટાબેઝ. તેઓ વિવિધ એકત્રીકરણો સંગ્રહિત કરે છે, સામાન્ય રીતે સાથે, સાધનના નામ અને સમય અંતરાલ દ્વારા જૂથબદ્ધ. ઇન-મેમરી ડેટાબેસેસ દરેક આવનારા સંદેશા સાથે તેમની સ્થિતિને અપડેટ કરે છે, અને ઐતિહાસિક ડેટાબેસેસ ઐતિહાસિક ડેટાની ઍક્સેસને ઝડપી બનાવવા માટે પ્રી-કમ્પ્યુટેડ ડેટા સ્ટોર કરે છે.
• છેવટે ગેટવે પ્રક્રિયાઓસર્વિસિંગ એપ્લિકેશન્સ અને વપરાશકર્તાઓ. Q તમને ઇનકમિંગ સંદેશાઓની સંપૂર્ણ અસુમેળ પ્રક્રિયા અમલમાં મૂકવા, તેમને ડેટાબેસેસમાં વિતરિત કરવા, ઍક્સેસ અધિકારો વગેરે તપાસવા માટે પરવાનગી આપે છે. નોંધ કરો કે સંદેશાઓ મર્યાદિત નથી અને મોટાભાગે SQL અભિવ્યક્તિઓ નથી, જેમ કે અન્ય ડેટાબેસેસમાં છે. મોટેભાગે, એસક્યુએલ અભિવ્યક્તિ વિશિષ્ટ કાર્યમાં છુપાયેલી હોય છે અને વપરાશકર્તા દ્વારા વિનંતી કરાયેલ પરિમાણોના આધારે બનાવવામાં આવે છે - સમય રૂપાંતરિત થાય છે, ફિલ્ટર કરવામાં આવે છે, ડેટા સામાન્ય કરવામાં આવે છે (ઉદાહરણ તરીકે, જો ડિવિડન્ડ ચૂકવવામાં આવે તો સ્ટોકની કિંમત બરાબર થાય છે), વગેરે.

એક ડેટા પ્રકાર માટે લાક્ષણિક આર્કિટેક્ચર:

ઝડપ

જો કે Q એક અર્થઘટન ભાષા છે, તે વેક્ટર ભાષા પણ છે. આનો અર્થ એ છે કે ઘણા બિલ્ટ-ઇન ફંક્શન્સ, ખાસ કરીને અંકગણિત, કોઈપણ સ્વરૂપની દલીલો લે છે - સંખ્યાઓ, વેક્ટર્સ, મેટ્રિસિસ, સૂચિ - અને પ્રોગ્રામર એરે ઓપરેશન્સ તરીકે પ્રોગ્રામને અમલમાં મૂકવાની અપેક્ષા રાખે છે. આવી ભાષામાં, જો તમે એક મિલિયન તત્વોના બે વેક્ટર ઉમેરો છો, તો તે હવે કોઈ વાંધો નથી કે ભાષાનું અર્થઘટન કરવામાં આવે છે; ઉમેરણ સુપર-ઓપ્ટિમાઇઝ દ્વિસંગી કાર્ય દ્વારા કરવામાં આવશે. Q પ્રોગ્રામ્સમાં સમયનો સિંહફાળો આ મૂળભૂત વેક્ટરાઇઝ્ડ ફંક્શન્સનો ઉપયોગ કરતા કોષ્ટકો સાથેની કામગીરીમાં ખર્ચવામાં આવતો હોવાથી, આઉટપુટ ખૂબ જ યોગ્ય ઓપરેટિંગ સ્પીડ છે, જે અમને એક પ્રક્રિયામાં પણ વિશાળ માત્રામાં ડેટાને પ્રક્રિયા કરવાની મંજૂરી આપે છે. આ પાયથોનમાં ગાણિતિક પુસ્તકાલયો જેવું જ છે - જો કે પાયથોન પોતે ખૂબ જ ધીમી ભાષા છે, તેમાં નમ્પી જેવી ઘણી ઉત્તમ પુસ્તકાલયો છે જે તમને સંકલિત ભાષાની ઝડપે સંખ્યાત્મક ડેટા પર પ્રક્રિયા કરવાની મંજૂરી આપે છે (માર્ગ દ્વારા, નમ્પી વૈચારિક રીતે Qની નજીક છે. ).
 
વધુમાં, KX એ કોષ્ટકો ડિઝાઇન કરવા અને તેમની સાથે કાર્યને ઑપ્ટિમાઇઝ કરવા માટે ખૂબ જ સાવચેત અભિગમ અપનાવ્યો. સૌપ્રથમ, ઘણા પ્રકારના અનુક્રમણિકાઓ સપોર્ટેડ છે, જે બિલ્ટ-ઇન ફંક્શન્સ દ્વારા સપોર્ટેડ છે અને તે ફક્ત ટેબલ કૉલમ્સ પર જ નહીં, પણ કોઈપણ વેક્ટર - જૂથીકરણ, સૉર્ટિંગ, વિશિષ્ટતા વિશેષતા અને ઐતિહાસિક ડેટાબેઝ માટે વિશેષ જૂથ માટે પણ લાગુ કરી શકાય છે. અનુક્રમણિકા સરળ રીતે લાગુ કરવામાં આવે છે અને કૉલમ/વેક્ટરમાં ઘટકો ઉમેરતી વખતે આપમેળે ગોઠવાય છે. સૂચકાંકો સમાન રીતે સફળતાપૂર્વક ટેબલ કૉલમ્સ બંને મેમરીમાં અને ડિસ્ક પર લાગુ કરી શકાય છે. QSQL ક્વેરી એક્ઝિક્યુટ કરતી વખતે, જો શક્ય હોય તો ઈન્ડેક્સ આપમેળે ઉપયોગમાં લેવાય છે. બીજું, ઐતિહાસિક ડેટા સાથે કામ OS ફાઇલો (મેમરી મેપ) પ્રદર્શિત કરવા માટેની પદ્ધતિ દ્વારા કરવામાં આવે છે. મોટા કોષ્ટકો ક્યારેય મેમરીમાં લોડ થતા નથી; તેના બદલે, જરૂરી કૉલમ્સ સીધા જ મેમરીમાં મેપ કરવામાં આવે છે અને તેમાંથી માત્ર તે જ ભાગ લોડ થાય છે (અહીં અનુક્રમણિકાઓ પણ મદદ કરે છે) જે જરૂરી છે. ડેટા મેમરીમાં છે કે નહીં તેનાથી પ્રોગ્રામરને કોઈ ફરક પડતો નથી; mmap સાથે કામ કરવાની પદ્ધતિ Q ની ઊંડાઈમાં સંપૂર્ણપણે છુપાયેલી છે.
 
KDB+ એ રિલેશનલ ડેટાબેઝ નથી; કોષ્ટકોમાં મનસ્વી ડેટા હોઈ શકે છે, જ્યારે નવા ઘટકો ઉમેરવામાં આવે ત્યારે કોષ્ટકમાં પંક્તિઓનો ક્રમ બદલાતો નથી અને ક્વેરી લખતી વખતે તેનો ઉપયોગ કરી શકાય છે અને થવો જોઈએ. સમય શ્રેણી (એક્સચેન્જ, ટેલિમેટ્રી, ઇવેન્ટ લૉગ્સમાંથી ડેટા) સાથે કામ કરવા માટે આ સુવિધાની તાત્કાલિક જરૂર છે, કારણ કે જો ડેટા સમય પ્રમાણે સૉર્ટ કરવામાં આવે છે, તો વપરાશકર્તાને પ્રથમ અથવા છેલ્લી પંક્તિ અથવા N શોધવા માટે કોઈપણ SQL યુક્તિઓનો ઉપયોગ કરવાની જરૂર નથી. કોષ્ટકમાં પંક્તિઓ , નક્કી કરો કે કઈ રેખા Nth રેખાને અનુસરે છે, વગેરે. ટેબલ જોઇન્સને વધુ સરળ બનાવવામાં આવે છે, ઉદાહરણ તરીકે, 16000 મિલિયન તત્વોના કોષ્ટકમાં 500 VOD.L (વોડાફોન) વ્યવહારો માટે છેલ્લું ક્વોટ શોધવામાં ડિસ્ક પર એક સેકન્ડ અને મેમરીમાં દસ મિલીસેકન્ડ્સનો સમય લાગે છે.
 
ટાઈમ જોઇનનું ઉદાહરણ - ક્વોટ ટેબલને મેમરીમાં મેપ કરેલ છે, તેથી VOD.L નો ઉલ્લેખ કરવાની કોઈ જરૂર નથી કે જ્યાં, સિમ કોલમ પરનો ઇન્ડેક્સ અને ડેટા સમય દ્વારા સૉર્ટ થયેલ છે તે હકીકતનો ગર્ભિત ઉપયોગ કરવામાં આવ્યો છે. Q માં લગભગ તમામ જોડાઓ નિયમિત કાર્યો છે, પસંદ કરેલ અભિવ્યક્તિનો ભાગ નથી:

1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26]  

છેલ્લે, એ નોંધવું યોગ્ય છે કે KX ના ઇજનેરો, પોતે આર્થર વ્હીટનીથી શરૂ કરીને, ખરેખર કાર્યક્ષમતાથી ગ્રસ્ત છે અને Q ની માનક વિશેષતાઓમાંથી સૌથી વધુ મેળવવા અને સૌથી સામાન્ય વપરાશ પેટર્નને ઑપ્ટિમાઇઝ કરવા માટે ઘણી હદ સુધી જાય છે.
 

પરિણામ

KDB+ મુખ્યત્વે તેની અસાધારણ વર્સેટિલિટીને કારણે વ્યવસાયોમાં લોકપ્રિય છે - તે ઐતિહાસિક ડેટાના ટેરાબાઈટ સ્ટોર કરવા માટેના ડેટાબેઝ તરીકે અને ડેટા વિશ્લેષણ માટેના પ્લેટફોર્મ તરીકે ઇન-મેમરી ડેટાબેઝ તરીકે સમાન રીતે સેવા આપે છે. ડેટાબેઝમાં ડેટા પ્રોસેસિંગ સીધી થાય છે તે હકીકતને કારણે, કાર્યની ઉચ્ચ ગતિ અને સંસાધન બચત પ્રાપ્ત થાય છે. ડેટાબેઝ ફંક્શન્સ સાથે સંકલિત સંપૂર્ણ પ્રોગ્રામિંગ લેંગ્વેજ તમને એક પ્લેટફોર્મ પર જરૂરી પ્રક્રિયાઓના સંપૂર્ણ સ્ટેકને અમલમાં મૂકવાની મંજૂરી આપે છે - ડેટા પ્રાપ્ત કરવાથી લઈને વપરાશકર્તા વિનંતીઓ પર પ્રક્રિયા કરવા સુધી.
 

વધુ માહિતી માટે,

ખામીઓ

KDB+/Q નો નોંધપાત્ર ગેરલાભ એ ઉચ્ચ પ્રવેશ થ્રેશોલ્ડ છે. ભાષામાં એક વિચિત્ર વાક્યરચના છે, કેટલાક કાર્યો ભારે ઓવરલોડ છે (મૂલ્ય, ઉદાહરણ તરીકે, લગભગ 11 ઉપયોગના કેસ છે). સૌથી અગત્યનું, તેને પ્રોગ્રામ્સ લખવા માટે ધરમૂળથી અલગ અભિગમની જરૂર છે. વેક્ટર ભાષામાં, તમારે હંમેશા એરે ટ્રાન્સફોર્મેશનના સંદર્ભમાં વિચારવું જોઈએ, નકશા/ઘટાડો ફંક્શનના વિવિધ પ્રકારો દ્વારા તમામ લૂપ્સનો અમલ કરવો જોઈએ (જેને Q માં ક્રિયાવિશેષણ કહેવામાં આવે છે), અને વેક્ટર ઑપરેશન્સને અણુ સાથે બદલીને ક્યારેય નાણાં બચાવવાનો પ્રયાસ કરશો નહીં. ઉદાહરણ તરીકે, એરેમાં તત્વની Nth ઘટનાની અનુક્રમણિકા શોધવા માટે, તમારે લખવું જોઈએ:

1. (where element=vector)[N]  

જો કે આ C/Java ધોરણો દ્વારા ભયંકર રીતે બિનકાર્યક્ષમ લાગે છે (= બુલિયન વેક્ટર બનાવે છે, જ્યાં તે તત્વોના સાચા સૂચકાંકો પરત કરે છે). પરંતુ આ સંકેત અભિવ્યક્તિનો અર્થ વધુ સ્પષ્ટ બનાવે છે અને તમે ધીમા અણુને બદલે ઝડપી વેક્ટર કામગીરીનો ઉપયોગ કરો છો. વેક્ટર ભાષા અને અન્ય વચ્ચેનો વૈચારિક તફાવત પ્રોગ્રામિંગ માટેના આવશ્યક અને કાર્યાત્મક અભિગમો વચ્ચેના તફાવત સાથે તુલનાત્મક છે, અને તમારે આ માટે તૈયાર રહેવાની જરૂર છે.
 
કેટલાક વપરાશકર્તાઓ પણ QSQL થી નાખુશ છે. મુદ્દો એ છે કે તે માત્ર વાસ્તવિક SQL જેવો દેખાય છે. વાસ્તવમાં, તે એસક્યુએલ જેવા અભિવ્યક્તિઓનું માત્ર એક દુભાષિયા છે જે ક્વેરી ઑપ્ટિમાઇઝેશનને સપોર્ટ કરતું નથી. વપરાશકર્તાએ પોતે શ્રેષ્ઠ પ્રશ્નો લખવા જોઈએ, અને Q માં, જેના માટે ઘણા તૈયાર નથી. બીજી બાજુ, અલબત્ત, તમે બ્લેક-બોક્સ ઑપ્ટિમાઇઝર પર આધાર રાખવાને બદલે હંમેશા શ્રેષ્ઠ ક્વેરી જાતે જ લખી શકો છો.
 
વધુમાં, ક્યૂ - ક્યૂ ફોર મૉર્ટલ્સ પરનું પુસ્તક અહીં મફતમાં ઉપલબ્ધ છે કંપનીની વેબસાઇટ, ત્યાં અન્ય ઘણી ઉપયોગી સામગ્રી પણ એકત્રિત કરવામાં આવી છે.
 
બીજો મોટો ગેરલાભ એ લાયસન્સની કિંમત છે. તે CPU દીઠ દર વર્ષે હજારો ડોલર છે. માત્ર મોટી કંપનીઓ જ આવો ખર્ચ ઉઠાવી શકે છે. તાજેતરમાં, KX એ તેની લાઇસન્સિંગ નીતિને વધુ લવચીક બનાવી છે અને Google અને Amazon ક્લાઉડમાં KDB+ નો ઉપયોગ અથવા ભાડે આપવાના સમય માટે જ ચૂકવણી કરવાની તક પૂરી પાડે છે. KX પણ ડાઉનલોડ માટે ઑફર કરે છે બિન-વ્યવસાયિક હેતુઓ માટે મફત સંસ્કરણ (32 બીટ સંસ્કરણ અથવા વિનંતી પર 64 બીટ).
 

સ્પર્ધકો

સમાન સિદ્ધાંતો પર બનેલા કેટલાક વિશિષ્ટ ડેટાબેસેસ છે - કૉલમર, ઇન-મેમરી, ખૂબ મોટી માત્રામાં ડેટા પર કેન્દ્રિત છે. સમસ્યા એ છે કે આ વિશિષ્ટ ડેટાબેસેસ છે. એક આકર્ષક ઉદાહરણ ક્લિકહાઉસ છે. આ ડેટાબેઝ ડિસ્ક પર ડેટા સ્ટોર કરવા અને ઇન્ડેક્સ બનાવવા માટે KDB+ સાથે ખૂબ જ સમાન સિદ્ધાંત ધરાવે છે; તે KDB+ કરતાં વધુ ઝડપથી કેટલીક ક્વેરીઝ કરે છે, જો કે નોંધપાત્ર રીતે નથી. પરંતુ ડેટાબેઝ તરીકે પણ, ક્લિકહાઉસ KDB+ કરતાં વધુ વિશિષ્ટ છે - વેબ એનાલિટિક્સ વિ મનસ્વી સમય શ્રેણી (આ તફાવત ખૂબ જ મહત્વપૂર્ણ છે - તેના કારણે, ઉદાહરણ તરીકે, ક્લિકહાઉસમાં રેકોર્ડ્સના ક્રમનો ઉપયોગ કરવો શક્ય નથી). પરંતુ, સૌથી અગત્યનું, ક્લિકહાઉસ પાસે KDB+ ની વૈવિધ્યતા નથી, એક એવી ભાષા કે જે ડેટાબેઝમાં સીધી પ્રક્રિયા કરવાની મંજૂરી આપે છે, તેને અલગ એપ્લિકેશનમાં પ્રથમ લોડ કરવાને બદલે, મનસ્વી SQL અભિવ્યક્તિઓનું નિર્માણ, ક્વેરી માં મનસ્વી કાર્યો લાગુ કરવા, પ્રક્રિયાઓ બનાવવાની જગ્યાએ. ઐતિહાસિક ડેટાબેઝ કાર્યોના અમલ સાથે સંબંધિત નથી. તેથી, અન્ય ડેટાબેસેસ સાથે KDB+ની સરખામણી કરવી મુશ્કેલ છે; તે ચોક્કસ ઉપયોગના કેસોમાં વધુ સારી હોઈ શકે છે અથવા ક્લાસિક ડેટાબેઝ કાર્યોની વાત આવે ત્યારે વધુ સારી હોઈ શકે છે, પરંતુ હું કામચલાઉ ડેટાની પ્રક્રિયા કરવા માટે અન્ય સમાન અસરકારક અને બહુમુખી સાધન વિશે જાણતો નથી.
 

પાયથોન એકીકરણ

ટેક્નોલોજીથી અજાણ લોકો માટે KDB+ નો ઉપયોગ સરળ બનાવવા માટે, KX એ એક જ પ્રક્રિયામાં Python સાથે ચુસ્તપણે એકીકૃત થવા માટે લાઇબ્રેરીઓ બનાવી. તમે કાં તો Q માંથી કોઈપણ Python ફંક્શનને કૉલ કરી શકો છો, અથવા તેનાથી વિરુદ્ધ - Python (ખાસ કરીને, QSQL અભિવ્યક્તિઓ) માંથી કોઈપણ Q ફંક્શનને કૉલ કરી શકો છો. પુસ્તકાલયો, જો જરૂરી હોય તો (હંમેશા કાર્યક્ષમતા ખાતર નહીં), ડેટાને એક ભાષાના ફોર્મેટમાંથી બીજી ભાષાના ફોર્મેટમાં રૂપાંતરિત કરે છે. પરિણામે, Q અને Python એટલા નજીકના સહજીવનમાં રહે છે કે તેમની વચ્ચેની સીમાઓ અસ્પષ્ટ છે. પરિણામે, પ્રોગ્રામર, એક તરફ, અસંખ્ય ઉપયોગી પાયથોન લાઇબ્રેરીઓની સંપૂર્ણ ઍક્સેસ ધરાવે છે, બીજી તરફ, તેને પાયથોનમાં સંકલિત મોટા ડેટા સાથે કામ કરવા માટે ઝડપી આધાર પ્રાપ્ત થાય છે, જે ખાસ કરીને મશીન લર્નિંગ સાથે સંકળાયેલા લોકો માટે ઉપયોગી છે. અથવા મોડેલિંગ.
 
પાયથોનમાં ક્યૂ સાથે કામ કરવું:

1. >>> q()  
2.q)trade:([]date:();sym:();qty:())  
3. q)  
4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200))  
5. k(',0')  
6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100))  
7. k(',1')  

સંદર્ભો

કંપનીની સાઇટ - https://kx.com/
વિકાસકર્તાઓ માટે વેબસાઇટ - https://code.kx.com/v2/
મોર્ટલ્સ માટે પુસ્તક Q (અંગ્રેજીમાં) - https://code.kx.com/q4m3/
kx કર્મચારીઓ તરફથી KDB+/Q અરજીઓ પરના લેખો - https://code.kx.com/v2/wp/

સોર્સ: www.habr.com