🥇केडीबी+ डेटाबेस: वित्त से फॉर्मूला 1 तक

केडीबी+, कंपनी उत्पाद KX संकीर्ण दायरे में व्यापक रूप से जाना जाने वाला, बेहद तेज़, स्तंभकार डेटाबेस है जिसे समय श्रृंखला और उनके आधार पर विश्लेषणात्मक गणनाओं को संग्रहीत करने के लिए डिज़ाइन किया गया है। प्रारंभ में, यह वित्तीय उद्योग में बहुत लोकप्रिय था (और है) - सभी शीर्ष 10 निवेश बैंक और कई प्रसिद्ध हेज फंड, एक्सचेंज और अन्य संगठन इसका उपयोग करते हैं। हाल ही में, KX ने अपने ग्राहक आधार का विस्तार करने का निर्णय लिया है और अब अन्य क्षेत्रों में समाधान पेश करता है जहां बड़ी मात्रा में डेटा है, जो समय या अन्यथा व्यवस्थित है - दूरसंचार, जैव सूचना विज्ञान, विनिर्माण, आदि। वे फॉर्मूला 1 में एस्टन मार्टिन रेड बुल रेसिंग टीम के भागीदार भी बने, जहां वे कार सेंसर से डेटा एकत्र करने और संसाधित करने और पवन सुरंग परीक्षणों का विश्लेषण करने में मदद करते हैं। इस लेख में, मैं आपको बताना चाहता हूं कि केडीबी+ की कौन सी विशेषताएं इसे सुपर-परफॉर्मिंग बनाती हैं, क्यों कंपनियां इस पर बहुत सारा पैसा खर्च करने को तैयार हैं, और आखिरकार, यह वास्तव में एक डेटाबेस क्यों नहीं है।

इस लेख में मैं आपको सामान्य तौर पर यह बताने का प्रयास करूंगा कि केडीबी+ क्या है, इसकी क्या क्षमताएं और सीमाएं हैं, और उन कंपनियों के लिए इसके क्या लाभ हैं जो बड़ी मात्रा में डेटा संसाधित करना चाहते हैं। मैं केडीबी+ के कार्यान्वयन या इसकी क्यू प्रोग्रामिंग भाषा के विवरण में नहीं जाऊंगा। ये दोनों विषय बहुत व्यापक हैं और अलग-अलग लेखों के योग्य हैं। इन विषयों पर बहुत सारी जानकारी Code.kx.com पर पाई जा सकती है, जिसमें Q - Q For Mortals पर एक पुस्तक भी शामिल है (नीचे लिंक देखें)।

कुछ शर्तें

इन-मेमोरी डेटाबेस. एक डेटाबेस जो तेज पहुंच के लिए रैम में डेटा संग्रहीत करता है। ऐसे डेटाबेस के फायदे स्पष्ट हैं, लेकिन नुकसान डेटा हानि की संभावना और सर्वर पर बहुत अधिक मेमोरी की आवश्यकता है।
स्तंभकार डेटाबेस. एक डेटाबेस जहां डेटा को रिकॉर्ड दर रिकॉर्ड के बजाय कॉलम दर कॉलम संग्रहीत किया जाता है। ऐसे डेटाबेस का मुख्य लाभ यह है कि एक कॉलम से डेटा डिस्क और मेमोरी में एक साथ संग्रहीत होता है, जो इस तक पहुंच को काफी तेज कर देता है। उन स्तंभों को लोड करने की कोई आवश्यकता नहीं है जिनका उपयोग क्वेरी में नहीं किया गया है। मुख्य नुकसान यह है कि रिकॉर्ड को संशोधित करना और हटाना मुश्किल है।
समय श्रृंखला। दिनांक या समय कॉलम वाला डेटा. आमतौर पर, ऐसे डेटा के लिए समय क्रम महत्वपूर्ण है, ताकि आप आसानी से यह निर्धारित कर सकें कि कौन सा रिकॉर्ड वर्तमान रिकॉर्ड से पहले या बाद में आता है, या ऐसे फ़ंक्शन लागू कर सकते हैं जिनके परिणाम रिकॉर्ड के क्रम पर निर्भर करते हैं। क्लासिक डेटाबेस पूरी तरह से अलग सिद्धांत पर बनाए जाते हैं - एक सेट के रूप में रिकॉर्ड के संग्रह का प्रतिनिधित्व करते हैं, जहां रिकॉर्ड का क्रम, सिद्धांत रूप में, परिभाषित नहीं होता है।
वेक्टर। केडीबी+ के संदर्भ में, यह समान परमाणु प्रकार के तत्वों की एक सूची है, उदाहरण के लिए, संख्याएँ। दूसरे शब्दों में, तत्वों की एक श्रृंखला। सूचियों के विपरीत, सारणियों को कॉम्पैक्ट रूप से संग्रहीत किया जा सकता है और वेक्टर प्रोसेसर निर्देशों का उपयोग करके संसाधित किया जा सकता है।

ऐतिहासिक जानकारी

KX की स्थापना 1993 में आर्थर व्हिटनी द्वारा की गई थी, जो पहले मॉर्गन स्टेनली बैंक में A+ भाषा पर काम करते थे, जो APL की उत्तराधिकारी थी - एक बहुत ही मौलिक और एक समय में वित्तीय दुनिया में लोकप्रिय भाषा। बेशक, KX में, आर्थर ने उसी भावना को जारी रखा और कट्टरपंथी अतिसूक्ष्मवाद के विचारों द्वारा निर्देशित, वेक्टर-कार्यात्मक भाषा K का निर्माण किया। K प्रोग्राम विराम चिह्नों और विशेष वर्णों की गड़बड़ी की तरह दिखते हैं, संकेतों और कार्यों का अर्थ संदर्भ पर निर्भर करता है, और प्रत्येक ऑपरेशन पारंपरिक प्रोग्रामिंग भाषाओं की तुलना में बहुत अधिक अर्थ रखता है। इसके कारण, एक K प्रोग्राम न्यूनतम स्थान लेता है - कुछ पंक्तियाँ जावा जैसी वर्बोज़ भाषा में पाठ के पृष्ठों को प्रतिस्थापित कर सकती हैं - और यह एल्गोरिदम का एक सुपर-केंद्रित कार्यान्वयन है।

K में एक फ़ंक्शन जो किसी दिए गए व्याकरण के अनुसार अधिकांश LL1 पार्सर जनरेटर को कार्यान्वित करता है:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  
2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  
3.      (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  
4.      (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  
5.      (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,")"}];0;"(",]}({$[".s.C"~4#x;6_-2_x;x]}'pp'x);'`pp];  
6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/:1_r),"]";""]]}

आर्थर ने केडीबी+ में न्यूनतम शारीरिक गतिविधियों के साथ अत्यधिक दक्षता के इस दर्शन को मूर्त रूप दिया, जो 2003 में सामने आया (मुझे लगता है कि अब यह स्पष्ट है कि नाम में K अक्षर कहां से आया है) और K के चौथे संस्करण के दुभाषिया से ज्यादा कुछ नहीं है भाषा। K K के शीर्ष पर एक अधिक उपयोगकर्ता-अनुकूल संस्करण जोड़ा गया है जिसे Q कहा जाता है। Q ने SQL की एक विशिष्ट बोली - QSQL और दुभाषिया के लिए समर्थन भी जोड़ा है - सिस्टम डेटा प्रकार के रूप में तालिकाओं के लिए समर्थन, तालिकाओं के साथ काम करने के लिए उपकरण मेमोरी में और डिस्क आदि पर।

तो उपयोगकर्ता के नजरिए से, केडीबी+ केवल एक क्यू भाषा दुभाषिया है जो सी# से तालिकाओं और एसक्यूएल-जैसे LINQ-शैली अभिव्यक्तियों के लिए समर्थन प्रदान करता है। यह केडीबी+ और अन्य डेटाबेस और इसके मुख्य प्रतिस्पर्धी लाभ के बीच सबसे महत्वपूर्ण अंतर है, जिसे अक्सर अनदेखा कर दिया जाता है। यह एक डेटाबेस + अक्षम सहायक भाषा नहीं है, बल्कि एक पूर्ण शक्तिशाली प्रोग्रामिंग भाषा + डेटाबेस कार्यों के लिए अंतर्निहित समर्थन है। यह अंतर केडीबी+ के सभी लाभों को सूचीबद्ध करने में निर्णायक भूमिका निभाएगा। उदाहरण के लिए…

आकार

आधुनिक मानकों के अनुसार, केडीबी+ आकार में अत्यंत सूक्ष्म है। यह वस्तुतः एक उप-मेगाबाइट निष्पादन योग्य फ़ाइल और कुछ सिस्टम फ़ंक्शंस के साथ एक छोटी टेक्स्ट फ़ाइल है। वास्तव में - एक मेगाबाइट से भी कम, और इस कार्यक्रम के लिए कंपनियां सर्वर पर एक प्रोसेसर के लिए प्रति वर्ष हजारों डॉलर का भुगतान करती हैं।

यह आकार केडीबी+ को किसी भी हार्डवेयर पर अच्छा महसूस करने की अनुमति देता है - पीआई माइक्रो कंप्यूटर से लेकर टेराबाइट्स मेमोरी वाले सर्वर तक। यह किसी भी तरह से कार्यक्षमता को प्रभावित नहीं करता है; इसके अलावा, क्यू तुरंत शुरू होता है, जो इसे अन्य चीजों के अलावा, स्क्रिप्टिंग भाषा के रूप में उपयोग करने की अनुमति देता है।
इस आकार में, क्यू दुभाषिया पूरी तरह से प्रोसेसर कैश में फिट हो जाता है, जो प्रोग्राम निष्पादन को गति देता है।
निष्पादन योग्य फ़ाइल के इस आकार के साथ, Q प्रक्रिया मेमोरी में नगण्य स्थान लेती है; आप उनमें से सैकड़ों चला सकते हैं। इसके अलावा, यदि आवश्यक हो, तो Q एक ही प्रक्रिया में दसियों या सैकड़ों गीगाबाइट मेमोरी के साथ काम कर सकता है।

चंचलता

Q अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए बढ़िया है। प्रक्रिया Q एक ऐतिहासिक डेटाबेस के रूप में कार्य कर सकती है और टेराबाइट्स की जानकारी तक त्वरित पहुंच प्रदान कर सकती है। उदाहरण के लिए, हमारे पास दर्जनों ऐतिहासिक डेटाबेस हैं, जिनमें से कुछ में डेटा का एक असम्पीडित दिन 100 गीगाबाइट से अधिक लेता है। हालाँकि, उचित प्रतिबंधों के तहत, डेटाबेस की एक क्वेरी दसियों से सैकड़ों मिलीसेकंड में पूरी हो जाएगी। सामान्य तौर पर, हमारे पास उपयोगकर्ता अनुरोधों के लिए एक सार्वभौमिक टाइमआउट है - 30 सेकंड - और यह बहुत कम ही काम करता है।

Q उतनी ही आसानी से एक इन-मेमोरी डेटाबेस हो सकता है। नया डेटा इन-मेमोरी तालिकाओं में इतनी तेज़ी से जोड़ा जाता है कि उपयोगकर्ता के अनुरोध सीमित कारक बन जाते हैं। तालिकाओं में डेटा कॉलम में संग्रहीत किया जाता है, जिसका अर्थ है कि कॉलम पर कोई भी ऑपरेशन पूरी क्षमता पर प्रोसेसर कैश का उपयोग करेगा। इसके अलावा, KX ने प्रोसेसर के वेक्टर निर्देशों के माध्यम से अंकगणित जैसे सभी बुनियादी संचालन को लागू करने की कोशिश की, जिससे उनकी गति अधिकतम हो गई। क्यू ऐसे कार्य भी कर सकता है जो डेटाबेस के लिए विशिष्ट नहीं हैं - उदाहरण के लिए, स्ट्रीमिंग डेटा को संसाधित करना और "वास्तविक समय" में गणना करना (कार्य के आधार पर दसियों मिलीसेकंड से लेकर कई सेकंड तक की देरी के साथ) विभिन्न समय के लिए वित्तीय उपकरणों के लिए विभिन्न एकत्रीकरण कार्य अंतराल या बाजार पर सही लेनदेन के प्रभाव का एक मॉडल बनाएं और इसके पूरा होने के लगभग तुरंत बाद इसकी प्रोफाइलिंग करें। ऐसे कार्यों में, अक्सर मुख्य समय विलंब Q नहीं होता है, बल्कि विभिन्न स्रोतों से डेटा को सिंक्रनाइज़ करने की आवश्यकता होती है। उच्च गति इस तथ्य के कारण प्राप्त की जाती है कि डेटा और उन्हें संसाधित करने वाले फ़ंक्शन एक प्रक्रिया में हैं, और प्रसंस्करण कई QSQL अभिव्यक्तियों और जोड़ों को निष्पादित करने के लिए कम हो जाता है, जिनकी व्याख्या नहीं की जाती है, लेकिन बाइनरी कोड द्वारा निष्पादित की जाती है।

अंत में, आप Q में कोई भी सेवा प्रक्रिया लिख सकते हैं। उदाहरण के लिए, गेटवे प्रक्रियाएं जो स्वचालित रूप से उपयोगकर्ता के अनुरोधों को आवश्यक डेटाबेस और सर्वर पर वितरित करती हैं। प्रोग्रामर को संतुलन, प्राथमिकता निर्धारण, दोष सहनशीलता, पहुंच अधिकार, कोटा और मूल रूप से अपने दिल की इच्छाओं के लिए किसी भी एल्गोरिदम को लागू करने की पूरी स्वतंत्रता है। यहां मुख्य समस्या यह है कि आपको यह सब स्वयं लागू करना होगा।

उदाहरण के तौर पर, मैं सूचीबद्ध करूंगा कि हमारे पास किस प्रकार की प्रक्रियाएं हैं। ये सभी सक्रिय रूप से उपयोग किए जाते हैं और एक साथ काम करते हैं, दर्जनों विभिन्न डेटाबेस को एक में जोड़ते हैं, कई स्रोतों से डेटा संसाधित करते हैं और सैकड़ों उपयोगकर्ताओं और अनुप्रयोगों को सेवा प्रदान करते हैं।

डेटा स्रोतों से कनेक्टर्स (फीडहैंडलर)। ये प्रक्रियाएं आम तौर पर बाहरी पुस्तकालयों का उपयोग करती हैं जिन्हें Q में लोड किया जाता है। Q में C इंटरफ़ेस बेहद सरल है और आपको किसी भी C/C++ लाइब्रेरी के लिए आसानी से प्रॉक्सी फ़ंक्शन बनाने की अनुमति देता है। उदाहरण के लिए, सभी यूरोपीय स्टॉक एक्सचेंजों से FIX संदेशों की बाढ़ को एक साथ संसाधित करने के लिए Q काफी तेज़ है।
डेटा वितरक (टिकरप्लांट), जो कनेक्टर्स और उपभोक्ताओं के बीच एक मध्यवर्ती कड़ी के रूप में कार्य करता है। साथ ही, वे आने वाले डेटा को एक विशेष बाइनरी लॉग में लिखते हैं, जो उपभोक्ताओं को कनेक्शन हानि या पुनरारंभ के खिलाफ मजबूती प्रदान करता है।
इन-मेमोरी डेटाबेस (आरडीबी)। ये डेटाबेस मेमोरी में संग्रहीत करके कच्चे, ताज़ा डेटा तक सबसे तेज़ संभव पहुंच प्रदान करते हैं। आमतौर पर, वे दिन के दौरान तालिकाओं में डेटा जमा करते हैं और रात में उन्हें रीसेट करते हैं।
डेटाबेस जारी रखें (पीडीबी)। ये डेटाबेस सुनिश्चित करते हैं कि आज का डेटा एक ऐतिहासिक डेटाबेस में संग्रहीत है। एक नियम के रूप में, आरडीबी के विपरीत, वे डेटा को मेमोरी में संग्रहीत नहीं करते हैं, बल्कि दिन के दौरान डिस्क पर एक विशेष कैश का उपयोग करते हैं और आधी रात को डेटा को ऐतिहासिक डेटाबेस में कॉपी करते हैं।
ऐतिहासिक डेटाबेस (एचडीबी)। ये डेटाबेस पिछले दिनों, महीनों और वर्षों के डेटा तक पहुंच प्रदान करते हैं। उनका आकार (दिनों में) केवल हार्ड ड्राइव के आकार तक ही सीमित है। पहुंच को तेज करने के लिए डेटा को कहीं भी, विशेष रूप से विभिन्न डिस्क पर स्थित किया जा सकता है। चुनने के लिए कई एल्गोरिदम का उपयोग करके डेटा को संपीड़ित करना संभव है। डेटाबेस की संरचना अच्छी तरह से प्रलेखित और सरल है, डेटा को नियमित फ़ाइलों में कॉलम दर कॉलम संग्रहीत किया जाता है, ताकि उन्हें ऑपरेटिंग सिस्टम के माध्यम से संसाधित किया जा सके।
एकत्रित जानकारी वाले डेटाबेस. वे विभिन्न एकत्रीकरणों को संग्रहीत करते हैं, जिन्हें आमतौर पर उपकरण के नाम और समय अंतराल के आधार पर समूहीकृत किया जाता है। इन-मेमोरी डेटाबेस प्रत्येक आने वाले संदेश के साथ अपनी स्थिति को अपडेट करते हैं, और ऐतिहासिक डेटाबेस ऐतिहासिक डेटा तक पहुंच को तेज करने के लिए पूर्व-गणना किए गए डेटा को संग्रहीत करते हैं।
अंत में, गेटवे प्रक्रियाएँएप्लिकेशन और उपयोगकर्ताओं को सेवा प्रदान करना। क्यू आपको आने वाले संदेशों की पूरी तरह से अतुल्यकालिक प्रसंस्करण लागू करने, उन्हें डेटाबेस में वितरित करने, पहुंच अधिकारों की जांच करने आदि की अनुमति देता है। ध्यान दें कि संदेश सीमित नहीं हैं और अक्सर SQL अभिव्यक्ति नहीं होते हैं, जैसा कि अन्य डेटाबेस में होता है। अक्सर, SQL अभिव्यक्ति एक विशेष फ़ंक्शन में छिपी होती है और उपयोगकर्ता द्वारा अनुरोधित मापदंडों के आधार पर बनाई जाती है - समय परिवर्तित किया जाता है, फ़िल्टर किया जाता है, डेटा सामान्यीकृत किया जाता है (उदाहरण के लिए, यदि लाभांश का भुगतान किया गया तो स्टॉक की कीमत बराबर हो जाती है), आदि।

एक डेटा प्रकार के लिए विशिष्ट वास्तुकला:

गति

हालाँकि Q एक व्याख्या की गई भाषा है, यह एक वेक्टर भाषा भी है। इसका मतलब यह है कि कई अंतर्निहित फ़ंक्शन, विशेष रूप से अंकगणित वाले, किसी भी रूप के तर्क लेते हैं - संख्याएं, वैक्टर, मैट्रिक्स, सूचियां - और प्रोग्रामर से प्रोग्राम को सरणी संचालन के रूप में कार्यान्वित करने की अपेक्षा की जाती है। ऐसी भाषा में, यदि आप दस लाख तत्वों के दो वैक्टर जोड़ते हैं, तो इससे कोई फर्क नहीं पड़ता कि भाषा की व्याख्या की गई है; जोड़ एक सुपर-अनुकूलित बाइनरी फ़ंक्शन द्वारा किया जाएगा। चूँकि क्यू कार्यक्रमों में समय का बड़ा हिस्सा इन बुनियादी वेक्टरकृत कार्यों का उपयोग करने वाली तालिकाओं के साथ संचालन पर खर्च किया जाता है, आउटपुट एक बहुत ही सभ्य ऑपरेटिंग गति है, जो हमें एक प्रक्रिया में भी बड़ी मात्रा में डेटा संसाधित करने की अनुमति देता है। यह पायथन में गणितीय पुस्तकालयों के समान है - हालाँकि पायथन स्वयं एक बहुत धीमी भाषा है, इसमें numpy जैसी कई उत्कृष्ट लाइब्रेरी हैं जो आपको संकलित भाषा की गति से संख्यात्मक डेटा को संसाधित करने की अनुमति देती हैं (वैसे, numpy वैचारिक रूप से Q के करीब है) ).

इसके अलावा, KX ने तालिकाओं को डिजाइन करने और उनके साथ काम को अनुकूलित करने के लिए बहुत सावधानीपूर्वक दृष्टिकोण अपनाया। सबसे पहले, कई प्रकार के इंडेक्स समर्थित हैं, जो अंतर्निहित फ़ंक्शंस द्वारा समर्थित हैं और न केवल टेबल कॉलम पर लागू किए जा सकते हैं, बल्कि किसी भी वैक्टर पर भी लागू किए जा सकते हैं - समूहीकरण, सॉर्टिंग, विशिष्टता विशेषता और ऐतिहासिक डेटाबेस के लिए विशेष समूहन। सूचकांक सरलता से लागू किया जाता है और कॉलम/वेक्टर में तत्व जोड़ते समय स्वचालित रूप से समायोजित हो जाता है। इंडेक्स को मेमोरी और डिस्क दोनों में टेबल कॉलम पर समान रूप से सफलतापूर्वक लागू किया जा सकता है। QSQL क्वेरी निष्पादित करते समय, यदि संभव हो तो इंडेक्स स्वचालित रूप से उपयोग किए जाते हैं। दूसरे, ऐतिहासिक डेटा के साथ काम ओएस फाइलों (मेमोरी मैप) को प्रदर्शित करने के तंत्र के माध्यम से किया जाता है। बड़ी तालिकाओं को कभी भी मेमोरी में लोड नहीं किया जाता है; इसके बजाय, आवश्यक कॉलम सीधे मेमोरी में मैप किए जाते हैं और उनका केवल वही हिस्सा वास्तव में लोड किया जाता है (इंडेक्स यहां भी मदद करते हैं) जिनकी आवश्यकता होती है। इससे प्रोग्रामर को कोई फर्क नहीं पड़ता कि डेटा मेमोरी में है या नहीं; एमएमएपी के साथ काम करने का तंत्र पूरी तरह से क्यू की गहराई में छिपा हुआ है।

केडीबी+ एक रिलेशनल डेटाबेस नहीं है; तालिकाओं में मनमाना डेटा हो सकता है, जबकि नए तत्व जोड़ने पर तालिका में पंक्तियों का क्रम नहीं बदलता है और क्वेरी लिखते समय इसका उपयोग किया जा सकता है और किया जाना चाहिए। समय श्रृंखला (एक्सचेंज, टेलीमेट्री, ईवेंट लॉग से डेटा) के साथ काम करने के लिए इस सुविधा की तत्काल आवश्यकता है, क्योंकि यदि डेटा को समय के अनुसार क्रमबद्ध किया जाता है, तो उपयोगकर्ता को पहली या आखिरी पंक्ति या एन खोजने के लिए किसी एसक्यूएल ट्रिक का उपयोग करने की आवश्यकता नहीं है। तालिका में पंक्तियाँ, यह निर्धारित करें कि कौन सी रेखा Nवीं रेखा का अनुसरण करती है, आदि। टेबल जॉइन को और भी सरल बनाया गया है, उदाहरण के लिए, 16000 मिलियन तत्वों की तालिका में 500 वीओडी.एल (वोडाफोन) लेनदेन के लिए अंतिम उद्धरण खोजने में डिस्क पर लगभग एक सेकंड और मेमोरी में दसियों मिलीसेकेंड लगते हैं।

टाइम जॉइन का एक उदाहरण - उद्धरण तालिका को मेमोरी में मैप किया जाता है, इसलिए VOD.L को निर्दिष्ट करने की कोई आवश्यकता नहीं है, जहां सिम कॉलम पर इंडेक्स और तथ्य यह है कि डेटा को समय के अनुसार क्रमबद्ध किया जाता है। Q में लगभग सभी जोड़ नियमित कार्य हैं, चयनित अभिव्यक्ति का हिस्सा नहीं:

1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26]

अंत में, यह ध्यान देने योग्य है कि केएक्स के इंजीनियर, आर्थर व्हिटनी से शुरू होकर, वास्तव में दक्षता से ग्रस्त हैं और क्यू की मानक सुविधाओं से अधिकतम लाभ उठाने और सबसे आम उपयोग पैटर्न को अनुकूलित करने के लिए बहुत प्रयास करते हैं।

संपूर्ण

केडीबी+ मुख्य रूप से अपनी असाधारण बहुमुखी प्रतिभा के कारण व्यवसायों के बीच लोकप्रिय है - यह इन-मेमोरी डेटाबेस के रूप में, ऐतिहासिक डेटा के टेराबाइट्स को संग्रहीत करने के लिए डेटाबेस के रूप में और डेटा विश्लेषण के लिए एक मंच के रूप में समान रूप से अच्छी तरह से कार्य करता है। इस तथ्य के कारण कि डेटा प्रोसेसिंग सीधे डेटाबेस में होती है, काम की उच्च गति और संसाधन बचत प्राप्त होती है। डेटाबेस फ़ंक्शंस के साथ एकीकृत एक पूर्ण प्रोग्रामिंग भाषा आपको डेटा प्राप्त करने से लेकर उपयोगकर्ता अनुरोधों को संसाधित करने तक - एक प्लेटफ़ॉर्म पर आवश्यक प्रक्रियाओं के पूरे ढेर को लागू करने की अनुमति देती है।

अधिक जानकारी के लिए

सीमाएं

केडीबी+/क्यू का एक महत्वपूर्ण नुकसान उच्च प्रवेश सीमा है। भाषा में एक अजीब वाक्यविन्यास है, कुछ फ़ंक्शन अत्यधिक अतिभारित हैं (उदाहरण के लिए, मूल्य में लगभग 11 उपयोग के मामले हैं)। सबसे महत्वपूर्ण बात यह है कि इसमें प्रोग्राम लिखने के लिए एक बिल्कुल अलग दृष्टिकोण की आवश्यकता होती है। एक वेक्टर भाषा में, आपको हमेशा सरणी परिवर्तनों के संदर्भ में सोचना चाहिए, मानचित्र के कई प्रकारों के माध्यम से सभी लूप लागू करें/फ़ंक्शन को कम करें (जिन्हें Q में क्रियाविशेषण कहा जाता है), और कभी भी वेक्टर संचालन को परमाणु संचालन के साथ बदलकर पैसे बचाने की कोशिश न करें। उदाहरण के लिए, किसी सरणी में किसी तत्व की Nवीं घटना का सूचकांक खोजने के लिए, आपको लिखना चाहिए:

1. (where element=vector)[N]

हालाँकि यह सी/जावा मानकों द्वारा बहुत ही अक्षम लगता है (= एक बूलियन वेक्टर बनाता है, जहां इसमें तत्वों की वास्तविक अनुक्रमणिका लौटाता है)। लेकिन यह संकेतन अभिव्यक्ति के अर्थ को अधिक स्पष्ट करता है और आप धीमे परमाणु संचालन के बजाय तेज़ वेक्टर संचालन का उपयोग करते हैं। एक वेक्टर भाषा और अन्य भाषाओं के बीच वैचारिक अंतर प्रोग्रामिंग के लिए अनिवार्य और कार्यात्मक दृष्टिकोण के बीच अंतर के बराबर है, और आपको इसके लिए तैयार रहने की आवश्यकता है।

कुछ उपयोगकर्ता QSQL से भी नाखुश हैं। मुद्दा यह है कि यह केवल वास्तविक SQL जैसा दिखता है। वास्तव में, यह केवल SQL-जैसी अभिव्यक्तियों का एक दुभाषिया है जो क्वेरी अनुकूलन का समर्थन नहीं करता है। उपयोगकर्ता को इष्टतम क्वेरी स्वयं लिखनी होगी, और Q में, जिसके लिए कई लोग तैयार नहीं हैं। दूसरी ओर, निश्चित रूप से, ब्लैक-बॉक्स ऑप्टिमाइज़र पर निर्भर रहने के बजाय, आप हमेशा इष्टतम क्वेरी स्वयं लिख सकते हैं।

प्लस के रूप में, क्यू-क्यू फॉर मॉर्टल्स पर एक किताब मुफ्त में उपलब्ध है कंपनी वेबसाइट, वहाँ बहुत सी अन्य उपयोगी सामग्रियाँ भी एकत्रित हैं।

एक और बड़ा नुकसान लाइसेंस की लागत है। यह प्रति सीपीयू प्रति वर्ष हजारों डॉलर है। केवल बड़ी कंपनियाँ ही इस तरह का खर्च वहन कर सकती हैं। हाल ही में, KX ने अपनी लाइसेंसिंग नीति को और अधिक लचीला बना दिया है और केवल Google और Amazon क्लाउड में KDB+ के उपयोग या किराए के समय के लिए भुगतान करने का अवसर प्रदान करता है। KX डाउनलोड का भी ऑफर देता है गैर-व्यावसायिक प्रयोजनों के लिए निःशुल्क संस्करण (अनुरोध पर 32 बिट संस्करण या 64 बिट)।

प्रतियोगियों

समान सिद्धांतों पर निर्मित कुछ विशेष डेटाबेस हैं - स्तंभकार, इन-मेमोरी, बहुत बड़ी मात्रा में डेटा पर केंद्रित। समस्या यह है कि ये विशिष्ट डेटाबेस हैं। इसका एक उल्लेखनीय उदाहरण क्लिकहाउस है। इस डेटाबेस में डिस्क पर डेटा संग्रहीत करने और एक इंडेक्स बनाने के लिए केडीबी+ के समान सिद्धांत है; यह केडीबी+ की तुलना में कुछ प्रश्नों को तेजी से निष्पादित करता है, हालांकि महत्वपूर्ण रूप से नहीं। लेकिन एक डेटाबेस के रूप में भी, Clickhouse KDB+ से अधिक विशिष्ट है - वेब एनालिटिक्स बनाम मनमानी समय श्रृंखला (यह अंतर बहुत महत्वपूर्ण है - इसके कारण, उदाहरण के लिए, Clickhouse में रिकॉर्ड के क्रम का उपयोग करना संभव नहीं है)। लेकिन, सबसे महत्वपूर्ण बात यह है कि, क्लिकहाउस में केडीबी + की बहुमुखी प्रतिभा नहीं है, एक ऐसी भाषा जो डेटा को सीधे डेटाबेस में संसाधित करने की अनुमति देती है, बजाय इसे पहले एक अलग एप्लिकेशन में लोड करने, मनमाना एसक्यूएल अभिव्यक्ति बनाने, क्वेरी में मनमाना फ़ंक्शन लागू करने, प्रक्रियाएं बनाने की। ऐतिहासिक डेटाबेस फ़ंक्शंस के निष्पादन से संबंधित नहीं। इसलिए, केडीबी+ की तुलना अन्य डेटाबेस से करना मुश्किल है; वे कुछ उपयोग के मामलों में बेहतर हो सकते हैं या जब क्लासिक डेटाबेस कार्यों की बात आती है तो वे बेहतर हो सकते हैं, लेकिन मैं अस्थायी डेटा को संसाधित करने के लिए किसी अन्य समान रूप से प्रभावी और बहुमुखी उपकरण के बारे में नहीं जानता।

पायथन एकीकरण

प्रौद्योगिकी से अपरिचित लोगों के लिए केडीबी+ का उपयोग आसान बनाने के लिए, केएक्स ने एक ही प्रक्रिया के भीतर पायथन के साथ मजबूती से एकीकृत करने के लिए पुस्तकालय बनाए। आप या तो Q से किसी भी Python फ़ंक्शन को कॉल कर सकते हैं, या इसके विपरीत - Python से किसी भी Q फ़ंक्शन को कॉल कर सकते हैं (विशेष रूप से, QSQL एक्सप्रेशन)। पुस्तकालय, यदि आवश्यक हो (हमेशा दक्षता के लिए नहीं), डेटा को एक भाषा के प्रारूप से दूसरे भाषा के प्रारूप में परिवर्तित करते हैं। परिणामस्वरूप, क्यू और पायथन इतने घनिष्ठ सहजीवन में रहते हैं कि उनके बीच की सीमाएँ धुंधली हो जाती हैं। परिणामस्वरूप, प्रोग्रामर को, एक ओर, कई उपयोगी पायथन पुस्तकालयों तक पूर्ण पहुंच प्राप्त होती है, दूसरी ओर, उसे पायथन में एकीकृत बड़े डेटा के साथ काम करने के लिए एक तेज़ आधार प्राप्त होता है, जो मशीन लर्निंग में शामिल लोगों के लिए विशेष रूप से उपयोगी है। या मॉडलिंग.

पायथन में Q के साथ कार्य करना:

1. >>> q()  
2.q)trade:([]date:();sym:();qty:())  
3. q)  
4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200))  
5. k(',0')  
6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100))  
7. k(',1')

संदर्भों

कंपनी की साइट - https://kx.com/
डेवलपर्स के लिए वेबसाइट - https://code.kx.com/v2/
बुक क्यू फॉर मॉर्टल्स (अंग्रेजी में) - https://code.kx.com/q4m3/
KX कर्मचारियों से KDB+/Q अनुप्रयोगों पर लेख - https://code.kx.com/v2/wp/

स्रोत: www.habr.com

केडीबी+ डेटाबेस: वित्त से फॉर्मूला 1 तक