🥇KDB+ डाटाबेस: वित्त देखि सूत्र 1 सम्म

KDB+, कम्पनी उत्पादन KX साँघुरो सर्कलहरूमा व्यापक रूपमा चिनिन्छ, अत्यन्त छिटो, स्तम्भ डाटाबेस भण्डारणको लागि डिजाइन गरिएको समय श्रृंखला र तिनीहरूमा आधारित विश्लेषणात्मक गणनाहरू। प्रारम्भमा, यो वित्तीय उद्योगमा धेरै लोकप्रिय थियो (र छ) - सबै शीर्ष 10 लगानी बैंकहरू र धेरै प्रसिद्ध हेज फन्डहरू, एक्सचेन्जहरू र अन्य संस्थाहरूले यसलाई प्रयोग गर्छन्। भर्खरै, KX ले आफ्नो ग्राहक आधार विस्तार गर्ने निर्णय गरेको छ र अब अन्य क्षेत्रहरूमा समाधानहरू प्रस्ताव गर्दछ जहाँ डेटाको ठूलो मात्रा छ, समय अनुसार वा अन्यथा संगठित - दूरसंचार, बायोइन्फर्मेटिक्स, उत्पादन, आदि। तिनीहरू सूत्र 1 मा एस्टन मार्टिन रेड बुल रेसिङ टोलीको साझेदार पनि बने, जहाँ तिनीहरूले कार सेन्सरहरूबाट डेटा सङ्कलन र प्रशोधन गर्न र पवन सुरुङ परीक्षणहरूको विश्लेषण गर्न मद्दत गर्छन्। यस लेखमा, म तपाइँलाई KDB+ को कुन विशेषताहरूले यसलाई सुपर-प्रदर्शन बनाउँदछ, किन कम्पनीहरू यसमा धेरै पैसा खर्च गर्न इच्छुक छन्, र अन्तमा, यो वास्तवमा डाटाबेस किन होइन भनेर बताउन चाहन्छु।

यस लेखमा म तपाइँलाई KDB+ भनेको के हो, यसमा कस्ता क्षमताहरू र सीमितताहरू छन्, र ठूलो मात्रामा डाटा प्रशोधन गर्न चाहने कम्पनीहरूका लागि यसको फाइदाहरू के हो भनी बताउन प्रयास गर्नेछु। म KDB+ को कार्यान्वयन वा यसको Q प्रोग्रामिङ भाषाको विवरणहरूमा जाने छैन। यी दुवै विषयहरू धेरै फराकिलो छन् र छुट्टाछुट्टै लेखहरूको योग्य छन्। यी विषयहरूमा धेरै जानकारीहरू code.kx.com मा फेला पार्न सकिन्छ, Q - Q For Mortals मा पुस्तक सहित (तलको लिङ्क हेर्नुहोस्)।

केही सर्तहरू

इन-मेमोरी डाटाबेस। छिटो पहुँचको लागि RAM मा डाटा भण्डारण गर्ने डाटाबेस। यस्तो डाटाबेसका फाइदाहरू स्पष्ट छन्, तर बेफाइदाहरू डाटा हराउने सम्भावना र सर्भरमा धेरै मेमोरी हुनु आवश्यक छ।
स्तम्भ डाटाबेस। डाटाबेस जहाँ डाटा रेकर्ड द्वारा रेकर्ड गर्नुको सट्टा स्तम्भ द्वारा स्तम्भ भण्डार गरिन्छ। यस्तो डाटाबेसको मुख्य फाइदा यो हो कि एक स्तम्भबाट डाटा डिस्क र मेमोरीमा सँगै भण्डारण गरिएको छ, जसले महत्त्वपूर्ण रूपमा यसलाई पहुँच गति दिन्छ। क्वेरीमा प्रयोग नगरिएका स्तम्भहरू लोड गर्न आवश्यक छैन। मुख्य हानि यो रेकर्ड परिमार्जन र मेटाउन गाह्रो छ कि छ।
समय श्रृंखला। मिति वा समय स्तम्भ भएको डेटा। सामान्यतया, यस्तो डेटाको लागि समय क्रम महत्त्वपूर्ण छ, ताकि तपाइँ सजिलैसँग कुन रेकर्ड अघि वा हालको एक पछ्याउँछ भनेर निर्धारण गर्न सक्नुहुन्छ, वा कार्यहरू लागू गर्न जसको परिणाम रेकर्डको क्रममा निर्भर गर्दछ। क्लासिक डाटाबेसहरू पूर्ण रूपमा फरक सिद्धान्तमा बनाइएका छन् - रेकर्डहरूको संग्रहलाई सेटको रूपमा प्रतिनिधित्व गर्ने, जहाँ अभिलेखहरूको क्रम, सिद्धान्तमा, परिभाषित गरिएको छैन।
भेक्टर। KDB+ को सन्दर्भमा, यो समान परमाणु प्रकारका तत्वहरूको सूची हो, उदाहरणका लागि, संख्याहरू। अर्को शब्दमा, तत्वहरूको एर्रे। एरेहरू, सूचीहरूको विपरीत, भेक्टर प्रोसेसर निर्देशनहरू प्रयोग गरेर कम्प्याक्ट रूपमा भण्डारण र प्रशोधन गर्न सकिन्छ।

ऐतिहासिक पृष्ठभूमि

KX को स्थापना 1993 मा आर्थर ह्विटनी द्वारा गरिएको थियो, जसले पहिले मोर्गन स्टेनली बैंकमा A+ भाषामा काम गरेका थिए, APL को उत्तराधिकारी - एक धेरै मौलिक र वित्तीय संसारमा एक समयको लोकप्रिय भाषा। निस्सन्देह, KX मा, आर्थरले उही भावनामा जारी राखे र कट्टरपन्थी न्यूनतमवादको विचारहरूद्वारा निर्देशित भेक्टर-कार्यात्मक भाषा K सिर्जना गरे। K कार्यक्रमहरू विराम चिन्ह र विशेष क्यारेक्टरहरूको जम्बल जस्तो देखिन्छन्, संकेत र प्रकार्यहरूको अर्थ सन्दर्भमा निर्भर गर्दछ, र प्रत्येक अपरेशनले परम्परागत प्रोग्रामिङ भाषाहरूमा भन्दा धेरै अर्थ बोक्छ। यसका कारण, K कार्यक्रमले न्यूनतम ठाउँ लिन्छ—केही रेखाहरूले पाठको पृष्ठहरू जाभा जस्तै वर्बोज भाषामा प्रतिस्थापन गर्न सक्छन्—र एल्गोरिदमको अति-केन्द्रित कार्यान्वयन हो।

K मा एउटा प्रकार्य जसले दिइएको व्याकरण अनुसार LL1 पार्सर जेनेरेटरको धेरैजसो कार्यान्वयन गर्दछ:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  
2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  
3.      (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  
4.      (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  
5.      (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,")"}];0;"(",]}({$[".s.C"~4#x;6_-2_x;x]}'pp'x);'`pp];  
6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/:1_r),"]";""]]}

आर्थरले चरम दक्षताको यो दर्शनलाई KDB+ मा कम्तिमा शरीरको आन्दोलनको साथ मूर्त रूप दिए, जुन 2003 मा देखा पर्‍यो (मलाई लाग्छ कि नाममा K अक्षर कहाँबाट आएको हो भन्ने कुरा अहिले स्पष्ट भइसकेको छ) र K को चौथो संस्करणको अनुवादक बाहेक अरू केही होइन। भाषा। K K को शीर्षमा Q भनिने थप प्रयोगकर्ता-अनुकूल संस्करण थपिएको छ। Q ले SQL - QSQL, र अनुवादक - तालिकाहरूको लागि प्रणाली डेटा प्रकारको रूपमा समर्थन, तालिकाहरूसँग काम गर्ने उपकरणहरूको लागि समर्थन पनि थपेको छ। मेमोरी र डिस्कमा, आदि।

त्यसैले प्रयोगकर्ताको दृष्टिकोणबाट, KDB+ टेबलहरू र C# बाट SQL-जस्तो LINQ-शैली अभिव्यक्तिहरूको लागि समर्थनको साथ एक Q भाषा अनुवादक हो। यो KDB+ र अन्य डाटाबेसहरू र यसको मुख्य प्रतिस्पर्धात्मक फाइदाहरू बीचको सबैभन्दा महत्त्वपूर्ण भिन्नता हो, जुन प्राय: बेवास्ता गरिन्छ। यो डाटाबेस + असक्षम सहायक भाषा होइन, तर पूर्ण शक्तिशाली प्रोग्रामिङ भाषा + डाटाबेस प्रकार्यहरूको लागि निर्मित समर्थन हो। यो भिन्नताले KDB+ का सबै फाइदाहरू सूचीबद्ध गर्न निर्णायक भूमिका खेल्नेछ। उदाहरणका लागि…

आकार

आधुनिक मापदण्ड अनुसार, KDB+ आकारमा मात्र माइक्रोस्कोपिक छ। यो शाब्दिक रूपमा एउटा सब-मेगाबाइट कार्यान्वयनयोग्य फाइल र केही प्रणाली प्रकार्यहरूसँग एउटा सानो पाठ फाइल हो। वास्तविकतामा - एक मेगाबाइट भन्दा कम, र यस कार्यक्रमको लागि कम्पनीहरूले सर्भरमा एक प्रोसेसरको लागि दसौं हजार डलर तिर्छन्।

यो आकारले KDB+ लाई कुनै पनि हार्डवेयरमा उत्कृष्ट महसुस गर्न अनुमति दिन्छ - Pi माइक्रो कम्प्युटरबाट टेराबाइट मेमोरी भएका सर्भरहरूमा। यसले कुनै पनि हिसाबले कार्यक्षमतालाई असर गर्दैन; यसबाहेक, Q तुरुन्तै सुरु हुन्छ, जसले यसलाई स्क्रिप्टिङ भाषाको रूपमा अन्य चीजहरूको बीचमा प्रयोग गर्न अनुमति दिन्छ।
यस साइजमा, Q अनुवादक पूर्ण रूपमा प्रोसेसर क्यासमा फिट हुन्छ, जसले कार्यक्रम कार्यान्वयनलाई गति दिन्छ।
कार्यान्वयनयोग्य फाइलको यो साइजको साथ, Q प्रक्रियाले मेमोरीमा नगण्य ठाउँ लिन्छ; तपाईंले ती सयौं चलाउन सक्नुहुन्छ। यसबाहेक, आवश्यक भएमा, Q ले एकल प्रक्रिया भित्र दसौं वा सयौं गीगाबाइट मेमोरीसँग काम गर्न सक्छ।

बहुमुखी प्रतिभा

Q अनुप्रयोगहरूको विस्तृत दायराको लागि उत्कृष्ट छ। प्रक्रिया Q ले ऐतिहासिक डाटाबेसको रूपमा कार्य गर्न सक्छ र जानकारीको टेराबाइटहरूमा द्रुत पहुँच प्रदान गर्न सक्छ। उदाहरणका लागि, हामीसँग दर्जनौं ऐतिहासिक डाटाबेसहरू छन्, जसमध्ये केहीमा एक असम्पीडित दिनको डाटाले १०० गीगाबाइट्सभन्दा बढी लिन्छ। यद्यपि, उचित प्रतिबन्धहरू अन्तर्गत, डाटाबेसको प्रश्न दशौं देखि सयौं मिलिसेकेन्डहरूमा पूरा हुनेछ। सामान्यतया, हामीसँग प्रयोगकर्ता अनुरोधहरूको लागि विश्वव्यापी टाइमआउट छ - 100 सेकेन्ड - र यसले धेरै कम काम गर्दछ।

Q सजिलैसँग इन-मेमोरी डाटाबेस हुन सक्छ। नयाँ डेटा इन-मेमोरी तालिकाहरूमा यति चाँडै थपिएको छ कि प्रयोगकर्ता अनुरोधहरू सीमित कारक हुन्। तालिकाहरूमा डेटा स्तम्भहरूमा भण्डार गरिएको छ, जसको मतलब स्तम्भमा कुनै पनि सञ्चालनले पूर्ण क्षमतामा प्रोसेसर क्यास प्रयोग गर्नेछ। यसका अतिरिक्त, KX ले प्रोसेसरको भेक्टर निर्देशनहरू मार्फत अंकगणित जस्ता सबै आधारभूत कार्यहरू लागू गर्ने प्रयास गर्यो, तिनीहरूको गति अधिकतम बनाउँदै। Q ले डाटाबेसका लागि सामान्य नभएका कार्यहरू पनि गर्न सक्छ - उदाहरणका लागि, स्ट्रिमिङ डाटा प्रक्रिया गर्नुहोस् र "वास्तविक समय" मा गणना गर्नुहोस् (कार्यको आधारमा दशौं मिलिसेकेन्डदेखि धेरै सेकेन्डसम्मको ढिलाइको साथ) विभिन्न समयका लागि वित्तीय उपकरणहरूका लागि विभिन्न एकत्रीकरण कार्यहरू। अन्तरालहरू वा बजारमा सही लेनदेनको प्रभावको मोडेल निर्माण गर्नुहोस् र यसको पूरा भएपछि लगभग तुरुन्तै यसको प्रोफाइलिङ पूरा गर्नुहोस्। त्यस्ता कार्यहरूमा, प्राय: मुख्य समय ढिलाइ Q होइन, तर विभिन्न स्रोतहरूबाट डेटा सिङ्क्रोनाइज गर्न आवश्यक छ। डाटा र तिनीहरूलाई प्रशोधन गर्ने कार्यहरू एउटै प्रक्रियामा छन् भन्ने तथ्यको कारणले उच्च गति हासिल गरिएको छ, र प्रशोधन धेरै QSQL अभिव्यक्तिहरू र जोडहरू कार्यान्वयन गर्न घटाइन्छ, जुन व्याख्या गरिएको छैन, तर बाइनरी कोडद्वारा कार्यान्वयन गरिन्छ।

अन्तमा, तपाइँ Q मा कुनै पनि सेवा प्रक्रियाहरू लेख्न सक्नुहुन्छ। उदाहरणका लागि, गेटवे प्रक्रियाहरू जसले स्वचालित रूपमा आवश्यक डाटाबेस र सर्भरहरूमा प्रयोगकर्ता अनुरोधहरू वितरण गर्दछ। प्रोग्रामरसँग सन्तुलन, प्राथमिकता, गल्ती सहिष्णुता, पहुँच अधिकार, कोटा र मूल रूपमा उसको मनले चाहेको कुनै पनि एल्गोरिदम लागू गर्न पूर्ण स्वतन्त्रता छ। यहाँ मुख्य समस्या यो हो कि तपाईले यो सबै आफैं कार्यान्वयन गर्नुपर्नेछ।

उदाहरणको रूपमा, म हामीसँग कुन प्रकारका प्रक्रियाहरू छन् भनेर सूचीबद्ध गर्नेछु। ती सबै सक्रिय रूपमा प्रयोग गरिन्छ र सँगै काम गर्दछ, दर्जनौं विभिन्न डाटाबेसहरूलाई एकमा मिलाएर, बहु स्रोतहरूबाट डाटा प्रशोधन गर्दै र सयौं प्रयोगकर्ताहरू र अनुप्रयोगहरू सेवा गर्दै।

डाटा स्रोतहरूमा जडानकर्ताहरू (फिडह्यान्डलर)। यी प्रक्रियाहरूले सामान्यतया बाह्य पुस्तकालयहरू प्रयोग गर्छन् जुन Q मा लोड हुन्छन्। Q मा C इन्टरफेस अत्यन्त सरल छ र तपाईंलाई सजिलैसँग कुनै पनि C/C++ पुस्तकालयको लागि प्रोक्सी कार्यहरू सिर्जना गर्न अनुमति दिन्छ। Q ह्यान्डल गर्न पर्याप्त छिटो छ, उदाहरणका लागि, सबै युरोपेली स्टक एक्सचेन्जहरूबाट एकै साथ FIX सन्देशहरूको बाढी प्रशोधन गर्दै।
डाटा वितरक (टिकरप्लान्ट), जसले जडानकर्ताहरू र उपभोक्ताहरू बीचको मध्यवर्ती लिङ्कको रूपमा सेवा गर्दछ। एकै समयमा, तिनीहरूले विशेष बाइनरी लगमा आगमन डेटा लेख्छन्, जडान हानि वा पुन: सुरु विरुद्ध उपभोक्ताहरूलाई बलियोता प्रदान गर्दछ।
इन-मेमोरी डाटाबेस (rdb)। यी डाटाबेसहरूले मेमोरीमा भण्डारण गरेर कच्चा, ताजा डाटामा छिटो सम्भव पहुँच प्रदान गर्दछ। सामान्यतया, तिनीहरू दिनको समयमा तालिकाहरूमा डेटा जम्मा गर्छन् र तिनीहरूलाई रातमा रिसेट गर्छन्।
पर्सिस्ट डाटाबेस (pdb)। यी डाटाबेसहरूले सुनिश्चित गर्दछ कि आजको लागि डाटा ऐतिहासिक डाटाबेसमा भण्डार गरिएको छ। नियमको रूपमा, rdb को विपरीत, तिनीहरू मेमोरीमा डाटा भण्डार गर्दैनन्, तर दिनको समयमा डिस्कमा विशेष क्यास प्रयोग गर्नुहोस् र मध्यरातमा डाटा ऐतिहासिक डाटाबेसमा प्रतिलिपि गर्नुहोस्।
ऐतिहासिक डाटाबेस (hdb)। यी डाटाबेसहरूले अघिल्लो दिन, महिना र वर्षहरूको लागि डाटा पहुँच प्रदान गर्दछ। तिनीहरूको आकार (दिनहरूमा) केवल हार्ड ड्राइभको आकार द्वारा सीमित छ। डाटा जहाँ पनि अवस्थित हुन सक्छ, विशेष गरी विभिन्न डिस्कहरूमा पहुँच गति बढाउन। छनौट गर्न धेरै एल्गोरिदमहरू प्रयोग गरेर डेटा कम्प्रेस गर्न सम्भव छ। डाटाबेसको संरचना राम्रोसँग दस्तावेज गरिएको र सरल छ, डाटा नियमित फाइलहरूमा स्तम्भद्वारा स्तम्भ भण्डार गरिएको छ, त्यसैले तिनीहरू अपरेटिङ सिस्टमको माध्यमबाट प्रशोधन गर्न सकिन्छ।
एकत्रित जानकारी संग डाटाबेस। तिनीहरूले उपकरण नाम र समय अन्तराल द्वारा समूहबद्ध, सामान्यतया संग, विभिन्न एकत्रीकरणहरू भण्डारण गर्छन्। इन-मेमोरी डाटाबेसहरूले प्रत्येक आगमन सन्देशको साथ आफ्नो स्थिति अद्यावधिक गर्दछ, र ऐतिहासिक डाटाबेसहरूले ऐतिहासिक डाटामा पहुँचको गति बढाउन पूर्व-कम्प्युटेड डाटा भण्डारण गर्दछ।
अन्ततः, गेटवे प्रक्रियाहरूसेवा अनुप्रयोग र प्रयोगकर्ताहरू। Q ले तपाईंलाई आगमन सन्देशहरूको पूर्ण रूपमा एसिन्क्रोनस प्रशोधन कार्यान्वयन गर्न, डाटाबेसहरूमा वितरण गर्ने, पहुँच अधिकारहरू जाँच गर्ने, इत्यादि कार्यान्वयन गर्न अनुमति दिन्छ। नोट गर्नुहोस् कि सन्देशहरू सीमित छैनन् र प्रायः SQL अभिव्यक्तिहरू छैनन्, जस्तै अन्य डाटाबेसहरूमा हुन्छ। प्रायः, SQL अभिव्यक्ति एक विशेष प्रकार्यमा लुकेको छ र प्रयोगकर्ता द्वारा अनुरोध गरिएको प्यारामिटरहरूको आधारमा निर्माण गरिएको छ - समय रूपान्तरण गरिएको छ, फिल्टर गरिएको छ, डेटा सामान्य गरिएको छ (उदाहरणका लागि, शेयर मूल्य बराबर हुन्छ यदि लाभांश भुक्तानी गरिएको थियो), आदि।

एक डेटा प्रकारको लागि विशिष्ट वास्तुकला:

गति

यद्यपि Q एक व्याख्या गरिएको भाषा हो, यो एक भेक्टर भाषा पनि हो। यसको मतलब यो हो कि धेरै निर्मित प्रकार्यहरू, विशेष गरी अंकगणितले, कुनै पनि फारमको तर्कहरू लिन्छन् - संख्याहरू, भेक्टरहरू, म्याट्रिक्सहरू, सूचीहरू - र प्रोग्रामरले कार्यक्रमलाई एरे सञ्चालनको रूपमा कार्यान्वयन गर्ने अपेक्षा गरिन्छ। यस्तो भाषामा, यदि तपाइँ एक मिलियन तत्वहरूको दुई भेक्टरहरू थप्नुहुन्छ भने, यसले भाषालाई व्याख्या गरिएको छ भन्ने कुराले फरक पार्दैन; थप एक सुपर-अप्टिमाइज्ड बाइनरी प्रकार्यद्वारा प्रदर्शन गरिनेछ। Q कार्यक्रमहरूमा समयको सिंहको अंश यी आधारभूत भेक्टोराइज्ड प्रकार्यहरू प्रयोग गर्ने तालिकाहरूसँग सञ्चालनमा खर्च भएको हुनाले, आउटपुट एक धेरै सभ्य अपरेटिङ गति हो, जसले हामीलाई एक प्रक्रियामा पनि ठूलो मात्रामा डेटा प्रशोधन गर्न अनुमति दिन्छ। यो पाइथनमा गणितीय पुस्तकालयहरू जस्तै छ - यद्यपि पाइथन आफैंमा धेरै ढिलो भाषा हो, यसमा धेरै उत्कृष्ट पुस्तकालयहरू छन् जस्तै numpy जसले तपाईंलाई संकलित भाषाको गतिमा संख्यात्मक डेटा प्रशोधन गर्न अनुमति दिन्छ (जस्तै, numpy वैचारिक रूपमा Q को नजिक छ। )।

थप रूपमा, KX ले तालिकाहरू डिजाइन गर्न र तिनीहरूसँग कामलाई अनुकूलन गर्न धेरै सावधानी अपनायो। सर्वप्रथम, धेरै प्रकारका अनुक्रमणिकाहरू समर्थित छन्, जुन निर्मित प्रकार्यहरूद्वारा समर्थित छन् र केवल तालिका स्तम्भहरूमा मात्र लागू गर्न सकिँदैन, तर कुनै पनि भेक्टरहरूमा पनि लागू गर्न सकिन्छ - समूहीकरण, क्रमबद्ध, विशिष्टता विशेषता र ऐतिहासिक डाटाबेसहरूको लागि विशेष समूह। अनुक्रमणिका सरल रूपमा लागू गरिन्छ र स्तम्भ/भेक्टरमा तत्वहरू थप्दा स्वचालित रूपमा समायोजित हुन्छ। अनुक्रमणिकाहरू समान रूपमा सफलतापूर्वक तालिका स्तम्भहरूमा मेमोरी र डिस्कमा लागू गर्न सकिन्छ। QSQL क्वेरी कार्यान्वयन गर्दा, सम्भव भएमा अनुक्रमणिकाहरू स्वचालित रूपमा प्रयोग गरिन्छ। दोस्रो, ऐतिहासिक डेटाको साथ काम ओएस फाइलहरू (मेमोरी नक्सा) प्रदर्शन गर्न संयन्त्र मार्फत गरिन्छ। ठूला तालिकाहरू कहिल्यै मेमोरीमा लोड हुँदैनन्; यसको सट्टा, आवश्यक स्तम्भहरू सिधै मेमोरीमा म्याप गरिन्छ र तिनीहरूको त्यो अंश मात्र लोड हुन्छ (सूचकांकहरूले यहाँ मद्दत गर्दछ) जुन आवश्यक छ। डाटा मेमोरीमा छ वा छैन यसले प्रोग्रामरलाई कुनै फरक पार्दैन; mmap सँग काम गर्ने संयन्त्र Q को गहिराइमा पूर्ण रूपमा लुकेको छ।

KDB+ एक रिलेशनल डाटाबेस होइन; तालिकामा स्वेच्छाचारी डाटा समावेश हुन सक्छ, जबकि नयाँ तत्वहरू थप्दा तालिकामा पङ्क्तिहरूको क्रम परिवर्तन हुँदैन र प्रश्नहरू लेख्दा प्रयोग गर्न सकिन्छ। समय शृङ्खला (एक्सचेन्जहरू, टेलिमेट्री, घटना लगहरू) सँग काम गर्नको लागि यो सुविधा तत्काल आवश्यक छ, किनभने यदि डेटा समय अनुसार क्रमबद्ध गरिएको छ भने, प्रयोगकर्ताले पहिलो वा अन्तिम पङ्क्ति वा N फेला पार्न कुनै SQL चालहरू प्रयोग गर्न आवश्यक पर्दैन। तालिकामा पङ्क्तिहरू, कुन रेखाले Nth रेखालाई पछ्याउँछ, आदि निर्धारण गर्नुहोस्। तालिका जोडहरू अझ सरलीकृत छन्, उदाहरणका लागि, 16000 मिलियन तत्वहरूको तालिकामा 500 VOD.L (Vodafone) लेनदेनको लागि अन्तिम उद्धरण पत्ता लगाउन डिस्कमा लगभग एक सेकेन्ड र मेमोरीमा दसौं मिलिसेकेन्डहरू लाग्छ।

समय जोडिएको उदाहरण - उद्धरण तालिका मेमोरीमा म्याप गरिएको छ, त्यसैले त्यहाँ VOD.L निर्दिष्ट गर्न आवश्यक छैन जहाँ, sym स्तम्भमा अनुक्रमणिका र तथ्याङ्कलाई समय अनुसार क्रमबद्ध गरिएको तथ्यलाई स्पष्ट रूपमा प्रयोग गरिन्छ। Q मा जोडिने लगभग सबै नियमित प्रकार्यहरू हुन्, चयन अभिव्यक्तिको अंश होइन:

1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26]

अन्तमा, यो ध्यान दिन लायक छ कि KX का इन्जिनियरहरू, आर्थर ह्विटनी आफैंबाट सुरु गरेर, साँच्चिकै दक्षतामा रमाउँछन् र Q का मानक सुविधाहरूबाट बढीभन्दा बढी फाइदा लिन र सबैभन्दा सामान्य प्रयोग ढाँचाहरूलाई अनुकूलन गर्न ठूलो मात्रामा जान्छन्।

परिणाम

KDB+ मुख्यतया यसको असाधारण बहुमुखी प्रतिभाको कारणले व्यवसायहरू बीच लोकप्रिय छ - यसले ऐतिहासिक डाटाको टेराबाइटहरू भण्डारण गर्ने डाटाबेसको रूपमा, र डाटा विश्लेषणको लागि प्लेटफर्मको रूपमा इन-मेमोरी डाटाबेसको रूपमा समान रूपमा सेवा गर्दछ। तथ्याङ्कको कारणले गर्दा डाटा प्रोसेसिङ सीधै डाटाबेसमा हुन्छ, कामको उच्च गति र स्रोत बचत हासिल गरिन्छ। डाटाबेस प्रकार्यहरूसँग एकीकृत गरिएको पूर्ण प्रोग्रामिङ भाषाले तपाईंलाई एक प्लेटफर्ममा आवश्यक प्रक्रियाहरूको सम्पूर्ण स्ट्याक कार्यान्वयन गर्न अनुमति दिन्छ - डाटा प्राप्त गर्नेदेखि प्रयोगकर्ता अनुरोधहरू प्रशोधन गर्न।

थप जानकारीको लागि,

कमीकमजोरी

KDB+/Q को एक महत्त्वपूर्ण बेफाइदा उच्च प्रविष्टि थ्रेसहोल्ड हो। भाषामा एक अनौठो वाक्य रचना छ, केहि प्रकार्यहरू धेरै ओभरलोड गरिएका छन् (मान, उदाहरणका लागि, लगभग 11 प्रयोग केसहरू छन्)। सबैभन्दा महत्त्वपूर्ण कुरा, यसले प्रोग्रामहरू लेख्नको लागि एकदम फरक दृष्टिकोण चाहिन्छ। भेक्टर भाषामा, तपाईँले सँधै एरे रूपान्तरणको सन्दर्भमा सोच्नु पर्छ, नक्सा/रिड्युस प्रकार्यहरू (जसलाई Q मा क्रियाविशेषण भनिन्छ) को धेरै भेरियन्टहरू मार्फत सबै लूपहरू लागू गर्नुपर्दछ, र भेक्टर अपरेसनहरूलाई परमाणुहरूसँग प्रतिस्थापन गरेर पैसा बचत गर्ने प्रयास नगर्नुहोस्। उदाहरण को लागी, एरे मा एक तत्व को Nth घटना को सूचकांक फेला पार्न को लागी, तपाईले लेख्नु पर्छ:

1. (where element=vector)[N]

यद्यपि यो C/Java मापदण्डहरू (= बुलियन भेक्टर सिर्जना गर्दछ, जहाँ यसमा तत्वहरूको साँचो अनुक्रमणिकाहरू फर्काउँछ)। तर यो सङ्केतले अभिव्यक्तिको अर्थ अझ स्पष्ट बनाउँछ र तपाइँ ढिलो परमाणुको सट्टा छिटो भेक्टर अपरेशनहरू प्रयोग गर्नुहुन्छ। भेक्टर भाषा र अन्य बीचको वैचारिक भिन्नता प्रोग्रामिंगको लागि आवश्यक र कार्यात्मक दृष्टिकोणहरू बीचको भिन्नतासँग तुलना गर्न सकिन्छ, र तपाइँ यसको लागि तयार हुन आवश्यक छ।

केही प्रयोगकर्ताहरू पनि QSQL सँग दुखी छन्। बिन्दु यो हो कि यो केवल वास्तविक SQL जस्तो देखिन्छ। वास्तवमा, यो केवल SQL-जस्तो अभिव्यक्तिहरूको एक दोभाषे हो जसले क्वेरी अनुकूलनलाई समर्थन गर्दैन। प्रयोगकर्ताले आफैं इष्टतम प्रश्नहरू लेख्नु पर्छ, र Q मा, जसको लागि धेरै तयार छैनन्। अर्कोतर्फ, निस्सन्देह, तपाईले सधैं इष्टतम प्रश्न आफैं लेख्न सक्नुहुन्छ, ब्ल्याक-बक्स अनुकूलकमा भर पर्नुको सट्टा।

थप रूपमा, Q - Q For Mortals मा एउटा पुस्तक निःशुल्क उपलब्ध छ कम्पनी वेबसाइट, त्यहाँ सङ्कलन अन्य उपयोगी सामग्री पनि धेरै छ।

अर्को ठूलो हानि भनेको इजाजतपत्रको लागत हो। त्यो प्रति CPU प्रति वर्ष हजारौं डलर हो। ठूला कम्पनीहरूले मात्र यस्तो खर्च वहन गर्न सक्छन्। हालसालै, KX ले आफ्नो इजाजतपत्र नीतिलाई थप लचिलो बनाएको छ र गुगल र अमेजन क्लाउडहरूमा KDB+ प्रयोग वा भाडाको लागि मात्र भुक्तान गर्ने अवसर प्रदान गर्दछ। KX डाउनलोडको लागि पनि प्रस्ताव गर्दछ गैर-व्यावसायिक उद्देश्यका लागि नि: शुल्क संस्करण (32 बिट संस्करण वा अनुरोधमा 64 बिट)।

प्रतियोगीहरू

त्यहाँ समान सिद्धान्तहरूमा निर्मित धेरै विशेष डाटाबेसहरू छन् - स्तम्भ, इन-मेमोरी, डाटाको धेरै मात्रामा केन्द्रित। समस्या यो हो कि यी विशेष डाटाबेसहरू हुन्। एउटा उल्लेखनीय उदाहरण क्लिकहाउस हो। यो डाटाबेससँग डिस्कमा डाटा भण्डारण गर्न र अनुक्रमणिका निर्माण गर्न KDB+ सँग एकदमै मिल्दोजुल्दो सिद्धान्त छ; यसले केही प्रश्नहरू KDB+ भन्दा छिटो गर्छ, यद्यपि महत्त्वपूर्ण रूपमा होइन। तर डाटाबेसको रूपमा पनि, क्लिकहाउस KDB+ भन्दा बढी विशिष्ट छ - वेब एनालिटिक्स बनाम मनमानी समय श्रृंखला (यो भिन्नता धेरै महत्त्वपूर्ण छ - यसको कारण, उदाहरणका लागि, क्लिकहाउसमा रेकर्डहरूको क्रम प्रयोग गर्न सम्भव छैन)। तर, सबैभन्दा महत्त्वपूर्ण कुरा, Clickhouse सँग KDB+ को बहुमुखी प्रतिभा छैन, एउटा भाषा जसले डाटाबेसमा सिधै प्रशोधन गर्न अनुमति दिन्छ, यसलाई पहिले छुट्टै अनुप्रयोगमा लोड गर्नुको सट्टा, स्वेच्छाचारी SQL अभिव्यक्तिहरू निर्माण गर्ने, क्वेरीमा स्वेच्छाचारी प्रकार्यहरू लागू गर्ने, प्रक्रियाहरू सिर्जना गर्ने। ऐतिहासिक डाटाबेस प्रकार्यहरूको कार्यान्वयनसँग सम्बन्धित छैन। तसर्थ, अन्य डाटाबेसहरूसँग KDB+ तुलना गर्न गाह्रो छ; तिनीहरू निश्चित प्रयोगका केसहरूमा राम्रो हुन सक्छन् वा क्लासिक डाटाबेस कार्यहरूमा आउँदा अझ राम्रो हुन सक्छ, तर मलाई अस्थायी डाटा प्रशोधन गर्नको लागि अर्को समान प्रभावकारी र बहुमुखी उपकरणको बारेमा थाहा छैन।

पाइथन एकीकरण

KDB+ लाई प्रविधिसँग अपरिचित व्यक्तिहरूलाई प्रयोग गर्न सजिलो बनाउनको लागि, KX ले एकल प्रक्रिया भित्र पाइथनसँग कडा रूपमा एकीकृत गर्न पुस्तकालयहरू सिर्जना गर्यो। तपाइँ या त Q बाट कुनै पनि पाइथन प्रकार्य कल गर्न सक्नुहुन्छ, वा यसको विपरित - पाइथनबाट कुनै पनि Q प्रकार्य कल गर्नुहोस् (विशेष गरी, QSQL अभिव्यक्तिहरू)। पुस्तकालयहरूले आवश्यक भएमा (सधैं दक्षताको लागि होइन), एक भाषाको ढाँचाबाट अर्को भाषाको ढाँचामा डेटा रूपान्तरण गर्छन्। नतिजाको रूपमा, Q र Python यति नजिकको सिम्बायोसिसमा बस्छन् कि तिनीहरू बीचको सीमाहरू धमिलो हुन्छन्। नतिजाको रूपमा, प्रोग्रामरले एकातिर, धेरै उपयोगी पाइथन पुस्तकालयहरूमा पूर्ण पहुँच छ, अर्कोतर्फ, उसले पाइथनमा एकीकृत ठूलो डाटासँग काम गर्नको लागि द्रुत आधार प्राप्त गर्दछ, जुन विशेष गरी मेसिन लर्निंगमा संलग्नहरूका लागि उपयोगी छ। वा मोडलिङ।

Python मा Q सँग काम गर्दै:

1. >>> q()  
2.q)trade:([]date:();sym:();qty:())  
3. q)  
4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200))  
5. k(',0')  
6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100))  
7. k(',1')

सन्दर्भ

कम्पनीको साइट - https://kx.com/
विकासकर्ताहरूको लागि वेबसाइट - https://code.kx.com/v2/
बुक Q For Mortals (अंग्रेजीमा) - https://code.kx.com/q4m3/
kx कर्मचारीहरूबाट KDB+/Q आवेदनहरूमा लेखहरू - https://code.kx.com/v2/wp/

स्रोत: www.habr.com

KDB+ डाटाबेस: वित्त देखि सूत्र 1 सम्म