KDB+ ডাটাবেস: ফাইন্যান্স থেকে সূত্র 1 পর্যন্ত

KDB+, কোম্পানির পণ্য KX সংকীর্ণ চেনাশোনাগুলিতে ব্যাপকভাবে পরিচিত, অত্যন্ত দ্রুত, কলামার ডেটাবেস যা সময় সিরিজ এবং তাদের উপর ভিত্তি করে বিশ্লেষণাত্মক গণনা সংরক্ষণের জন্য ডিজাইন করা হয়েছে। প্রাথমিকভাবে, এটি আর্থিক শিল্পে খুব জনপ্রিয় ছিল (এবং আছে) - এটি সমস্ত শীর্ষ 10 বিনিয়োগ ব্যাঙ্ক এবং অনেক সুপরিচিত হেজ ফান্ড, এক্সচেঞ্জ এবং অন্যান্য সংস্থা দ্বারা ব্যবহৃত হয়। সম্প্রতি, KX তার গ্রাহক বেস প্রসারিত করার সিদ্ধান্ত নিয়েছে এবং এখন অন্যান্য ক্ষেত্রে সমাধান অফার করে যেখানে প্রচুর পরিমাণে ডেটা রয়েছে, সময় অনুসারে বা অন্যথায় সংগঠিত - টেলিকম, বায়োইনফরমেটিক্স, ম্যানুফ্যাকচারিং ইত্যাদি। তারা ফর্মুলা 1-এ অ্যাস্টন মার্টিন রেড বুল রেসিং দলের অংশীদার হয়ে ওঠে, যেখানে তারা গাড়ির সেন্সর থেকে ডেটা সংগ্রহ এবং প্রক্রিয়া করতে এবং বায়ু টানেল পরীক্ষা বিশ্লেষণ করতে সহায়তা করে। এই নিবন্ধে, আমি আপনাকে বলতে চাই যে KDB+ এর কোন বৈশিষ্ট্যগুলি এটিকে সুপার-পারফর্মিং করে তোলে, কেন কোম্পানিগুলি এতে প্রচুর অর্থ ব্যয় করতে ইচ্ছুক, এবং অবশেষে, কেন এটি সত্যিই একটি ডাটাবেস নয়।
 

 
এই নিবন্ধে আমি আপনাকে সাধারণভাবে জানাতে চেষ্টা করব KDB+ কী, এর কী কী ক্ষমতা এবং সীমাবদ্ধতা রয়েছে এবং যে কোম্পানিগুলি প্রচুর পরিমাণে ডেটা প্রক্রিয়া করতে চায় তাদের জন্য এর সুবিধাগুলি কী। আমি KDB+ এর বাস্তবায়ন বা এর Q প্রোগ্রামিং ভাষার বিশদ বিবরণে যাব না। এই দুটি বিষয়ই খুব বিস্তৃত এবং পৃথক নিবন্ধের যোগ্য। এই বিষয়ে অনেক তথ্য code.kx.com-এ পাওয়া যাবে, যার মধ্যে রয়েছে Q - Q ফর মর্টালসের একটি বই (নীচের লিঙ্ক দেখুন)।

কিছু পদ

• ইন-মেমরি ডাটাবেস। একটি ডাটাবেস যা দ্রুত অ্যাক্সেসের জন্য RAM এ ডেটা সঞ্চয় করে। এই জাতীয় ডাটাবেসের সুবিধাগুলি স্পষ্ট, তবে অসুবিধাগুলি হ'ল ডেটা হারানোর সম্ভাবনা এবং সার্ভারে প্রচুর মেমরি থাকা প্রয়োজন।
• কলামার ডাটাবেস। একটি ডাটাবেস যেখানে ডেটা রেকর্ড দ্বারা রেকর্ড করার পরিবর্তে কলাম দ্বারা কলাম সংরক্ষণ করা হয়। এই জাতীয় ডাটাবেসের প্রধান সুবিধা হ'ল একটি কলাম থেকে ডেটা একসাথে ডিস্কে এবং মেমরিতে সংরক্ষণ করা হয়, যা উল্লেখযোগ্যভাবে এটিতে অ্যাক্সেসের গতি বাড়িয়ে তোলে। কলামগুলি লোড করার দরকার নেই যা ক্যোয়ারীতে ব্যবহৃত হয় না। প্রধান অসুবিধা হ'ল রেকর্ডগুলি সংশোধন করা এবং মুছে ফেলা কঠিন।
• সময় সিরিজ। তারিখ বা সময় কলাম সহ ডেটা। সাধারণত, এই ধরনের ডেটার জন্য টাইম অর্ডারিং গুরুত্বপূর্ণ, যাতে আপনি সহজেই নির্ধারণ করতে পারেন কোন রেকর্ডটি বর্তমানের আগে বা অনুসরণ করে, অথবা এমন ফাংশন প্রয়োগ করতে যার ফলাফল রেকর্ডের ক্রম উপর নির্ভর করে। ক্লাসিক ডাটাবেস একটি সম্পূর্ণ ভিন্ন নীতির উপর নির্মিত - একটি সেট হিসাবে রেকর্ডের একটি সংগ্রহের প্রতিনিধিত্ব করে, যেখানে রেকর্ডের ক্রম নীতিগতভাবে, সংজ্ঞায়িত করা হয় না।
• ভেক্টর। KDB+ এর প্রসঙ্গে, এটি একই পারমাণবিক ধরণের উপাদানগুলির একটি তালিকা, উদাহরণস্বরূপ, সংখ্যা। অন্য কথায়, উপাদানের একটি অ্যারে। অ্যারে, তালিকার বিপরীতে, ভেক্টর প্রসেসর নির্দেশাবলী ব্যবহার করে সংক্ষিপ্তভাবে সংরক্ষণ এবং প্রক্রিয়া করা যেতে পারে।

 

ঐতিহাসিক পটভূমি

KX 1993 সালে আর্থার হুইটনি দ্বারা প্রতিষ্ঠিত হয়েছিল, যিনি পূর্বে A+ ভাষায় মর্গান স্ট্যানলি ব্যাঙ্কে কাজ করেছিলেন, APL-এর উত্তরসূরি - একটি খুব আসল এবং এক সময়ে আর্থিক বিশ্বের জনপ্রিয় ভাষা। অবশ্যই, কেএক্স-এ, আর্থার একই চেতনায় চালিয়ে যান এবং র্যাডিকাল মিনিমালিজমের ধারণা দ্বারা পরিচালিত ভেক্টর-কার্যকরী ভাষা K তৈরি করেন। কে প্রোগ্রামগুলি বিরাম চিহ্ন এবং বিশেষ অক্ষরগুলির একটি গোলমালের মতো দেখায়, লক্ষণ এবং ফাংশনের অর্থ প্রসঙ্গের উপর নির্ভর করে এবং প্রতিটি অপারেশন প্রচলিত প্রোগ্রামিং ভাষার তুলনায় অনেক বেশি অর্থ বহন করে। এই কারণে, একটি কে প্রোগ্রাম ন্যূনতম স্থান নেয় — কয়েকটি লাইন জাভা-এর মতো শব্দভাষায় পাঠ্যের পৃষ্ঠাগুলিকে প্রতিস্থাপন করতে পারে — এবং এটি অ্যালগরিদমের একটি অতি-কেন্দ্রিক বাস্তবায়ন।
 
কে-তে একটি ফাংশন যা একটি প্রদত্ত ব্যাকরণ অনুসারে LL1 পার্সার জেনারেটরের বেশিরভাগ প্রয়োগ করে:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  
2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  
3.      (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  
4.      (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  
5.      (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,")"}];0;"(",]}({$[".s.C"~4#x;6_-2_x;x]}'pp'x);'`pp];  
6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/:1_r),"]";""]]}  

 আর্থার KDB+-এ ন্যূনতম শরীরের নড়াচড়ার সাথে চরম দক্ষতার এই দর্শনকে মূর্ত করেছেন, যা 2003 সালে আবির্ভূত হয়েছিল (আমি মনে করি এটি এখন স্পষ্ট যে নামের K অক্ষরটি কোথা থেকে এসেছে) এবং এটি K-এর চতুর্থ সংস্করণের দোভাষী ছাড়া আর কিছুই নয়। ভাষা। K K-এর উপরে আরও একটি ব্যবহারকারী-বান্ধব সংস্করণ যোগ করা হয়েছে যার নাম Q। Q এছাড়াও SQL- QSQL-এর একটি নির্দিষ্ট উপভাষার জন্য সমর্থন যোগ করেছে, এবং দোভাষী - একটি সিস্টেম ডেটা টাইপ হিসাবে টেবিলের জন্য সমর্থন, টেবিলের সাথে কাজ করার জন্য সরঞ্জাম। মেমরিতে এবং ডিস্কে, ইত্যাদি
 
সুতরাং একজন ব্যবহারকারীর দৃষ্টিকোণ থেকে, KDB+ হল একটি Q ভাষা দোভাষী যা টেবিলের জন্য সমর্থন এবং C# থেকে SQL-এর মতো LINQ-স্টাইল এক্সপ্রেশন। এটি KDB+ এবং অন্যান্য ডাটাবেসের মধ্যে সবচেয়ে গুরুত্বপূর্ণ পার্থক্য এবং এর প্রধান প্রতিযোগিতামূলক সুবিধা, যা প্রায়ই উপেক্ষা করা হয়। এটি একটি ডাটাবেস + অক্ষম অক্জিলিয়ারী ভাষা নয়, তবে একটি পূর্ণাঙ্গ শক্তিশালী প্রোগ্রামিং ভাষা + ডাটাবেস ফাংশনগুলির জন্য অন্তর্নির্মিত সমর্থন। এই পার্থক্যটি KDB+ এর সমস্ত সুবিধা তালিকাভুক্ত করার ক্ষেত্রে একটি নির্ধারক ভূমিকা পালন করবে। উদাহরণ স্বরূপ…
 

আয়তন

আধুনিক মান অনুসারে, KDB+ আকারে কেবল মাইক্রোস্কোপিক। এটি আক্ষরিক অর্থে একটি সাব-মেগাবাইট এক্সিকিউটেবল ফাইল এবং কিছু সিস্টেম ফাংশন সহ একটি ছোট টেক্সট ফাইল। বাস্তবে - এক মেগাবাইটেরও কম, এবং এই প্রোগ্রামের জন্য কোম্পানিগুলি সার্ভারে একটি প্রসেসরের জন্য বছরে কয়েক হাজার ডলার প্রদান করে।

• এই আকারটি KDB+ কে যেকোন হার্ডওয়্যারে দুর্দান্ত অনুভব করতে দেয় - একটি পাই মাইক্রোকম্পিউটার থেকে টেরাবাইট মেমরি সহ সার্ভার পর্যন্ত। এটি কোনোভাবেই কার্যকারিতাকে প্রভাবিত করে না; অধিকন্তু, Q অবিলম্বে শুরু হয়, যা এটিকে অন্যান্য জিনিসগুলির মধ্যে, একটি স্ক্রিপ্টিং ভাষা হিসাবে ব্যবহার করার অনুমতি দেয়।
• এই আকারে, Q দোভাষী সম্পূর্ণরূপে প্রসেসর ক্যাশে ফিট করে, যা প্রোগ্রাম নির্বাহের গতি বাড়ায়।
• এক্সিকিউটেবল ফাইলের এই আকারের সাথে, Q প্রক্রিয়াটি মেমরিতে নগণ্য স্থান নেয়; আপনি তাদের শত শত চালাতে পারেন। অধিকন্তু, প্রয়োজন হলে, Q একটি একক প্রক্রিয়ার মধ্যে দশ বা শত গিগাবাইট মেমরির সাথে কাজ করতে পারে।

বহুমুখতা

প্রশ্ন বিস্তৃত অ্যাপ্লিকেশনের জন্য দুর্দান্ত। প্রসেস Q একটি ঐতিহাসিক ডাটাবেস হিসাবে কাজ করতে পারে এবং টেরাবাইট তথ্যে দ্রুত অ্যাক্সেস প্রদান করতে পারে। উদাহরণস্বরূপ, আমাদের কাছে কয়েক ডজন ঐতিহাসিক ডাটাবেস রয়েছে, যার মধ্যে কিছুতে একটি অসঙ্কুচিত দিনের ডেটা 100 গিগাবাইটেরও বেশি সময় নেয়। যাইহোক, যুক্তিসঙ্গত বিধিনিষেধের অধীনে, ডাটাবেসের একটি ক্যোয়ারী দশ থেকে শত মিলিসেকেন্ডের মধ্যে সম্পন্ন হবে। সাধারণভাবে, ব্যবহারকারীর অনুরোধের জন্য আমাদের একটি সার্বজনীন সময়সীমা রয়েছে - 30 সেকেন্ড - এবং এটি খুব কমই কাজ করে৷
 
Q ঠিক তত সহজে একটি ইন-মেমরি ডাটাবেস হতে পারে। ইন-মেমরি টেবিলে নতুন ডেটা এত দ্রুত যোগ করা হয় যে ব্যবহারকারীর অনুরোধ সীমিত ফ্যাক্টর। টেবিলের ডেটা কলামগুলিতে সংরক্ষণ করা হয়, যার অর্থ একটি কলামের যে কোনও অপারেশন সম্পূর্ণ ক্ষমতাতে প্রসেসর ক্যাশে ব্যবহার করবে। এটি ছাড়াও, কেএক্স প্রসেসরের ভেক্টর নির্দেশের মাধ্যমে পাটিগণিতের মতো সমস্ত মৌলিক ক্রিয়াকলাপ বাস্তবায়নের চেষ্টা করেছিল, তাদের গতি সর্বাধিক করে। Q ডাটাবেসের জন্য সাধারণ নয় এমন কাজগুলিও সম্পাদন করতে পারে - উদাহরণস্বরূপ, স্ট্রিমিং ডেটা প্রসেস করা এবং "রিয়েল টাইমে" গণনা করা (টাস্কের উপর নির্ভর করে কয়েক সেকেন্ড থেকে কয়েক সেকেন্ড পর্যন্ত বিলম্ব সহ) বিভিন্ন সময়ের জন্য আর্থিক উপকরণগুলির জন্য বিভিন্ন একত্রীকরণ ফাংশন ব্যবধান বা বাজারে নিখুঁত লেনদেনের প্রভাবের একটি মডেল তৈরি করে এবং এটি সম্পূর্ণ হওয়ার প্রায় সাথে সাথেই এর প্রোফাইলিং চালায়। এই ধরনের কাজগুলিতে, প্রায়শই প্রধান সময় বিলম্ব Q নয়, তবে বিভিন্ন উত্স থেকে ডেটা সিঙ্ক্রোনাইজ করার প্রয়োজন। উচ্চ গতি অর্জন করা হয় এই কারণে যে ডেটা এবং যে ফাংশনগুলি সেগুলিকে প্রক্রিয়া করা হয় সেগুলি এক প্রক্রিয়ায় থাকে এবং প্রক্রিয়াকরণের ফলে অনেকগুলি QSQL এক্সপ্রেশন এবং যোগদান চালানো হয়, যা ব্যাখ্যা করা হয় না, তবে বাইনারি কোড দ্বারা কার্যকর করা হয়।
 
সবশেষে, আপনি Q-এ যেকোনো পরিষেবা প্রক্রিয়া লিখতে পারেন। উদাহরণস্বরূপ, গেটওয়ে প্রক্রিয়া যা স্বয়ংক্রিয়ভাবে প্রয়োজনীয় ডাটাবেস এবং সার্ভারগুলিতে ব্যবহারকারীর অনুরোধগুলি বিতরণ করে। প্রোগ্রামারের ভারসাম্য, অগ্রাধিকার, ত্রুটি সহনশীলতা, অ্যাক্সেসের অধিকার, কোটা এবং মূলত তার হৃদয়ের ইচ্ছার জন্য যেকোনো অ্যালগরিদম বাস্তবায়নের সম্পূর্ণ স্বাধীনতা রয়েছে। এখানে প্রধান সমস্যা হল যে আপনাকে এই সমস্ত নিজেকে বাস্তবায়ন করতে হবে।
 
একটি উদাহরণ হিসাবে, আমি আমাদের কি ধরনের প্রক্রিয়া আছে তা তালিকাভুক্ত করব। এগুলি সবগুলি সক্রিয়ভাবে ব্যবহৃত হয় এবং একসাথে কাজ করে, ডজন ডজন বিভিন্ন ডেটাবেসকে একত্রিত করে, একাধিক উত্স থেকে ডেটা প্রক্রিয়াকরণ করে এবং শত শত ব্যবহারকারী এবং অ্যাপ্লিকেশনকে পরিবেশন করে।

• ডাটা উৎসে সংযোগকারী (ফিডহ্যান্ডলার)। এই প্রক্রিয়াগুলি সাধারণত বহিরাগত লাইব্রেরিগুলি ব্যবহার করে যেগুলি Q-তে লোড করা হয়৷ Q-তে C ইন্টারফেসটি অত্যন্ত সহজ এবং আপনাকে যেকোনো C/C++ লাইব্রেরির জন্য সহজেই প্রক্সি ফাংশন তৈরি করতে দেয়৷ Q হ্যান্ডেল করার জন্য যথেষ্ট দ্রুত, উদাহরণস্বরূপ, সমস্ত ইউরোপীয় স্টক এক্সচেঞ্জ থেকে একযোগে FIX বার্তাগুলির বন্যা প্রক্রিয়াকরণ।
• ডেটা ডিস্ট্রিবিউটর (টিকারপ্ল্যান্ট), যা সংযোগকারী এবং ভোক্তাদের মধ্যে একটি মধ্যবর্তী লিঙ্ক হিসাবে কাজ করে। একই সময়ে, তারা একটি বিশেষ বাইনারি লগে ইনকামিং ডেটা লেখে, যা সংযোগ হারানো বা পুনরায় চালু হওয়ার বিরুদ্ধে গ্রাহকদের জন্য দৃঢ়তা প্রদান করে।
• ইন-মেমরি ডাটাবেস (আরডিবি)। এই ডেটাবেসগুলি মেমরিতে সংরক্ষণ করে কাঁচা, তাজা ডেটাতে দ্রুততম অ্যাক্সেস সরবরাহ করে। সাধারণত, তারা দিনের বেলা টেবিলে ডেটা জমা করে এবং রাতে তাদের পুনরায় সেট করে।
• স্থায়ী ডাটাবেস (pdb)। এই ডাটাবেসগুলি নিশ্চিত করে যে আজকের ডেটা একটি ঐতিহাসিক ডাটাবেসে সংরক্ষণ করা হয়েছে। একটি নিয়ম হিসাবে, rdb এর বিপরীতে, তারা মেমরিতে ডেটা সংরক্ষণ করে না, তবে দিনের বেলা ডিস্কে একটি বিশেষ ক্যাশে ব্যবহার করে এবং মধ্যরাতে ঐতিহাসিক ডাটাবেসে ডেটা অনুলিপি করে।
• ঐতিহাসিক ডাটাবেস (এইচডিবি)। এই ডাটাবেসগুলি আগের দিন, মাস এবং বছরের জন্য ডেটা অ্যাক্সেস সরবরাহ করে। তাদের আকার (দিনে) শুধুমাত্র হার্ড ড্রাইভের আকার দ্বারা সীমাবদ্ধ। ডেটা যে কোনও জায়গায়, বিশেষ করে বিভিন্ন ডিস্কে অ্যাক্সেসের গতি বাড়ানোর জন্য অবস্থিত হতে পারে। এটি থেকে চয়ন করার জন্য বিভিন্ন অ্যালগরিদম ব্যবহার করে ডেটা সংকুচিত করা সম্ভব। ডাটাবেসের গঠনটি ভালভাবে নথিভুক্ত এবং সহজ, ডেটা নিয়মিত ফাইলগুলিতে কলাম দ্বারা কলাম সংরক্ষণ করা হয়, তাই অপারেটিং সিস্টেমের মাধ্যমে সেগুলি প্রক্রিয়া করা যেতে পারে।
• সমষ্টিগত তথ্য সহ ডাটাবেস। তারা বিভিন্ন সমষ্টি সঞ্চয় করে, সাধারণত এর সাথে, যন্ত্রের নাম এবং সময়ের ব্যবধান দ্বারা গোষ্ঠীবদ্ধ। ইন-মেমরি ডেটাবেসগুলি প্রতিটি আগত বার্তার সাথে তাদের অবস্থা আপডেট করে এবং ঐতিহাসিক ডেটাবেসগুলি ঐতিহাসিক ডেটাতে অ্যাক্সেস দ্রুত করার জন্য প্রাক-গণনা করা ডেটা সংরক্ষণ করে।
• পরিশেষে, গেটওয়ে প্রক্রিয়াসার্ভিসিং অ্যাপ্লিকেশন এবং ব্যবহারকারীদের. Q আপনাকে আগত বার্তাগুলির সম্পূর্ণরূপে অ্যাসিঙ্ক্রোনাস প্রক্রিয়াকরণ, ডেটাবেস জুড়ে বিতরণ, অ্যাক্সেসের অধিকার পরীক্ষা করা ইত্যাদি কার্যকর করার অনুমতি দেয়। মনে রাখবেন যে বার্তাগুলি সীমিত নয় এবং বেশিরভাগ ক্ষেত্রেই এসকিউএল এক্সপ্রেশন নয়, যেমনটি অন্যান্য ডাটাবেসের ক্ষেত্রে। প্রায়শই, এসকিউএল এক্সপ্রেশনটি একটি বিশেষ ফাংশনে লুকানো থাকে এবং ব্যবহারকারীর দ্বারা অনুরোধ করা পরামিতিগুলির উপর ভিত্তি করে নির্মিত হয় - সময় রূপান্তরিত হয়, ফিল্টার করা হয়, ডেটা স্বাভাবিক করা হয় (উদাহরণস্বরূপ, লভ্যাংশ প্রদান করা হলে স্টকের মূল্য সমান করা হয়) ইত্যাদি।

একটি ডেটা টাইপের জন্য সাধারণ আর্কিটেকচার:

স্পীড

যদিও Q একটি ব্যাখ্যা করা ভাষা, এটি একটি ভেক্টর ভাষাও। এর মানে হল যে অনেকগুলি অন্তর্নির্মিত ফাংশন, বিশেষ করে গাণিতিকগুলি, যেকোনো ফর্মের আর্গুমেন্ট নেয় - সংখ্যা, ভেক্টর, ম্যাট্রিস, তালিকা - এবং প্রোগ্রামার অ্যারে অপারেশন হিসাবে প্রোগ্রামটি বাস্তবায়ন করবে বলে আশা করা হচ্ছে। এই ধরনের একটি ভাষায়, আপনি যদি এক মিলিয়ন উপাদানের দুটি ভেক্টর যোগ করেন, তবে ভাষাটি ব্যাখ্যা করা হয়েছে তা আর গুরুত্বপূর্ণ নয়; সংযোজনটি একটি সুপার-অপ্টিমাইজ করা বাইনারি ফাংশন দ্বারা সঞ্চালিত হবে। যেহেতু Q প্রোগ্রামগুলির সিংহভাগ সময় ব্যয় করা হয় টেবিলগুলির সাথে অপারেশনে যা এই মৌলিক ভেক্টরাইজড ফাংশনগুলি ব্যবহার করে, তাই আউটপুট একটি খুব শালীন অপারেটিং গতি, যা আমাদেরকে একটি প্রক্রিয়াতেও বিপুল পরিমাণ ডেটা প্রক্রিয়া করার অনুমতি দেয়। এটি পাইথনের গাণিতিক লাইব্রেরির অনুরূপ - যদিও পাইথন নিজেই একটি খুব ধীর ভাষা, এটিতে নম্পির মতো অনেক দুর্দান্ত লাইব্রেরি রয়েছে যা আপনাকে একটি সংকলিত ভাষার গতিতে সংখ্যাসূচক ডেটা প্রক্রিয়া করতে দেয় (যাইহোক, নম্পি আদর্শগতভাবে Q-এর কাছাকাছি )
 
উপরন্তু, KX টেবিল ডিজাইন এবং তাদের সাথে কাজ অপ্টিমাইজ করার জন্য একটি খুব সতর্ক দৃষ্টিভঙ্গি নিয়েছে। প্রথমত, বিভিন্ন ধরণের সূচী সমর্থিত, যা বিল্ট-ইন ফাংশন দ্বারা সমর্থিত এবং শুধুমাত্র টেবিল কলামেই নয়, যেকোন ভেক্টরেও প্রয়োগ করা যেতে পারে - গ্রুপিং, বাছাই, অনন্যতা বৈশিষ্ট্য এবং ঐতিহাসিক ডাটাবেসের জন্য বিশেষ গ্রুপিং। সূচকটি সহজভাবে প্রয়োগ করা হয় এবং কলাম/ভেক্টরে উপাদান যোগ করার সময় স্বয়ংক্রিয়ভাবে সামঞ্জস্য করা হয়। সূচীগুলি মেমরি এবং ডিস্ক উভয় ক্ষেত্রেই টেবিল কলামে সমানভাবে সফলভাবে প্রয়োগ করা যেতে পারে। একটি QSQL ক্যোয়ারী চালানোর সময়, সম্ভব হলে সূচী স্বয়ংক্রিয়ভাবে ব্যবহার করা হয়। দ্বিতীয়ত, ঐতিহাসিক ডেটা নিয়ে কাজ করা হয় ওএস ফাইল (মেমরি ম্যাপ) প্রদর্শনের প্রক্রিয়ার মাধ্যমে। বড় টেবিলগুলি কখনই মেমরিতে লোড করা হয় না; পরিবর্তে, প্রয়োজনীয় কলামগুলি সরাসরি মেমরিতে ম্যাপ করা হয় এবং তাদের শুধুমাত্র সেই অংশটি আসলে লোড করা হয় (সূচীগুলি এখানেও সহায়তা করে) যা প্রয়োজন। ডেটা মেমরিতে থাকুক বা না থাকুক এটা প্রোগ্রামারের জন্য কোন পার্থক্য করে না; mmap-এর সাথে কাজ করার পদ্ধতি Q-এর গভীরতায় সম্পূর্ণ লুকানো থাকে।
 
KDB+ একটি রিলেশনাল ডাটাবেস নয়; টেবিলে ইচ্ছামত ডেটা থাকতে পারে, যখন নতুন উপাদান যোগ করা হলে টেবিলের সারিগুলির ক্রম পরিবর্তন হয় না এবং প্রশ্ন লেখার সময় ব্যবহার করা যেতে পারে এবং করা উচিত। টাইম সিরিজ (এক্সচেঞ্জ, টেলিমেট্রি, ইভেন্ট লগ থেকে ডেটা) নিয়ে কাজ করার জন্য এই বৈশিষ্ট্যটি জরুরীভাবে প্রয়োজন কারণ যদি ডেটা সময় অনুসারে সাজানো হয়, তাহলে ব্যবহারকারীকে প্রথম বা শেষ সারি বা N খুঁজে পেতে কোনো SQL কৌশল ব্যবহার করতে হবে না। সারণীতে সারি , কোন লাইনটি Nth লাইন অনুসরণ করে তা নির্ধারণ করুন ইত্যাদি। টেবিল যোগদানগুলি আরও সরলীকৃত করা হয়েছে, উদাহরণস্বরূপ, 16000 মিলিয়ন উপাদানের একটি টেবিলে 500 VOD.L (Vodafone) লেনদেনের শেষ উদ্ধৃতি খুঁজে পেতে ডিস্কে প্রায় এক সেকেন্ড এবং মেমরিতে দশ মিলিসেকেন্ড সময় লাগে৷
 
একটি সময় যোগদানের একটি উদাহরণ - উদ্ধৃতি সারণীটি মেমরিতে ম্যাপ করা হয়েছে, তাই VOD.L নির্দিষ্ট করার কোন প্রয়োজন নেই যেখানে, সিম কলামের সূচী এবং তথ্য যে সময় অনুসারে সাজানো হয়েছে তা স্পষ্টভাবে ব্যবহার করা হয়েছে। Q-তে প্রায় সব যোগদানই নিয়মিত ফাংশন, কোনো নির্বাচিত অভিব্যক্তির অংশ নয়:

1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26]  

অবশেষে, এটি লক্ষণীয় যে KX-এর প্রকৌশলীরা, আর্থার হুইটনি থেকে শুরু করে, সত্যিই দক্ষতার প্রতি আচ্ছন্ন এবং Q-এর মানক বৈশিষ্ট্যগুলি থেকে সর্বাধিক সুবিধা পেতে এবং সর্বাধিক সাধারণ ব্যবহারের ধরণগুলিকে অপ্টিমাইজ করার জন্য প্রচুর পরিশ্রম করেন৷
 

ফলাফল

KDB+ ব্যবসার মধ্যে জনপ্রিয় তার ব্যতিক্রমী বহুমুখীতার কারণে - এটি একটি ইন-মেমরি ডাটাবেস, ঐতিহাসিক ডেটা টেরাবাইট সংরক্ষণের জন্য একটি ডাটাবেস এবং ডেটা বিশ্লেষণের জন্য একটি প্ল্যাটফর্ম হিসাবে সমানভাবে কাজ করে। ডাটা প্রসেসিং সরাসরি ডাটাবেসে ঘটে বলে, কাজের উচ্চ গতি এবং সম্পদ সঞ্চয় অর্জন করা হয়। ডাটাবেস ফাংশনগুলির সাথে একীভূত একটি সম্পূর্ণ প্রোগ্রামিং ভাষা আপনাকে একটি প্ল্যাটফর্মে প্রয়োজনীয় প্রক্রিয়াগুলির সম্পূর্ণ স্ট্যাক বাস্তবায়ন করতে দেয় - ডেটা গ্রহণ থেকে ব্যবহারকারীর অনুরোধগুলি প্রক্রিয়াকরণ পর্যন্ত।
 

আরো তথ্যের জন্য,

ভুলত্রুটি

KDB+/Q এর একটি উল্লেখযোগ্য অসুবিধা হল উচ্চ প্রবেশ থ্রেশহোল্ড। ভাষার একটি অদ্ভুত সিনট্যাক্স রয়েছে, কিছু ফাংশন খুব বেশি ওভারলোড করা হয়েছে (মান, উদাহরণস্বরূপ, প্রায় 11টি ব্যবহারের ক্ষেত্রে রয়েছে)। সবচেয়ে গুরুত্বপূর্ণ, এটি প্রোগ্রাম লেখার জন্য একটি আমূল ভিন্ন পদ্ধতির প্রয়োজন। একটি ভেক্টর ভাষায়, আপনাকে অবশ্যই অ্যারে রূপান্তরের পরিপ্রেক্ষিতে সর্বদা চিন্তা করতে হবে, মানচিত্র/কমানোর ফাংশনের বিভিন্ন রূপের মাধ্যমে সমস্ত লুপ প্রয়োগ করতে হবে (যাকে Q-তে ক্রিয়াবিশেষণ বলা হয়), এবং ভেক্টর অপারেশনগুলিকে পারমাণবিক দিয়ে প্রতিস্থাপন করে অর্থ সঞ্চয় করার চেষ্টা করবেন না। উদাহরণস্বরূপ, একটি অ্যারের মধ্যে একটি উপাদানের Nth ঘটনার সূচী খুঁজে পেতে, আপনাকে লিখতে হবে:

1. (where element=vector)[N]  

যদিও এটি C/Java স্ট্যান্ডার্ডের দ্বারা ভয়ঙ্করভাবে অদক্ষ বলে মনে হয় (= একটি বুলিয়ান ভেক্টর তৈরি করে, যেখানে এটির উপাদানগুলির প্রকৃত সূচী প্রদান করে)। কিন্তু এই স্বরলিপি অভিব্যক্তিটির অর্থকে আরও স্পষ্ট করে তোলে এবং আপনি ধীর পারমাণবিকের পরিবর্তে দ্রুত ভেক্টর অপারেশন ব্যবহার করেন। একটি ভেক্টর ভাষা এবং অন্যদের মধ্যে ধারণাগত পার্থক্য প্রোগ্রামিং এর জন্য প্রয়োজনীয় এবং কার্যকরী পদ্ধতির মধ্যে পার্থক্যের সাথে তুলনীয় এবং আপনাকে এর জন্য প্রস্তুত থাকতে হবে।
 
কিছু ব্যবহারকারী QSQL এর সাথেও অসন্তুষ্ট। বিন্দু হল যে এটি শুধুমাত্র বাস্তব এসকিউএল মত দেখায়. বাস্তবে, এটি এসকিউএল-এর মতো অভিব্যক্তির একটি দোভাষী যা ক্যোয়ারী অপ্টিমাইজেশান সমর্থন করে না। ব্যবহারকারীকে অবশ্যই সর্বোত্তম প্রশ্ন লিখতে হবে এবং Q-তে, যার জন্য অনেকেই প্রস্তুত নয়। অন্যদিকে, অবশ্যই, আপনি একটি ব্ল্যাক-বক্স অপ্টিমাইজারের উপর নির্ভর না করে সর্বদা সর্বোত্তম ক্যোয়ারী নিজেই লিখতে পারেন।
 
প্লাস হিসেবে, Q - Q ফর মর্টালস এর উপর একটি বই বিনামূল্যে পাওয়া যাচ্ছে এখানে কোম্পানী ওয়েবসাইট, সেখানে সংগ্রহ করা অন্যান্য দরকারী উপকরণ অনেক আছে.
 
আরেকটি বড় অসুবিধা হল লাইসেন্সের খরচ। এটি প্রতি CPU প্রতি বছর হাজার হাজার ডলার। শুধুমাত্র বড় কোম্পানি এই ধরনের খরচ বহন করতে পারে। সম্প্রতি, KX তার লাইসেন্সিং নীতিকে আরও নমনীয় করেছে এবং Google এবং Amazon ক্লাউডে KDB+ ব্যবহারের সময় বা ভাড়া দেওয়ার সুযোগ প্রদান করে। KX ডাউনলোডের জন্যও অফার করে অ-বাণিজ্যিক উদ্দেশ্যে বিনামূল্যে সংস্করণ (32 বিট সংস্করণ বা অনুরোধে 64 বিট)।
 

প্রতিযোগীদের

অনুরূপ নীতির উপর নির্মিত বেশ কয়েকটি বিশেষায়িত ডেটাবেস রয়েছে - কলামার, ইন-মেমরি, খুব বড় পরিমাণ ডেটার উপর ফোকাস করা। সমস্যা হল এগুলি বিশেষায়িত ডাটাবেস। একটি আকর্ষণীয় উদাহরণ হল Clickhouse. এই ডাটাবেসটি ডিস্কে ডেটা সংরক্ষণ এবং একটি সূচী তৈরি করার জন্য KDB+-এর সাথে খুব অনুরূপ নীতি রয়েছে; এটি KDB+ এর চেয়ে দ্রুত কিছু প্রশ্ন সম্পাদন করে, যদিও উল্লেখযোগ্যভাবে নয়। কিন্তু ডাটাবেস হিসেবেও, ক্লিকহাউস KDB+ - ওয়েব অ্যানালিটিক্স বনাম আরবিট্রারি টাইম সিরিজের চেয়ে বেশি বিশেষায়িত (এই পার্থক্যটি খুবই গুরুত্বপূর্ণ - কারণ, উদাহরণস্বরূপ, ক্লিকহাউসে রেকর্ডের ক্রম ব্যবহার করা সম্ভব নয়)। কিন্তু, সবচেয়ে গুরুত্বপূর্ণভাবে, Clickhouse-এ KDB+-এর বহুমুখীতা নেই, এমন একটি ভাষা যা ডাটাবেসে সরাসরি ডেটা প্রক্রিয়াকরণের অনুমতি দেবে, এটি প্রথমে একটি পৃথক অ্যাপ্লিকেশনে লোড করার পরিবর্তে, নির্বিচারে SQL এক্সপ্রেশন তৈরি করা, একটি প্রশ্নে স্বেচ্ছাচারী ফাংশন প্রয়োগ করা, প্রক্রিয়া তৈরি করা। ঐতিহাসিক ডাটাবেস ফাংশন সম্পাদনের সাথে সম্পর্কিত নয়। অতএব, অন্যান্য ডাটাবেসের সাথে KDB+ তুলনা করা কঠিন; কিছু নির্দিষ্ট ব্যবহারের ক্ষেত্রে এগুলি আরও ভাল হতে পারে বা ক্লাসিক ডাটাবেস কাজের ক্ষেত্রে আরও ভাল হতে পারে, কিন্তু আমি অস্থায়ী ডেটা প্রক্রিয়াকরণের জন্য সমানভাবে কার্যকর এবং বহুমুখী টুলের কথা জানি না।
 

পাইথন ইন্টিগ্রেশন

প্রযুক্তির সাথে অপরিচিত লোকেদের জন্য KDB+ সহজে ব্যবহার করার জন্য, KX একটি একক প্রক্রিয়ার মধ্যে পাইথনের সাথে শক্তভাবে সংহত করার জন্য লাইব্রেরি তৈরি করেছে। আপনি হয় Q থেকে যেকোনো Python ফাংশন কল করতে পারেন, অথবা এর বিপরীতে - Python থেকে যেকোনো Q ফাংশন কল করতে পারেন (বিশেষ করে, QSQL এক্সপ্রেশন)। লাইব্রেরিগুলি, প্রয়োজনে রূপান্তরিত করে (সর্বদা দক্ষতার জন্য নয়), এক ভাষার বিন্যাস থেকে অন্য ভাষার বিন্যাসে ডেটা। ফলস্বরূপ, Q এবং Python এমন একটি ঘনিষ্ঠ সিম্বিয়াসিসে বাস করে যে তাদের মধ্যে সীমানা ঝাপসা হয়ে যায়। ফলস্বরূপ, প্রোগ্রামার, একদিকে, অসংখ্য দরকারী পাইথন লাইব্রেরিতে সম্পূর্ণ অ্যাক্সেস পায়, অন্যদিকে, সে পাইথনে একীভূত বড় ডেটার সাথে কাজ করার জন্য একটি দ্রুত বেস পায়, যা মেশিন লার্নিংয়ের সাথে জড়িতদের জন্য বিশেষভাবে কার্যকর। বা মডেলিং।
 
পাইথনে Q এর সাথে কাজ করা:

1. >>> q()  
2.q)trade:([]date:();sym:();qty:())  
3. q)  
4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200))  
5. k(',0')  
6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100))  
7. k(',1')  

রেফারেন্স

কোম্পানির সাইট- https://kx.com/
বিকাশকারীদের জন্য ওয়েবসাইট - https://code.kx.com/v2/
বুক কিউ ফর মর্টালস (ইংরেজিতে) - https://code.kx.com/q4m3/
কেএক্স কর্মচারীদের কাছ থেকে KDB+/Q অ্যাপ্লিকেশনের নিবন্ধগুলি - https://code.kx.com/v2/wp/

উত্স: www.habr.com