DuckDB 0.6.0 প্রকাশিত, বিশ্লেষণাত্মক প্রশ্নের জন্য SQLite বিকল্প

DuckDB 0.6.0 DBMS-এর রিলিজ পাওয়া যায়, SQLite-এর বৈশিষ্ট্য যেমন কমপ্যাক্টনেস, একটি এমবেডেড লাইব্রেরি আকারে সংযোগ করার ক্ষমতা, ডাটাবেসকে একটি ফাইলে সংরক্ষণ করা এবং একটি সুবিধাজনক CLI ইন্টারফেস, কার্যকর করার জন্য সরঞ্জাম এবং অপ্টিমাইজেশন সহ। সংরক্ষিত ডেটার একটি উল্লেখযোগ্য অংশকে কভার করে বিশ্লেষণাত্মক প্রশ্ন, উদাহরণস্বরূপ যা টেবিলের সম্পূর্ণ বিষয়বস্তুকে একত্রিত করে বা বেশ কয়েকটি বড় টেবিল একত্রিত করে। প্রকল্প কোড MIT লাইসেন্সের অধীনে বিতরণ করা হয়। বিকাশ এখনও পরীক্ষামূলক রিলিজ গঠনের পর্যায়ে রয়েছে, যেহেতু স্টোরেজ বিন্যাস এখনও স্থিতিশীল হয়নি এবং সংস্করণ থেকে সংস্করণে পরিবর্তিত হয়।

DuckDB একটি উন্নত SQL উপভাষা প্রদান করে যা অত্যন্ত জটিল এবং সময়সাপেক্ষ প্রশ্নগুলি পরিচালনা করার জন্য অতিরিক্ত ক্ষমতা অন্তর্ভুক্ত করে। জটিল প্রকারের ব্যবহার (অ্যারে, স্ট্রাকচার, ইউনিয়ন) এবং নির্বিচারে এবং নেস্টেড কোরিলেটিং সাবকুয়েরি চালানোর ক্ষমতা সমর্থিত। এটি CSV এবং Parquet ফাইল থেকে সরাসরি কোয়েরি চালানো, একসাথে একাধিক কোয়েরি চালানো সমর্থন করে। PostgreSQL DBMS থেকে আমদানি করা সম্ভব।

SQLite থেকে শেল কোড ছাড়াও, প্রকল্পটি একটি পৃথক লাইব্রেরিতে PostgreSQL থেকে একটি পার্সার ব্যবহার করে, MonetDB থেকে তারিখ গণিত উপাদান, উইন্ডো ফাংশনগুলির নিজস্ব বাস্তবায়ন (সেগমেন্ট ট্রি অ্যাগ্রিগেশন অ্যালগরিদমের উপর ভিত্তি করে), একটি নিয়মিত এক্সপ্রেশন প্রসেসর RE2 লাইব্রেরি, এর নিজস্ব ক্যোয়ারী অপ্টিমাইজার, এবং একটি MVCC কন্ট্রোল মেকানিজম একযোগে কার্য সম্পাদন (মাল্টি-ভার্সন কনকারেন্সি কন্ট্রোল), সেইসাথে হাইপার-পাইপলাইনিং ক্যোয়ারী এক্সিকিউশন অ্যালগরিদমের উপর ভিত্তি করে একটি ভেক্টরাইজড ক্যোয়ারী এক্সিকিউশন ইঞ্জিন, যা বৃহৎ মানের সেটের অনুমতি দেয়। এক অপারেশনে একবারে প্রক্রিয়া করা হবে।

নতুন প্রকাশের পরিবর্তনগুলির মধ্যে:

• স্টোরেজ ফরম্যাট উন্নত করতে কাজ চলতে থাকে। একটি আশাবাদী ডিস্ক লেখার মোড প্রয়োগ করা হয়েছে, যেখানে একটি লেনদেনে ডেটার একটি বড় সেট লোড করার সময়, COMMIT কমান্ডের মাধ্যমে লেনদেন নিশ্চিত হওয়ার জন্য অপেক্ষা না করে স্ট্রিমিং মোডে ডেটাবেস থেকে একটি ফাইলে ডেটা সংকুচিত এবং লেখা হয়। . যখন একটি COMMIT কমান্ড প্রাপ্ত হয়, তখন ডেটা ইতিমধ্যেই ডিস্কে লেখা হয় এবং যখন একটি ROLLBACK কার্যকর করা হয়, তখন এটি বাতিল করা হয়। পূর্বে, ডেটা প্রাথমিকভাবে সম্পূর্ণরূপে মেমরিতে সংরক্ষিত ছিল, এবং যখন প্রতিশ্রুতিবদ্ধ, এটি ডিস্কে সংরক্ষণ করা হয়েছিল।
• পৃথক টেবিলে ডেটা সমান্তরাল লোড করার জন্য সমর্থন যোগ করা হয়েছে, যা আপনাকে মাল্টি-কোর সিস্টেমে লোডিং গতি উল্লেখযোগ্যভাবে বৃদ্ধি করতে দেয়। উদাহরণস্বরূপ, আগের রিলিজে, 150-কোর CPU-তে 10 মিলিয়ন সারি সহ একটি ডাটাবেস লোড করতে 91 সেকেন্ড সময় লেগেছিল, কিন্তু নতুন সংস্করণে এই অপারেশনটি 17 সেকেন্ডের মধ্যে সম্পন্ন হয়। দুটি সমান্তরাল লোডিং মোড রয়েছে - রেকর্ডের ক্রম সংরক্ষণের সাথে এবং অর্ডার সংরক্ষণ ছাড়াই।
• ডেটা কম্প্রেশনের জন্য, FSST (ফাস্ট স্ট্যাটিক সিম্বল টেবিল) অ্যালগরিদম ব্যবহার করা হয়, যা আপনাকে সাধারণ মিলগুলির একটি সাধারণ অভিধান ব্যবহার করে স্ট্রিংয়ের ভিতরে ডেটা প্যাক করতে দেয়। নতুন অ্যালগরিদম ব্যবহারের ফলে পরীক্ষার ডাটাবেসের আকার 761MB থেকে 251MB করা সম্ভব হয়েছে।
• চিম্প এবং প্যাটাস অ্যালগরিদমগুলিকে ফ্লোটিং পয়েন্ট নম্বর (ডবল এবং ফ্লোট) সংকুচিত করার প্রস্তাব করা হয়েছে। পূর্ববর্তী গরিলা অ্যালগরিদমের তুলনায়, চিম্প উচ্চ স্তরের কম্প্রেশন এবং দ্রুত ডিকম্প্রেশন প্রদান করে। প্যাটাস অ্যালগরিদম কম্প্রেশন রেশিওতে চিম্পের চেয়ে পিছিয়ে আছে, কিন্তু ডিকম্প্রেশন গতিতে অনেক বেশি দ্রুত, যা অসংকুচিত ডেটা পড়ার থেকে প্রায় আলাদা নয়।
• CSV ফাইলগুলি থেকে একাধিক সমান্তরাল স্ট্রীমে (SET experimental_parallel_csv=true) ডেটা লোড করার জন্য একটি পরীক্ষামূলক ক্ষমতা যুক্ত করা হয়েছে, যা বড় CSV ফাইলগুলি লোড করতে যে সময় নেয় তা উল্লেখযোগ্যভাবে হ্রাস করে৷ উদাহরণস্বরূপ, যখন এই বিকল্পটি সক্ষম করা হয়েছিল, তখন একটি 720 MB CSV ফাইলের ডাউনলোড সময় 3.5 থেকে 0.6 সেকেন্ডে কমিয়ে আনা হয়েছিল৷
• সূচক তৈরি এবং ব্যবস্থাপনা কার্যক্রমের সমান্তরাল সম্পাদনের সম্ভাবনা বাস্তবায়িত হয়েছে। উদাহরণস্বরূপ, 16 মিলিয়ন রেকর্ড সহ একটি কলামে INDEX তৈরি করুন অপারেশন 5.92 থেকে 1.38 সেকেন্ডে কমিয়ে আনা হয়েছে৷
• "COUNT(DISTINCT col)" অভিব্যক্তি সম্বলিত ক্যোয়ারীতে একত্রীকরণ ক্রিয়াকলাপের সমান্তরালকরণ সক্ষম করা হয়েছে৷
• SQL UNION প্রকারের জন্য সমর্থন যোগ করেছে, যা একাধিক প্রকারকে একটি উপাদানের সাথে আবদ্ধ করার অনুমতি দেয় (উদাহরণস্বরূপ, "UNION(num INT, ত্রুটি VARCHAR)")।
• SQL "SELECT" এর পরিবর্তে "FROM" শব্দ দিয়ে শুরু হওয়া প্রশ্নগুলি তৈরি করার ক্ষমতা প্রদান করে। এই ক্ষেত্রে, এটি অনুমান করা হয় যে প্রশ্নটি "SELECT *" দিয়ে শুরু হয়।
• এসকিউএল COLUMNS এক্সপ্রেশনের জন্য সমর্থন যোগ করেছে, যা আপনাকে এক্সপ্রেশনের নকল না করে একাধিক কলামে একটি অপারেশন করতে দেয়। উদাহরণস্বরূপ, "obs থেকে MIN(COLUMNS(*)) নির্বাচন করুন;" obs টেবিলের প্রতিটি কলামের জন্য MIN ফাংশন কার্যকর হবে এবং "obs থেকে COLUMNS('val[0-9]+') নির্বাচন করুন;" "val" এবং সংখ্যা সমন্বিত একটি নাম সহ কলামগুলির জন্য।
• তালিকায় ক্রিয়াকলাপের জন্য সমর্থন যোগ করা হয়েছে, উদাহরণস্বরূপ, " [1, 1, 2]] AS l এ x এর জন্য [x + 3 নির্বাচন করুন;"।
• মেমরি খরচ অপ্টিমাইজ করা হয়েছে. ডিফল্টরূপে, লিনাক্স প্ল্যাটফর্ম মেমরি পরিচালনার জন্য জেমলোক লাইব্রেরি ব্যবহার করে। মেমরি সীমিত হলে হ্যাশ মার্জিং অপারেশনের উল্লেখযোগ্যভাবে উন্নত কর্মক্ষমতা।
• কমান্ড লাইন ইন্টারফেসে ".mode duckbox" আউটপুট মোড যোগ করা হয়েছে, যা টার্মিনাল উইন্ডোর প্রস্থ বিবেচনা করে মাঝের কলামগুলিকে বাতিল করে দেয় (অনেক সংখ্যক কলামের সাথে প্রশ্নের ফলাফলগুলি দ্রুত দৃশ্যমানভাবে মূল্যায়ন করার জন্য উপযুক্ত, যেমন "নির্বাচন * FROM tbl”, যা সাধারণ মোডে বেশ কয়েকটি লাইনে ছড়িয়ে পড়ে)। ".maxrows X" প্যারামিটার ব্যবহার করে, আপনি অতিরিক্তভাবে প্রদর্শিত সারির সংখ্যা সীমিত করতে পারেন।
• CLI প্রসঙ্গ বিবেচনা করে ইনপুটের স্বয়ংসম্পূর্ণতা প্রদান করে (কিওয়ার্ড, টেবিলের নাম, ফাংশন, কলামের নাম এবং ফাইলের নামগুলির ইনপুট সম্পূর্ণ হয়েছে)।
• CLI-এর একটি কোয়েরি অগ্রগতি নির্দেশক ডিফল্টরূপে সক্রিয় করা আছে।

উত্স: opennet.ru