TileDB 2.0 স্টোরেজ ইঞ্জিনের রিলিজ

প্রকাশিত খিলান টাইলডিবি 2.0, বৈজ্ঞানিক গণনায় ব্যবহৃত বহুমাত্রিক অ্যারে এবং ডেটা সংরক্ষণের জন্য অপ্টিমাইজ করা হয়েছে। জেনেটিক তথ্য, স্থানিক এবং আর্থিক তথ্য প্রক্রিয়াকরণের জন্য বিভিন্ন সিস্টেমকে TileDB-এর আবেদনের ক্ষেত্র হিসেবে উল্লেখ করা হয়েছে, যেমন অপারেটিং সিস্টেম sparse অথবা ক্রমাগত ভরা বহুমাত্রিক অ্যারে। টাইলডিবি একটি সি++ লাইব্রেরি অফার করে যাতে অ্যাপ্লিকেশনগুলিতে ডেটা এবং মেটাডেটাতে স্বচ্ছভাবে অ্যাক্সেস বিমূর্ত করা যায়, দক্ষ স্টোরেজের জন্য সমস্ত নিম্ন-স্তরের কাজের যত্ন নেওয়া হয়। প্রজেক্ট কোড C++ এ লেখা আছে দ্বারা বিতরণ এমআইটি লাইসেন্সের অধীনে। Linux, macOS এবং Windows এ কাজ সমর্থন করে।

TileDB এর প্রধান বৈশিষ্ট্য:

• স্পার্স অ্যারে সংরক্ষণের জন্য কার্যকর পদ্ধতি, যে ডেটা অবিচ্ছিন্ন নয়; অ্যারেটি টুকরো টুকরো দিয়ে পূর্ণ হয় এবং বেশিরভাগ উপাদান খালি থাকে বা একই মান নেয়।
• কী-মান বিন্যাসে বা কলাম সেটে ডেটা অ্যাক্সেস করার ক্ষমতা (ডেটাফ্রেম);
  

• ক্লাউড স্টোরেজ AWS S3, Google ক্লাউড স্টোরেজ এবং Azure Blob স্টোরেজের সাথে একীকরণ সমর্থন করে;
• টাইল্ড (ব্লক) অ্যারেগুলির জন্য সমর্থন;
• বিভিন্ন ডেটা কম্প্রেশন এবং এনক্রিপশন অ্যালগরিদম ব্যবহার করার ক্ষমতা;
• চেকসাম ব্যবহার করে অখণ্ডতা পরীক্ষা করার জন্য সমর্থন;
• সমান্তরাল ইনপুট/আউটপুট সহ মাল্টি-থ্রেডেড মোডে কাজ করুন;
• অতীতের একটি নির্দিষ্ট সময়ে স্থিতি পুনরুদ্ধার বা পুরো বড় সেটের পারমাণবিক আপডেট সহ সংরক্ষিত ডেটা সংস্করণের জন্য সমর্থন।
• মেটাডেটা লিঙ্ক করার ক্ষমতা;
• ডেটা গ্রুপিংয়ের জন্য সমর্থন;
• Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF এবং PrestoDB-তে নিম্ন-স্তরের স্টোরেজ ইঞ্জিন হিসাবে ব্যবহারের জন্য ইন্টিগ্রেশন মডিউল;
• Python, R, Java এবং Go-এর জন্য C++ API-এর জন্য বাইন্ডিং লাইব্রেরি।

রিলিজ 2.0 "ডেটাফ্রেম" ধারণার সমর্থনের জন্য উল্লেখযোগ্য, যা নির্দিষ্ট বৈশিষ্ট্যের সাথে আবদ্ধ, নির্বিচারে দৈর্ঘ্যের মানগুলির কলাম আকারে ডেটা সংরক্ষণ করার অনুমতি দেয়। সঞ্চয়স্থানটি ভিন্ন ভিন্ন আকারের স্পার্স অ্যারে প্রক্রিয়াকরণের জন্যও অপ্টিমাইজ করা হয়েছে (কোষগুলি বিভিন্ন ধরণের ডেটা সঞ্চয় করতে পারে এবং বিভিন্ন ধরণের কলামে মার্জ অপারেশন করতে পারে, উদাহরণস্বরূপ, নাম, সময় এবং মূল্য সংরক্ষণকারীরা)। স্ট্রিং ডেটা সহ কলামগুলির জন্য সমর্থন যোগ করা হয়েছে। Google ক্লাউড স্টোরেজ এবং Azure ব্লব স্টোরেজের সাথে ইন্টিগ্রেশনের জন্য মডিউল যোগ করা হয়েছে। R ভাষার জন্য API পুনরায় ডিজাইন করা হয়েছে।

উত্স: opennet.ru