TileDB 2.0 स्टोरेज इंजिनचे प्रकाशन

वर प्रकाशित भांडार टाइलडीबी 2.0, वैज्ञानिक गणनांमध्ये वापरलेले बहुआयामी ॲरे आणि डेटा संचयित करण्यासाठी ऑप्टिमाइझ केलेले. अनुवांशिक माहिती, स्थानिक आणि आर्थिक डेटावर प्रक्रिया करण्यासाठी विविध प्रणालींचा उल्लेख टाइलडीबीसाठी अर्जाचे क्षेत्र म्हणून केला जातो, उदा. ऑपरेटिंग सिस्टम विरळ किंवा सतत भरलेले बहुआयामी ॲरे. TileDB अनुप्रयोगांमध्ये डेटा आणि मेटाडेटामध्ये पारदर्शकपणे प्रवेश करण्यासाठी, कार्यक्षम स्टोरेजसाठी सर्व निम्न-स्तरीय कामाची काळजी घेण्यासाठी C++ लायब्ररी ऑफर करते. प्रकल्प कोड C++ आणि मध्ये लिहिलेला आहे द्वारा वितरित एमआयटी परवान्या अंतर्गत. Linux, macOS आणि Windows वर कामाला सपोर्ट करते.

टाइलडीबीची मुख्य वैशिष्ट्ये:

• विरळ ॲरे संचयित करण्याच्या कार्यक्षम पद्धती, डेटा ज्यामध्ये सतत नाही; ॲरे तुकड्यांनी भरलेला असतो आणि बहुतेक घटक रिक्त राहतात किंवा समान मूल्य घेतात.
• की-व्हॅल्यू फॉरमॅट किंवा कॉलम सेटमध्ये डेटा ऍक्सेस करण्याची क्षमता (डेटाफ्रेम);
  

• क्लाउड स्टोरेज AWS S3, Google Cloud Storage आणि Azure Blob Storage सह एकत्रीकरणास समर्थन देते;
• टाइल केलेल्या (ब्लॉक) ॲरेसाठी समर्थन;
• भिन्न डेटा कॉम्प्रेशन आणि एन्क्रिप्शन अल्गोरिदम वापरण्याची क्षमता;
• चेकसम वापरून अखंडता तपासणीसाठी समर्थन;
• समांतर इनपुट/आउटपुटसह मल्टी-थ्रेडेड मोडमध्ये कार्य करा;
• भूतकाळातील एका विशिष्ट टप्प्यावर स्थिती पुनर्प्राप्त करण्यासाठी किंवा संपूर्ण मोठ्या संचांच्या अणू अद्यतनांसह, संग्रहित डेटाच्या आवृत्तीसाठी समर्थन.
• मेटाडेटा लिंक करण्याची क्षमता;
• डेटा ग्रुपिंगसाठी समर्थन;
• Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF आणि PrestoDB मध्ये निम्न-स्तरीय स्टोरेज इंजिन म्हणून वापरण्यासाठी एकत्रीकरण मॉड्यूल;
• Python, R, Java आणि Go साठी C++ API साठी बंधनकारक लायब्ररी.

रिलीझ 2.0 हे "डेटाफ्रेम" संकल्पनेच्या समर्थनासाठी लक्षणीय आहे, जे विशिष्ट गुणधर्मांशी जोडलेल्या अनियंत्रित लांबीच्या मूल्यांच्या स्तंभांच्या स्वरूपात डेटा संग्रहित करण्यास अनुमती देते. विषम आकारांच्या विरळ ॲरेवर प्रक्रिया करण्यासाठी देखील स्टोरेज ऑप्टिमाइझ केले जाते (सेल्स विविध प्रकारांचा डेटा संग्रहित करू शकतात आणि विविध प्रकारच्या स्तंभांवर विलीनीकरण ऑपरेशन करू शकतात, उदाहरणार्थ, नाव, वेळ आणि किंमत संग्रहित करणारे). स्ट्रिंग डेटासह स्तंभांसाठी समर्थन जोडले. Google Cloud Storage आणि Azure Blob Storage सह एकत्रीकरणासाठी मॉड्यूल जोडले. R भाषेसाठी API पुन्हा डिझाइन केले गेले आहे.

स्त्रोत: opennet.ru