TileDB 2.0 സ്റ്റോറേജ് എഞ്ചിന്റെ റിലീസ്

പ്രസിദ്ധീകരിച്ചു റിപ്പോസിറ്ററി ടൈൽഡിബി 2.0, ശാസ്ത്രീയ കണക്കുകൂട്ടലുകളിൽ ഉപയോഗിക്കുന്ന മൾട്ടിഡൈമൻഷണൽ അറേകളും ഡാറ്റയും സംഭരിക്കുന്നതിന് ഒപ്റ്റിമൈസ് ചെയ്‌തു. ജനിതക വിവരങ്ങൾ, സ്പേഷ്യൽ, ഫിനാൻഷ്യൽ ഡാറ്റ എന്നിവ പ്രോസസ്സ് ചെയ്യുന്നതിനുള്ള വിവിധ സംവിധാനങ്ങൾ ടൈൽഡിബിയുടെ ആപ്ലിക്കേഷന്റെ മേഖലകളായി സൂചിപ്പിച്ചിരിക്കുന്നു, അതായത്. ഓപ്പറേറ്റിങ് സിസ്റ്റങ്ങൾ വിരളമായ അല്ലെങ്കിൽ തുടർച്ചയായി നിറച്ച മൾട്ടിഡൈമൻഷണൽ അറേകൾ. കാര്യക്ഷമമായ സംഭരണത്തിനായി എല്ലാ താഴ്ന്ന നിലയിലുള്ള ജോലികളും ശ്രദ്ധിക്കുന്ന, ആപ്ലിക്കേഷനുകളിലെ ഡാറ്റയിലേക്കും മെറ്റാഡാറ്റയിലേക്കുമുള്ള ആക്‌സസ് സുതാര്യമായി സംഗ്രഹിക്കുന്നതിന് TileDB ഒരു C++ ലൈബ്രറി വാഗ്ദാനം ചെയ്യുന്നു. പ്രോജക്റ്റ് കോഡ് C++ ൽ എഴുതിയിരിക്കുന്നു വിതരണം ചെയ്തത് MIT ലൈസൻസിന് കീഴിൽ. Linux, macOS, Windows എന്നിവയിലെ പ്രവർത്തനത്തെ പിന്തുണയ്ക്കുന്നു.

ടൈൽഡിബിയുടെ പ്രധാന സവിശേഷതകൾ:

• വിരളമായ അറേകൾ സംഭരിക്കുന്നതിനുള്ള കാര്യക്ഷമമായ രീതികൾ, ഡാറ്റ തുടർച്ചയായി അല്ല; അറേ ശകലങ്ങൾ കൊണ്ട് നിറഞ്ഞിരിക്കുന്നു, കൂടാതെ മിക്ക ഘടകങ്ങളും ശൂന്യമായി തുടരുകയോ അതേ മൂല്യം എടുക്കുകയോ ചെയ്യുന്നു.
• കീ-വാല്യൂ ഫോർമാറ്റിലോ കോളം സെറ്റുകളിലോ ഡാറ്റ ആക്സസ് ചെയ്യാനുള്ള കഴിവ് (ഡാറ്റാഫ്രെയിം);
  

• ക്ലൗഡ് സ്റ്റോറേജ് AWS S3, Google Cloud Storage, Azure Blob സ്റ്റോറേജ് എന്നിവയുമായുള്ള സംയോജനത്തെ പിന്തുണയ്ക്കുന്നു;
• ടൈൽഡ് (ബ്ലോക്ക്) അറേകൾക്കുള്ള പിന്തുണ;
• വ്യത്യസ്ത ഡാറ്റ കംപ്രഷൻ, എൻക്രിപ്ഷൻ അൽഗോരിതങ്ങൾ ഉപയോഗിക്കാനുള്ള കഴിവ്;
• ചെക്ക്സം ഉപയോഗിച്ച് സമഗ്രത പരിശോധിക്കുന്നതിനുള്ള പിന്തുണ;
• സമാന്തര ഇൻപുട്ട് / ഔട്ട്പുട്ട് ഉപയോഗിച്ച് മൾട്ടി-ത്രെഡ് മോഡിൽ പ്രവർത്തിക്കുക;
• ഭൂതകാലത്തിലെ ഒരു നിശ്ചിത ഘട്ടത്തിൽ അവസ്ഥ വീണ്ടെടുക്കുന്നതിന് അല്ലെങ്കിൽ മുഴുവൻ വലിയ സെറ്റുകളുടെയും ആറ്റോമിക് അപ്‌ഡേറ്റുകൾ ഉൾപ്പെടെ സംഭരിച്ച ഡാറ്റ പതിപ്പിക്കുന്നതിനുള്ള പിന്തുണ.
• മെറ്റാഡാറ്റ ലിങ്ക് ചെയ്യാനുള്ള കഴിവ്;
• ഡാറ്റ ഗ്രൂപ്പിംഗിനുള്ള പിന്തുണ;
• Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF, PrestoDB എന്നിവയിൽ ലോ-ലെവൽ സ്റ്റോറേജ് എഞ്ചിനായി ഉപയോഗിക്കുന്നതിനുള്ള ഇന്റഗ്രേഷൻ മൊഡ്യൂളുകൾ;
• പൈത്തൺ, ആർ, ജാവ, ഗോ എന്നിവയ്‌ക്കായുള്ള C++ API-യ്‌ക്കായുള്ള ബൈൻഡിംഗ് ലൈബ്രറികൾ.

"ഡാറ്റാഫ്രെയിം" എന്ന ആശയത്തിനായുള്ള പിന്തുണയിൽ റിലീസ് 2.0 ശ്രദ്ധേയമാണ്, ഇത് ചില ആട്രിബ്യൂട്ടുകളുമായി ബന്ധിപ്പിച്ചിരിക്കുന്ന അനിയന്ത്രിതമായ ദൈർഘ്യമുള്ള മൂല്യങ്ങളുടെ നിരകളുടെ രൂപത്തിൽ ഡാറ്റ സംഭരിക്കാൻ അനുവദിക്കുന്നു. വൈവിധ്യമാർന്ന വലുപ്പത്തിലുള്ള വിരളമായ ശ്രേണികൾ പ്രോസസ്സ് ചെയ്യുന്നതിനും സ്റ്റോറേജ് ഒപ്റ്റിമൈസ് ചെയ്തിരിക്കുന്നു (സെല്ലുകൾക്ക് വ്യത്യസ്ത തരം ഡാറ്റ സംഭരിക്കാനും വ്യത്യസ്ത തരം കോളങ്ങളിൽ ലയന പ്രവർത്തനങ്ങൾ നടത്താനും കഴിയും, ഉദാഹരണത്തിന്, പേര്, സമയം, വില എന്നിവ സംഭരിക്കുന്നവ). സ്ട്രിംഗ് ഡാറ്റയുള്ള നിരകൾക്കുള്ള പിന്തുണ ചേർത്തു. Google Cloud Storage, Azure Blob Storage എന്നിവയുമായി സംയോജിപ്പിക്കുന്നതിന് മൊഡ്യൂളുകൾ ചേർത്തു. R ഭാഷയ്ക്കുള്ള API പുനർരൂപകൽപ്പന ചെയ്‌തു.

അവലംബം: opennet.ru