Yandex го отвори кодот на дистрибуираниот DBMS YDB кој поддржува SQL

Yandex ги објави изворните текстови на дистрибуираниот YDB DBMS, кој имплементира поддршка за SQL дијалект и ACID трансакции. DBMS беше создаден од нула и првично беше развиен со цел да се обезбеди толеранција на грешки, автоматско враќање во случај на дефекти и приспособливост. Забележано е дека Yandex започна работни кластери YDB, вклучувајќи повеќе од 10 илјади јазли, складирајќи стотици петабајти податоци и опслужувајќи милиони дистрибуирани трансакции во секунда. YDB се користи во проекти на Yandex како што се Market, Cloud, Smart Home, Alice, Metrika и Auto.ru. Кодот е напишан во C/C++ и се дистрибуира под лиценцата Apache 2.0. За запознавање и брзо стартување, можете да користите готов контејнер Docker.

Карактеристики на проектот:

• Користење на моделот на релациони податоци со табели. YQL (YDB Query Language) се користи за пребарување и дефинирање на податочната шема, која е дијалект на SQL прилагоден за работа со големи дистрибуирани бази на податоци. Кога креирате шема за складирање, поддржано е групирање на табели како дрво, што наликува на директориуми во датотечен систем. Обезбедено е API за работа со податоци во JSON формат.
• Поддршка за пристап до податоци со користење на барања за скенирање дизајнирани да вршат аналитички ад-хок барања во однос на базата на податоци, извршени во режим само за читање и враќање на проток на grpc.
• Интеракцијата со DBMS и испраќањето барања се врши со помош на интерфејсот на командната линија, вградениот веб-интерфејс или YDB SDK, кој обезбедува библиотеки за C ++, C # (.NET), Go, Java, Node.js, PHP и Python.
• Способност да се создадат конфигурации толерантни за грешки кои продолжуваат да работат кога поединечни дискови, јазли, решетките, па дури и центрите за податоци не успеваат. YDB поддржува распоредување и синхрона репликација во три зони на достапност додека го одржува здравјето на кластерот во случај на дефект на една од зоните.
• Автоматски закрепнете од неуспеси со минимални доцнења за апликациите и автоматски одржувајте го наведениот вишок при складирање податоци.
• Автоматско креирање на индекси на примарниот клуч и можност за дефинирање на секундарни индекси за подобрување на ефикасноста на пристапот до произволни колони.
• Хоризонтална приспособливост. Како што расте оптоварувањето и големината на складираните податоци, кластерот може да се прошири со едноставно поврзување на нови јазли. Нивоата на пресметување и складирање се одвоени, што овозможува одделно скалирање на пресметување и складирање. Самиот DBMS ја следи униформната дистрибуција на податоците и оптоварувањето, земајќи ги предвид достапните хардверски ресурси. Можно е да се распоредат географски дистрибуирани конфигурации кои покриваат неколку центри за податоци во различни делови на светот.
• Поддршка за модел на силна конзистентност и ACID трансакции при обработка на прашања кои опфаќаат повеќе јазли и табели. За да ги подобрите перформансите, можете селективно да ја оневозможите контролата на конзистентноста.
• Автоматска репликација на податоци, автоматско партиционирање (партиционирање, споделување) кога се зголемува големината или оптоварувањето и автоматско вчитување и балансирање на податоци помеѓу јазлите.
• Складирање податоци директно на блок уреди со користење на основна компонента PDisk и VDisk слој. На врвот на VDisk, работи DSProxy, кој ја анализира достапноста и перформансите на дисковите со цел да ги исклучи доколку се откријат проблеми.
• Флексибилна архитектура која ви овозможува да креирате над YDB, разни услуги, до виртуелни блок уреди и постојани редици (постојана редица). Соодветност на апликацијата за различни типови на оптоварување, OLTP и OLAP (аналитички прашања).
• Поддршка за повеќекориснички (мултитенантни) и конфигурации без сервер. Способност за автентикација на клиенти. Корисниците можат да креираат свои виртуелни кластери и бази на податоци во заедничка заедничка инфраструктура, земајќи ја предвид потрошувачката на ресурси на ниво на бројот на барања и големината на податоците или со изнајмување/резервирање на одредени компјутерски ресурси и простор за складирање.
• Можност за прилагодување на животниот век на записите за автоматско бришење на застарени податоци.

Извор: opennet.ru