Издаване на графо-ориентираната СУБД Nebula Graph 3.2

Публикувана е версия 3.2 на отворената СУБД Nebula Graph, предназначена за ефективно съхранение на големи набори от свързани данни, образуващи граф, който може да включва милиарди възлови точки и трилиони връзки. Проектът е написан на C++ и се разпространява под лицензия Apache 2.0. Клиентските библиотеки за работа с СУБД са подготвени за езиците Go, Python и Java.

В СУБД се прилага разпределена архитектура без разделение на ресурси (shared-nothing), което предполага стартиране на независими и самостоятелни процеси за обработка на заявки graphd и процеси за съхранение storaged. Оркестрацията на преместването на данни и предоставянето на мета-информация за графа се осъществява от мета-сервиза. За осигуряване на съгласуваност на данните се използва протокол на база алгоритъма RAFT.

Основни характеристики на Nebula Graph:

• Осигуряване на сигурност чрез предоставяне на достъп само на аутентифицирани потребители, чиито права се определят чрез система за управление на достъпа на база роли (RBAC).
• Възможност за свързване на различни типове хранилища. Поддръжка за разширяване на езика за формирования на заявки с нови алгоритми.
• Осигуряване на минимални закъснения при четене или запис на данни и поддържане на висока пропускна способност. При тестване в клъстер с един възел graphd и три възела storaged с база данни от 632 GB, включваща граф с 1.2 милиарда върха и 8.4 милиарда ребра, закъсненията бяха на ниво от няколко милисекунди, а пропускната способност достигна до 140 хиляди заявки в секунда.
• Линейна мащабируемост.
• SQL-подобен език за запитвания, достатъчно мощен и лесен за възприемане. Поддържат се операции като GO (двупосочно обход на възлите на графа), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MINUS, PIPE (използване на резултата от предишното запитване). Поддържат се индекси и определяни от потребителя променливи.
• Обезпечаване на висока наличност и устойчивост на повреди.
• Подкрепа за създаване на моментни снимки със състоянието на БД за опростяване на създаването на резервни копия.
• Готовност за промишлено приложение (вече се използва в инфраструктурата на компаниите JD, Meituan и Xiaohongshu).
• Възможност за промяна на схемата за съхранение и обновяване на данни без спиране или влияние върху извършваните операции.
• Поддръжка на TTL за ограничаване на времето живот на данните.
• Команди за управление на настройки и хостове за съхранение.
• Инструменти за управление на задачи и планиране на изпълнението им (от текущите задачи са поддържани COMPACT и FLUSH).
• Операции за намиране на пълния път и най-краткия път между зададени върхове.
• OLAP интерфейс за интеграция с външни аналитични платформи.
• Утилити за внос на данни от CSV файлове или от Spark.
• Експортиране на метрики за мониторинг с помощта на Prometheus и Grafana.
• Web-интерфейс Nebula Graph Studio за визуализация на операции с графа, навигация по графа, проектиране на схемата на съхранение и зареждане на данни.

В новото издание:

• Добавена е поддръжка на функцията extract() за извличане на подстрока, която отговаря на определено условие.
• Оптимизирани настройки в конфигурационния файл.
• Добавени правила за оптимизация за премахване на излишния оператор AppendVertices и деактивиране на прилагането на филтри за ребра и върхове.
• Съкратен е обемът на данните, копирани за операцията JOIN, а също за операторите Traverse и AppendVertices.
• Оптимизирана е производителността на SHORTEST PATH и SUBGRAPH.
• Подобрено е разпределението на паметта (използван е Arena Allocator).

Източник: opennet.ru