Опубликован выпуск открытой СУБД Nebula Graph 3.2, предназначенной для эффективного хранения крупных наборов связанных между собой данных, образующих граф, который может насчитывать миллиарды узлов и триллионы связей. Проект написан на языке С++ и распространяется под лицензией Apache 2.0. Клиентские библиотеки для обращения к СУБД подготовлены для языков Go, Python и Java.
В СУБД применяется распределённая архитектура без разделения ресурсов (shared-nothing), подразумевающая запуск независимых и самодостаточных процессов обработки запросов graphd и процессов хранения storaged. Оркестровкой перемещения данных и предоставлением мета-информации о графе занимается мета-сервис. Для обеспечения согласованности данных используется протокол на базе алгоритма RAFT.
Pagrindinės ūko grafiko savybės:
- Обеспечение безопасности через предоставление доступа только аутентифицированным пользователям, полномочия которых задаются через систему управления доступа на основе ролей (RBAC).
- Возможность подключения разных типов движков хранения. Поддержка расширения языка формирования запросов новыми алгоритмами.
- Обеспечение минимальных задержек при чтении или записи данных и поддержание высокой пропускной способности. При тестировании в кластере из одного узла graphd и трёх узлов storaged БД размером 632 GB, включающей граф из 1.2 миллиарда вершин и 8.4 миллиарда рёбер задержки были на уровне нескольких миллисекунд, а пропускная способность составила до 140 тысяч запросов в секунду.
- Linijinis mastelio keitimas.
- Į SQL panaši užklausų kalba, kuri yra galinga ir lengvai suprantama. Palaikomos operacijos apima GO (dvikryptis grafo viršūnių perėjimas), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MINUS, PIPE (naudojant ankstesnės užklausos rezultatą). Palaikomi indeksai ir vartotojo nustatyti kintamieji.
- Aukšto prieinamumo ir atsparumo gedimams užtikrinimas.
- Palaikymas kuriant momentines nuotraukas su duomenų bazės būsenos dalimi, siekiant supaprastinti atsarginių kopijų kūrimą.
- Paruoštas pramoniniam naudojimui (jau naudojamas JD, Meituan ir Xiaohongshu infrastruktūroje).
- Galimybė keisti duomenų saugojimo schemą ir ją atnaujinti nestabdant ir nepaveikiant vykdomų operacijų.
- TTL palaikymas, siekiant apriboti duomenų naudojimo laiką.
- Nustatymų ir saugyklos prieglobų valdymo komandos.
- Darbų valdymo ir darbų paleidimo planavimo įrankiai (iš šiuo metu palaikomų darbų yra COMPACT ir FLUSH).
- Viso kelio ir trumpiausio kelio tarp nurodytų viršūnių paieškos operacijos.
- OLAP sąsaja, skirta integracijai su trečiųjų šalių analizės platformomis.
- Priemonės, skirtos duomenims importuoti iš CSV failų arba iš „Spark“.
- Экспорт метрик для мониторинга при помощи Prometheus и Grafana.
- Web-интерфейс Nebula Graph Studio для визуализации операций с графом, навигации по графу, проектирования схемы хранения и загрузки данных.
Naujame leidime:
- Добавлена поддержка функции extract() для извлечения подстроки, соответствующей заданному выражению.
- Оптимизированы настройки в файле конфигурации.
- Добавлены правила оптимизации для удалений бесполезного оператора AppendVertices и отключения применения фильтров рёбер и вершин.
- Сокращён объём данных, копируемых для операции JOIN, а также для операторов Traverse и AppendVertices.
- Оптимизирована производительность SHORTEST PATH и SUBGRAPH
- Улучшено распределение памяти (задействован Arena Allocator).
Šaltinis: opennet.ru