Опубликован выпуск открытой СУБД Nebula Graph 3.2, предназначенной для эффективного хранения крупных наборов связанных между собой данных, образующих граф, который может насчитывать миллиарды узлов и триллионы связей. Проект написан на языке С++ и распространяется под лицензией Apache 2.0. Клиентские библиотеки для обращения к СУБД подготовлены для языков Go, Python и Java.
В СУБД применяется распределённая архитектура без разделения ресурсов (shared-nothing), подразумевающая запуск независимых и самодостаточных процессов обработки запросов graphd и процессов хранения storaged. Оркестровкой перемещения данных и предоставлением мета-информации о графе занимается мета-сервис. Для обеспечения согласованности данных используется протокол на базе алгоритма RAFT.
Các tính năng chính của Đồ thị tinh vân:
- Обеспечение безопасности через предоставление доступа только аутентифицированным пользователям, полномочия которых задаются через систему управления доступа на основе ролей (RBAC).
- Возможность подключения разных типов движков хранения. Поддержка расширения языка формирования запросов новыми алгоритмами.
- Обеспечение минимальных задержек при чтении или записи данных и поддержание высокой пропускной способности. При тестировании в кластере из одного узла graphd и трёх узлов storaged БД размером 632 GB, включающей граф из 1.2 миллиарда вершин и 8.4 миллиарда рёбер задержки были на уровне нескольких миллисекунд, а пропускная способность составила до 140 тысяч запросов в секунду.
- Khả năng mở rộng tuyến tính.
- Một ngôn ngữ truy vấn giống SQL mạnh mẽ và dễ hiểu. Các hoạt động được hỗ trợ bao gồm GO (di chuyển hai chiều các đỉnh đồ thị), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MINUS, PIPE (sử dụng kết quả từ truy vấn trước đó). Các chỉ mục và biến do người dùng xác định được hỗ trợ.
- Đảm bảo tính sẵn sàng cao và khả năng phục hồi khi có sự cố.
- Hỗ trợ tạo ảnh chụp nhanh với một phần trạng thái cơ sở dữ liệu để đơn giản hóa việc tạo bản sao lưu.
- Sẵn sàng cho sử dụng công nghiệp (đã được sử dụng trong cơ sở hạ tầng của JD, Meituan và Xiaohongshu).
- Khả năng thay đổi sơ đồ lưu trữ dữ liệu và cập nhật nó mà không dừng hoặc ảnh hưởng đến các hoạt động đang diễn ra.
- Hỗ trợ TTL để hạn chế tuổi thọ dữ liệu.
- Các lệnh quản lý cài đặt và máy chủ lưu trữ.
- Các công cụ để quản lý công việc và lên lịch khởi động công việc (trong số các công việc hiện được hỗ trợ là COMPACT và FLUSH).
- Hoạt động tìm đường đi đầy đủ và đường đi ngắn nhất giữa các đỉnh cho trước.
- Giao diện OLAP để tích hợp với nền tảng phân tích của bên thứ ba.
- Tiện ích nhập dữ liệu từ file CSV hoặc từ Spark.
- Экспорт метрик для мониторинга при помощи Prometheus и Grafana.
- Web-интерфейс Nebula Graph Studio для визуализации операций с графом, навигации по графу, проектирования схемы хранения и загрузки данных.
Trong bản phát hành mới:
- Добавлена поддержка функции extract() для извлечения подстроки, соответствующей заданному выражению.
- Оптимизированы настройки в файле конфигурации.
- Добавлены правила оптимизации для удалений бесполезного оператора AppendVertices и отключения применения фильтров рёбер и вершин.
- Сокращён объём данных, копируемых для операции JOIN, а также для операторов Traverse и AppendVertices.
- Оптимизирована производительность SHORTEST PATH и SUBGRAPH
- Улучшено распределение памяти (задействован Arena Allocator).
Nguồn: opennet.ru