De open source database Nebula Graph 3.2 is uitgebracht, bedoeld voor efficiƫnte opslag van grote sets onderling verbonden gegevens, die een grafiek vormen met miljarden knooppunten en triljoenen verbindingen. Het project is geschreven in C++ en wordt verspreid onder de Apache 2.0-licentie. Klantenbibliotheken voor toegang tot de database zijn beschikbaar voor de programmeertalen Go, Python en Java.
De database maakt gebruik van een gedistribueerde architectuur zonder resource-scheiding (shared-nothing), wat het opstarten van onafhankelijke en zelfvoorzienende processen voor het verwerken van verzoeken (graphd) en opslagprocessen (storaged) mogelijk maakt. Een metadataservice beheert de orkestratie van gegevensbewegingen en biedt metadata-informatie over de grafiek. Voor het waarborgen van gegevensconsistentie wordt een protocol op basis van het RAFT-algoritme gebruikt.
Belangrijkste kenmerken van Nebula Graph:
- Beveiliging door alleen toegang te verlenen aan geauthenticeerde gebruikers, wiens rechten worden gedefinieerd via een rolgebaseerd toegangscontrolesysteem (RBAC).
- Mogelijkheid om verschillende soorten opslagengines aan te sluiten. Ondersteuning voor het uitbreiden van de query-taal met nieuwe algoritmen.
- Minimale vertraging bij het lezen of schrijven van gegevens en het handhaven van een hoge doorvoersnelheid. Bij tests in een cluster met Ć©Ć©n knooppunt (graphd) en drie knooppunten (storaged) met een database van 632 GB, bestaande uit een grafiek met 1,2 miljard knooppunten en 8,4 miljard randen, waren de vertragingen op het niveau van enkele milliseconden, terwijl de doorvoersnelheid opliep tot 140.000 verzoeken per seconde.
- Lineaire schaalbaarheid.
- SQL-achtige query-taal die krachtig genoeg is en eenvoudig te begrijpen. Ondersteunt bewerkingen zoals GO (tweezijdig doorkruisen van grafiekknopen), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MINUS, PIPE (gebruik van het resultaat van het vorige verzoek). Ondersteunt indexen en door de gebruiker gedefinieerde variabelen.
- Hoge beschikbaarheid en fouttolerantie.
- Ondersteuning voor het maken van snapshots van de status van de database om het maken van back-ups te vergemakkelijken.
- Klaar voor industriƫel gebruik (al in gebruik door bedrijven zoals JD, Meituan en Xiaohongshu).
- Mogelijkheid om de opslagstructuur te wijzigen en gegevens bij te werken zonder onderbrekingen of invloed op de uitgevoerde operaties.
- Ondersteuning voor TTL om de levensduur van gegevens te beperken.
- Commando's voor het beheren van instellingen en opslaghosts.
- Tools voor het beheren van taken en het plannen van uitvoeringen (momenteel worden alleen COMPACT en FLUSH ondersteund).
- Operaties voor het zoeken naar de volledige pad en de kortste pad tussen opgegeven knooppunten.
- OLAP-interface voor integratie met externe analyseplatforms.
- Utilities voor het importeren van gegevens uit CSV-bestanden of uit Spark.
- Exporteer metrics voor monitoring met behulp van Prometheus en Grafana.
- Webinterface Nebula Graph Studio voor visualisatie van grafoperaties, navigatie in de grafiek, ontwerpen van opslagstructuren en gegevensinvoer.
In de nieuwe release:
- Ondersteuning toegevoegd voor de functie extract() voor het extraheren van een substring die overeenkomt met een gegeven expressie.
- Configuratie-instellingen geoptimaliseerd.
- Optimalisatieregels toegevoegd voor het verwijderen van de nutteloze AppendVertices-operator en het uitschakelen van het toepassen van filters op randen en knooppunten.
- De hoeveelheid gegevens die wordt gekopieerd voor de JOIN-operatie is verkort, evenals voor de Traverse- en AppendVertices-operatoren.
- Prestaties van SHORTEST PATH en SUBGRAPH geoptimaliseerd.
- Geheugenverdeling verbeterd (Arena Allocator gebruikt).
Bron: opennet.ru
