Utgivelse av den graf-orienterte DBMS Nebula Graph 3.2

Utgitt en ny versjon av den åpne databasen Nebula Graph 3.2, som er ment for effektiv lagring av store, sammenkoblede datasett som danner en graf med milliarder av noder og trillioner av forbindelser. Prosjektet er skrevet i C++ og distribueres under Apache 2.0-lisensen. Klientbiblioteker for å få tilgang til databasen er utviklet for språkene Go, Python og Java.

Databasen benytter en distribuert arkitektur uten ressursdeling (shared-nothing), som innebærer kjøring av uavhengige og selvstendige prosesser for forespørselshåndtering (graphd) og lagringsprosesser (storaged). Orkestreringen av databevegelser og levering av metainformasjon om grafen håndteres av en metaservice. For å sikre datakonsistens benyttes en protokoll basert på RAFT-algoritmen.

Sikring

• Sikkerhet sikres ved å gi tilgang kun til autentiserte brukere, hvis rettigheter defineres gjennom et system for tilgangskontroll basert på roller (RBAC).
• Mulighet for å koble til ulike typer lagringsmotorer. Støtte for utvidelse av spørringsspråket med nye algoritmer.
• Sikring av minimal ventetid ved lesing eller skriving av data og opprettholdelse av høy gjennomstrømning. Under testing i et kluster med én node av graphd og tre noder av storaged, med en database på 632 GB, inkludert en graf med 1,2 milliarder noder og 8,4 milliarder kanter, var ventetiden på nivå med noen millisekunder, mens gjennomstrømningen nådde opp til 140 000 forespørsel per sekund.
• SQL-liknende spørringsspråk, tilstrekkelig kraftig og enkelt å oppfatte. Operasjoner som GO (to-veis traversering av grafens noder), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MINUS, PIPE (bruk av resultatet fra den forrige forespørselen) støttes. Indekser og brukerdefinerte variabler støttes.
• Sikring av høy tilgjengelighet og motstandsdyktighet mot feil.
• Støtte for oppretting av øyeblikksbilder av DB-tilstanden for å forenkle oppretting av sikkerhetskopier.
• Klar for industriell bruk (allerede i bruk i infrastrukturen til selskaper som JD, Meituan og Xiaohongshu).
• Klar til industriell bruk (allerede brukt i infrastrukturen til selskapene JD, Meituan og Xiaohongshu).
• Mulighet for å endre lagringsskjema og oppdatering av data uten stopp eller innvirkning på utførte operasjoner.
• Støtte for TTL for å begrense levetiden til data.
• Kommandoer for å administrere innstillinger og lagringsverter.
• Verktøy for å administrere oppgaver og planlegge kjøring av oppgaver (for øyeblikket støttes kun COMPACT og FLUSH).
• Operasjoner for å finne den komplette veien og den korteste veien mellom angitte noder.
• OLAP-grensesnitt for integrasjon med eksterne analyseplattformer.
• Verktøy for å importere data fra CSV-filer eller fra Spark.
• Eksport av metrikker for overvåking ved hjelp av Prometheus og Grafana.
• Web-grensesnittet Nebula Graph Studio for visualisering av grafoperasjoner, navigasjon i grafen, design av lagringsskjema og datalasting.

I den nye utgaven:

• Støtte for funksjonen extract() er lagt til for å trekke ut en substring som samsvarer med et angitt uttrykk.
• Innstillingene i konfigurasjonsfilen er optimalisert.
• Optimaliseringsregler for fjerning av unødvendige AppendVertices-operatører og deaktivere bruk av kanter og nodefiltre er lagt til.
• Volumet av data som kopieres for JOIN-operasjonen, samt for Traverse- og AppendVertices-operatørene, er redusert.
• Ytelsen til SHORTEST PATH og SUBGRAPH er optimalisert.
• Minnefordelingen er forbedret (Arena Allocator er aktivert).

Kilde: opennet.ru