Udgivelsen af den åbne DBMS Nebula Graph 3.2 er blevet offentliggjort, designet til effektiv lagring af store sæt af indbyrdes forbundne data, der danner en graf, der kan nummerere milliarder af noder og billioner af forbindelser. Projektet er skrevet i C++ og distribueret under Apache 2.0-licensen. Klientbiblioteker til adgang til DBMS er forberedt til Go-, Python- og Java-sprogene.
DBMS'et bruger en distribueret arkitektur uden at dele ressourcer (shared-nothing), hvilket indebærer lanceringen af uafhængige og selvforsynende grafiske forespørgselsprocesser og storaged storage-processer. Metatjenesten orkestrerer bevægelsen af data og giver metainformation om grafen. For at sikre datakonsistens anvendes en protokol baseret på RAFT-algoritmen.
Hovedtræk ved Nebula Graph:
- Sikring af sikkerhed ved kun at begrænse adgangen til godkendte brugere, hvis tilladelser er indstillet gennem et rollebaseret adgangskontrolsystem (RBAC).
- Mulighed for at forbinde forskellige typer lagermotorer. Understøttelse af udvidelse af forespørgselsgenereringssproget med nye algoritmer.
- Sikring af minimal latenstid ved læsning eller skrivning af data og opretholdelse af høj gennemstrømning. Når den blev testet i en klynge af en grafisk node og tre lagrede noder, en 632 GB database, inklusive en graf på 1.2 milliarder hjørner og 8.4 milliarder kanter, var latenserne et par millisekunder, og gennemløbet var op til 140 tusinde anmodninger i sekundet.
- Lineær skalerbarhed.
- Et SQL-lignende forespørgselssprog, der er kraftfuldt og let at forstå. Understøttede operationer inkluderer GO (tovejs gennemgang af grafens hjørner), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MINUS, PIPE (ved hjælp af resultatet fra en tidligere forespørgsel). Indekser og brugerdefinerede variabler understøttes.
- Sikring af høj tilgængelighed og modstandsdygtighed over for fejl.
- Understøttelse af oprettelse af snapshots med et udsnit af databasetilstanden for at forenkle oprettelsen af sikkerhedskopier.
- Klar til industriel brug (allerede brugt i infrastrukturen i JD, Meituan og Xiaohongshu).
- Muligheden for at ændre datalagringsskemaet og opdatere det uden at stoppe eller påvirke igangværende drift.
- TTL-understøttelse for at begrænse datalevetiden.
- Kommandoer til styring af indstillinger og lagerværter.
- Værktøjer til at styre arbejde og planlægge arbejdslanceringer (af de værker, der i øjeblikket understøttes, er COMPACT og FLUSH).
- Operationer med at finde den komplette vej og den korteste vej mellem givne hjørner.
- OLAP-grænseflade til integration med tredjeparts analyseplatforme.
- Hjælpeprogrammer til at importere data fra CSV-filer eller fra Spark.
- Eksporter målinger til overvågning ved hjælp af Prometheus og Grafana.
- Nebula Graph Studio webgrænseflade til visualisering af grafoperationer, grafnavigation, design af datalagring og indlæsningsskemaer.
I den nye udgivelse:
- Tilføjet understøttelse af funktionen extract() for at udtrække en understreng, der matcher et givet udtryk.
- Optimerede indstillinger i konfigurationsfilen.
- Tilføjede optimeringsregler for at fjerne den ubrugelige AppendVertices-operator og deaktivere anvendelsen af kant- og vertexfiltre.
- Mængden af kopieret data til JOIN-operationen såvel som for Traverse- og AppendVertices-operatorerne er blevet reduceret.
- Optimeret ydeevne af KORTESTE VEJ og SUBGRAF
- Forbedret hukommelsestildeling (Arena Allocator aktiveret).
Kilde: opennet.ru
