Utgivningen av graforienterad databas Nebula Graph 3.2.

Utgåvan av den öppna databasen Nebula Graph 3.2 har publicerats, avsedd för effektiv lagring av stora uppsättningar av sammanlänkade data som bildar en graf med miljarder noder och triljoner relationer. Projektet är skrivet i C++ och distribueras under Apache 2.0-licensen. Klientbibliotek för att kommunicera med databasen har förberetts för språken Go, Python och Java.

I databasen används en distribuerad arkitektur utan resursdelning (shared-nothing), vilket innebär att oberoende och självgående processer för förfrågningar (graphd) och lagring (storaged) körs. Orkestreringen av datatransfer och tillhandahållandet av metadata om grafen sköts av en metatjänst. För att säkerställa datakonsistens används ett protokoll baserat på RAFT-algoritmen.

Huvudfunktioner i Nebula Graph:

• Säkerhet genom att endast ge autentiserade användare åtkomst, vars rättigheter styres genom ett rollbaserat åtkomstkontrollsystem (RBAC).
• Möjlighet att ansluta olika typer av lagringsmotorer. Stöd för att utöka frågespråket med nya algoritmer.
• Säkerställande av minimala fördröjningar vid läsning eller skrivning av data och upprätthållande av hög genomströmning. Vid testning i ett kluster med en nod för graphd och tre noder för storaged, med en databas på 632 GB som inkluderade en graf med 1,2 miljarder noder och 8,4 miljarder kanter, var fördröjningarna på flera millisekunder och genomströmningen nådde upp till 140 000 förfrågningar per sekund.
• Imponerande linjär skalbarhet.
• SQL-liknande frågespråk som är tillräckligt kraftfullt och lätt att förstå. Stöder operationer som GO (tvåvägs traversering av grafens noder), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MINUS, PIPE (användning av resultatet från föregående fråga). Index och användardefinierade variabler stöds.
• Säkerställande av hög tillgänglighet och motståndskraft mot fel.
• Stöd för att skapa snapshots av databasens tillstånd för att underlätta säkerhetskopiering.
• Redo för industriell användning (redan i bruk i infrastrukturen hos företag som JD, Meituan och Xiaohongshu).
• Möjlighet att ändra lagringsschemat och uppdatera data utan att stoppa eller påverka pågående operationer.
• TTL-stöd för att begränsa livslängden på data.
• Kommandon för att hantera lagringsinställningar och värdar.
• Verktyg för att hantera jobb och schemaläggning av jobb (för tillfället stöds JOBB-TYPERNA COMPACT och FLUSH).
• Operationer för att söka efter den fullständiga vägen och kortaste vägen mellan angivna noder.
• OLAP-gränssnitt för integration med tredjepartsanalysplattformar.
• Verktyg för att importera data från CSV-filer eller från Spark.
• Exportera metrik för övervakning med hjälp av Prometheus och Grafana.
• Webbgränssnittet Nebula Graph Studio för visualisering av operationer med grafen, navigering i grafen, design av lagringsschema och dataladdning.

I den nya utgåvan:

• Stödet för funktionen extract() har lagts till för att extrahera delsträngar som uppfyller ett angivet uttryck.
• Inställningarna i konfigurationsfilen har optimerats.
• Optimeringsregler har lagts till för att ta bort onödiga appendVertices-operatörer och inaktivera tillämpning av kant- och nodfilter.
• Mängden data som kopieras för JOIN-operationen samt för operatörerna Traverse och AppendVertices har minskat.
• Prestanda för SHORTEST PATH och SUBGRAPH har optimerats.
• Minnesfördelningen har förbättrats (Arena Allocator används).

Källa: opennet.ru