Publicēts atvērtais Nebula Graph 3.2 datu bāzes izlaidums, kas paredzēts efektīvai lielu saistītu datu kopu glabāšanai, kas veido grafu ar miljardiem mezglu un triljoniem savienojumu. Projekts ir uzrakstīts C++ un izplatīts saskaņā ar Apache 2.0 licenci. Klienta bibliotēkas datu bāzes piekļuvei ir sagatavotas valodām Go, Python un Java.
Datu bāzē tiek izmantota dalītā arhitektūra bez resursu sadalīšanas (shared-nothing), kas paredz neatkarīgu un pašu pietiekamu pieprasījumu apstrādes procesu (graphd) un glabāšanas procesu (storaged) palaišanu. Datu pārvietošanu un metainformācijas sniegšanu par grafu koordinē meta pakalpojums. Lai nodrošinātu datu konsekvenci, tiek izmantots protokols, pamatojoties uz RAFT algoritmu.
Galvenās Nebula Graph īpašības:
- Drošības nodrošināšana, piekļuvi sniedzot tikai autentificētiem lietotājiem, kuru pilnvaras tiek noteiktas caur lomu balstītu piekļuves vadības sistēmu (RBAC).
- Iespēja pieslēgt dažādu veidu glabāšanas dzinējus. Atbalsts vaicājumu valodas paplašināšanai ar jaunām algoritmām.
- Minimālu aizturi nodrošināšana datu lasīšanā vai rakstīšanā un augstas caurlaidības uzturēšana. Testējot vienā mezgu klasterī ar graphd un trim storaged mezgliem, datu bāze ar 632 GB lielumu, kas ietver grafu ar 1.2 miljardiem mezglu un 8.4 miljardiem malām, aiztures līmenis bija dažas milisekundes, bet caurlaidība sasniedza līdz 140 tūkstošiem pieprasījumu sekundē.
- Lineāra mērogojamība.
- SQL līdzīga vaicājumu valoda, kas ir pietiekami jaudīga un viegli uztverama. Atbalstītas tādas operācijas kā GO (divvirzienu grafu mezglu apmeklējums), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MINUS, PIPE (iepriekšējā pieprasījuma rezultātu izmantošana). Atbalstīti indeksi un lietotāja definētas mainīgās.
- Augsta pieejamība un noturība pret kļūdām.
- Atbalsts datu bāzes stāvokļa griešanas momentuzņēmumu izveidošanai, lai atvieglotu dublēšanas izveidi.
- Gatavs industriālai lietošanai (jau tiek izmantots JD, Meituan un Xiaohongshu infrastruktūrā).
- Iespēja mainīt datu glabāšanas un atjaunināšanas shēmu bez apturēšanas vai ietekmes uz izpildāmām operācijām.
- Atbalsts TTL datu dzīvotspējas ierobežošanai.
- Komandas, lai pārvaldītu glabāšanas iestatījumus un mitinātājus.
- Rīki darba pārvaldībai un plānošanai (darbu laikā atbalsts šobrīd ir tikai COMPACT un FLUSH).
- Operācijas pilna ceļa meklēšanai un īsākā ceļa meklēšanai starp norādītajiem virsotnēm.
- OLAP interfeiss integrācijai ar trešo pušu analītikas platformām.
- Palīgrīki datu importēšanai no CSV failiem vai no Spark.
- Metriķu eksports monitorēšanai, izmantojot Prometheus un Grafana.
- Web interfeiss Nebula Graph Studio grafu operāciju vizualizēšanai, navigācijai pa grafu, glabāšanas shēmu projektēšanai un datu ielādēšanai.
Jaunajā laidienā:
- Pievienota atbalsta funkcija extract() apakšvirkņu izvilkšanai, kas atbilst norādītajai izteiksmei.
- Optimizēti iestatījumi konfigurācijas failā.
- Pievienoti optimizācijas noteikumi nevajadzīgo AppendVertices operatoru dzēšanai un malu un virsotņu filtru piemērošanas izslēgšanai.
- Samazināts datu apjoms, kas tiek kopēts JOIN operācijai, kā arī Traverse un AppendVertices operatoriem.
- Optimizēta SHORTEST PATH un SUBGRAPH veiktspēja.
- Uzlabota atmiņas sadale (izmantojot Arena Allocator).
Avots: opennet.lv
