Nebula Graph 3.2 graafipõhise andmebaasi avaldamine

Avalikustatud on Nebula Graph 3.2 avatud lähtekoodiga andmebaas, mis on mõeldud suurte omavahel seotud andmekogumite tõhusaks salvestamiseks ja mis võib sisaldada miljardeid sõlmi ning triljoneid sidemeid. Projekt on kirjutatud C++ keeles ja seda levitatakse Apache 2.0 litsentsi alusel. Andmebaasi klientraamatukogud on ette valmistatud Go, Python ja Java keelte jaoks.

Andmebaasis kasutatakse jagatud ressursside arhitektuuri (shared-nothing), mis eeldab sõltumatute ja iseseisvate päringute töötlemise protsesside (graphd) ja ladustamise protsesside (storaged) käivitamist. Andmete liikumise koordineerimise ja graafi meta-informatsiooni pakkumise eest vastutab meta-teenus. Andmete järjekindluse tagamiseks kasutatakse RAFT alusel põhinevat protokolli.

Nebula Graphi põhijooned:

• Turvalisuse tagamine, pakkudes juurdepääsu ainult autentitud kasutajatele, kelle õigused määratakse rollipõhise juurdepääsuhalduse (RBAC) süsteemi kaudu.
• Erinevat tüüpi salvestusmootorite ühendamise võimalus. Toetatakse päringute genereerimise keele laiendamist uute algoritmidega.
• Minimaalsed viivitused andmete lugemisel või kirjutamisel ning kõrge läbilaskevõime säilitamine. Testides ühesõlmelises klastris, millel on üks graphd sõlm ja kolm storaged sõlme, ning andmebaas suurusega 632 GB, mis sisaldab 1,2 miljardi sõlmega ja 8,4 miljardi servaga graafi, olid viivitused mõne millisekundi tasemel ning läbilaskevõime ulatus kuni 140 000 päringut sekundis.
• Lineaarne skaleeritavus.
• SQL-sarnane päringute keel, piisavalt võimas ja lihtne mõista. Toetatakse selliseid operatsioone nagu GO (kahe suuna sõlmede läbimine), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MINUS, PIPE (eelneva päringu tulemuse kasutamine). Toetatakse indekseid ja kasutaja määratletud muutujad.
• Kõrge kergesti kergesti kergesti kergesti kasutatav. Jõudlus.
• Toetatakse andmebaasi oleku lõike tegemise snapshotide loomist, et hõlbustada varukoopiate tegemist.
• Tööstuslikuks kasutuseks valmis (juba kasutatakse ettevõtete JD, Meituan ja Xiaohongshu infrastruktuuris).
• Salvestusskeemi muutmise ja andmete värskendamise võimalus ilma olemasolevate operatsioonide peatamise või mõjutamiseta.
• TTL tugi andmete eluea piiramise jaoks.
• Halduskommandod salvestuspingete ja seadete haldamiseks.
• Tööde haldamise ja tööde käivitamise kavandamise tööriistad (praegu toetatakse töid COMPACT ja FLUSH).
• Full path ja lühima tee otsingu toimingud antud tipude vahel.
• OLAP-liides analüütikaplatvormide integreerimiseks.
• Utiliitide CSV-failidest või Sparkist andmete importimiseks.
• Meetmete eksportimise võimalus jälgimiseks kasutades Prometheust ja Grafanat.
• Nebula Graph Studio veebiliides graafiga töötamiseks, graafis navigeerimiseks, salvestusstruktuuri projekteerimiseks ja andmete laadimiseks.

Uues väljaandes:

• Toodud funktsiooni extract() tugi alamstringide väljavõtmiseks vastavalt määratud väljendile.
• Konfiguratsioonifailis on optimeeritud seadistused.
• Optimeerimisreeglid on lisatud, et eemaldada kasutu AppendVertices operaator ja keelata servade ja sõlmede filtrite rakendamine.
• Vähendati andmemahtu, mis kopeeritakse JOIN operatsiooniks, samuti Traverse ja AppendVertices operaatorite jaoks.
• SHORTEST PATH ja SUBGRAPH jõudlust on optimeeritud.
• Mälu jaotust on parendatud (kasutatud on Arena Allocator).

Allikas: opennet.ru