Avoimen DBMS Nebula Graph 3.2:n julkaisu on julkaistu, ja se on suunniteltu suurten toisiinsa yhdistettyjen tietojen tehokkaaseen tallentamiseen, jotka muodostavat kaavion, joka voi laskea miljardeja solmuja ja biljoonia yhteyksiä. Projekti on kirjoitettu C++-kielellä ja jaettu Apache 2.0 -lisenssillä. Asiakaskirjastot DBMS:n käyttöä varten on valmistettu Go-, Python- ja Java-kielille.
DBMS käyttää hajautettua arkkitehtuuria ilman resurssien jakamista (shared-nothing), mikä tarkoittaa itsenäisten ja omavaraisten graafisten kyselyjen käsittelyprosessien ja tallennettujen tallennusprosessien käynnistämistä. Metapalvelu ohjaa tiedon liikkumista ja tarjoaa metatietoa kaaviosta. Tietojen johdonmukaisuuden varmistamiseksi käytetään RAFT-algoritmiin perustuvaa protokollaa.
Nebula Graphin pääominaisuudet:
- Turvallisuuden varmistaminen rajoittamalla pääsy vain todennettuihin käyttäjiin, joiden käyttöoikeudet on asetettu roolipohjaisen kulunvalvontajärjestelmän (RBAC) kautta.
- Mahdollisuus kytkeä erityyppisiä tallennusmoottoreita. Tuki kyselyn luontikielen laajentamiseen uusilla algoritmeilla.
- Varmistetaan minimaalinen viive dataa luettaessa tai kirjoitettaessa ja korkean suorituskyvyn ylläpitäminen. Kun testattiin klusterissa, jossa oli yksi graafinen solmu ja kolme tallennettua solmua, 632 Gt:n tietokannassa, joka sisältää 1.2 miljardin kärjen ja 8.4 miljardin reunan graafin, latenssit olivat muutaman millisekuntia ja suorituskyky jopa 140 tuhatta pyyntöä sekunnissa.
- Lineaarinen skaalautuvuus.
- SQL:n kaltainen kyselykieli, joka on tehokas ja helppo ymmärtää. Tuettuja operaatioita ovat GO (kuvaajan kärkien kaksisuuntainen läpikulku), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MIINUS, PIPE (käytetään edellisen kyselyn tulosta). Indeksejä ja käyttäjän määrittämiä muuttujia tuetaan.
- Korkean käytettävyyden ja vikojen sietokyvyn varmistaminen.
- Tuki tilannekuvien luomiselle tietokannan tilan osalla, mikä yksinkertaistaa varmuuskopioiden luomista.
- Valmis teollisuuskäyttöön (käytetään jo JD:n, Meituanin ja Xiaohongshun infrastruktuurissa).
- Mahdollisuus muuttaa tietojen tallennusmallia ja päivittää sitä keskeyttämättä tai vaikuttamatta käynnissä oleviin toimiin.
- TTL-tuki tietojen käyttöiän rajoittamiseksi.
- Komennot asetusten ja tallennuspalvelinten hallintaan.
- Työkaluja työn hallintaan ja töiden käynnistysten ajoitukseen (tällä hetkellä tuetuista töistä ovat COMPACT ja FLUSH).
- Toiminnot, joilla etsitään täydellinen polku ja lyhin polku annettujen pisteiden välillä.
- OLAP-rajapinta integroitavaksi kolmannen osapuolen analytiikkaalustojen kanssa.
- Apuohjelmat tietojen tuomiseen CSV-tiedostoista tai Sparkista.
- Vie mittareita seurantaa varten Prometheuksen ja Grafanan avulla.
- Nebula Graph Studion verkkokäyttöliittymä kuvaajatoimintojen visualisointiin, kuvaajanavigointiin, tiedon tallennus- ja latauskaavioiden suunnitteluun.
Uudessa julkaisussa:
- Lisätty tuki extract()-funktiolle, joka poimii tiettyä lauseketta vastaavan osamerkkijonon.
- Optimoidut asetukset asetustiedostossa.
- Lisätty optimointisäännöt turhan AppendVertices-operaattorin poistamiseksi ja reuna- ja kärkisuodattimien käytön poistamiseksi.
- JOIN-operaatioon sekä Traverse- ja AppendVertices-operaattoreihin kopioitavan tiedon määrää on vähennetty.
- SHORTEST PATH ja SUBGRAPH optimoitu suorituskyky
- Parannettu muistin varaus (Arena Allocator käytössä).
Lähde: opennet.ru