Globaalid — andmete salvestamise mõõgad. Puud. Osa 2

Algus — vt osa 1.

3. Struktuuri variandid globaalide kasutamisel

Seda tüüpi struktuur, nagu järjestatud puu, omab erinevaid erijuhtumeid. Vaatame neid, mis on praktiliselt väärtuslikud globaalide kasutamisel.

3.1 Erijuhtum 1. Üks sõlm ilma oksi

Globaalide kasutamine ei piira end ainult massiivi sarnasusele, vaid ka tavaliste muutu- ja muude elementide kujul. Näiteks kui loendur:

Set ^counter = 0  ; loenduri seadmine
Set id=$Increment(^counter) ;  aatomaarne suurendamine

Sel juhul võib global, lisaks väärtusele, omada ka oksi. Üks ei välista teist.

3.2 Erijuhtum 2. Üks tipp ja palju oksi

Üldiselt on see klassikaline võtme-väärtuse baas. Ja kui me salvestame väärtuse kujul väärtuste tupikerta, saame täiesti tavalise tabeli esmase võtmega.

Tabeli rakendamiseks globaalides peame me ise looma read veergudest ja seejärel salvestama need globaalne põhivõtme järgi. Et lugemisel oleks võimalik rida jälle veergudeks jagada, saab kasutada:

1. eraldi sümboleid.

   Set ^t(id1) = "col11/col21/col31"
   Set ^t(id2) = "col12/col22/col32"

2. rangeeritud skeemi, kus iga väli võtab eelnevalt määratud arvu baite. Nagu seda tehakse relatsioonilistes andmebaasides.
3. spetsiaalset funktsiooni $LB (olemas Cache'is), mis koondab väärtustest mõne rea.

   Set ^t(id1) = $LB("col11", "col21", "col31")
   Set ^t(id2) = $LB("col12", "col22", "col32")

Mis on huvitav, ei ole globaalide peal mingit erilist vaeva teha midagi sarnast teisejärgulistele indeksitele relatsioonilistes andmebaasides. Nimetame selliseid struktuure indeksiteks globaalideks. Indeksi globaal on abipuu kiiremate otsingute jaoks, mis ei ole esmaste võtmete koostisosad põhigloobalis. Selle täitmiseks ja kasutamiseks tuleb kirjutada täiendav kood.

Loo näiteks indeks globaal esimese veeru peal.

Set ^i("col11", id1) = 1
Set ^i("col12", id2) = 1

Nüüd kiiremaks teabe saamiseks esimeses veerus peame pilku heitma globaalile ^i ja leidma esmased võtmed (id), mis vastavad esimese veeru soovitud väärtusele.

Väärtuse sisestamisel saame kohe luua nii väärtuse kui ka indeks globaalid vajalike väljade jaoks. Ja usaldusväärsuse nimel ümbritseme kõik selle tehinguga.

TSTART
Set ^t(id1) = $LB("col11", "col21", "col31")
Set ^i("col11", id1) = 1
TCOMMIT

Detailid, kuidas M-is teha tabelid globaalses, teisejärgsete indeksite emulatsioon.

Sellised tabelid töötavad sama kiiresti kui traditsioonilistes andmebaasides (või isegi kiiremini), kui salvestamis-/uuendamis-/kustutamisfunktsioonid on kirjutatud COS/M-is ja kompileeritud.Seda väidet olen testinud massiliste INSERT- ja SELECT-käskudega ühes kahe veeruga tabelis, sealhulgas TSTART ja TCOMMIT (tehingute) kasutamisega.

Rohkem keerulisi stsenaariume konkurentsi ja paralleelsete tehingutega ei ole testitud.

Ilma tehingute kasutamiseta oli inserteerimise kiirus miljoni väärtuse juures 778 361 inserte/sekundis.
300 miljoni väärtuse juures — 422 141 inserte/sekundis.

Tehingute kasutamisega — 572 082 inserte/sekundis 50M inserte. Kõik operatsioonid viidi läbi kompileeritud M-koodiga.
Tavalisest kõvakettast, mitte SSD. RAID5 Write-back'iga. Protsessor Phenom II 1100T.

Sarnaste SQL-andmebaaside testimiseks tuleb kirjutada salvestatud protseduur, mis tsüklis teeb inserte. MySQL 5.5 (InnoDB salvestus) testimisel sain sel moel numbreid mitte suuremaid kui 11K inserte sekundis.
Jah, globaalsetes tabelite rakendamine tundub keerulisem kui relatsioonilistes andmebaasides. Seetõttu on tööstuslikud andmebaasid globaalides SQL-juurdepääsuga, et lihtsustada tabelandmetega töötamist.

Üldiselt, kui andmemudelit ei muudeta sageli, ei ole sisestuse kiirus kriitiline ning kogu andmebaasi on lihtne esitada normeeritud tabelite kujul, siis on lihtsam töötada just SQL-iga, kuna see tagab kõrgema abstraktsiooni taseme.

Selles konkreetses olukorras tahtsin näidata, et globaalid võivad toimida kui konstruktor teiste andmebaaside loomiseks. Nagu assembleerija, millel on võimalik kirjutada teisi keeli. Siin on näited, kuidas globaalides luua analooge key-value, loendite, kogude, tabelite ja dokumendikesksete andmebaaside jaoks.

Kui on vaja luua mingisugune mittestandardsed andmebaas minimaalsete pingutustega, tasub vaadata globaalide poole.

3.3 Eriline juhtum 3. Kahetasandiline puu, kus iga teise tasandi sõlmel on fikseeritud arv oksasid

Te kindlasti aimasite: see on alternatiivne globaalide tabelite rakendamine. Võrdleme seda eelneva rakendusega.

Kahetasandilised tabelid vs. ühetasandilised tabelid.

Miinused
Plussid

1. Aeglaseim inserteerimisel, kuna on vaja seadistada sõlmede arv, mis vastab veergude arvule.
2. Tingimuste tõttu suureneb ketta ruumi tarbimine, kuna globaalsete indeksite (arvutuste jaoks nagu massiivide indeksid) veergude nimede jaoks kasutatakse ruumi ja need dubleeritakse iga rea jaoks.

1. Erakuupäevade väärtuste kiirem juurdepääs, kuna realt ei pea andmeid analüüsima. Minu testide põhjal on see 11,5% kiiremini kahe veeru puhul ja veelgi kiiremini suurema hulga veergudega.
2. Andmeskeemi muutmine on lihtsam.
3. Kood on selgem.

Kokkuvõte: isikliku maitse asi. Kuna kiirus on üks peamisi globaalsete eeliste, siis pole sellise rakenduse kasutamine peaaegu mõtet, kuna see tõenäoliselt ei tööta kiiremini kui tabelid relatsioonilistes andmebaasides.

3.4 Üldjuhtum. Puud ja järjestatud puud.

Iga andmestruktuur, mis saab olema esitatud puuna, sobib suurepäraselt globaalidele.

3.4.1 Objektid alamobjektidega.

See on traditsiooniline globaalide rakenduste valdkond. Meditsiinis on tohutult haigusi, ravimeid, sümptomeid ja raviviise. Iga patsiendi jaoks miljoni välja tabeli loomine pole ratsionaalne, eriti kuna 99% väljadest on tühjad.

Kujutage ette SQL andmebaasi tabelitega: "patsient" ~ 100 000 väli, "Ravim" — 100 000 väli, "Ravi" — 100 000 väli, "Tüsistused" — 100 000 väli jne. Või saab luua andmebaasi, mis koosneb kümnetest tuhandetest tabelitest, igaüks määratud konkreetse patsienditüübi, ravivõimaluse, ravimite jaoks ning veel tuhandete tabelite jaoks nende tabelite vaheliste suhete loomiseks.

Globaalid sobivad ideaalselt meditsiinile, kuna need võimaldavad luua iga patsiendi täpse kirjelduse tema haigusloost, erinevatest raviviisidest, ravimite toimest puu kujul, raiskamata samas liigset ketta ruumi tühjade veergude jaoks, nagu see oleks relatsioonilistes süsteemides.

Globaalide abil on mugav luua andmebaas inimesi puudutavate andmetega,, kui on oluline koguda ja süsteemida maksimaalselt mitmekesist teavet kliendi kohta. Seda vajatakse meditsiinis, panganduses, turunduses, arhiivinduses ja teistes valdkondades.

.
Muidugi on ka SQL-is võimalik simuleerida puud mõne tabeliga (EAV, 1,2,3,4,5,6,7,8,9,10), kuid see on oluliselt keerulisem ja töötab aeglasemalt. Põhimõtteliselt oleks vaja kirjutada globaalne töö, mis toimib tabelite peal ja peita kogu tabelitega seotud töö abstraktsiooni kihi alla. Ei ole õige emuleerida madalama taseme tehnoloogiat (globaalid) kõrgema taseme vahenditega (SQL). See ei ole otstarbekas.

Ei ole saladus, et andmeskeemi muutmine hiiglaslikes tabelites (ALTER TABLE) võib võtta märkimisväärselt aega. MySQL, näiteks, teeb ALTER TABLE ADD|DROP COLUMN täieliku teabe kopeerimise vanast uude tabelisse (olen testinud mootorite MyISAM ja InnoDB). See võib töödelda andmebaasi miljardite kirjadega päevi, kui mitte nädalaid.

Andmestruktuuri muutmine, kui kasutame globaale, ei maksa meile midagi. Me võime igal hetkel lisada kõik vajalikud uued omadused igale objektile, igal hierarhia tasemel. Muudatused, mis on seotud harude ümbernimetamisega, saab taaskäivitada töötava andmebaasi taustal.


Seetõttu on, kui jutt käib objektide salvestamisest, kus on tohutult valikulisi omadusi, globaalid suurepärane valik.

Pealegi, meenutan, et juurdepääs igale omadusele on kohene, kuna globaalides on kõik teed B-puu kujul.

Globaalidel põhinevad andmebaasid on üldiselt dokumentide, mis on orienteeritud andmebaaside tüüp, millel on võimalus salvestada hierarhilist teavet. Seetõttu saavad globaalid meditsiiniliste kaartide salvestamise valdkonnas konkureerida dokumentide orienteeritud andmebaasidega. Kuid see ei ole päris see.Võtame näiteks MongoDB. Selles valdkonnas kaotab ta globaalidele järgmiste põhjuste tõttu:

1. Dokumendi suurus. Salvestamise ühik on tekst JSON-formaadis (täpsemalt BSON), maksimaalse mahuga umbes 16 MB. Piirang on tehtud spetsiaalselt selleks, et JSON-andmebaas ei takerduks parsimise ajal, kui seal salvestatakse hiiglaslik JSON-dokument ja seejärel sellele väljade kaudu ligipääsetakse. Selles dokumendis peaks olema kogu teave patsiendi kohta. Me kõik teame, kui paksud võivad olla patsiendi kaardid. Maksimaalne kaardi suurus 16 MB seadis kohe piirangud patsientidele, kelle haigusajaloo kaartidesse on lisatud MRT-failid, röntgeni- ja teiste uuringute skaneeringud. Ühes globaalide haru võib aga olla teavet gigabaitide ja terabaitidena. Põhimõtteliselt võiks selle peale küll punkti panna, kuid ma jätkan.
2. Teadvuse / muutmise / uute omaduste kustutamise aeg patsiendi kaardil. Selline andmebaas peab mäletama kogu kaardi korraga (see on suur maht!), parsima BSON-i, lisama / muutma / kustutama uue sõlme, uuendama indekseid, pakkima BSON-i, salvestama kettale. Globaalile piisab vaid konkreetse omaduse juurde pääseda ja selle üle toimingud teha.
3. Kaasneva omaduste kiirus. Paljude omaduste ja dokumendi mitmeastmelise struktuuri puhul on juurdepääs üksikutele omadustele kiirem, kuna iga tee globaali on B-puu. BSON-i puhul peab dokumendi leidmiseks vajalikku omadust leidma lineaarselt.

3.3.2 Associatiivsed massiivid

Associatiivsed massiivid (isegi sisseviidud massiividega) sobivad suurepäraselt globaalidele. Näiteks, selline massiiv PHP-st kuvatakse esimese pildina 3.3.1.

$a = array(
  "name" => "Vince Medvedev",
  "city" => "Moscow",
  "threatments" => array(
    "surgeries" => array("apedicectomy", "biopsy"),
    "radiation" => array("gamma", "x-rays"),
    "physiotherapy" => array("knee", "shoulder")
  )
);

3.3.3 Hierarhiilised dokumendid: XML, JSON

Ka neid saab globaalides kergesti salvestada. Salvestamiseks saab andmeid erinevalt jagada.

filestream
Lihtsaim viis XML-i jagamiseks globaalideks on see, kui salvestame tippude attribuudid. Kui on vajalik kiire juurdepääs tippude atribuutidele, saame need välja tuua eraldi harudesse.

<note id="5">
<to>Vasya</to>
<from>Svetlana</from>
<heading>Märkus</heading>
<body>Helista mulle homme!</body>
</note>

COS-ile vastab sellele kood:

Set ^xml("note")="id=5"
Set ^xml("note","to")="Sasha"
Set ^xml("note","from")="Svetlana"
Set ^xml("note","heading")="Mäleta"
Set ^xml("note","body")="Helista mulle homme!"

Märkus: XML-i, JSON-i ja associatiivsete massiivide korral on võimalik välja mõelda palju erinevaid viise globaalideks jagamiseks. Antud juhul ei peegeldanud me tippude note järjekorda. Globaalide ^xml süvendi märgid kuvatakse tähestikulises järjekorras. Järjekorra täpseks peegeldamiseks saab kasutada näiteks sellist kuvamist:

JSON.
Osas 3.3.1 on näidatud selle JSON-dokumentide peegeldamine:

var document = {
  "name": "Vince Medvedev",
  "city": "Moscow",
  "threatments": {
    "surgeries": ["apedicectomy", "biopsy"],
    "radiation": ["gamma", "x-rays"],
    "physiotherapy": ["knee", "shoulder"]
  },
};

3.3.4 Ühesugused struktuurid, mis on seotud hierarhiliste suhetega

Näited: müügibüroode struktuur, inimeste paigutus MLM-struktuuris, malemängude avangude andmebaas.

Avangude andmebaas. Globaalne sõlme indeksi väärtusena võib kasutada käigu tugevuse hinnangut. Sel juhul piisab, kui valida haru, millel on suurim kaal, et valida tugevaim käik. Globaalsetes sõlmedes sorteeritakse kõik harud igal tasemel käigu tugevuse järgi.

Müügibüroode struktuur, inimesed MLM-is. Sõlmedes saab salvestada teatud vahemällu salvestatud väärtusi, mis peegeldavad kogu alampuu omadusi. Näiteks selle alampuu müügimaht. Igal ajal saame saada numbri, mis peegeldab mis tahes haru saavutusi.

4. Millal on globaale kõige kasulikum kasutada?

Esimeses veerus on toodud olukorrad, kus globaale kasutades saate märkimisväärset kasu kiirusest, ja teises, kus lihtsustub arendamine või andmemudel.

Kiirus
Andmete töötlemise/mugav esitlemine.

1. Sisestamine [automaatse sortimisega igal tasemel], [indekseerimine põhivõtme järgi].
2. Alampuude eemaldamine.
3. Objektid, millel on palju sisemisi omadusi, millele on vajalik individuaalne juurdepääs.
4. Hierarhiline struktuur, mille saab läbida lapseharudega, isegi mitteeksisteerivatega.
5. Alampuude läbitavus sügavusele.

1. Objektid/olekud, millel on tohutult valikulisi [ja/või sisemisi] omadusi/olekuid.
2. Scheemivabad andmed (schema-less). Kui uusi omadusi võib sageli lisanduda ja vanadest omadustest vabaneda.
3. Peab looma mittestandardse andmebaasi.
4. Teede ja otsustuspuude andmebaasid. Kui teed on mugavam esitada puu kujul.
5. Hierarhiliste struktuuride eemaldamine ilma rekursioonita.

Jätkub „Globaale — andmete salvestamise mõõgad-ladenetsed. Harulduse massiivid. Osa 3“.

Märkus: See artikkel ja minu kommentaarid sellele on minu arvamus ning ei kajasta InterSystems korporatsiooni ametlikku seisukohta.

Allikas: habr.com