Globaalid – andmete salvestamiseks mõeldud mõõgad-kalad. Puud. Osa 2

Algus — vaata osa 1.

3. Globaalide kasutamise struktuuri variandid

Struktuur nagu järjestatud puu omab erinevaid erijuhtumeid. Vaatame neid, mis on praktiliselt väärtuslikud globaalidega töötamisel.

3.1 Erijuhtum 1. Üks sõlm ilma harudeta

Gloobale võib kasutada mitte ainult massiivi moodi, vaid ka tavalisena muutuja. Näiteks kui loendurina:

Set ^counter = 0  ; loenduri seadistamine
Set id=$Increment(^counter) ; aatomaarne inkrementatsioon

Sel juhul võib globaal, peale väärtuse, omada ka harusid. Üks ei välista teist.

3.2 Erijuhtum 2. Üks tipptase ja palju harusid

Üldiselt — see on klassikaline key-value andmebaas. Ja kui säilitame väärtusena väärtuste tuple, saame kõige tavalisema tabeli peamise võtmega.

Globaalide tabeli rakendamiseks peame me ise vormima read veergude väärtustest ja seejärel need salvestama globaalisse peamise võtme järgi. Et lugemisel oleks võimalik rida uuesti veergudeks jagada, saab kasutada:

1. eraldiste sümboleid.

   Set ^t(id1) = "col11/col21/col31"
   Set ^t(id2) = "col12/col22/col32"

2. kindel struktuur, kus iga väli võtab eelnevalt määratud arvu baitidest. Nagu seda tehakse relatsioonilistes andmebaasides.
3. spetsiaalne funktsioon $LB (olemas Cache'is), mis loob stringi väärtustest.

   Set ^t(id1) = $LB("col11", "col21", "col31")
   Set ^t(id2) = $LB("col12", "col22", "col32")

Huvitav, et globaalide kasutamine võimaldab sarnaseid ehitisi luua nagu teiseste indeksite korral relatsioonilistes andmebaasides. Nimetame neid struktuure indeksigloobideks. Indeksigloob on abivõime, mis kiirendab otsingut väljade kaudu, mis ei ole peamise globaalvõtme koostisosad. Selle täitmiseks ja kasutamiseks on vaja kirjutada täiendavat koodi.

Loome indeksigloobi esimese veeru põhjal.

Set ^i("col11", id1) = 1
Set ^i("col12", id2) = 1

Nüüd, et kiire teabe leidmine esimese veeru põhjal saaks toimuda, peame vaatama globaalidesse ^i ja leidma peamised võtmed (id), mis vastavad esimese veeru soovitud väärtusele.

Väärtuse sisestamisel saame kohe luua nii väärtuse kui ka indeksigloobid vajalike väljade jaoks. Ja selle usaldusväärsuse tagamiseks paneme kõik selle tehingusse.

TSTART
Set ^t(id1) = $LB("col11", "col21", "col31")
Set ^i("col11", id1) = 1
TCOMMIT

Detailid, kuidas M-is teha globaalide tabelid, teiseste indeksite emulatsioon.

Sellised tabelid töötavad sama kiiresti kui traditsioonilistes andmebaasides (või isegi kiiremini), kui ridade lisamise/korrigeerimise/kustutamise funktsioonid kirjutada COS/M keeles ja kompileerida.Seda väidet olen testinud massiivsete INSERT- ja SELECT-käskudega kahemast tätabelis, sealhulgas TSTART ja TCOMMIT (tehingute) käskude kasutamisega.

Karmimaid stsenaariume, kus on konkurentsitükk ja paralleelsed tehingud, ei katsetanud.

Ilma tehingute kasutamiseta oli inserteerimise kiirus miljoni väärtuse puhul 778 361 inserte/s.
300 miljoni väärtuse puhul — 422 141 inserte/s.

Tehingute kasutamisel — 572 082 inserte/s 50M inserte puhul. Kõik toimingud viidi läbi kompileeritud M-koodist.
Tavalised kõvakettad, mitte SSD. RAID5 kirjutamise tagasisidega. Protsessor Phenom II 1100T.

Sarnase SQL-andmebaasi testimiseks tuleb kirjutada salvestatud protseduur, mis tsükliliselt teeb inserte. MySQL 5.5 (InnoDB salvestus) testimisel sain sellise metoodika järgi numbreid, mis ei ületanud 11K inserte sekundis.
Jah, tabelite rakendamine globaalides näeb välja keerulisem kui relatsioonilistes andmebaasides. Seetõttu on tööstuslikud andmebaasid globaalides SQL-juurdepääsuga, et lihtsustada tabelandmete töötlemist.

Tegelikult, kui andmeskeem ei muutu sageli, andmete sisestamise kiirus ei ole kriitiline ja kogu andmebaasi saab kergesti esitada normaliseeritud tabelite kujul, siis on lihtsam töötada just SQL-iga, kuna see tagab kõrgema abstraktsiooni taseme.

Selles konkreetses näites tahtsin näidata, et globaalid võivad tegutseda konstruktorina teiste andmebaaside loomiseks. Nagu assembler, mille peal saab kirjutada teisi keeltesse. Siin on näited, kuidas globaalides luua analooge key-value, loendite, kogude, tabelite ja dokumentide orientatsiooniga andmebaasidele.

Kui on vaja luua mingisugune mittestandardne andmebaas minimaalsete effortidega, siis tasub vaatama globaalide poole.

3.3 Erijuhtum 3. Kahetasandiline puu, kus iga teise tasandi sõlmel on fikseeritud arv oksi

Te ilmselt arvasite, et see on alternatiivne tabelite rakendus globaalides. Võrdleme seda rakendust eelneva pärandiga.

Tabelid kahetasandilistes puudes vs. ühetasandilistes puudes.

Miinused
Plussid

1. Aeglasem sisestamisel, kuna tuleb seadistada sõlmede arv võrdne veergude arvuga.
2. Rohkem kettaruumi tarbimist. Kuna globaalide indeksid (kui arvuindeksid veergude nimetustega) võtavad kettal ruumi ja dubleeritakse iga rea jaoks.

1. Kiirem ligipääs üksikutele veergudele, kuna ei pea rida parsima. Minu testide järgi on kiirus 11,5% kiirem kahe veeru puhul ja veelgi kiiremini suurema veergude arvuga.
2. Andmeskeemi muutmine on lihtsam.
3. Kood on selgem.

Väljund: Isiklik asi. Kuna kiirus on üks globaalide peamisi eeliseid, pole selle rakenduse kasutamisel suurt mõtet, kuna see tõenäoliselt ei tööta kiiremini kui tabelid relatsioonilistes andmebaasides.

3.4 Üldjuhtum. Puud ja järjestatud puud.

Iga andmestruktuur, mida saab esitada puuna, sobib suurepäraselt globaalidele.

3.4.1 Objektid koos alamobjektidega.

See on globaalide traditsiooniline rakendamisala. Meditsiinivaldkonnas on tohutult haigusi, ravimeid, sümptomeid ja ravimeetodeid. Iga patsiendi kohta miljoneid väljad loovutada ei ole mõistlik. Eriti kuna 99% väljadest on tühjad.

Kujutage ette SQL andmebaasi, mis koosneb tabelitest: "patsient" ~ 100 000 väljast, "Ravim" — 100 000 väljast, "Teraapia" — 100 000 väljast, "Tüsistused" — 100 000 väljast jne. Või võib luua andmebaasi mitmest tuhandest tabelist, igaühe jaoks kindla patsientide (need võivad ju kattuda!), ravi, ravimi ja veel tuhandete tabelite jaoks nende tabelite vaheliste seoste jaoks.

Globaalid sobivad ideaalselt meditsiini jaoks, kuna need võimaldavad iga patsiendi haigusloo, erinevate teraapiate, ravimite toimimise täpse kirjelduse loomist puu kujul, raiskamata samal ajal liigset kõvakettaruumi tühjade veergude jaoks, nagu see oleks suheline juhtum.

Globaalides on mugav luua andmebaasi inimeste andmetega, kui on oluline koguda ja sistematiseerida võimalikult mitmekesist teavet kliendi kohta. See on nõutud meditsiinis, panganduses, turunduses, arhiivitöös ja muudes valdkondades.

.
Ilma kahtluseta saab SQL-is ka emuleerida puu ainult mõne tabeliga (EAV, 1,2,3,4,5,6,7,8,9,10), kuid see on oluliselt keerulisem ja töötleb aeglasemalt. Sisuliselt oleks vaja kirjutada globaalne süsteem, mis töötleb tabeleid ja peita kogu tabelitega seotud töö abstraktsiooni kihi alla. Madalama taseme tehnoloogiat (gloobuseid) ei tohiks vale kasutada kõrgema taseme vahenditega (SQL). See ei ole mõistlik.

Ei ole saladus, et andmeskeemi muutmine hiiglaslikes tabelites (ALTER TABLE) võib võtta märkimisväärselt aega. MySQL, näiteks, teostab ALTER TABLE ADD|DROP COLUMN täieliku teabe kopeerimise vana tabeli ja uue tabeli vahel (olen testinud mootorit MyISAM, InnoDB). See võib ummistada töötava andmebaasi miljardite kirjedega päevadeks, kui mitte nädalateks.

Andmestruktuuri muutmine, kui kasutame globaale, ei maksa meile midagi. Iga hetk võime lisada vajalikud uued omadused igale objekti tasandile hierarhias. Harude ümbernimetamisega seotud muudatusi saab käivitada taustal töötavas andmebaasis.


Seetõttu, kui jutt on objektide salvestamisest, millel on tohutul hulgal valikulisi omadusi, on globaalid suurepärane valik.

Olgu, meenutan, et juurdepääs mistahes omadusele on kohene, kuna globaliseeritud andmebaasid kasutavad B-puude struktuuri.

Globaalid on enamasti dokumentide-põhised andmebaasid, mis võimaldavad hierarhilise teabe salvestamist. Seetõttu võivad globaliseeritud andmebaasid konkureerida dokumentide-põhiste andmebaasidega meditsiiniliste kaustade salvestamise valdkonnas. Kuid see ei ole päris sama.Võtame näiteks MongoDB. Selles valdkonnas kaotab ta globaalide ees järgmiste põhjuste tõttu:

1. Dokumendi suurus. Salvestusüksus on tekst JSON-formaadis (täpsemalt BSON) maksimaalse mahuga umbes 16 MB. See piirang on kehtestatud spetsiaalselt selleks, et JSON-andmebaas ei aeglustuks, kui sinna salvestatakse tohutu JSON-dokument ja siis sellele väljade põhjal juurde pääsetakse. Käesolevas dokumendis peaks olema koondatud kogu teave patsiendi kohta. Me kõik teame, kui paksud võivad olla patsiendikaardid. 16 MB suurune kaardi piirang paneb kohe punase joone patsientidele, kelle haigusloos on MRT-failid, röntgenpildid ja muud uuringud. Ühes globaalses haru võib aga olla teavet gigabaitide ja terabaitide ulatuses. Põhimõtteliselt võiks selle peale punkti panna, kuid jätkan.
2. Aeg teadlikkuse/uuendamise/kustutamise jaoks uuteks omadusteks patsiendikaardil. Selline andmebaas peab laadima mälu kogu kaardi tervikuna (see on suur maht!), parsima BSON-i, lisama/muutma/kustutama uue sõlme, uuendama indekse, pakkima BSON-iks ja salvestama ketta peale. Globaalil piisab vaid konkreetse omaduse poole pöördumisest ja sellega manipuleerimisest.
3. Kergem juurdepääs üksikutele omadustele. Dokumendis, kus on palju omadusi ja mitmetasandiline struktuur, pääseb üksikutele omadustele kiiremini juurde, kuna iga tee globaalses süsteemis on B-puu. BSON-is aga peab dokumenti lineaarset tõlgendama, et leida soovitud omadus.

3.3.2 Assotsiatiivsed massiivid

Assotsiatiivsed massiivid (isegi sisemise massiiviga) sobivad suurepäraselt globaalseteks. Näiteks selline massiiv PHP-s kuvatakse esimeses pildis 3.3.1.

$a = array(
  "name" => "Vince Medvedev",
  "city" => "Moscow",
  "threatments" => array(
    "surgeries" => array("apediktoomia", "biopsia"),
    "radiation" => array("gamma", "röntgen"),
    "physiotherapy" => array("põlv", "õlg")
  )
);

3.3.3 Hierarhilised dokumendid: XML, JSON

Need salvestatakse globaalsetes süsteemides samuti lihtsalt. Salvestamiseks saab kasutada erinevaid meetodeid.

XML
XML-i kõige lihtsam jaotus globaalsetesse struktuuridesse on see, kui sõlmedes salvestatakse märgeme atribuudid. Kui aga on vajalik kiire juurdepääs märgete atribuudidele, saame need eraldi harudesse viia.

<note id="5">
<to>Vladimir</to>
<from>Svetlana</from>
<heading>Märkus</heading>
<body>Helista mulle homme!</body>
</note>

COS-is vastab sellele kood:

Set ^xml("note")="id=5"
Set ^xml("note","to")="Sasha"
Set ^xml("note","from")="Sveta"
Set ^xml("note","heading")="Mäletamine"
Set ^xml("note","body")="Helista mulle homme!"

Märkus: XML, JSON ja assotsiatiivsete massiivide jaoks on võimalik välja mõelda palju erinevaid viise globaalide kuvamiseks. Antud juhul ei kajastatud me note sildis sisetagide järjekorda. Globaalides ^xml sisetagid kuvatakse tähestikulises järjekorras. Järjekorra täpseks kajastamiseks võib kasutada näiteks sellist kuju:

JSON.
Esimesel pildil jaotises 3.3.1 on kajastatud seda JSON-dokumenti:

var document = {
  "name": "Vince Medvedev",
  "city": "Moscow",
  "threatments": {
    "surgeries": ["apedicectomy", "biopsy"],
    "radiation": ["gamma", "x-rays"],
    "physiotherapy": ["knee", "shoulder"]
  },
};

3.3.4 Ühesugused struktuurid, mis on seotud hierarhiliste suhetega

Näited: müügibüroode struktuur, inimeste paigutus MLM-struktuuris, male avangute andmebaas.

Avangute andmebaas. Node globaalide indeksi väärtusena võib kasutada käigu tugevuse hinnangut. Seega, et valida kõige tugevam käik, piisab lihtsalt haru valimisest, mille kaal on suurim. Globaalides on kõik harud igal tasemel sorteeritud käigu tugevuse järgi.

Müügibüroode struktuur, inimeste struktuur MLM-is. Sõlmedes saab hoida teatud vahemälu väärtusi, mis peegeldavad kogu alampuu omadusi. Näiteks, selle alampuu müügimaht. Igal hetkel saame saada numbri, mis peegeldab ükskõik millise haru saavutusi.

4. Millal on globaalide kasutamine kõige kasulikum

Esimeses veerus on toodud olukorrad, kus globaalide kasutamine toob kaasa märkimisväärse kiiruskasvu, ja teises, kus lihtsustab arendust või andmemudelit.

Kiirus
Andmete töötlemise/esitamise mugavus

1. Sisestamine [automaadse sortimisega igas tasemes], [peamise võtme alusel indekseerimisega]
2. Alampuude eemaldamine
3. Objektid, millel on suur hulk sisemisi omadusi, kellele on vajalik individuaalne juurdepääs
4. Hierarhiline struktuur, mis võimaldab alamhargnusid läbida igast, isegi olemasolematest harudest
5. Alampuude süvitsi läbimine

1. Objektid/üksused, millel on tohutult palju valikulisi [ja/või sisemisi] omadusi/üksusi
2. Schema-less andmed. Kui uued omadused võivad sageli tekkida ja vanad kaduda.
3. On vaja luua mittestandardsed andmebaasid.
4. Teede andmebaasid ja otsustuspuud. Kui teid on mugav esitada puuna.
5. Heraldi struktuuride eemaldamine ilma rekursioonita

Jätk „Globaalid - andmete salvestamise mõõgakäepidemed. Jõhkrad massiivid. Osa 3“.

Märkus: Antud artikkel ja minu kommentaarid sellele on minu arvamus ja ei oma seost InterSystems korporatsiooni ametliku positsiooniga.

Allikas: habr.com