Kuidas toimib tihendamine objekt-orienteeritud mäluarhitektuuris

MITi insenerite meeskond on töötanud välja objektipõhise mäluhierarhia, et andmetega tõhusamalt töötada. Artikliks uurime, kuidas see toimib.

/ PxHere / PD

Nagu teada, ei kaasne kaasaegsete CPUde tootlikkuse tõusuga samaaegne mälu juurde pääsemise viibimise vähenemine. Aastaste näitajate muutuste erinevus võib ulatuda kuni 10 korda (PDF, lk. 3). Selle tulemusel tekib kitsaskoht, mis ei võimalda täiel määral olemasolevaid ressursse kasutada ja aeglustab andmete töötlemist.

Tootlikkusele avaldab negatiivset mõju nn dekompressiooniviivitus. Mõnel juhul võib andmete ettevalmistav dekompressioon võtta kuni 64 protsessoritsüklit.

Võrdluseks: ujukomaarvude liitmine ja korrutamine mitte rohkem kui kümme tsüklit. Probleem seisneb selles, et mälu töötab fikseeritud suurusega andmeplokkidega, samas kui rakendused töötavad objektidega, mis võivad sisaldada erinevat tüüpi andmeid ja erineda suuruse poolest. Probleemi lahendamiseks on MIT-i insenerid välja töötanud objektorienteeritud mäluhierarhia, mis optimeerib andmete töötlemist.

Kuidas tehnoloogia töötab

Lahenduse aluseks on kolm tehnoloogiat: Hotpads, Zippads ja COCO tihendamisalgoritm.

Hotpads on programmide kaudu juhitav ülivõimeka registermälu hierarhia (scratchpad). Need registreid nimetatakse padjadeks (pads) ja neid on kolm — L1-st L3-ni. Neis hoitakse erineva suurusega objekte, metaandmeid ja viidete massiive.

Sisuliselt kujutab arhitektuur endast vahemälu süsteemi, kuid kohandatud objektidega töötlemiseks. Padja tase, kus objekt asub, sõltub sellest, kui sageli seda kasutatakse. Kui üks tasanditest «üle täitub», käivitab süsteem mehhanismi, mis sarnaneb Java või Go keeles olevate «prügikogujatega». See analüüsib, milliseid objekte kasutatakse harvemini kui teisi ja liigub automaatselt nende tasemete vahel.

Zippads töötab Hotpads’i alusel — arhiveerib ja de-arhiveerib andmeid, mis sisenevad või väljuvad kaheastmelise hierarhia viimastest tasemest — padi L3 ja põhismälu. Esimeses ja teises padrunis salvestatakse andmed muutumatuna.

Zippads tihendab objekte, mille maht ei ületa 128 baiti. Suuremad objektid jagatakse osadeks, mis paigutatakse seejärel erinevatesse mälukohtadesse. Nagu arendajad kirjutavad, suurendab see lähenemine efektiivselt kasutatava mälu koefitsienti.

Objektide tihendamiseks kasutatakse algoritmi COCO (Cross-Object COmpression), millest me räägime hiljem, kuigi süsteem suudab töötada ka Base-Delta-Immediate või FPC. Algoritm COCO on erinevustihenduse (differential compression) tüüp. See võrreldab objekte "baasobjektidega" ja eemaldab korduvad bitid — vt skeemi allpool:

MIT inseneride sõnul on nende objektorienteeritud mäluhierarhia 17% tootlikum kui traditsioonilised lähenemisviisid. See on palju lähemal kaasaegsete rakenduste arhitektuurile, seega on uuel meetodil potentsiaali.

Eeldatakse, et esimesena hakkavad tehnoloogiat kasutama ettevõtted, mis tegelevad suurte andmete ja masinõppe algoritmidega. Veel üks potentsiaalne suund on pilveplatvormid. IaaS-teenusepakkujad saavad võimaluse tõhusamalt töötada virtualiseerimise, andmesalvestussüsteemide ja arvutusressurssidega.

Meie täiendavad ressursid ja allikad:

„Kuidas me ehitame IaaS”: materjalid 1cloudi tööst

1cloudi pilvearhitektuuri evolutsioon
Objekthoiu teenus 1cloudis

Potentsiaalsed rünnakud HTTPS-i vastu ja kaitsemeetodid nende vastu
Kuidas erinevad ja sarnanevad Continuous Delivery ja Continuous Integration lähenemisviisid
Kuidas kaitsta teenuseid internetis: 1cloudi kogemus

Allikas: habr.com