Skupina inženirjev z MIT je razvila objektno orientirano pomnilniško hierarhijo za učinkovitejše delo s podatki. V članku bomo razumeli, kako deluje.
/ /PD
Kot je znano, povečanje zmogljivosti sodobnih procesorjev ne spremlja ustrezno zmanjšanje zakasnitve pri dostopu do pomnilnika. Razlika v spremembah kazalnikov iz leta v leto lahko doseže do 10-krat (). Posledično nastane ozko grlo, ki onemogoča polno uporabo razpoložljivih virov in upočasnjuje obdelavo podatkov.
Poškodbe delovanja povzroča tako imenovana dekompresijska zakasnitev. V nekaterih primerih lahko dekompresija pripravljalnih podatkov traja do 64 procesorskih ciklov.
Za primerjavo: seštevanje in množenje števil s plavajočo vejico ne več kot deset ciklov. Težava je v tem, da pomnilnik deluje s podatkovnimi bloki fiksne velikosti, aplikacije pa z objekti, ki lahko vsebujejo različne vrste podatkov in se med seboj razlikujejo po velikosti. Da bi rešili težavo, so inženirji na MIT razvili objektno orientirano pomnilniško hierarhijo, ki optimizira obdelavo podatkov.
Kako tehnologija deluje
Rešitev temelji na treh tehnologijah: Hotpads, Zippads in kompresijski algoritem COCO.
Hotpads so programsko nadzorovana hierarhija registriranega pomnilnika visoke hitrosti (). Ti registri se imenujejo blazinice in so trije - od L1 do L3. Hranijo predmete različnih velikosti, metapodatke in nize kazalcev.
V bistvu je arhitektura sistem predpomnilnika, vendar prilagojen za delo s predmeti. Raven podloge, na kateri je predmet, je odvisna od tega, kako pogosto se uporablja. Če se ena od stopenj »prelije«, sistem zažene mehanizem, podoben »zbiralnikom smeti« v jezikih Java ali Go. Analizira, kateri predmeti se uporabljajo manj pogosto kot drugi, in jih samodejno premika med nivoji.
Zippads deluje poleg Hotpads – arhivira in razarhivira podatke, ki vstopajo ali zapuščajo zadnji dve ravni hierarhije – ploščico L3 in glavni pomnilnik. Prva in druga ploščica hranita podatke nespremenjene.
Zippads stisne objekte, katerih velikost ne presega 128 bajtov. Večje predmete razdelimo na dele, ki jih nato postavimo v različna področja pomnilnika. Kot pišejo razvijalci, ta pristop poveča koeficient učinkovito uporabljenega pomnilnika.
Za stiskanje predmetov se uporablja algoritem COCO (Cross-Object COmpression), o katerem bomo razpravljali kasneje, čeprav lahko sistem deluje tudi z ali . Algoritem COCO je vrsta diferencialne kompresije (). Objekte primerja z "osnovo" in odstrani podvojene bite - glejte spodnji diagram:
Po mnenju inženirjev z MIT je njihova objektno usmerjena hierarhija pomnilnika 17% bolj produktivna od klasičnih pristopov. Po zasnovi je veliko bližje arhitekturi sodobnih aplikacij, zato ima nova metoda potencial.
Pričakuje se, da bodo podjetja, ki delajo z velikimi podatki in algoritmi strojnega učenja, najprej začela uporabljati tehnologijo. Druga potencialna smer so platforme v oblaku. Ponudniki IaaS bodo lahko učinkoviteje delali z virtualizacijo, sistemi za shranjevanje podatkov in računalniškimi viri.
Naši dodatni viri in viri:
Vir: www.habr.com