Ett team av ingenjörer från MIT har utvecklat en objektorienterad minneshierarki för att arbeta med data mer effektivt. I artikeln kommer vi att förstå hur det fungerar.
/ /PD
Som bekant åtföljs ökningen av prestanda hos moderna CPU: er inte av en motsvarande minskning av latens vid åtkomst till minne. Skillnaden i förändringar i indikatorer från år till år kan vara upp till 10 gånger (). Som ett resultat uppstår en flaskhals som förhindrar full användning av tillgängliga resurser och saktar ner databehandlingen.
Prestandaskador orsakas av den så kallade dekompressionsfördröjningen. I vissa fall kan förberedande datadekomprimering ta upp till 64 processorcykler.
Som jämförelse: addition och multiplikation av flyttal inte mer än tio cykler. Problemet är att minnet fungerar med datablock av en fast storlek, och applikationer arbetar med objekt som kan innehålla olika typer av data och skiljer sig i storlek från varandra. För att lösa problemet utvecklade ingenjörer vid MIT en objektorienterad minneshierarki som optimerar databehandling.
Hur tekniken fungerar
Lösningen är baserad på tre teknologier: Hotpads, Zippads och COCO-kompressionsalgoritmen.
Hotpads är en mjukvarustyrd hierarki av höghastighetsregistrerat minne (). Dessa register kallas pads och det finns tre av dem - från L1 till L3. De lagrar objekt av olika storlekar, metadata och pekarmatriser.
I grund och botten är arkitekturen ett cachesystem, men skräddarsytt för att arbeta med objekt. Nivån på dynan objektet befinner sig på beror på hur ofta den används. Om en av nivåerna "svämmar över" startar systemet en mekanism som liknar "sopsamlare" i Java- eller Go-språken. Den analyserar vilka objekt som används mer sällan än andra och flyttar dem automatiskt mellan nivåerna.
Zippads fungerar ovanpå Hotpads - arkiverar och avarkiverar data som går in i eller lämnar de två sista nivåerna i hierarkin - L3-plattan och huvudminnet. Den första och andra plattan lagrar data oförändrade.
Zippads komprimerar objekt vars storlek inte överstiger 128 byte. Större föremål delas in i delar, som sedan placeras i olika minnesområden. Som utvecklarna skriver ökar detta tillvägagångssätt koefficienten för effektivt använt minne.
För att komprimera objekt används COCO (Cross-Object Compression) algoritmen, som vi kommer att diskutera senare, även om systemet även kan arbeta med eller . COCO-algoritmen är en typ av differentiell komprimering (). Den jämför objekt med "basen" och tar bort dubbla bitar - se diagrammet nedan:
Enligt ingenjörer från MIT är deras objektorienterade minneshierarki 17 % mer produktiv än klassiska metoder. Det är mycket närmare arkitekturen i moderna applikationer i design, så den nya metoden har potential.
Det förväntas att företag som arbetar med big data och maskininlärningsalgoritmer kommer att börja använda tekniken först. En annan potentiell riktning är molnplattformar. IaaS-leverantörer kommer att kunna arbeta mer effektivt med virtualisering, datalagringssystem och datorresurser.
Våra ytterligare resurser och källor:
Källa: will.com