Wie funktioniert die Kompression in der objektorientierten Speicherarchitektur?

Ein Ingenieurteam des MIT hat eine objektorientierte Speicherhierarchie entwickelt, um effizienter mit Daten umzugehen. In diesem Artikel erläutern wir, wie sie aufgebaut ist.

/ PxHere / PD

Wie bekannt ist, geht das Wachstum der Leistung moderner CPUs nicht mit einem entsprechenden Rückgang der Latenz bei Speicherzugriffen einher. Der Unterschied in den Leistungskennzahlen kann von Jahr zu Jahr bis zu 10-fach variieren (PDF, S. 3). Das Resultat ist ein Flaschenhals, der die vollständige Nutzung der verfügbaren Ressourcen einschränkt und die Datenverarbeitung verlangsamt.

Die so genannte Dekompressionslatenz trägt zur Leistungseinbuße bei. In einigen Fällen kann die vorbereitende Dekompression von Daten bis zu 64 Prozessorkreisläufe in Anspruch nehmen.

Zum Vergleich: Die Addition und Multiplikation von Gleitkommazahlen benötigen nicht mehr als zehn Zyklen. Das Problem liegt darin, dass der Speicher mit Datenblöcken fester Größe arbeitet, während Anwendungen mit Objekten umgehen, die unterschiedliche Datentypen enthalten und in ihrer Größe variieren können. Um dieses Problem zu lösen, entwickelten Ingenieure des MIT eine objektorientierte Speicherhierarchie, die die Datenverarbeitung optimiert.

Wie die Technologie funktioniert

Das zugrunde liegende Konzept basiert auf drei Technologien: Hotpads, Zippads und dem COCO-Kompressionsalgorithmus.

Hotpads sind eine softwaregesteuerte Hierarchie von ultraschnellem Registrierspeicher (scratchpad). Diese Register werden als Pads bezeichnet und es gibt drei Stück — von L1 bis L3. Dort werden Objekte unterschiedlicher Größen, Metadaten und Arrays von Zeigern gespeichert.

Im Wesentlichen handelt es sich bei der Architektur um ein Cache-System, das jedoch für die Arbeit mit Objekten optimiert ist. Die Pad-Ebene, auf der sich ein Objekt befindet, hängt davon ab, wie häufig es verwendet wird. Wenn eine der Ebenen "überläuft", aktiviert das System einen Mechanismus, der mit den "Garbage Collectors" in den Programmiersprachen Java oder Go vergleichbar ist. Er analysiert, welche Objekte seltener als die anderen verwendet werden, und verschiebt sie automatisch zwischen den Ebenen.

Zippads basiert auf Hotpads — es archiviert und dearchiviert Daten, die die beiden letzten Ebenen der Hierarchie betreten oder verlassen — Pad L3 und den Hauptspeicher. In den ersten beiden Pads werden die Daten in unveränderter Form gespeichert.

Zippads komprimiert Objekte, deren Umfang 128 Byte nicht überschreitet. Größere Objekte werden in Teile zerlegt, die dann an verschiedenen Speicherstellen abgelegt werden. Laut den Entwicklern erhöht dieser Ansatz die Effizienz der Speichernutzung.

Zur Komprimierung von Objekten wird der Algorithmus COCO (Cross-Object COmpression) verwendet, über den wir später berichten werden, obwohl das System auch mit Base-Delta-Immediate oder FPC. Der COCO-Algorithmus ist eine Form der differentiellen Kompression (differential compression). Er vergleicht Objekte mit „Basisobjekten“ und entfernt sich wiederholende Bits – siehe das Diagramm unten:

Laut Ingenieuren des MIT ist ihre objektorientierte Speicherhierarchie um 17 % leistungsfähiger als traditionelle Ansätze. Sie stellt eine signifikante Annäherung an die Architektur moderner Anwendungen dar, weshalb die neue Methode Potenzial hat.

Erwartet wird, dass Unternehmen, die mit großen Datenmengen und Algorithmen für maschinelles Lernen arbeiten, die Technologie zuerst nutzen werden. Ein weiteres potenzielles Anwendungsfeld sind Cloud-Plattformen. IaaS-Anbieter erhalten die Möglichkeit, effizienter mit Virtualisierung, Datenspeichersystemen und Rechenressourcen zu arbeiten.

Unsere zusätzlichen Ressourcen und Quellen:

„Wie wir IaaS aufbauen“: Materialien zur Arbeit von 1cloud

Die Evolution der Cloud-Architektur von 1cloud
Der Objektspeicherdienst in 1cloud

Potenzielle Angriffe auf HTTPS und Möglichkeiten, sich zu schützen
Was sind die Ähnlichkeiten und Unterschiede zwischen den Ansätzen Continuous Delivery und Continuous Integration?
Wie man einen Server im Internet schützt: Erfahrungen von 1cloud

Quelle: habr.com