Как работи компресията в обектно-ориентирана архитектура на паметта

Екип от инженери от MIT разработи обектно-ориентирана йерархия на паметта за по-ефективна работа с данни. В статията ще разберем как работи.

/ PxТук /PD

Както е известно, увеличаването на производителността на съвременните процесори не е придружено от съответно намаляване на латентността при достъп до паметта. Разликата в промените в показателите от година на година може да бъде до 10 пъти (PDF, страница 3). В резултат на това възниква пречка, която предотвратява пълното използване на наличните ресурси и забавя обработката на данни.

Повредата в производителността се причинява от така нареченото забавяне на декомпресията. В някои случаи декомпресията на подготвителните данни може да отнеме до 64 процесорни цикъла.

За сравнение: събиране и умножение на числа с плаваща запетая заемат не повече от десет цикъла. Проблемът е, че паметта работи с блокове данни с фиксиран размер, а приложенията работят с обекти, които могат да съдържат различни типове данни и се различават по размер един от друг. За да решат проблема, инженерите от MIT разработиха обектно-ориентирана йерархия на паметта, която оптимизира обработката на данни.

Как работи технологията

Решението се основава на три технологии: Hotpads, Zippads и алгоритъма за компресия COCO.

Hotpads са софтуерно контролирана йерархия от високоскоростна регистрирана памет (драскотина). Тези регистри се наричат ​​подложки и са три - от L1 до L3. Те съхраняват обекти с различни размери, метаданни и масиви от указатели.

По същество архитектурата е кеш система, но пригодена за работа с обекти. Нивото на подложката, върху която е предметът, зависи от това колко често се използва. Ако едно от нивата „препълни“, системата стартира механизъм, подобен на „събирачите на боклук“ в езиците Java или Go. Той анализира кои обекти се използват по-рядко от други и автоматично ги премества между нивата.

Zippads работи върху Hotpads - архивира и деархивира данни, които влизат или излизат от последните две нива на йерархията - L3 pad и основната памет. Първата и втората подложки съхраняват данните непроменени.

Zippads компресира обекти, чийто размер не надвишава 128 байта. По-големите обекти се разделят на части, които след това се поставят в различни области на паметта. Както пишат разработчиците, този подход увеличава коефициента на ефективно използвана памет.

За компресиране на обекти се използва алгоритъмът COCO (Cross-Object COmpression), който ще обсъдим по-късно, въпреки че системата може да работи и с База-Делта-Незабавно или FPC. Алгоритъмът COCO е вид диференциална компресия (диференциална компресия). Той сравнява обектите с "базата" и премахва дублиращите се битове - вижте диаграмата по-долу:

Според инженери от Масачузетския технологичен институт тяхната обектно-ориентирана йерархия на паметта е 17% по-продуктивна от класическите подходи. Той е много по-близък като дизайн до архитектурата на съвременните приложения, така че новият метод има потенциал.

Очаква се компаниите, които работят с големи данни и алгоритми за машинно обучение, да започнат първи да използват технологията. Друга потенциална посока са облачните платформи. Доставчиците на IaaS ще могат да работят по-ефективно с виртуализация, системи за съхранение на данни и изчислителни ресурси.

Нашите допълнителни ресурси и източници:

„Как изграждаме IaaS“: материали за работата на 1cloud

Еволюция на облачната архитектура 1cloud
Услуга за съхранение на обекти в 1cloud

Потенциални атаки срещу HTTPS и как да се защитим от тях
Как подходите за непрекъсната доставка и непрекъсната интеграция са сходни и различни?
Как да защитите сървър в интернет: 1cloud опит

Източник: www.habr.com