Miсrosoft откри кода на системата за разпределение на паметта mimalloc

Компания Miсrosoft откри библиотека под лицензия MIT mimalloc с имплементации на система за разпределение на паметта, първоначално създадена за runtime-компоненти на езиците Koka и Lean. Mimalloc е адаптиран за употреба в типов приложения без необходимост от промяна на техния код и може да служи като прозрачно заместител на функцията malloc. Подкрепя работа в Windows, macOS, Linux, BSD и други Unix-подобни системи.

Основната характеристика на mimalloc е компактността на имплементацията (по-малко от 3500 реда код) и много високата производителност. В извършените тестове mimalloc надминава по производителност всички конкуриращи библиотеки за разпределение на паметта, включително jemalloc, tcmalloc, snmalloc, rpmalloc и Hoard.

За оценка на производителността е използван набор от вече съществуващи типови тестове В някои тестове mimalloc значително изпреварва другите системи, например, в теста за миграция на обекти между различни потоци mimalloc се оказа по-бърз от tcmalloc и jemalloc с повече от 2.5 пъти. В повечето тестове също така се наблюдава по-ниска консумация на памет, като в някои случаи разходите за памет успяват да бъдат намалени с 25%.

Високата производителност се постига основно чрез използване на сегментиране на списъка със свободни блокове (free list sharding). Вместо един голям списък, в mimalloc се прилага разделение на серия от по-малки списъци, всеки от които се свързва с страница памет. Такъв подход намалява фрагментацията и повишава локализацията на данни в паметта. Под страницата памет се разбира група от близки по размер блокове. На 64-битови системи размерът на страницата обикновено е 64 КБ. В случай, че в страницата не остават заети блокове, тя се освобождава напълно с връщане на паметта на операционната система, което позволява да се намалят разходите за памет и фрагментацията в дългосрочно работещи програми.

Библиотеката може да бъде свързана на етапа на свързване или да бъде заредена за вече компилирана програма («LD_PRELOAD=/usr/bin/libmimalloc.so myprogram»). В библиотеката също така се предоставя API за интегрирането на функционалности в runtime и прецизното управление на поведението, например, за свързване на обработчици за отложено освобождаване на паметта и монотонно увеличаване на броячи за препратки. Има възможност за създаване и използване на множество «купчини» (heap) в приложението за разпределение в различни области на паметта. Включително е възможно освобождаването на купчината напълно, без обхождане и отделно освобождаване на разположените там обекти.

Предвидена е възможност за компилиране на библиотеката в защитен режим, при който на границата на блоковете се извършва замяна с специални контролни страници в паметта (guard-page), а също така се използва рандомизация за разпределение на блоковете и криптиране на списъци с освобождавани блокове. Подобни мерки позволяват блокирането на повечето типични техники за експлоатация на преливане на буфери в купчината. При активиране на защитния режим производителността спада с около 3%.

Сред особеностите на mimalloc се отбелязва, че не е подложен на проблеми с раздуването при голяма фрагментация. В най-лошия сценарий потреблението на памет нараства с 0.2% за метаданни и може да достигне 16.7% за разпределената памет. За изключване на конфликти при достъп до ресурси в mimalloc се прилагат само атомни операции.

Източник: opennet.ru