Microsoft har öppnat koden för systemet för minnesfördelning mimalloc

Microsoft har lanserat ett bibliotek under MIT-licensen mimalloc med implementationer av ett minnesdistributionssystem, ursprungligen skapat för runtime-komponenter i språk Koka och Lean. Mimalloc är anpassad för användning i typiska applikationer utan att deras kod behöver ändras och kan fungera som en transparent ersättning för malloc-funktionen. Den stöder användning i Windows, macOS, Linux, BSD och andra Unix-liknande system.

En nyckelfunktion hos mimalloc är kompaktheten i implementationen (mindre än 3500 kodrader) och den mycket höga prestandan. I genomförda tester har mimalloc överträffat alla konkurrerande minnesdistributionsbibliotek vad gäller prestanda, inklusive jemalloc, tcmalloc, snmalloc, rpmalloc och Hoard.

För att bedöma prestandan har en uppsättning redan existerande typiska tester I vissa tester överträffar mimalloc andra system med stor marginal, till exempel i testet för migration av objekt mellan olika trådar visade sig mimalloc vara mer än 2,5 gånger snabbare än tcmalloc och jemalloc. Samtidigt observeras i de flesta tester även en lägre minnesförbrukning, i vissa situationer kan minnesanvändningen minskas med upp till 25%.

Den höga prestandan uppnås främst genom användning av segmentering av listan med fria block (free list sharding). Istället för en stor lista använder mimalloc en uppdelning i en serie mindre listor, var och en kopplad till en minnessida. Denna metod minskar fragmenteringen och ökar lokaliseringen av data i minnet. En minnessida definieras som en gruppering av block som är lika i storlek. På 64-bitars system är storleken på en sida vanligtvis 64 KB. Om det inte finns några använda block kvar på sidan, frigörs den helt och meddelar operativsystemet att minnet har återvunnits, vilket minskar minneskostnaderna och fragmenteringen i långvariga program.

Biblioteket kan inkluderas vid länkning eller laddas in för ett redan kompilerat program ("LD_PRELOAD=\/usr\/bin\/libmimalloc.so myprogram"). Biblioteket erbjuder också API för att integrera funktionalitet i runtime och finjustera beteendet, till exempel för att koppla hanterare för fördröjd minnesåtervinning och monotont öka referensräknare. Det finns möjlighet att skapa och använda flera "högar" (heap) i applikationen för att fördela minnet över olika områden. Det är även möjligt att frigöra hela högen utan att gå igenom och frigöra enskilda objekt.

Det finns möjlighet att kompilera biblioteket i säkerhetsläge, där det vid blockgränser sätts in speciella kontrollsidor för minnet (guard-page), och där dessutom blockfördelningen randomiseras och listorna för frigjorda block krypteras. Dessa åtgärder blockerar de flesta typiska metoderna för att utnyttja buffertöverskridningar i högar. Vid aktivering av säkerhetsläge minskar prestandan med cirka 3%.

Bland särskildheterna hos mimalloc finns också att den inte påverkas av problem med uppsvullnad vid hög fragmentering. I det sämsta scenariot ökar minnesanvändningen med 0,2% för metadata och kan nå upp till 16,7% för det fördelade minnet. För att undvika konflikter vid åtkomst till resurser använder mimalloc enbart atomära operationer.

Källa: opennet.ru