Google публикува нов вариант на системата за разпределение на памет TCMalloc

Компания Google представи нова версия на системата за разпределение на паметта TCMalloc, която се използва в много вътрешни проекти на Google. Кодът TCMalloc е написан на C++ и се разпространява под лиценция Apache. За работа е необходим компилатор с поддръжка на C++17 за езика C++, и C11 за езика C (gcc 9.2+ или clang 9.0+). От операционни системи поддържа се само Linux (x86, PPC).

Забележително е, че от 2005 година съществува още една версия на tcmalloc, която беше включва пакета gperftools (Google Performance Tools). Това са два линуксов? проекта, които имат общи корени. Новият TCMalloc е по-скоро опит за отваряне на кода на актуалните вътрешни разработки на Google, но в момента не е насочен към предоставянето на стабилен ABI и поддръжка на широк спектър от операционни системи. Поддръжката на стария tcmalloc от gperftools ще продължи, но новите функционалности, като привързване на кеша към CPU, не се планира да бъдат пренесени в него.

TCMalloc включва имплементация на C функцията malloc() и C++ оператора «new», оптимизирани за постигане на висока производителност и използване в многопоточни приложения. TCMalloc също предоставя възможности за интроспекция и профилиране, което позволява на приложението да получи подробна информация за използването на памет в купчината. В кода се прилагат оптимизации, основани на съвременните възможности на езика C++, като
оператора delete с указанието на размера от C++14 и заделяне на памет с подравняване от C++17.

TCMalloc се състои от три компонента: фронтенд с кеш за бързо заделяне и освобождаване на памет, прослойка за запълване на кеша на фронтенда и бекенд, изпълняващ операции като получаване на памет от операционната система, управление на големи блокове неизползвана памет и връщане на излишната памет обратно в ОС. Кешът е освободен от заключвания и работи в привръзка с ядрата на CPU, но се връща на модела за кеширане в привръзка с нишките в случай на липса на необходимата функционалност в ядрото на ОС (привързването на кеша към CPU работи само в нови ядра на Linux). Бекендът поддържа работата както с обикновени страници памет, така и с увеличени страници (hugepage).

Основни характеристики на TCMalloc:

• Бързо заделяне и освобождаване на памет с използване на кеширане. Повечето операции за заделяне на памет не изискват блокиране, което осигурява добра мащабируемост за многопоточни приложения с висок паралелизъм на изпълнение на задачите;
• Гъвкаво използване на паметта, позволяващо повторно използване на освободените области за обекти с различен размер или връщане на паметта обратно на операционната система;
• Ниски разходи за всеки обект благодарение на заделянето на страници с еднакъв размер на обектите и ефективното представяне на малки обекти. Подобно на логически страници с размери 4KiB, 8KiB, 32KiB и 256KiB. Например, когато се поискат блокове от 512 байта памет, ще бъде заделена цяла страница от 4KiB за 512-байтови обекти, в която ще се поместят 8 такива обекта;
• Възможна е прецизна настройка чрез определения за размера на кеша и параметрите за интензивност на връщане на паметта в ОС;
• Предоставяне на детайлна информация за анализа на използването на памет от приложението.

Източник: opennet.ru