Превод на написот подготвен за студенти на курсеви „Администратор на Линукс“.

Претходно, зборував за тоа како да се тестира и овозможи Hugepages на Linux.
Оваа статија ќе биде корисна само ако навистина имате место за користење на Hugepages. Сум сретнал многу луѓе кои се измамени од изгледите дека Hugepages магично ќе ја подобри продуктивноста. Сепак, огромните страници е сложена тема и може да ги влоши перформансите доколку се користи неправилно.

Дел 1: Потврда дека огромните страници се овозможени на Linux (оригинал тука)

Проблем:
Треба да проверите дали HugePages е овозможено на вашиот систем.

решение:
Прилично е едноставно:

cat /sys/kernel/mm/transparent_hugepage/enabled

Ќе добиете нешто како ова:

always [madvise] never

Ќе видите листа на достапни опции (секогаш, лудо, никогаш), а моментално активната опција ќе биде затворена во загради (стандардно лудило).

лудило значи дека transparent hugepages овозможено само за мемориски области кои експлицитно бараат огромни страници со користење лудило (2).

секогаш значи дека transparent hugepages секогаш овозможено за сите процеси. Ова обично ги подобрува перформансите, но ако имате случај на употреба каде што многу процеси трошат мала количина на меморија, тогаш целокупното оптоварување на меморијата може драстично да се зголеми.

никогаш значи дека transparent hugepages нема да бидат вклучени дури и кога се бара со користење на madvise. За да дознаете повеќе, контактирајте документација Линукс кернели.

Како да ја смените стандардната вредност

Опција 1: Директно промени sysfs (по рестартирање, параметарот ќе се врати на неговата стандардна вредност):

echo always >/sys/kernel/mm/transparent_hugepage/enabled
echo madvise >/sys/kernel/mm/transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/enabled

Опција 2: Променете го стандардниот систем на системот со прекомпајлирање на кернелот со изменета конфигурација (оваа опција се препорачува само ако користите приспособено јадро):

За да поставите секогаш стандардно, користете:

CONFIG_TRANSPARENT_HUGEPAGE_ALWAYS=y
# Comment out CONFIG_TRANSPARENT_HUGEPAGE_MADVISE=y

За да го поставите madvise како стандардно, користете:
```
CONFIG_TRANSPARENT_HUGEPAGE_MADVISE=y
# Comment out CONFIG_TRANSPARENT_HUGEPAGE_ALWAYS=y
```

Дел 2: Предности и недостатоци на HugePages

Ќе се обидеме селективно да ги објасниме предностите, недостатоците и можните стапици од користењето на Hugepages. Бидејќи технолошки сложена и педантна статија веројатно ќе биде тешко да се разбере за луѓето кои се залажуваат дека Hugepages е лек, ќе ја жртвувам точноста за едноставност. Само вреди да се има на ум дека многу од темите се навистина сложени и затоа се многу поедноставени.

Ве молиме имајте предвид дека зборуваме за 64-битни x86 системи со Linux, и дека едноставно претпоставувам дека системот поддржува транспарентни огромни страници (бидејќи не е недостаток што огромните страници не се препишуваат), како што е случај во речиси секој модерен Linux животната средина.

Ќе прикачам повеќе технички опис на линковите подолу.

Виртуелна меморија

Ако сте програмер во C++, знаете дека објектите во меморијата имаат специфични адреси (вредности на покажувачот).

Сепак, овие адреси не мора да ги одразуваат физичките адреси во меморијата (RAM-адреси). Тие претставуваат адреси во виртуелната меморија. Процесорот има специјален MMU (единица за управување со меморија) кој му помага на кернелот да ја мапира виртуелната меморија на физичка локација.

Овој пристап има многу предности, но најважните се:

Изведба (од различни причини);
Програмска изолација, односно ниту една програма не може да чита од меморијата на друга програма.

Што се страници?

Виртуелната меморија е поделена на страници. Секоја поединечна страница укажува на одредена физичка меморија, може да укаже на област во RAM меморијата или може да укаже на адреса доделена на физички уред, како што е видео картичка.

Повеќето од страниците со кои се занимавате укажуваат на RAM меморија или се заменети, што значи дека се зачувани на вашиот хард диск или SSD. Јадрото управува со физичкиот распоред на секоја страница. Ако се пристапи до лажна страница, кернелот ја запира низата што се обидува да пристапи до меморијата, ја чита страницата од хард дискот/SSD во RAM меморијата, а потоа продолжува со извршувањето на нишката.

Овој процес е транспарентен, што значи дека не мора да се чита директно од HDD/SSD. Големината на нормалните страници е 4096 бајти. Големината на големите страници е 2 мегабајти.

Превод-асоцијативен бафер (TLB)

Кога програмата пристапува до страница од меморијата, процесорот мора да знае од која физичка страница да чита податоци (т.е. да има виртуелна мапа на адреса).

Јадрото има структура на податоци (табела на страници) која ги содржи сите информации за страниците што се користат. Користејќи ја оваа структура на податоци, можете да мапирате виртуелна адреса на физичка адреса.

Сепак, табелата со страници е прилично сложена и бавна, така што едноставно не можеме да ја анализираме целата структура на податоци секогаш кога процесот ќе пристапи до меморијата.

За среќа, нашиот процесор има TLB што го кешира мапирањето помеѓу виртуелните и физичките адреси. Ова значи дека иако треба да ја анализираме табелата со страници при првиот обид за пристап, сите последователни пристапи до страницата може да се ракуваат во TLB, што овозможува брзо работење.

Бидејќи е имплементиран како физички уред (што на прво место го прави брз), неговиот капацитет е ограничен. Значи, ако сакате да пристапите до повеќе страници, TLB нема да може да складира мапирања за сите нив, што предизвикува вашата програма да работи многу побавно.

Hugepages доаѓа на помош

Значи, што можеме да направиме за да избегнеме прелевање на TLB? (Претпоставуваме дека програмата сè уште има потреба од иста количина на меморија).

Тука влегува Hugepages. Наместо 4096 бајти да бараат само еден влез во TLB, еден TLB запис сега може да укаже на неверојатни 2 мегабајти. Да претпоставиме дека TLB има 512 записи, овде без Hugepages можеме да се совпаднеме:

4096 b⋅512=2 MB

Тогаш, како можеме да се споредиме со нив:

2 MB⋅512=1 GB

Ова е причината зошто Hugepages е одличен. Тие можат да ја подобрат продуктивноста без многу напор. Но, тука има значителни предупредувања.

Огромни страници измама

Јадрото автоматски следи колку често се користи секоја мемориска страница. Ако нема доволно физичка меморија (RAM), кернелот ќе премести помалку важни (поретко користени) страници на тврдиот диск за да ослободи малку RAM меморија за поважни страници.
Во принцип, истото важи и за Hugepages. Сепак, кернелот може да замени само цели страници, а не поединечни бајти.

Да речеме дека имаме ваква програма:

char* mymemory = malloc(2*1024*1024); // Возьмем это за одну Hugepage!
// Заполним mymemory какими-либо данными
// Сделаем много других вещей,
// которые приведут к подмене страницы mymemory
// ...
// Запросим доступ только к первому байту
putchar(mymemory[0]);

Во овој случај, кернелот ќе треба да замени (чита) дури 2 мегабајти информации од хард дискот/SSD само за да можете да прочитате еден бајт. Што се однесува до обичните страници, само 4096 бајти треба да се прочитаат од хард дискот/SSD.

Затоа, ако огромната страница е отфрлена, таа е побрза за читање само ако треба да пристапите до целата страница. Ова значи дека ако се обидувате по случаен избор да пристапите до различни делови од меморијата и само читате неколку килобајти, треба да користите обични страници и да не се грижите за ништо друго.

Од друга страна, ако треба последователно да пристапите до голем дел од меморијата, огромните страници ќе ги подобрат вашите перформанси. Сепак, треба сами да го тестирате (не со апстрактен софтвер) и да видите што работи побрзо.

Распределба во меморијата

Ако напишете C, знаете дека можете да побарате произволно мали (или речиси произволно големи) количини на меморија од купот користејќи malloc(). Да речеме дека ви требаат 30 бајти меморија:

char* mymemory = malloc(30);

На програмер може да му се чини дека „барате“ 30 бајти меморија од оперативниот систем и враќате покажувач на некоја виртуелна меморија. Но, всушност malloc () е само C функција која повикува од внатре во функцијата брк и сбрк да побарате или ослободите меморија од оперативниот систем.

Меѓутоа, барањето се повеќе и повеќе меморија за секоја распределба е неефикасно; најверојатно некој мемориски сегмент е веќе ослободен (free()), и можеме повторно да го користиме. malloc() имплементира доста сложени алгоритми за повторна употреба на ослободената меморија.

Во исто време, сè ви се случува незабележано, па зошто тоа да ве загрижува? Но затоа што предизвикот free() не значи тоа меморијата нужно се враќа веднаш во оперативниот систем.

Постои такво нешто како фрагментација на меморијата. Во екстремни случаи, има куп сегменти каде што се користат само неколку бајти, додека сè помеѓу е ослободено (free()).

Ве молиме имајте предвид дека фрагментацијата на меморијата е неверојатно сложена тема, па дури и мали промени во програмата може да имаат значително влијание. Во повеќето случаи, програмите нема да предизвикаат значителна фрагментација на меморијата, но треба да знаете дека ако има проблем со фрагментација во некоја област на купот, огромните страници може да ја влошат ситуацијата.

Селективна употреба на огромни страници

Откако ја прочитавте статијата, утврдивте кои делови од вашата програма можат да имаат корист од користењето огромни страници, а кои не. Значи, дали воопшто треба да се овозможат огромните страници?

За среќа можете да користите madvise()за да се овозможи огромно снимање само за оние мемориски области каде што би било корисно.

Прво, проверете дали огромните страници работат во режимот madvise() користејќи инструкции на почетокот на статијата.

Потоа, користете madvise()да му каже на кернелот каде точно да користи огромни страници.

#include <sys/mman.h>
// Аллоцируйте большое количество памяти, которую будете использовать
size_t size = 256*1024*1024;
char* mymemory = malloc(size);
// Просто включите hugepages…
madvise(mymemory, size, MADV_HUGEPAGE);
// … и задайте следующее
madvise(mymemory, size, MADV_HUGEPAGE | MADV_SEQUENTIAL)

Забележете дека овој метод е едноставно совет за кернелот како да управува со меморијата. Ова не значи дека кернелот автоматски ќе користи огромни страници за дадена меморија.

Видете ја документацијата (manpage)madviseда дознаете повеќе за управувањето со меморијата и madvise(), оваа тема има неверојатно стрмна крива на учење. Значи, ако имате намера да бидете навистина добри во тоа, подгответе се да читате и тестирате неколку недели пред да очекувате позитивни резултати.

Што да се прочита?

Имате прашање? Напишете во коментари!

Извор: www.habr.com

Предности и недостатоци на HugePages