🥇 Бенчмарки за сървъри на Linux: подборка от отворени инструменти

Продължаваме да разказваме за инструментите за оценка на производителността на CPU на Linux машини. Днес в материала: temci, uarch-bench, likwid, perf-tools и llvm-mca.

Повече бенчмаркове:

Снимка — Лукас Блазек — Unsplash

temci

Това е инструмент за оценка на времето за изпълнение на две програми. По същество, той позволява да се сравнят времето за изпълнение на две приложения. Авторът на утилитата е студентът от Германия Йоханес Бехбергер, който я е разработил в рамките на бакалавърска дипломна работа през 2016 година. Днес инструментът се разпространява се разпространява под лиценз GNU General Public License.

Йоханес е искал да създаде инструмент, който да позволи измерване на производителността на изчислителната система в контролирана среда. Затова една от основните характеристики на temci е възможността да се настрои тестовата среда. Например, може да се намери: да се променят настройките на контролера за честота на CPU, да се деактивират hyper-threading и кешовете L1 и L2, да се изключи режимът на турбо на Intel процесорите и др. За бенчмаркинга temci използва инструменти time, perf_stat и getrusage.

Ето как изглежда работата на утилитата в първия случай:

# compare the run times of two programs, running them each 20 times
> temci short exec "sleep 0.1" "sleep 0.2" --runs 20
Benchmark 20 times                [####################################]  100%
Report for single runs
sleep 0.1            (   20 single benchmarks)
     avg_mem_usage mean =           0.000, deviation =   0.0
     avg_res_set   mean =           0.000, deviation =   0.0
     etime         mean =      100.00000m, deviation = 0.00000%
     max_res_set   mean =         2.1800k, deviation = 3.86455%
     stime         mean =           0.000, deviation =   0.0
     utime         mean =           0.000, deviation =   0.0

sleep 0.2            (   20 single benchmarks)
     avg_mem_usage mean =           0.000, deviation =   0.0
     avg_res_set   mean =           0.000, deviation =   0.0
     etime         mean =      200.00000m, deviation = 0.00000%
     max_res_set   mean =         2.1968k, deviation = 3.82530%
     stime         mean =           0.000, deviation =   0.0
     utime         mean =           0.000, deviation =   0.0

Според резултатите от бенчмаркинга системата генерира удобен отчет с диаграми, таблици и графики, което отличава temci от аналогични решения.

Сред недостатъците на temci е неговата "младост". Поради това той не поддържа всички конфигурации на хардуера и софтуера. Например, трудно се стартира под macOS, а на системи с ARM процесор някои функции не са налични. В бъдеще ситуацията може да се промени, тъй като авторът активно развива проекта, а броят на звездите в GitHub постепенно нараства — преди неотдавна temci дори беше обсъждан в коментарите на Hacker News.

uarch-bench

Утилита за оценка на производителността на нискоуровневите функции на CPU, разработена от инженера Тревис Даунс (Travis Downs). Отскоро той води своя блог Performance Matters на GitHub Pages, в който разказва за инструменти за бенчмаркинг и свързани с тях неща. Общо взето, uarch-bench все още едва започва да набира популярност, но вече доста често се споменава попада в тематични тредове на Hacker News като основен инструмент за бенчмаркинг.

Uarch-bench позволява да се оцени производителността на паметта, скоростта на паралелно зареждане на данни и работата по почистването на YMM регистрите. Резултатите от бенчмаркинга, генерирани от програмата, могат да бъдат намерени в официалното хранилище в края на страницата.

Важно е да се отбележи, че uarch-bench, подобно на temci, отключва функцията Intel Turbo Boost (която автоматично увеличава тактовата честота на процесора при натоварване), за да бъдат резултатите от тестовете последователни.

Все още проектът е в ранните етапи на разработка, така че uarch-bench няма подробна документация, а в работата му могат да възникват бъгове — например, известни са трудности с стартиране на Ryzen. Също така, поддържат се само бенчмаркове за архитектури x86. Авторът обещава да добави повече функционалности в бъдеще и кани да се присъединят към разработката.

likwid

Това е набор от инструменти за оценка на производителността на Linux машини с процесори Intel, AMD и ARMv8. Създаден е под егидата на Федералното министерство на образованието и научните изследвания на Германия през 2017 година и е предоставен в open source.

Сред инструментите на likwid можем да подчертаем likwid-powermeter, който извежда информация от RAPL регистрите за консумираната мощност на системата, а също и likwid-setFrequencies — позволяваща контрол върху тактовите честоти на процесора. Пълният списък можете да намерите в хранилището.

Инструментът се използва от инженери, занимаващи се с изследвания в областта на HPC. Например, с likwid работи група специалисти от Регионалния изчислителен център на университета в Ерланген — Нюрнберг (RRZE) в Германия. Те активно участват в разработката на този набор от инструменти.

Снимка — Clem Onojeghuo — Unsplash

perf-tools

Този инструмент е за анализ на производителността на Linux сървъри представи Брендан Грег (Brendan Gregg). Той е един от разработчиците DTrace - на фреймворка за динамично трасирване за отстраняване на грешки в приложения в реално време.

В основата на perf-tools стоят подсистемите на ядрото perf_events и ftrace. Техните утилити позволяват анализ на забавяне при вход/изход (iosnoop), проследяване на аргументи за повиквания на системни функции (unccount, funcslower, funcgraph и functrace) и събиране на статистика за "попадения" в файловия кеш (cachestat). В последния случай командата изглежда така:

# ./cachestat -t
Counting cache functions... Output every 1 seconds.
TIME HITS MISSES DIRTIES RATIO BUFFERS_MB CACHE_MB
08:28:57 415 0 0 100.0% 1 191
08:28:58 411 0 0 100.0% 1 191
08:28:59 362 97 0 78.9% 0 8
08:29:00 411 0 0 100.0% 0 9

Около инструмента се е формирало доста обширно общество (почти 6 хил. звезди в GitHub). И има компании, които активно използват perf-tools, например Netflix. Инструментът все още се доразвива и модифицира (въпреки че напоследък актуализациите излизат доста рядко). Поради това в работата му могат да възникнат грешки — авторът пише, че понякога perf-tools предизвиква kernel panic.

llvm-mca

Утилита, която предсказва колко изчислителни ресурси ще изисква машинният код на различни CPU. Тя оценява Instructions Per Cycle (IPC) и натоварването на хардуера, което генерира дадено приложение.

llvm-mca беше представен през 2018 година в рамките на проекта LLVM, който се занимава с разработката на универсална система за анализ, трансформация и оптимизация на програми. Известно е, че авторите на llvm-mca са вдъхновени от решението за анализ на производителността на софтуер IACA от Intel и са се стремели да създадат негова алтернатива. И според потребителите, изходните данни на инструмента (техният формат и количество) наистина напомнят на IACA — например можете да намерите тук. Въпреки това llvm-mca обработва само AT&T-синтаксис, така че вероятно ще трябва да се използват конвертори за работа с него.

За какво пишем в нашите блогове и социални мрежи:
«Математическа модел с Уолстрийт» или как да оптимизираме разходите за облак
Как да защитим Linux системата: 10 съвета
Минимизиране на рисковете: как да не загубите вашите данни
Книги за тези, които вече се занимават с системно администриране или току-що планират да започнат
Подборка: пет книги и един курс по мрежи