Benchmarking for Linux servers: a collection of open tools

We continue to discuss tools for evaluating CPU performance on Linux machines. Today's material covers: temci, uarch-bench, likwid, perf-tools, and llvm-mca.

More benchmarks:

Benchmarking for Linux servers: a collection of open tools
Photo — Lukas Blazek — Unsplash

temci

This is a tool for measuring the execution time of two programs. Essentially, it allows you to compare the execution time of two applications. The utility was created by a student from Germany, Johannes Bechberger, who developed it as part of his bachelor's thesis in 2016. Today, the tool distribueres is licensed under the GNU General Public License.

Johannes aimed to create a tool that would allow measuring the performance of a computing system in a controlled environment. Therefore, one of the main features of temci is the ability to configure the test environment. For example, i: change the settings of the CPU frequency management, disable hyper-threading and L1 and L2 caches, disable turbo mode on Intel processors, etc. For benchmarking, temci uses tools time, perf_stat og getrusage.

This is how the utility works in the first case:

# compare the run times of two programs, running them each 20 times
> temci short exec "sleep 0.1" "sleep 0.2" --runs 20
Benchmark 20 times                [####################################]  100%
Report for single runs
sleep 0.1            (   20 single benchmarks)
     avg_mem_usage mean =           0.000, deviation =   0.0
     avg_res_set   mean =           0.000, deviation =   0.0
     etime         mean =      100.00000m, deviation = 0.00000%
     max_res_set   mean =         2.1800k, deviation = 3.86455%
     stime         mean =           0.000, deviation =   0.0
     utime         mean =           0.000, deviation =   0.0

sleep 0.2            (   20 single benchmarks)
     avg_mem_usage mean =           0.000, deviation =   0.0
     avg_res_set   mean =           0.000, deviation =   0.0
     etime         mean =      200.00000m, deviation = 0.00000%
     max_res_set   mean =         2.1968k, deviation = 3.82530%
     stime         mean =           0.000, deviation =   0.0
     utime         mean =           0.000, deviation =   0.0

Based on the benchmarking results, the system generates a convenient report with diagrams, tables, and graphs, which distinguishes temci from similar solutions.

One of the drawbacks of temci is its 'youth'. Because of this, it does not support all hardware and software configurations. For example, it is difficult to run on macOS, and some features are unavailable on ARM processors. In the future, the situation may change as the author actively develops the project, and the number of stars on GitHub is gradually increasing — not long ago, temci was even discussed in the comments on Hacker News.

uarch-bench

A utility for evaluating the performance of low-level CPU functions, developed by engineer Travis Downs (Travis Downs). Recently, he has been running his blog Performance Matters on GitHub Pages, where he talks about benchmarking tools and other related topics. Overall, uarch-bench is just starting to gain popularity, but it is already quite often mentioned by residents of Hacker News in thematic threads as a go-to tool for benchmarking.

Uarch-bench lar til å vurdere minneytelse, hastighet på parallell datainnhenting og rengjøringsarbeid. YMM-registere.. Hvordan resultatene fra benchmarking ser ut, kan du finne i det offisielle depotet. nederst på siden.

Det er verdt å merke seg at uarch-bench, akkurat som temci, deaktiverer Intel Turbo Boost-funksjonen (som automatisk øker prosessorens klokkefrekvens under belastning) for at testresultatene skal være konsistente.

Prosjektet er foreløpig i de tidlige utviklingsfasene, så uarch-bench har ikke detaljert dokumentasjon, og det kan oppstå feil i driften — for eksempel, det er kjente problemer med oppstart på Ryzen. Det støtter også bare benchmarking for x86-arkitekturer. Forfatteren lover å legge til mer funksjonalitet i fremtiden og inviterer til å bli med i utviklingen.

likwid

Dette er et sett med verktøy for ytelsesevaluering av Linux-maskiner med Intel-, AMD- og ARMv8-prosessorer. Det ble opprettet under ledelse av det tyske føderale ministeriet for utdanning og forskning i 2017 og er overført til open source.

Blant verktøyene i likwid kan vi trekke frem likwid-powermeter, som viser informasjon fra RAPL-registerne om systemets energiforbruk, samt likwid-setFrequencies — som lar deg kontrollere prosessorens frekvens. Du kan finne en fullstendig liste i depotet..

Verktøyet brukes av ingeniører som jobber med forskning innen HPC. For eksempel med likwid, fungerer en gruppe spesialister fra Regional Computing Center ved Friedrich-Alexander-Universität Erlangen-Nürnberg (RRZE) i Tyskland. De deltar også aktivt i utviklingen av dette verktøysettet.

Benchmarking for Linux servers: a collection of open tools
Photo — Clem Onojeghuo — Unsplash

perf-tools

Dette verktøyet for ytelsesanalyse av Linux-servere har presentert Brendan Gregg. Han er en av utviklerne av DTrace — et rammeverk for dynamisk sporingsprogramvare for feilsøking av applikasjoner i sanntid.

Bak perf-tools ligger kjernens subsystemer perf_events og ftrace. Verktøyene deres lar deg analysere forsinkelsen i inndata/utdata (iosnoop), spore argumentene til systemanrop (unccount, funcslower, funcgraph og functrace) og samle statistikk om 'treff' i filcache (cachestat). I sistnevnte tilfelle ser kommandoen slik ut:

# ./cachestat -t
Counting cache functions... Output every 1 seconds.
TIME HITS MISSES DIRTIES RATIO BUFFERS_MB CACHE_MB
08:28:57 415 0 0 100.0% 1 191
08:28:58 411 0 0 100.0% 1 191
08:28:59 362 97 0 78.9% 0 8
08:29:00 411 0 0 100.0% 0 9

Det har dannet seg et ganske stort fellesskap rundt verktøyet (nesten 6 000 stjerner på GitHub). Og det finnes selskaper som aktivt bruker perf-tools, for eksempel Netflix. Men verktøyet videreutvikles og modifiseres (selv om oppdateringer har kommet ganske sjelden i det siste). Derfor kan det oppstå feil i arbeidet hans - forfatteren sier at noen ganger forårsaker perf-tools kernel panic.

llvm-mca

Et verktøy som forutsier hvor mye datakraft som kreves for maskinkode på forskjellige CPU-er. Det vurderer Instructions Per Cycle (IPC) og belastningen på maskinvaren som genereres av ulike applikasjoner.

llvm-mca ble introdusert i 2018 som en del av prosjektet LLVM, som arbeider med utviklingen av et universelt analyseteam, transformasjon og optimalisering av programmer. Det er kjent at forfatterne av llvm-mca ble inspirert av løsningen for ytelsesanalyse av programvare IACA fra Intel og ønsket å lage et alternativ til det. Og ifølge brukere minner utdataene fra verktøyet (deres merking og mengde) faktisk om IACA - et eksempel kan finnes her. Imidlertid støtter llvm-mca kun AT&T-syntaks, så for å bruke det må du sannsynligvis benytte konvertere.

Hva vi skriver om i bloggene våre og på sosiale medier:

Benchmarking for Linux servers: a collection of open tools «Matematisk modell fra Wall Street» eller hvordan optimalisere kostnadene for skyen

Benchmarking for Linux servers: a collection of open tools Hvordan sikre et Linux-system: 10 tips
Benchmarking for Linux servers: a collection of open tools Minimering av risiko: hvordan unngå å miste dataene dine

Benchmarking for Linux servers: a collection of open tools Bøker for de som allerede driver med systemadministrasjon eller bare planlegger å starte
Benchmarking for Linux servers: a collection of open tools Utvalg: fem bøker og ett kurs om nettverk

Benchmarking for Linux servers: a collection of open toolsVi på 1cloud.no tilbyr gratis tjeneste «DNS-hosting». Du kan administrere DNS-poster hos oss i et samlet kontrollpanel.

Kilde: habr.com

Kjøp pålitelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere 🔥 Kjøp pålitelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere | ProHoster