Lite mer om dåliga tester

En dag stötte jag av misstag på lite kod som en användare använde för att övervaka RAM-prestanda i sin virtuella maskin. Jag kommer inte att visa den här koden (det är en enda röra) och lämnar bara de viktigaste delarna. Så, katten är i studion!

#include <sys/time.h>
#include <string.h>
#include <iostream>

#define CNT 1024
#define SIZE (1024*1024)

int main() {
	struct timeval start;
	struct timeval end;
	long millis;
	double gbs;
	char ** buffers;
	buffers = new char*[CNT];
	for (int i=0;i<CNT;i++) {
		buffers[i] = new char[SIZE];
	}
	gettimeofday(&start, NULL);
	for (int i=0;i<CNT;i++) {
		memset(buffers[i], 0, SIZE);
	}
	gettimeofday(&end, NULL);
	millis = (end.tv_sec - start.tv_sec) * 1000 +
		(end.tv_usec - start.tv_usec) / 1000;
	gbs = 1000.0 / millis;
	std::cout << gbs << " GB/sn";
	for (int i=0;i<CNT;i++) {
		delete buffers[i];
	}
	delete buffers;
	return 0;
}

Det är enkelt – vi allokerar minne och skriver en gigabyte till det. Och vad visar det här testet?

$ ./memtest
4.06504 GB / s

Ungefär 4 GB/s.

Vad?!?!

Hur?!?!?

Detta är en Core i7 (även om den inte är den nyaste), DDR4, processorn är nästan helt obelastad - VARFÖR?!?!

Svaret är, som alltid, utomordentligt ordinärt.

Den nya operatorn (och malloc-funktionen, förresten) allokerar faktiskt inte minne. När den anropas tittar allokeraren på listan över lediga områden i minnespoolen, och om det inte finns några anropar den sbrk() för att utöka datasegmentet, och returnerar sedan en referens till adressen för det nyligen allokerade området till programmet.

Problemet är att det allokerade området är helt virtuellt. Inga riktiga minnessidor allokeras.

Och när den första åtkomsten till varje sida från detta allokerade segment sker, "utlöser" MMU ett sidfel, varefter den virtuella sidan som nås tilldelas en riktig.

Därför testar vi i verkligheten inte prestandan hos buss- och RAM-modulerna, utan prestandan hos operativsystemets MMU och VMM. Och för att testa RAM-minnets verkliga prestanda behöver vi bara initiera de allokerade områdena en gång. Till exempel, så här:

#include <sys/time.h>
#include <string.h>
#include <iostream>

#define CNT 1024
#define SIZE (1024*1024)

int main() {
	struct timeval start;
	struct timeval end;
	long millis;
	double gbs;
	char ** buffers;
	buffers = new char*[CNT];
	for (int i=0;i<CNT;i++) {
                // FIXED HERE!!!
		buffers[i] = new char[SIZE](); // Add brackets, &$# !!!
	}
	gettimeofday(&start, NULL);
	for (int i=0;i<CNT;i++) {
		memset(buffers[i], 0, SIZE);
	}
	gettimeofday(&end, NULL);
	millis = (end.tv_sec - start.tv_sec) * 1000 +
		(end.tv_usec - start.tv_usec) / 1000;
	gbs = 1000.0 / millis;
	std::cout << gbs << " GB/sn";
	for (int i=0;i<CNT;i++) {
		delete buffers[i];
	}
	delete buffers;
	return 0;
}

Det vill säga, vi initierar helt enkelt de allokerade buffertarna med standardvärdet (char 0).

Vi kontrollerar:

$ ./memtest
28.5714 GB / s

Det är en annan sak.

Sensmoralen i historien: om du behöver stora buffertar för att arbeta riktigt snabbt, glöm inte att initiera dem.

Källa: will.com