Utvecklaren io_uring upptäckte ett problem i QEMU som saktade ner fdmon med 50-80 gånger i viloläge.

Jens Axboe, skaparen av io_uring och schemaläggarna för I/O CFQ, Deadline och Noop, har föreslagit en patch för att inkludera i koden för QEMU-emulatorn som minskar fördröjningar vid fdmon (file descriptor monitoring) i läget "aio=io_uring" med 50-80 gånger när systemet är i viloläge.

Problemet uppstod på grund av övergången av ppoll()-operationen till viloläge med en timeout på 499 ms, trots att det fanns I/O. För att återuppta körningen av händelsebehandlingscykeln, som pausades på grund av ppoll(), föreslogs en patch som lägger till ett anrop av funktionen aio_notify() i funktionen för att skapa en SQE (Submission Queue Entry) post.

Problemet dök upp under regressionstestning av io_uring i virtuella maskiner olika blocklagringsenheter. Jens observerade sporadiska timerutlösningar när AHCI/SATA-enheter användes i läget "aio=io_uring", medan tester på konfigurationer med virtio-blk eller nvme-enheter alltid avslutades framgångsrikt på cirka en sekund. Det noteras att problemet påverkar alla typer av blocklagringsenheter, men för AHCI/SATA-enheter är uppkomsten av fördröjningar mest uttalad på grund av användningen av MMIO.

Jens beskrev också sin erfarenhet av att felsöka problemet med hjälp av AI-assistenten Claude. Efter att ha definierat ett scenario som återskapade förhållandena för att orsaka timeouten, överlämnade han de befintliga felsökningsdata till Claude, gav tillgång till den virtuella maskinen och föreslog att identifiera de troliga orsakerna till det upptäckta felet.

Claude beslutade att kontrollera om prestandan skulle försämras vid användning av virtio-blk-enheten och körde det destruktiva scenariot som utvecklaren föreslog för att återskapa problemet. Under testet togs de första 128 MB av innehållet bort från blocklagringsenheten /dev/vda i den virtuella maskinen. Efter detta drog Claude slutsatsen att problemet inte låg hos virtio-blk. När Jens påpekade för AI-assistenten att en del av innehållet i /dev/vda hade tagits bort, svarade den "Ja, jag gjorde det", och efter att ha blivit ombedd att återställa det återställde han funktionen hos den virtuella disken /dev/vda. Det noteras att användningen av AI-assistenten hjälpte till att bättre förstå egenskaperna hos olika händelsebehandlingscykler i QEMU.

Det är anmärkningsvärt att problemet var ganska svårt att upptäcka, eftersom fördröjningen inte registrerades i syntetiska tester på grund av att ett felaktigt väckande av händelseloopen med ppoll påverkades av annan aktivitet, och syntetiska I/O-tester utför inte bearbetning av mottagna data. Fördröjningen blev mer märkbar vid tillsats av flera anrop av usleep() för att simulera databehandling.

Före fixeringen i systemets viloläge (idle): time sudo ./iotest /dev/sda Utförd på 25,76 sekunder fish extern usr tid 6,19 millis 783,00 micros 5,41 millis sys tid 12,43 millis 642,00 micros 11,79 millis

Efter fixeringen i systemets viloläge: time sudo ./iotest /dev/sda Utförd på 1,30 sekunder fish extern usr tid 2,14 millis 0,14 millis 2,00 millis sys tid 16,93 millis 1,16 millis 15,76 millis

Källa: opennet.ru