{"id":42134,"date":"2019-03-18T00:00:00","date_gmt":"2019-03-17T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/uskorenie-fajlovogo-vvoda-vyvoda-c-c-ne-osobo-napryagayas"},"modified":"2020-02-18T13:44:56","modified_gmt":"2020-02-18T10:44:56","slug":"uskorenie-fajlovogo-vvoda-vyvoda-c-c-ne-osobo-napryagayas","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/uskorenie-fajlovogo-vvoda-vyvoda-c-c-ne-osobo-napryagayas","title":{"rendered":"Beschleunigung der Dateieingabe- und -ausgabe in C\/C++, ohne gro\u00dfen Aufwand","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Beschleunigung<\/p>\n

Vorwort<\/h4>\n

\nEs gibt ein so einfaches und sehr n\u00fctzliches Tool auf der Welt \u2014 BDelta<\/a><\/noindex>, und es stellt sich heraus, dass es schon lange fest in unseren Produktionsprozess integriert ist (obwohl es mir nicht gelungen ist, die Version zu installieren, war sie definitiv nicht die neueste verf\u00fcgbare). Wir nutzen es entsprechend seinem Zweck \u2013 zur Erstellung bin\u00e4rer Patches. Wenn man sich anschaut, was im Repository ist, wird man etwas traurig: Es ist im Grunde schon lange aufgegeben und vieles dort ist stark veraltet (einst hat mein ehemaliger Kollege einige \u00c4nderungen vorgenommen, aber das ist lange her). Insgesamt habe ich beschlossen, dieses Projekt wiederzubeleben: ich habe einen Fork erstellt, das, was ich nicht nutzen m\u00f6chte, entfernt, das Projekt auf cmake<\/a><\/noindex>, die \u201ehei\u00dfen\u201c Mikrofunktionen inline gesetzt, gro\u00dfe Arrays (und variabel gro\u00dfe Arrays, von denen ich ehrlich gesagt \u201ebeleidigt\u201c bin) aus dem Stack entfernt, und erneut den Profiler durchlaufen lassen \u2014 und festgestellt, dass etwa 40 % der Zeit auf fwrite<\/a><\/noindex>\u2026
\n<\/a><\/noindex><\/p>\n

Was ist also mit fwrite?<\/h4>\n

\nIn diesem Code wird fwrite (in meinem speziellen Testfall: Patch-Bau zwischen zwei etwa 300 MB gro\u00dfen Dateien, die Eingaben sind vollst\u00e4ndig im Speicher) millionenfach mit einem kleinen Puffer aufgerufen. Offensichtlich wird das Ganze dadurch verlangsamt, und daher m\u00f6chte ich auf irgendeine Weise Einfluss auf dieses Problem nehmen. Datenquellen und asynchrones Ein- und Ausgabeverfahren einzuf\u00fchren, ist momentan nicht mein Wunsch; ich wollte eine einfachere L\u00f6sung finden. Das Erste, was mir in den Sinn kam, war, die Puffergr\u00f6\u00dfe zu erh\u00f6hen.<\/p>\n

setvbuf(file, nullptr, _IOFBF, 64 * 1024)<\/code><\/pre>\n
\nAber ich habe keine wesentlichen Verbesserungen erzielt (jetzt verbrachte fwrite etwa 37 % der Zeit) \u2014 das bedeutet, dass es nicht nur an h\u00e4ufigen Schreibvorg\u00e4ngen auf die Festplatte liegt. Wenn man \u201eunter die Haube\u201c von fwrite schaut, sieht man, dass innerhalb der Funktion ca. so ein lock\/unlock der FILE-Struktur erfolgt (Pseudocode, die gesamte Analyse wurde unter Visual Studio 2017 durchgef\u00fchrt):<\/p>\n
\nsize_t fwrite (const void *buffer, size_t size, size_t count, FILE *stream)\n{\n   size_t retval = 0;\n   _lock_str(stream);   \/* Stream sperren *\/\n   __try\n   {\n      retval = _fwrite_nolock(buffer, size, count, stream);\n   }\n   __finally \n   {\n       _unlock_str(stream);   \/* Stream entsperren *\/\n   }\n   return retval;\n}\n<\/code><\/pre>\n
\nWenn man dem Profiler Glauben schenken darf, entfallen auf _fwrite_nolock nur 6% der Zeit, der Rest ist Overhead. In meinem speziellen Fall ist Thread-Sicherheit ein offensichtlicher Luxus, den ich opfern werde, indem ich den Aufruf von fwrite durch _fwrite_nolock<\/a><\/noindex> ersetze \u2014 selbst mit den Argumenten muss man nicht herumt\u00fcfteln. Zusammengefasst: Diese einfache Manipulation hat die Kosten f\u00fcr das Schreiben des Ergebnisses um ein Vielfaches gesenkt, die in der urspr\u00fcnglichen Version fast die H\u00e4lfte der Zeitkosten ausmachten. \u00dcbrigens gibt es in der POSIX-Welt eine \u00e4hnliche Funktion \u2014 fwrite_unlocked<\/a><\/noindex>. Im Allgemeinen gilt dies auch f\u00fcr fread. Mit ein paar #define kann man somit eine voll funktionsf\u00e4hige plattform\u00fcbergreifende L\u00f6sung ohne unn\u00f6tige Sperren erhalten, wenn sie nicht notwendig sind (was ziemlich oft der Fall ist).<\/p>\n
fwrite, _fwrite_nolock, setvbuf<\/h4>\n
\nLassen Sie uns vom urspr\u00fcnglichen Projekt abstrahieren und uns mit der spezifischen Testung eines Falls befassen: das Schreiben einer gro\u00dfen Datei (512 MB) in extrem kleinen Portionen \u2014 zu 1 Byte. Testsystem: AMD Ryzen 7 1700, 16 GB RAM, HDD 7200 rpm 64 MB Cache, Windows 10 1809, 32-Bit-Bin\u00e4rdatei, Optimierungen aktiviert, Bibliothek statisch verlinkt.<\/p>\n
Testbeispiel f\u00fcr das Experiment:<\/p>\n
\n#include <chrono>\n#include <cstdio>\n#include <inttypes.h>\n#include <memory>\n\n#ifdef _MSC_VER\n#define fwrite_unlocked _fwrite_nolock\n#endif\n\nusing namespace std::chrono;\n\nint main()\n{\n    std::unique_ptr<FILE, int(*)(FILE*)> file(fopen(\"test.bin\", \"wb\"), fclose);\n    if (!file)\n        return 1;\n\n    constexpr size_t TEST_BUFFER_SIZE = 256 * 1024;\n    if (setvbuf(file.get(), nullptr, _IOFBF, TEST_BUFFER_SIZE) != 0)\n        return 2;\n\n    auto start = steady_clock::now();\n    const uint8_t b = 77;\n    constexpr size_t TEST_FILE_SIZE = 512 * 1024 * 1024;\n    for (size_t i = 0; i < TEST_FILE_SIZE; ++i)\n        fwrite_unlocked(&b, 1, sizeof(b), file.get());\n\n    auto end = steady_clock::now();\n    auto interval = duration_cast<microseconds>(end - start);\n    printf(\"Time: %lldn\", interval.count());\n\n    return 0;\n}\n<\/code><\/pre>\n
\nDie Variablen werden TEST_BUFFER_SIZE sein, und in einigen F\u00e4llen ersetzen wir fwrite_unlocked durch fwrite. Beginnen wir mit dem Fall von fwrite ohne explizite Puffergr\u00f6\u00dfe (wir kommentieren setvbuf und den zugeh\u00f6rigen Code aus): Zeit 27048906 \u00b5s, Schreibgeschwindigkeit \u2014 18,93 MB\/s. Jetzt setzen wir die Puffergr\u00f6\u00dfe auf 64 KB: Zeit \u2014 25037111 \u00b5s, Geschwindigkeit \u2014 20,44 MB\/s. Jetzt testen wir die Funktion von _fwrite_nolock ohne den Aufruf von setvbuf: 7262221 \u00b5s, Geschwindigkeit \u2014 70,5 MB\/s! <\/p>\n
Experimente mit der Puffergr\u00f6\u00dfe (setvbuf):<\/p>\n
\"Beschleunigung
\n
\nDie Daten wurden durch die Durchschnittswerte aus 5 Experimenten erhalten, ich habe es nicht f\u00fcr n\u00f6tig gehalten, die Fehler zu berechnen. Meiner Meinung nach ist 93 MB\/s beim Schreiben von 1 Byte auf eine normale HDD ein sehr gutes Ergebnis; man muss nur die optimale Puffergr\u00f6\u00dfe w\u00e4hlen (in meinem Fall 256 KB \u2014 genau richtig) und fwrite durch _fwrite_nolock\/fwrite_unlocked ersetzen (es sei denn, thread-sichere Sicherheit ist n\u00f6tig, versteht sich). 
\n\u00c4hnlich wie bei fread in solchen Bedingungen. Da ich keine \"echte\" Maschine mit Linux zur Verf\u00fcgung habe (Einplatinencomputer z\u00e4hlen nicht), habe ich beschlossen, ein begrenztes Experiment auf einer virtuellen Maschine durchzuf\u00fchren (Hyper-V, OpenSUSE 15, GCC 8.3.1) \u2014 die Regelm\u00e4\u00dfigkeit ist im Grunde die gleiche: \"nacktes\" fwrite 20 MB\/s, fwrite + Puffer von 256 KB ergab 23 MB\/s, fwrite_unlocked mit demselben Puffer \u2014 35 MB\/s (64-Bit-Bin\u00e4rdatei, kompiliert mit g++ -o2 -s -static-libgcc -static-libstdc++ fwrite_test.cpp -o fwrite_test).<\/p>\n
Nachwort<\/h4>\n
\nZiel dieses Artikels war es, eine einfache und in vielen F\u00e4llen effektive Methode zu beschreiben (mit den Funktionen _fwrite_nolock\/fwrite_unlocked bin ich bisher nicht in Kontakt gekommen, sie sind nicht sehr popul\u00e4r \u2014 zu Unrecht). Ich beanspruche keine Neuheit des Materials, hoffe jedoch, dass der Artikel der Community n\u00fctzlich sein wird.<\/p>\n
Quelle: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
\u041f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435 \u0415\u0441\u0442\u044c \u043d\u0430 \u0441\u0432\u0435\u0442\u0435 \u0442\u0430\u043a\u0430\u044f \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0443\u0442\u0438\u043b\u0438\u0442\u0430 \u2014 BDelta, \u0438 \u0442\u0430\u043a \u0432\u044b\u0448\u043b\u043e, \u0447\u0442\u043e \u043e\u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0434\u0430\u0432\u043d\u043e \u0443\u043a\u043e\u0440\u0435\u043d\u0438\u043b\u0430\u0441\u044c \u0432 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 (\u043f\u0440\u0430\u0432\u0434\u0430 \u0435\u0451 \u0432\u0435\u0440\u0441\u0438\u044e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c, \u043d\u043e \u043e\u043d\u0430 \u0442\u043e\u0447\u043d\u043e \u0431\u044b\u043b\u0430 \u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0439). \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0435\u0451 \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u043c\u0443 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u043f\u0430\u0442\u0447\u0435\u0439. \u0415\u0441\u043b\u0438 \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043c \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438, \u2014 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043b\u0435\u0433\u043a\u0430 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-42134","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47 Beschleunigung der Datei-Ein- und -Ausgabe in C\/C++, ohne gro\u00dfen Aufwand | ProHoster","description":"Vorwort Es gibt auf der Welt ein einfaches und sehr n\u00fctzliches Tool \u2014 BDelta, und es hat sich leider sehr lange in unserem Produktionsprozess etabliert (obwohl es mir nicht gelungen ist, eine Version zu installieren, war sie zumindest nicht die neueste verf\u00fcgbare). Wir verwenden es f\u00fcr seinen urspr\u00fcnglichen Zweck \u2014 die Erstellung bin\u00e4rer Patches. Wenn man sich ansieht, was im Repository vorhanden ist, wird es etwas","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/uskorenie-fajlovogo-vvoda-vyvoda-c-c-ne-osobo-napryagayas","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0423\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u0432\u043e\u0434\u0430-\u0432\u044b\u0432\u043e\u0434\u0430 C\/C++, \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u043d\u0430\u043f\u0440\u044f\u0433\u0430\u044f\u0441\u044c | ProHoster","og:description":"\u041f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435 \u0415\u0441\u0442\u044c \u043d\u0430 \u0441\u0432\u0435\u0442\u0435 \u0442\u0430\u043a\u0430\u044f \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0443\u0442\u0438\u043b\u0438\u0442\u0430 \u2014 BDelta, \u0438 \u0442\u0430\u043a \u0432\u044b\u0448\u043b\u043e, \u0447\u0442\u043e \u043e\u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0434\u0430\u0432\u043d\u043e \u0443\u043a\u043e\u0440\u0435\u043d\u0438\u043b\u0430\u0441\u044c \u0432 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 (\u043f\u0440\u0430\u0432\u0434\u0430 \u0435\u0451 \u0432\u0435\u0440\u0441\u0438\u044e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c, \u043d\u043e \u043e\u043d\u0430 \u0442\u043e\u0447\u043d\u043e \u0431\u044b\u043b\u0430 \u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0439). \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0435\u0451 \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u043c\u0443 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u043f\u0430\u0442\u0447\u0435\u0439. \u0415\u0441\u043b\u0438 \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043c \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438, \u2014 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043b\u0435\u0433\u043a\u0430","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/uskorenie-fajlovogo-vvoda-vyvoda-c-c-ne-osobo-napryagayas","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-03-17T21:00:00+00:00","article:modified_time":"2020-02-18T10:44:56+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"42134","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-22 07:22:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:05:22","updated":"2026-01-22 07:22:19"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/42134","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=42134"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/42134\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=42134"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=42134"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=42134"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}