{"id":42134,"date":"2019-03-18T00:00:00","date_gmt":"2019-03-17T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/uskorenie-fajlovogo-vvoda-vyvoda-c-c-ne-osobo-napryagayas"},"modified":"2020-02-18T13:44:56","modified_gmt":"2020-02-18T10:44:56","slug":"uskorenie-fajlovogo-vvoda-vyvoda-c-c-ne-osobo-napryagayas","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/uskorenie-fajlovogo-vvoda-vyvoda-c-c-ne-osobo-napryagayas","title":{"rendered":"Przyspieszenie operacji wej\u015bcia\/wyj\u015bcia plik\u00f3w w C\/C++, bez du\u017cego wysi\u0142ku.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Przyspieszenie<\/p>\n

Wst\u0119p<\/h4>\n

\nNa \u015bwiecie istnieje takie proste i bardzo przydatne narz\u0119dzie \u2014 BDelta<\/a><\/noindex>, i tak wysz\u0142o, \u017ce od bardzo dawna zakorzeni\u0142o si\u0119 w naszym procesie produkcyjnym (prawda, nie uda\u0142o si\u0119 zainstalowa\u0107 jego wersji, ale na pewno nie by\u0142a to najnowsza dost\u0119pna). U\u017cywamy jej zgodnie z jej przeznaczeniem \u2014 do tworzenia binarnych patchy. Je\u015bli spojrze\u0107 na repozytorium, staje si\u0119 nieco smutno: w zasadzie jest ono od dawna porzucone, a wiele w nim jest mocno przestarza\u0142e (kiedy\u015b wprowadzi\u0142 kilka poprawek m\u00f3j by\u0142y kolega, ale zdarzy\u0142o si\u0119 to dawno). W ka\u017cdym razie, postanowi\u0142em o\u017cywi\u0107 ten projekt: sforkowa\u0142em, usun\u0105\u0142em to, czego nie planuj\u0119 u\u017cywa\u0107, przenios\u0142em projekt na cmake<\/a><\/noindex>, zainlinowa\u0142em \u201egor\u0105ce\u201d mikro-funkcje, usun\u0105\u0142em z stosu du\u017ce tablice (i tablice o zmiennym rozmiarze, z kt\u00f3rych si\u0119 szczerze \u201ebumuj\u0119\u201d), ponownie uruchomi\u0142em profiler \u2014 i dowiedzia\u0142em si\u0119, \u017ce oko\u0142o 40% czasu po\u015bwi\u0119ca si\u0119 na fwrite<\/a><\/noindex>\u2026
\n<\/a><\/noindex><\/p>\n

Co tam z fwrite?<\/h4>\n

\nW tym kodzie fwrite (w moim konkretnym przypadku: tworzenie patcha mi\u0119dzy podobnymi plikami 300 MB, dane wej\u015bciowe w ca\u0142o\u015bci w pami\u0119ci) wywo\u0142ywane jest miliony razy z ma\u0142ym rozmiarem bufora. Oczywi\u015bcie, \u017ce ten mechanizm b\u0119dzie spowalnia\u0142, dlatego chcia\u0142bym jako\u015b wp\u0142yn\u0105\u0107 na ten problem bez wprowadzania r\u00f3\u017cnych \u017ar\u00f3de\u0142 danych, asynchronicznego wej\u015bcia\/wyj\u015bcia na razie nie mam ochoty, chcia\u0142em znale\u017a\u0107 prostsze rozwi\u0105zanie. Pierwsza my\u015bl, kt\u00f3ra przysz\u0142a mi do g\u0142owy \u2014 zwi\u0119kszy\u0107 rozmiar bufora<\/p>\n

setvbuf(file, nullptr, _IOFBF, 64 * 1024)<\/code><\/pre>\n
\nale znacz\u0105cej poprawy wyniku nie uzyska\u0142em (teraz fwrite zajmowa\u0142o oko\u0142o 37% czasu) \u2014 wi\u0119c problem nie le\u017cy w cz\u0119stym zapisywaniu danych na dysku. Zagl\u0105daj\u0105c \u201epod mask\u0119\u201d fwrite, mo\u017cna zobaczy\u0107, \u017ce wewn\u0105trz odbywa si\u0119 lock\/unlock struktury FILE mniej wi\u0119cej tak (pseudokod, ca\u0142y analiz przeprowadzono pod Visual Studio 2017):<\/p>\n
\nsize_t fwrite (const void *buffer, size_t size, size_t count, FILE *stream)\n{\n   size_t retval = 0;\n   _lock_str(stream);   \/* zablokuj strumie\u0144 *\/\n   __try\n   {\n      retval = _fwrite_nolock(buffer, size, count, stream);\n   }\n   __finally \n   {\n       _unlock_str(stream);   \/* odblokuj strumie\u0144 *\/\n   }\n   return retval;\n}\n<\/code><\/pre>\n
\nJe\u015bli wierzy\u0107 profilerowi, na _fwrite_nolock przypada tylko 6% czasu, reszta to overhead. W moim przypadku bezpiecze\u0144stwo w\u0105tkowe to wyra\u017ane nadmiar, wi\u0119c zdecyduj\u0119 si\u0119 je po\u015bwi\u0119ci\u0107, zast\u0119puj\u0105c wywo\u0142anie fwrite na _fwrite_nolock<\/a><\/noindex> \u2014 nawet z argumentami nie trzeba kombinowa\u0107. W rezultacie: ta prosta manipulacja znacznie zmniejszy\u0142a koszty zapisu wyniku, kt\u00f3re w pierwotnej wersji stanowi\u0142y prawie po\u0142ow\u0119 czasu potrzebnego. Przy okazji, w \u015bwiecie POSIX istnieje podobna funkcja \u2014 fwrite_unlocked<\/a><\/noindex>. Og\u00f3lnie rzecz bior\u0105c, to samo dotyczy fread. W ten spos\u00f3b za pomoc\u0105 pary #define mo\u017cna uzyska\u0107 ca\u0142kiem uniwersalne rozwi\u0105zanie bez zb\u0119dnych blokad, je\u015bli nie s\u0105 one potrzebne (co zdarza si\u0119 do\u015b\u0107 cz\u0119sto).<\/p>\n
fwrite, _fwrite_nolock, setvbuf<\/h4>\n
\nPorzu\u0107my pierwotny projekt i zajmijmy si\u0119 testowaniem konkretnego przypadku: zapisu du\u017cego pliku (512 MB) w ekstremalnie ma\u0142ych porcjach \u2014 po 1 bajcie. System testowy: AMD Ryzen 7 1700, 16 GB RAM, HDD 7200 rpm 64 MB cache, Windows 10 1809, binarka budowana w 32-bitowym, optymalizacje w\u0142\u0105czone, biblioteka statycznie powi\u0105zana.<\/p>\n
Przyk\u0142ad do przeprowadzenia eksperymentu:<\/p>\n
\n#include <chrono>\n#include <cstdio>\n#include <inttypes.h>\n#include <memory>\n\n#ifdef _MSC_VER\n#define fwrite_unlocked _fwrite_nolock\n#endif\n\nusing namespace std::chrono;\n\nint main()\n{\n    std::unique_ptr<FILE, int(*)(FILE*)> file(fopen(\"test.bin\", \"wb\"), fclose);\n    if (!file)\n        return 1;\n\n    constexpr size_t TEST_BUFFER_SIZE = 256 * 1024;\n    if (setvbuf(file.get(), nullptr, _IOFBF, TEST_BUFFER_SIZE) != 0)\n        return 2;\n\n    auto start = steady_clock::now();\n    const uint8_t b = 77;\n    constexpr size_t TEST_FILE_SIZE = 512 * 1024 * 1024;\n    for (size_t i = 0; i < TEST_FILE_SIZE; ++i)\n        fwrite_unlocked(&b, 1, sizeof(b), file.get());\n\n    auto end = steady_clock::now();\n    auto interval = duration_cast<microseconds>(end - start);\n    printf(\"Time: %lldn\", interval.count());\n\n    return 0;\n}\n<\/code><\/pre>\n
\nJako zmienne b\u0119d\u0105 wyst\u0119powa\u0107 TEST_BUFFER_SIZE, a dla pary przypadk\u00f3w zamienimy fwrite_unlocked na fwrite. Zaczniemy od przypadku fwrite bez wyra\u017anego ustawienia rozmiaru bufora (zakomentujemy setvbuf i powi\u0105zany kod): czas 27048906 \u00b5s, pr\u0119dko\u015b\u0107 zapisu \u2014 18.93 MB\/s. Teraz ustawimy rozmiar bufora na 64 KB: czas \u2014 25037111 \u00b5s, pr\u0119dko\u015b\u0107 \u2014 20.44 MB\/s. Teraz przetestujemy dzia\u0142anie _fwrite_nolock bez wywo\u0142ania setvbuf: 7262221 \u00b5s, pr\u0119dko\u015b\u0107 \u2014 70.5 MB\/s! <\/p>\n
Nast\u0119pnie przeprowadzimy eksperymenty z rozmiarem bufora (setvbuf):<\/p>\n
\"Przyspieszenie
\n
\nDane uzyskano na podstawie \u015bredniej z 5 eksperyment\u00f3w, na obliczanie b\u0142\u0119d\u00f3w nie mia\u0142em cierpliwo\u015bci. Z mojego punktu widzenia, 93 MB\/s przy zapisie po 1 bajcie na zwyk\u0142ym HDD \u2014 to naprawd\u0119 niez\u0142y wynik, wystarczy dobra\u0107 optymalny rozmiar bufora (w moim przypadku 256 KB \u2014 idealnie) i zamieni\u0107 fwrite na _fwrite_nolock\/fwrite_unlocked (je\u015bli oczywi\u015bcie nie potrzebna jest bezpiecze\u0144stwo w\u0105tk\u00f3w). 
\nPodobnie z fread w takich warunkach. Poniewa\u017c nie mam 'metalowej' maszyny z linuxem pod r\u0119k\u0105 (jednop\u0142ytkowce si\u0119 nie licz\u0105), postanowi\u0142em przeprowadzi\u0107 ograniczony eksperyment na wirtualnej maszynie (Hyper-V, OpenSUSE 15, GCC 8.3.1) \u2014 zasada jest w zasadzie ta sama: 'go\u0142y' fwrite 20 MB\/s, fwrite + bufor 256 KB da\u0142 23 MB\/s, fwrite_unlocked z takim samym buforem \u2014 35 MB\/s (binarka 64-bitowa, budowana g++ -o2 -s -static-libgcc -static-libstdc++ fwrite_test.cpp -o fwrite_test).<\/p>\n
Epilog<\/h4>\n
\nCelem napisania tego artyku\u0142u by\u0142o opisanie prostego i skutecznego w wielu przypadkach podej\u015bcia (z funkcjami _fwrite_nolock\/fwrite_unlocked wcze\u015bniej si\u0119 nie spotka\u0142em, nie s\u0105 zbyt popularne - a szkoda). Nie roszcz\u0119 sobie prawa do nowo\u015bci materia\u0142u, ale mam nadziej\u0119, \u017ce artyku\u0142 oka\u017ce si\u0119 przydatny dla spo\u0142eczno\u015bci.<\/p>\n
\u0179r\u00f3d\u0142o: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
\u041f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435 \u0415\u0441\u0442\u044c \u043d\u0430 \u0441\u0432\u0435\u0442\u0435 \u0442\u0430\u043a\u0430\u044f \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0443\u0442\u0438\u043b\u0438\u0442\u0430 \u2014 BDelta, \u0438 \u0442\u0430\u043a \u0432\u044b\u0448\u043b\u043e, \u0447\u0442\u043e \u043e\u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0434\u0430\u0432\u043d\u043e \u0443\u043a\u043e\u0440\u0435\u043d\u0438\u043b\u0430\u0441\u044c \u0432 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 (\u043f\u0440\u0430\u0432\u0434\u0430 \u0435\u0451 \u0432\u0435\u0440\u0441\u0438\u044e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c, \u043d\u043e \u043e\u043d\u0430 \u0442\u043e\u0447\u043d\u043e \u0431\u044b\u043b\u0430 \u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0439). \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0435\u0451 \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u043c\u0443 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u043f\u0430\u0442\u0447\u0435\u0439. \u0415\u0441\u043b\u0438 \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043c \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438, \u2014 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u043b\u0435\u0433\u043a\u0430 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-42134","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Przyspieszenie operacji wej\u015bcia\/wyj\u015bcia w plikach C\/C++, bez du\u017cego wysi\u0142ku | ProHoster","description":"Wst\u0119p","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/uskorenie-fajlovogo-vvoda-vyvoda-c-c-ne-osobo-napryagayas","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0423\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0433\u043e \u0432\u0432\u043e\u0434\u0430-\u0432\u044b\u0432\u043e\u0434\u0430 C\/C++, \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u043d\u0430\u043f\u0440\u044f\u0433\u0430\u044f\u0441\u044c | ProHoster","og:description":"\u041f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435 \u0415\u0441\u0442\u044c.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/uskorenie-fajlovogo-vvoda-vyvoda-c-c-ne-osobo-napryagayas","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-03-17T21:00:00+00:00","article:modified_time":"2020-02-18T10:44:56+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"42134","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-22 07:22:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:05:22","updated":"2026-01-22 07:22:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/42134","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=42134"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/42134\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=42134"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=42134"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=42134"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}