ঘাম না ভেঙে C/C++ ফাইল I/O ত্বরান্বিত করুন

ভূমিকা

পৃথিবীতে এমন একটি সহজ এবং খুব দরকারী ইউটিলিটি রয়েছে - বিডেল্টা, এবং এটি এমনই ঘটেছে যে এটি আমাদের উত্পাদন প্রক্রিয়ায় খুব দীর্ঘ সময়ের জন্য জড়িত ছিল (যদিও এটির সংস্করণ ইনস্টল করা সম্ভব ছিল না, তবে এটি অবশ্যই শেষ উপলব্ধ ছিল না)। আমরা এটিকে এর উদ্দেশ্যমূলক উদ্দেশ্যে ব্যবহার করি - বাইনারি প্যাচ তৈরি করা। ভান্ডারে যা আছে তা যদি আপনি দেখেন তবে এটি কিছুটা দুঃখজনক হয়ে ওঠে: আসলে, এটি অনেক আগে পরিত্যক্ত হয়েছিল এবং এর বেশিরভাগই পুরানো (আমার প্রাক্তন সহকর্মী একবার সেখানে বেশ কয়েকটি সম্পাদনা করেছিলেন, তবে এটি অনেক আগে ছিল) . সাধারণভাবে, আমি এই বিষয়টিকে পুনরুত্থিত করার সিদ্ধান্ত নিয়েছি: আমি কাঁটাচামচ করেছি, যা ব্যবহার করার পরিকল্পনা করিনি তা ফেলে দিয়েছি, প্রকল্পটিকে এতে স্থানান্তরিত করেছি cmake, ইনলাইনযুক্ত "হট" মাইক্রোফাংশনগুলি, স্ট্যাক থেকে বড় অ্যারেগুলি সরিয়ে (এবং পরিবর্তনশীল দৈর্ঘ্যের অ্যারে, যা স্পষ্টতই আমাকে "বোমা" করে তোলে), প্রোফাইলারটি আবার চালায় - এবং খুঁজে পেয়েছি যে প্রায় 40% সময় ব্যয় করা হয়েছে fwrite...

তাই fwrite সঙ্গে কি আপ?

এই কোডে, fwrite (আমার নির্দিষ্ট পরীক্ষার ক্ষেত্রে: কাছাকাছি 300 MB ফাইলের মধ্যে একটি প্যাচ তৈরি করা, ইনপুট ডেটা সম্পূর্ণরূপে মেমরিতে থাকে) একটি ছোট বাফার আকার সহ লক্ষ লক্ষ বার বলা হয়। স্পষ্টতই, এই জিনিসটি ধীর হয়ে যাবে, এবং সেইজন্য আমি এই অপমানকে কোনোভাবে প্রভাবিত করতে চাই। বিভিন্ন ধরনের ডেটা সোর্স, অ্যাসিঙ্ক্রোনাস ইনপুট-আউটপুট বাস্তবায়নের কোনো ইচ্ছা এখনও নেই, আমি একটি সহজ সমাধান খুঁজে পেতে চেয়েছিলাম। প্রথম জিনিস যা মনে এসেছিল তা হল বাফার আকার বাড়ানো

setvbuf(file, nullptr, _IOFBF, 64* 1024)

কিন্তু আমি ফলাফলে উল্লেখযোগ্য উন্নতি পাইনি (এখন প্রায় 37% সময়ের জন্য fwrite অ্যাকাউন্ট) - যার মানে এটি এখনও ডিস্কে ঘন ঘন ডেটা লেখার বিষয় নয়। fwrite-এর "হুডের নীচে" খুঁজছেন, আপনি দেখতে পাচ্ছেন যে একটি লক/আনলক ফাইল কাঠামো এরকম কিছুর ভিতরে ঘটছে (ছদ্ম-কোড, সমস্ত বিশ্লেষণ ভিজ্যুয়াল স্টুডিও 2017 এর অধীনে করা হয়েছিল):

size_t fwrite (const void *buffer, size_t size, size_t count, FILE *stream)
{
   size_t retval = 0;
   _lock_str(stream);   /* lock stream */
   __try
   {
      retval = _fwrite_nolock(buffer, size, count, stream);
   }
   __finally 
   {
       _unlock_str(stream);   /* unlock stream */
   }
   return retval;
}

প্রোফাইলারের মতে, _fwrite_nolock শুধুমাত্র 6% সময়ের জন্য অ্যাকাউন্ট করে, বাকিটা ওভারহেড। আমার বিশেষ ক্ষেত্রে, থ্রেড নিরাপত্তা স্পষ্টতই ওভারকিল, তাই আমি fwrite কলটি প্রতিস্থাপন করে এটিকে উৎসর্গ করব _fwrite_nolock - আপনার যুক্তিতে চালাক হওয়ার দরকার নেই। মোট: এই সাধারণ ম্যানিপুলেশনটি ফলাফল রেকর্ড করার খরচ উল্লেখযোগ্যভাবে হ্রাস করেছে, যা মূল সংস্করণে ব্যয় করা সময়ের প্রায় অর্ধেক। যাইহোক, POSIX বিশ্বে একটি অনুরূপ ফাংশন রয়েছে - fwrite_unlocked. সাধারণভাবে বলতে গেলে, ফ্রেডের ক্ষেত্রেও একই কথা প্রযোজ্য। এইভাবে, একজোড়া #defines ব্যবহার করে, আপনি অপ্রয়োজনীয় লক ছাড়াই সম্পূর্ণ ক্রস-প্ল্যাটফর্ম সমাধান পেতে পারেন যদি সেগুলি প্রয়োজনীয় না হয় (এবং এটি প্রায়শই ঘটে)।

fwrite, _fwrite_nolock, setvbuf

চলুন মূল প্রজেক্ট থেকে সরে এসে একটি নির্দিষ্ট বিষয় পরীক্ষা করার দিকে মনোযোগ দিই: একটি বড় ফাইল (৫১২ এমবি) অত্যন্ত ছোট ছোট খণ্ডে—প্রতিটি এক বাইট করে—লেখা। টেস্ট সিস্টেম: এএমডি রাইজেন ৭ ১৭০০, ১৬ জিবি র‍্যাম, ৭২০০ আরপিএম এইচডিডি, ৬৪ এমবি ক্যাশ। Windows 10 ১৮০৯, বাইনারিটি ৩২-বিট হিসেবে বিল্ড করা হয়েছিল, অপটিমাইজেশন সক্রিয় করা আছে, লাইব্রেরিটি স্ট্যাটিক্যালি লিঙ্ক করা।

পরীক্ষার জন্য নমুনা:

#include <chrono>
#include <cstdio>
#include <inttypes.h>
#include <memory>

#ifdef _MSC_VER
#define fwrite_unlocked _fwrite_nolock
#endif

using namespace std::chrono;

int main()
{
    std::unique_ptr<FILE, int(*)(FILE*)> file(fopen("test.bin", "wb"), fclose);
    if (!file)
        return 1;

    constexpr size_t TEST_BUFFER_SIZE = 256 * 1024;
    if (setvbuf(file.get(), nullptr, _IOFBF, TEST_BUFFER_SIZE) != 0)
        return 2;

    auto start = steady_clock::now();
    const uint8_t b = 77;
    constexpr size_t TEST_FILE_SIZE = 512 * 1024 * 1024;
    for (size_t i = 0; i < TEST_FILE_SIZE; ++i)
        fwrite_unlocked(&b, 1, sizeof(b), file.get());

    auto end = steady_clock::now();
    auto interval = duration_cast<microseconds>(end - start);
    printf("Time: %lldn", interval.count());

    return 0;
}

ভেরিয়েবলগুলি হবে TEST_BUFFER_SIZE, এবং কয়েকটি ক্ষেত্রে আমরা fwrite_unlocked কে fwrite দিয়ে প্রতিস্থাপন করব। স্পষ্টভাবে বাফার সাইজ সেট না করে fwrite কেস দিয়ে শুরু করা যাক (setvbuf এবং সংশ্লিষ্ট কোডটি মন্তব্য করুন): সময় 27048906 µs, লেখার গতি - 18.93 MB/s। এখন বাফারের আকার 64 KB এ সেট করা যাক: সময় - 25037111 μs, গতি - 20.44 Mb/s। এখন Setvbuf: 7262221 µs, গতি - 70.5 Mb/s কল না করে _fwrite_nolock-এর অপারেশন পরীক্ষা করা যাক!

এর পরে, বাফার আকার (setvbuf) নিয়ে পরীক্ষা করা যাক:

5টি পরীক্ষার গড় করে ডেটা প্রাপ্ত হয়েছিল; আমি ত্রুটিগুলি গণনা করতে খুব অলস ছিলাম। আমার জন্য, নিয়মিত HDD-তে 93 বাইট লেখার সময় 1 MB/s একটি খুব ভাল ফলাফল, আপনাকে শুধুমাত্র সর্বোত্তম বাফার আকার নির্বাচন করতে হবে (আমার ক্ষেত্রে, 256 KB ঠিক আছে) এবং fwrite-এর পরিবর্তে _fwrite_nolock/fwrite_unlocked ( যদি থ্রেড নিরাপত্তার প্রয়োজন না হয়, অবশ্যই)।
অনুরূপ অবস্থায় fread সঙ্গে একইভাবে. যেহেতু আমার হাতে লিনাক্স সহ একটি হার্ডওয়্যার মেশিন নেই (একক-বোর্ড কম্পিউটার গণনা করা হয় না), তাই আমি একটি ভার্চুয়াল মেশিনে একটি সীমিত পরীক্ষা চালানোর সিদ্ধান্ত নিয়েছি (হাইপার-ভি, ওপেনসুস 15, জিসিসি 8.3.1) - প্যাটার্ন, নীতিগতভাবে, একই: "নগ্ন" fwrite 20 Mb/s, fwrite + 256 KB বাফার 23 Mb/s, fwrite_unlocked একই বাফারের সাথে - 35 Mb/s (64-বিট বাইনারি, একত্রিত g++ -o2 - s -static-libgcc -static-libstdc++ fwrite_test। cpp -o fwrite_test)।

উত্তরভাষ

এই নিবন্ধটি লেখার উদ্দেশ্য ছিল অনেক ক্ষেত্রে একটি সহজ এবং কার্যকরী কৌশল বর্ণনা করা (আমি এর আগে কখনও _fwrite_nolock/fwrite_unlocked ফাংশন জুড়ে আসিনি, সেগুলি খুব জনপ্রিয় নয় - কিন্তু বৃথা)। আমি ভান করি না যে উপাদানটি নতুন, তবে আমি আশা করি নিবন্ধটি সম্প্রদায়ের জন্য উপযোগী হবে।

উত্স: www.habr.com