কেন আমার NVMe একটি SSD থেকে ধীর?

এই নিবন্ধে, আমরা I/O সাবসিস্টেমের কিছু সূক্ষ্মতা এবং কর্মক্ষমতার উপর তাদের প্রভাব দেখব।

কয়েক সপ্তাহ আগে আমি একটি প্রশ্নের মধ্যে পড়েছিলাম কেন একটি সার্ভারে NVMe অন্য সার্ভারে SATA থেকে ধীর। আমি সার্ভারের বৈশিষ্ট্যগুলি দেখেছি এবং বুঝতে পেরেছি যে এটি একটি কৌশল প্রশ্ন ছিল: NVMe ছিল ব্যবহারকারীর অংশ থেকে, এবং SSD ছিল সার্ভার বিভাগ থেকে৷

স্পষ্টতই, বিভিন্ন পরিবেশে বিভিন্ন বিভাগের পণ্যগুলির তুলনা করা সঠিক নয়, তবে এটি একটি সম্পূর্ণ প্রযুক্তিগত উত্তর নয়। আমরা মূল বিষয়গুলি অধ্যয়ন করব, পরীক্ষা-নিরীক্ষা করব এবং উত্থাপিত প্রশ্নের উত্তর দেব।

fsync কি এবং কোথায় ব্যবহার করা হয়

ড্রাইভের সাথে কাজের গতি বাড়ানোর জন্য, ডেটা বাফার করা হয়, অর্থাৎ, ড্রাইভে বাফারের বিষয়বস্তু সংরক্ষণ করার জন্য একটি সুবিধাজনক সুযোগ উপস্থিত না হওয়া পর্যন্ত উদ্বায়ী মেমরিতে সংরক্ষণ করা হয়। সুযোগের মানদণ্ড অপারেটিং সিস্টেম এবং ড্রাইভ বৈশিষ্ট্য দ্বারা নির্ধারিত হয়। পাওয়ার ব্যর্থতার ক্ষেত্রে, বাফারের সমস্ত ডেটা হারিয়ে যাবে।

এমন অনেকগুলি কাজ রয়েছে যেখানে আপনাকে নিশ্চিত হতে হবে যে ফাইলের পরিবর্তনগুলি ড্রাইভে লেখা হয়েছে এবং একটি মধ্যবর্তী বাফারে থাকা উচিত নয়। POSIX-compliant fsync সিস্টেম কল ব্যবহার করে এই নিশ্চয়তা পাওয়া যেতে পারে। fsync কল বাফার থেকে ড্রাইভে লিখতে বাধ্য করে।

একটি সংক্ষিপ্ত সি প্রোগ্রাম আকারে একটি কৃত্রিম উদাহরণ সহ বাফারের প্রভাব প্রদর্শন করা যাক।

#include <fcntl.h>
#include <unistd.h>
#include <sys/stat.h>
#include <sys/types.h>

int main(void) {
    /* Открываем файл answer.txt на запись, если его нет -- создаём */
    int fd = open("answer.txt", O_WRONLY | O_CREAT);
    /* Записываем первый набор данных */
    write(fd, "Answer to the Ultimate Question of Life, The Universe, and Everything: ", 71);
    /* Делаем вид, что проводим вычисления в течение 10 секунд */
    sleep(10);
    /* Записываем результат вычислений */
    write(fd, "42n", 3); 

    return 0;
}

মন্তব্যগুলি প্রোগ্রামের কর্মের ক্রমটি ভালভাবে ব্যাখ্যা করে। টেক্সট "জীবনের প্রধান প্রশ্নের উত্তর, মহাবিশ্ব এবং সবকিছু" অপারেটিং সিস্টেম দ্বারা বাফার করা হবে, এবং আপনি যদি "গণনা" চলাকালীন রিসেট বোতাম টিপে সার্ভারটি পুনরায় চালু করেন তবে ফাইলটি খালি থাকবে। আমাদের উদাহরণে, পাঠ্য ক্ষতি একটি সমস্যা নয়, তাই fsync প্রয়োজন হয় না। ডাটাবেস এই আশাবাদ ভাগ করে না.

ডাটাবেসগুলি হল জটিল প্রোগ্রাম যা একই সময়ে অনেক ফাইলের সাথে কাজ করে, তাই তারা নিশ্চিত হতে চায় যে তারা যে ডেটা লিখবে তা ড্রাইভে সংরক্ষণ করা হবে, যেহেতু ডাটাবেসের মধ্যে ডেটার সামঞ্জস্যতা এটির উপর নির্ভর করে। ডেটাবেসগুলি সমস্ত সম্পূর্ণ লেনদেন রেকর্ড করার জন্য ডিজাইন করা হয়েছে এবং যে কোনও সময় বিদ্যুৎ বিভ্রাটের জন্য প্রস্তুত। এই আচরণ আপনাকে ক্রমাগত প্রচুর পরিমাণে fsync ব্যবহার করতে বাধ্য করে।

fsync এর ঘন ঘন ব্যবহারকে কী প্রভাবিত করে

সাধারণ I/O-এর সাথে, অপারেটিং সিস্টেম ডিস্ক যোগাযোগকে অপ্টিমাইজ করার চেষ্টা করে, যেহেতু মেমরি শ্রেণিবিন্যাসে বহিরাগত ড্রাইভগুলি সবচেয়ে ধীর। অতএব, অপারেটিং সিস্টেম ড্রাইভে একটি অ্যাক্সেসে যতটা সম্ভব ডেটা লেখার চেষ্টা করে।

একটি নির্দিষ্ট উদাহরণ দিয়ে fsync ব্যবহার করার প্রভাব প্রদর্শন করা যাক। পরীক্ষার বিষয় হিসাবে আমাদের নিম্নলিখিত এসএসডি রয়েছে:

• Intel® DC SSD S4500 480 GB, SATA 3.2, 6 Gb/s এর মাধ্যমে সংযুক্ত;
• Samsung 970 EVO Plus 500GB, PCIe 3.0 x4, ~31 Gbps এর মাধ্যমে সংযুক্ত।

Ubuntu 2255 চালিত Intel® Xeon® W-20.04-এ পরীক্ষা করা হয়। ডিস্ক পরীক্ষা করতে, sysbench 1.0.18 ব্যবহার করা হয়। ডিস্কগুলিতে ext4 ফর্ম্যাট করা একটি একক পার্টিশন রয়েছে। পরীক্ষার জন্য প্রস্তুতি হল 100 জিবি ফাইল তৈরি করা:

sysbench --test=fileio --file-total-size=100G prepare

চলমান পরীক্ষা:

# Без fsync
sysbench --num-threads=16 --test=fileio --file-test-mode=rndrw --file-fsync-freq=0 run

# С fsync после каждой записи
sysbench --num-threads=16 --test=fileio --file-test-mode=rndrw --file-fsync-freq=1 run

পরীক্ষার ফলাফল টেবিলে উপস্থাপন করা হয়।

পরীক্ষা
Intel® S4500
Samsung 970 EVO+

Fsync, MiB/s ছাড়া পড়ুন
5734.89
9028.86

Fsync, MiB/s ছাড়াই লিখুন
3823.26
6019.24

Fsync, MiB/s দিয়ে পড়া
37.76
3.27

Fsync, MiB/s এর সাথে রেকর্ডিং
25.17
2.18

এটা দেখা সহজ যে ক্লায়েন্ট সেগমেন্ট থেকে NVMe আত্মবিশ্বাসের সাথে নেতৃত্ব দেয় যখন অপারেটিং সিস্টেম ডিস্কের সাথে কাজ করার সিদ্ধান্ত নেয়, এবং যখন fsync ব্যবহার করা হয় তখন হারায়। এটি দুটি প্রশ্ন উত্থাপন করে:

1. fsync ছাড়া পরীক্ষায় কেন পড়ার গতি লিঙ্কের ফিজিক্যাল ব্যান্ডউইথকে ছাড়িয়ে যায়?
2. কেন একটি সার্ভার সেগমেন্ট SSD একটি বড় সংখ্যক fsync অনুরোধ পরিচালনা করতে ভাল?

প্রথম প্রশ্নের উত্তর সহজ: sysbench শূন্য-ভরা ফাইল তৈরি করে। এইভাবে, পরীক্ষাটি 100 গিগাবাইটের শূন্যের উপরে করা হয়েছিল। যেহেতু ডেটা খুব অভিন্ন এবং অনুমানযোগ্য, তাই বিভিন্ন OS অপ্টিমাইজেশান কার্যকর হয় এবং তারা কার্যকরীকরণকে উল্লেখযোগ্যভাবে ত্বরান্বিত করে।

আপনি যদি সিসবেঞ্চের সমস্ত ফলাফল নিয়ে প্রশ্ন করেন তবে আপনি ফিও ব্যবহার করতে পারেন।

# Без fsync
fio --name=test1 --blocksize=16k --rw=randrw --iodepth=16 --runtime=60 --rwmixread=60 --fsync=0 --filename=/dev/sdb

# С fsync после каждой записи
fio --name=test1 --blocksize=16k --rw=randrw --iodepth=16 --runtime=60 --rwmixread=60 --fsync=1 --filename=/dev/sdb

পরীক্ষা
Intel® S4500
Samsung 970 EVO+

Fsync, MiB/s ছাড়া পড়ুন
45.5
178

Fsync, MiB/s ছাড়াই লিখুন
30.4
119

Fsync, MiB/s দিয়ে পড়া
32.6
20.9

Fsync, MiB/s এর সাথে রেকর্ডিং
21.7
13.9

Fsync ব্যবহার করার সময় NVMe-এ কর্মক্ষমতা হ্রাসের প্রবণতা স্পষ্টভাবে দৃশ্যমান। আপনি দ্বিতীয় প্রশ্নে যেতে পারেন।

অপ্টিমাইজেশান বা ব্লাফ

এর আগে আমরা বলেছিলাম যে ডেটা একটি বাফারে সংরক্ষণ করা হয়, তবে কোনটিতে তা নির্দিষ্ট করেনি, যেহেতু এটি গুরুত্বপূর্ণ ছিল না। এমনকি এখনও আমরা অপারেটিং সিস্টেমের জটিলতাগুলি অনুসন্ধান করব না এবং দুটি সাধারণ ধরণের বাফারকে আলাদা করব:

• কার্যক্রম;
• হার্ডওয়্যার

সফ্টওয়্যার বাফার অপারেটিং সিস্টেমে থাকা বাফারগুলিকে বোঝায় এবং হার্ডওয়্যার বাফার ডিস্ক কন্ট্রোলারের উদ্বায়ী মেমরিকে বোঝায়। fsync সিস্টেম কল তার বাফার থেকে প্রধান স্টোরেজে ডেটা লেখার জন্য ড্রাইভে একটি কমান্ড পাঠায়, কিন্তু কমান্ডের সঠিক সম্পাদন নিয়ন্ত্রণ করার কোনো উপায় নেই।

যেহেতু এসএসডি আরও ভাল পারফর্ম করে, তাই দুটি অনুমান করা যেতে পারে:

• ডিস্ক একটি অনুরূপ পরিকল্পনা একটি লোড জন্য ডিজাইন করা হয়েছে;
• ডিস্ক "ব্লাফ" করে এবং কমান্ড উপেক্ষা করে।

ড্রাইভের অসাধু আচরণ লক্ষ্য করা যায় যদি আপনি পাওয়ার ব্যর্থতার সাথে একটি পরীক্ষা করেন। আপনি একটি স্ক্রিপ্ট দিয়ে এটি পরীক্ষা করতে পারেন। diskchecker.pl, এটা ছিল দ্বারা নির্মিত 2005 বছরের মধ্যে।

এই স্ক্রিপ্টের জন্য দুটি শারীরিক মেশিন প্রয়োজন - "সার্ভার" এবং "ক্লায়েন্ট"। ক্লায়েন্ট পরীক্ষার অধীনে ডিস্কে অল্প পরিমাণে ডেটা লেখে, fsync কল করে এবং যা লেখা হয়েছিল সে সম্পর্কে সার্ভারের তথ্য পাঠায়।

# Запускается на сервере
./diskchecker.pl -l [port]

# Запускается на клиенте
./diskchecker.pl -s <server[:port]> create <file> <size_in_MB>

স্ক্রিপ্টটি চালানোর পরে, "ক্লায়েন্ট" কে ডি-এনার্জীজ করা প্রয়োজন এবং কয়েক মিনিটের জন্য শক্তি ফিরিয়ে দেবেন না। পরীক্ষার বিষয়কে বিদ্যুৎ থেকে সংযোগ বিচ্ছিন্ন করা গুরুত্বপূর্ণ, এবং শুধুমাত্র একটি কঠিন শাটডাউন সঞ্চালন নয়। কিছু সময় পরে, সার্ভারটি সংযুক্ত এবং OS এ লোড করা যেতে পারে। OS বুট করার পরে, আপনাকে আবার শুরু করতে হবে diskchecker.pl, কিন্তু একটি যুক্তি দিয়ে যাচাই.

./diskchecker.pl -s <server[:port]> verify <file>

চেক শেষে, আপনি ত্রুটির সংখ্যা দেখতে পাবেন। যদি তারা 0 হয়, তাহলে ডিস্কটি পরীক্ষায় উত্তীর্ণ হয়েছে। ডিস্কের জন্য সফল পরিস্থিতির সংমিশ্রণ বাদ দিতে, পরীক্ষাটি কয়েকবার পুনরাবৃত্তি করা যেতে পারে।

আমাদের S4500 কোনো পাওয়ার লস ত্রুটি দেখায়নি, যার মানে এটি প্রচুর fsync কল সহ লোডের জন্য প্রস্তুত।

উপসংহার

ডিস্ক বা সম্পূর্ণ রেডিমেড কনফিগারেশন নির্বাচন করার সময়, আপনাকে সমাধান করতে হবে এমন কাজের সুনির্দিষ্ট বিষয়গুলি মনে রাখা উচিত। প্রথম নজরে, এটি স্পষ্ট বলে মনে হচ্ছে যে NVMe, অর্থাৎ, একটি PCIe ইন্টারফেসের সাথে একটি SSD, একটি "ক্লাসিক" SATA SSD এর চেয়ে দ্রুত। যাইহোক, আমরা আজ যেমন বুঝতে পেরেছি, নির্দিষ্ট পরিস্থিতিতে এবং নির্দিষ্ট কাজের ক্ষেত্রে এটি নাও হতে পারে।

IaaS প্রদানকারীর কাছ থেকে ভাড়া নেওয়ার সময় আপনি কীভাবে সার্ভারের উপাদান পরীক্ষা করবেন?
আমরা মন্তব্যে আপনার জন্য অপেক্ষা করছি.

উত্স: www.habr.com