എന്തുകൊണ്ടാണ് എന്റെ NVMe ഒരു SSD-നേക്കാൾ വേഗത കുറഞ്ഞിരിക്കുന്നത്?

ഈ ലേഖനത്തിൽ, I / O സബ്സിസ്റ്റത്തിന്റെ ചില സൂക്ഷ്മതകളും പ്രകടനത്തിൽ അവയുടെ സ്വാധീനവും ഞങ്ങൾ നോക്കും.

ഒരു സെർവറിലെ NVMe മറ്റൊന്നിലെ SATA യെക്കാൾ വേഗത കുറഞ്ഞിരിക്കുന്നത് എന്തുകൊണ്ടെന്ന ചോദ്യത്തിൽ രണ്ടാഴ്ച മുമ്പ് ഞാൻ നേരിട്ടു. ഞാൻ സെർവറുകളുടെ സ്വഭാവസവിശേഷതകൾ നോക്കുകയും അതൊരു തന്ത്രപരമായ ചോദ്യമാണെന്ന് മനസ്സിലാക്കുകയും ചെയ്തു: NVMe ഉപയോക്തൃ വിഭാഗത്തിൽ നിന്നുള്ളതാണ്, കൂടാതെ SSD സെർവർ വിഭാഗത്തിൽ നിന്നുള്ളതാണ്.

വ്യക്തമായും, വ്യത്യസ്ത പരിതസ്ഥിതികളിലെ വിവിധ സെഗ്‌മെന്റുകളിൽ നിന്നുള്ള ഉൽപ്പന്നങ്ങൾ താരതമ്യം ചെയ്യുന്നത് ശരിയല്ല, എന്നാൽ ഇത് ഒരു സമഗ്രമായ സാങ്കേതിക ഉത്തരമല്ല. ഞങ്ങൾ അടിസ്ഥാനകാര്യങ്ങൾ പഠിക്കുകയും പരീക്ഷണങ്ങൾ നടത്തുകയും ഉന്നയിക്കുന്ന ചോദ്യത്തിന് ഉത്തരം നൽകുകയും ചെയ്യും.

എന്താണ് fsync, അത് എവിടെയാണ് ഉപയോഗിക്കുന്നത്

ഡ്രൈവുകളുമായുള്ള പ്രവർത്തനം വേഗത്തിലാക്കാൻ, ഡാറ്റ ബഫർ ചെയ്യുന്നു, അതായത്, ബഫറിലെ ഉള്ളടക്കങ്ങൾ ഡ്രൈവിലേക്ക് സംരക്ഷിക്കാൻ സൗകര്യപ്രദമായ അവസരം ലഭിക്കുന്നതുവരെ അസ്ഥിരമായ മെമ്മറിയിൽ സംഭരിക്കുന്നു. ഓപ്പറേറ്റിംഗ് സിസ്റ്റവും ഡ്രൈവ് സവിശേഷതകളും അനുസരിച്ചാണ് അവസര മാനദണ്ഡങ്ങൾ നിർണ്ണയിക്കുന്നത്. വൈദ്യുതി തകരാർ സംഭവിച്ചാൽ, ബഫറിലെ എല്ലാ ഡാറ്റയും നഷ്ടപ്പെടും.

ഫയലിലെ മാറ്റങ്ങൾ ഡ്രൈവിൽ എഴുതിയിട്ടുണ്ടെന്ന് ഉറപ്പാക്കേണ്ട നിരവധി ജോലികൾ ഉണ്ട്, കൂടാതെ ഒരു ഇന്റർമീഡിയറ്റ് ബഫറിൽ കിടക്കരുത്. POSIX-കംപ്ലയന്റ് fsync സിസ്റ്റം കോൾ ഉപയോഗിച്ച് ഈ ഉറപ്പ് ലഭിക്കും. fsync കോൾ ബഫറിൽ നിന്ന് ഡ്രൈവിലേക്ക് എഴുതാൻ നിർബന്ധിക്കുന്നു.

ഒരു ഹ്രസ്വ സി പ്രോഗ്രാമിന്റെ രൂപത്തിൽ ഒരു കൃത്രിമ ഉദാഹരണം ഉപയോഗിച്ച് ബഫറുകളുടെ പ്രഭാവം നമുക്ക് പ്രകടിപ്പിക്കാം.

#include <fcntl.h>
#include <unistd.h>
#include <sys/stat.h>
#include <sys/types.h>

int main(void) {
    /* Открываем файл answer.txt на запись, если его нет -- создаём */
    int fd = open("answer.txt", O_WRONLY | O_CREAT);
    /* Записываем первый набор данных */
    write(fd, "Answer to the Ultimate Question of Life, The Universe, and Everything: ", 71);
    /* Делаем вид, что проводим вычисления в течение 10 секунд */
    sleep(10);
    /* Записываем результат вычислений */
    write(fd, "42n", 3); 

    return 0;
}

പ്രോഗ്രാമിലെ പ്രവർത്തനങ്ങളുടെ ക്രമം അഭിപ്രായങ്ങൾ നന്നായി വിശദീകരിക്കുന്നു. "ജീവിതത്തിന്റെയും പ്രപഞ്ചത്തിന്റെയും എല്ലാത്തിന്റെയും പ്രധാന ചോദ്യത്തിനുള്ള ഉത്തരം" എന്ന വാചകം ഓപ്പറേറ്റിംഗ് സിസ്റ്റം ബഫർ ചെയ്യും, കൂടാതെ "കണക്കുകൂട്ടലുകൾ" സമയത്ത് റീസെറ്റ് ബട്ടൺ അമർത്തി സെർവർ പുനരാരംഭിക്കുകയാണെങ്കിൽ, ഫയൽ ശൂന്യമായിരിക്കും. ഞങ്ങളുടെ ഉദാഹരണത്തിൽ, ടെക്സ്റ്റ് നഷ്ടം ഒരു പ്രശ്നമല്ല, അതിനാൽ fsync ആവശ്യമില്ല. ഡാറ്റാബേസുകൾ ഈ ശുഭാപ്തിവിശ്വാസം പങ്കിടുന്നില്ല.

ഒരേ സമയം നിരവധി ഫയലുകളിൽ പ്രവർത്തിക്കുന്ന സങ്കീർണ്ണമായ പ്രോഗ്രാമുകളാണ് ഡാറ്റാബേസുകൾ, അതിനാൽ അവർ എഴുതുന്ന ഡാറ്റ ഡ്രൈവിൽ സംഭരിക്കപ്പെടുമെന്ന് ഉറപ്പാക്കാൻ അവർ ആഗ്രഹിക്കുന്നു, കാരണം ഡാറ്റാബേസിനുള്ളിലെ ഡാറ്റയുടെ സ്ഥിരത ഇതിനെ ആശ്രയിച്ചിരിക്കുന്നു. പൂർത്തിയാക്കിയ എല്ലാ ഇടപാടുകളും റെക്കോർഡ് ചെയ്യാനും എപ്പോൾ വേണമെങ്കിലും വൈദ്യുതി മുടക്കം നേരിടാനും കഴിയുന്ന തരത്തിലാണ് ഡാറ്റാബേസുകൾ രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. ഈ സ്വഭാവം fsync നിരന്തരം വലിയ അളവിൽ ഉപയോഗിക്കാൻ നിങ്ങളെ നിർബന്ധിക്കുന്നു.

fsync-ന്റെ പതിവ് ഉപയോഗത്തെ ബാധിക്കുന്നതെന്താണ്

സാധാരണ I/O ഉപയോഗിച്ച്, ഡിസ്ക് കമ്മ്യൂണിക്കേഷൻ ഒപ്റ്റിമൈസ് ചെയ്യാൻ ഓപ്പറേറ്റിംഗ് സിസ്റ്റം ശ്രമിക്കുന്നു, കാരണം മെമ്മറി ശ്രേണിയിൽ എക്‌സ്‌റ്റേണൽ ഡ്രൈവുകളാണ് ഏറ്റവും മന്ദഗതിയിലുള്ളത്. അതിനാൽ, ഡ്രൈവിലേക്കുള്ള ഒരു ആക്‌സസിൽ കഴിയുന്നത്ര ഡാറ്റ എഴുതാൻ ഓപ്പറേറ്റിംഗ് സിസ്റ്റം ശ്രമിക്കുന്നു.

ഒരു പ്രത്യേക ഉദാഹരണം ഉപയോഗിച്ച് fsync ഉപയോഗിക്കുന്നതിന്റെ സ്വാധീനം നമുക്ക് പ്രകടമാക്കാം. പരീക്ഷണ വിഷയങ്ങളായി ഞങ്ങൾക്ക് ഇനിപ്പറയുന്ന SSD-കൾ ഉണ്ട്:

• Intel® DC SSD S4500 480 GB, SATA 3.2, 6 Gb/s വഴി ബന്ധിപ്പിച്ചിരിക്കുന്നു;
• Samsung 970 EVO Plus 500GB, PCIe 3.0 x4, ~31 Gbps വഴി കണക്‌റ്റ് ചെയ്‌തിരിക്കുന്നു.

ഉബുണ്ടു 2255 പ്രവർത്തിക്കുന്ന Intel® Xeon® W-20.04-ലാണ് ടെസ്റ്റുകൾ നടത്തുന്നത്. ഡിസ്കുകൾ പരിശോധിക്കുന്നതിനായി, sysbench 1.0.18 ഉപയോഗിക്കുന്നു. ഡിസ്കുകൾക്ക് ext4 ആയി ഫോർമാറ്റ് ചെയ്ത ഒരു പാർട്ടീഷൻ ഉണ്ട്. 100 GB ഫയലുകൾ സൃഷ്‌ടിക്കുക എന്നതാണ് പരിശോധനയ്‌ക്കായി തയ്യാറെടുക്കുന്നത്:

sysbench --test=fileio --file-total-size=100G prepare

റണ്ണിംഗ് ടെസ്റ്റുകൾ:

# Без fsync
sysbench --num-threads=16 --test=fileio --file-test-mode=rndrw --file-fsync-freq=0 run

# С fsync после каждой записи
sysbench --num-threads=16 --test=fileio --file-test-mode=rndrw --file-fsync-freq=1 run

പരിശോധനാ ഫലങ്ങൾ പട്ടികയിൽ അവതരിപ്പിച്ചിരിക്കുന്നു.

ടെസ്റ്റ്
Intel® S4500
Samsung 970 EVO+

fsync, MiB/s ഇല്ലാതെ വായിക്കുക
5734.89
9028.86

fsync, MiB/s ഇല്ലാതെ എഴുതുക
3823.26
6019.24

fsync, MiB/s ഉപയോഗിച്ചുള്ള വായന
37.76
3.27

fsync, MiB/s ഉപയോഗിച്ച് റെക്കോർഡിംഗ്
25.17
2.18

ഡിസ്കുകൾ ഉപയോഗിച്ച് എങ്ങനെ പ്രവർത്തിക്കണമെന്ന് ഓപ്പറേറ്റിംഗ് സിസ്റ്റം തന്നെ തീരുമാനിക്കുമ്പോൾ ക്ലയന്റ് സെഗ്‌മെന്റിൽ നിന്നുള്ള NVMe ആത്മവിശ്വാസത്തോടെ നയിക്കുകയും fsync ഉപയോഗിക്കുമ്പോൾ നഷ്ടപ്പെടുകയും ചെയ്യുന്നത് കാണാൻ എളുപ്പമാണ്. ഇത് രണ്ട് ചോദ്യങ്ങൾ ഉയർത്തുന്നു:

1. fsync ഇല്ലാതെ ടെസ്റ്റിലെ ലിങ്കിന്റെ ഫിസിക്കൽ ബാൻഡ്‌വിഡ്ത്ത് വായന വേഗത കവിയുന്നത് എന്തുകൊണ്ട്?
2. ധാരാളം fsync അഭ്യർത്ഥനകൾ കൈകാര്യം ചെയ്യുന്നതിൽ ഒരു സെർവർ സെഗ്‌മെന്റ് SSD മികച്ചത് എന്തുകൊണ്ട്?

ആദ്യ ചോദ്യത്തിനുള്ള ഉത്തരം ലളിതമാണ്: sysbench പൂജ്യം നിറഞ്ഞ ഫയലുകൾ സൃഷ്ടിക്കുന്നു. അങ്ങനെ, 100 ജിഗാബൈറ്റിലധികം പൂജ്യങ്ങൾ പരീക്ഷണം നടത്തി. ഡാറ്റ വളരെ ഏകീകൃതവും പ്രവചിക്കാവുന്നതുമായതിനാൽ, വിവിധ OS ഒപ്റ്റിമൈസേഷനുകൾ പ്രവർത്തിക്കുന്നു, അവ നിർവ്വഹണത്തെ ഗണ്യമായി വേഗത്തിലാക്കുന്നു.

sysbench-ന്റെ എല്ലാ ഫലങ്ങളും നിങ്ങൾ ചോദ്യം ചെയ്യുകയാണെങ്കിൽ, നിങ്ങൾക്ക് fio ഉപയോഗിക്കാം.

# Без fsync
fio --name=test1 --blocksize=16k --rw=randrw --iodepth=16 --runtime=60 --rwmixread=60 --fsync=0 --filename=/dev/sdb

# С fsync после каждой записи
fio --name=test1 --blocksize=16k --rw=randrw --iodepth=16 --runtime=60 --rwmixread=60 --fsync=1 --filename=/dev/sdb

ടെസ്റ്റ്
Intel® S4500
Samsung 970 EVO+

fsync, MiB/s ഇല്ലാതെ വായിക്കുക
45.5
178

fsync, MiB/s ഇല്ലാതെ എഴുതുക
30.4
119

fsync, MiB/s ഉപയോഗിച്ചുള്ള വായന
32.6
20.9

fsync, MiB/s ഉപയോഗിച്ച് റെക്കോർഡിംഗ്
21.7
13.9

fsync ഉപയോഗിക്കുമ്പോൾ NVMe-ൽ പെർഫോമൻസ് കുറയാനുള്ള പ്രവണത വ്യക്തമായി കാണാം. നിങ്ങൾക്ക് രണ്ടാമത്തെ ചോദ്യത്തിലേക്ക് പോകാം.

ഒപ്റ്റിമൈസേഷൻ അല്ലെങ്കിൽ ബ്ലഫ്

ഡാറ്റ ഒരു ബഫറിലാണ് സംഭരിച്ചിരിക്കുന്നതെന്ന് ഞങ്ങൾ നേരത്തെ പറഞ്ഞിരുന്നു, എന്നാൽ അത് പ്രധാനമല്ലാത്തതിനാൽ ഏതാണ് എന്ന് വ്യക്തമാക്കിയിട്ടില്ല. ഇപ്പോൾ പോലും ഞങ്ങൾ ഓപ്പറേറ്റിംഗ് സിസ്റ്റങ്ങളുടെ സങ്കീർണ്ണതകളിലേക്ക് കടക്കില്ല, കൂടാതെ രണ്ട് പൊതു തരം ബഫറുകൾ വേർതിരിച്ചെടുക്കുക:

• പ്രോഗ്രാം;
• ഹാർഡ്വെയർ.

സോഫ്റ്റ്വെയർ ബഫർ ഓപ്പറേറ്റിംഗ് സിസ്റ്റത്തിലുള്ള ബഫറുകളെ സൂചിപ്പിക്കുന്നു, ഹാർഡ്വെയർ ബഫർ ഡിസ്ക് കൺട്രോളറിന്റെ അസ്ഥിരമായ മെമ്മറിയെ സൂചിപ്പിക്കുന്നു. fsync സിസ്റ്റം കോൾ അതിന്റെ ബഫറിൽ നിന്ന് പ്രധാന സ്റ്റോറേജിലേക്ക് ഡാറ്റ എഴുതാൻ ഡ്രൈവിലേക്ക് ഒരു കമാൻഡ് അയയ്‌ക്കുന്നു, എന്നാൽ കമാൻഡിന്റെ ശരിയായ നിർവ്വഹണം നിയന്ത്രിക്കാൻ ഇതിന് ഒരു മാർഗവുമില്ല.

എസ്എസ്ഡി മികച്ച പ്രകടനം നടത്തുന്നതിനാൽ, രണ്ട് അനുമാനങ്ങൾ ഉണ്ടാക്കാം:

• സമാനമായ പ്ലാനിന്റെ ലോഡിനായി ഡിസ്ക് രൂപകൽപ്പന ചെയ്തിരിക്കുന്നു;
• ഡിസ്ക് "ബ്ലഫ്സ്" ചെയ്യുകയും കമാൻഡ് അവഗണിക്കുകയും ചെയ്യുന്നു.

നിങ്ങൾ ഒരു പവർ തകരാർ ഉള്ള ഒരു ടെസ്റ്റ് നടത്തുകയാണെങ്കിൽ ഡ്രൈവിന്റെ സത്യസന്ധമല്ലാത്ത പെരുമാറ്റം ശ്രദ്ധിക്കാവുന്നതാണ്. നിങ്ങൾക്ക് ഇത് ഒരു സ്ക്രിപ്റ്റ് ഉപയോഗിച്ച് പരിശോധിക്കാം. diskchecker.pl, അതായിരുന്നു സ്ഥാപിച്ചു in 2005 വർഷം.

ഈ സ്ക്രിപ്റ്റിന് രണ്ട് ഫിസിക്കൽ മെഷീനുകൾ ആവശ്യമാണ് - "സെർവർ", "ക്ലയന്റ്". ക്ലയന്റ് ടെസ്റ്റിന് കീഴിലുള്ള ഡ്രൈവിലേക്ക് ഒരു ചെറിയ അളവിലുള്ള ഡാറ്റ എഴുതുന്നു, fsync എന്ന് വിളിക്കുന്നു, കൂടാതെ എഴുതിയതിനെക്കുറിച്ചുള്ള വിവരങ്ങൾ സെർവറിന് അയയ്ക്കുന്നു.

# Запускается на сервере
./diskchecker.pl -l [port]

# Запускается на клиенте
./diskchecker.pl -s <server[:port]> create <file> <size_in_MB>

സ്ക്രിപ്റ്റ് പ്രവർത്തിപ്പിച്ചതിന് ശേഷം, "ക്ലയന്റ്" ഡി-എനർജസ് ചെയ്യേണ്ടത് ആവശ്യമാണ്, കൂടാതെ കുറച്ച് മിനിറ്റ് നേരത്തേക്ക് വൈദ്യുതി തിരികെ നൽകരുത്. വൈദ്യുതിയിൽ നിന്ന് ടെസ്റ്റ് വിഷയം വിച്ഛേദിക്കുന്നത് പ്രധാനമാണ്, മാത്രമല്ല ഒരു ഹാർഡ് ഷട്ട്ഡൗൺ നടത്തുക മാത്രമല്ല. കുറച്ച് സമയത്തിന് ശേഷം, സെർവർ കണക്റ്റുചെയ്‌ത് OS-ലേക്ക് ലോഡുചെയ്യാനാകും. OS ബൂട്ട് ചെയ്ത ശേഷം, നിങ്ങൾ വീണ്ടും ആരംഭിക്കേണ്ടതുണ്ട് diskchecker.pl, എന്നാൽ ഒരു വാദത്തോടെ പരിശോധിക്കുക.

./diskchecker.pl -s <server[:port]> verify <file>

പരിശോധനയുടെ അവസാനം, പിശകുകളുടെ എണ്ണം നിങ്ങൾ കാണും. അവ 0 ആണെങ്കിൽ, ഡിസ്ക് ടെസ്റ്റ് വിജയിച്ചു. ഡിസ്കിന് വിജയകരമായ സാഹചര്യങ്ങളുടെ സംയോജനം ഒഴിവാക്കാൻ, പരീക്ഷണം നിരവധി തവണ ആവർത്തിക്കാം.

ഞങ്ങളുടെ S4500 പവർ ലോസ് പിശകുകളൊന്നും കാണിച്ചില്ല, അതിനർത്ഥം ധാരാളം fsync കോളുകളുള്ള ലോഡുകൾക്ക് ഇത് തയ്യാറാണ് എന്നാണ്.

തീരുമാനം

ഡിസ്കുകൾ അല്ലെങ്കിൽ മുഴുവൻ റെഡിമെയ്ഡ് കോൺഫിഗറേഷനുകൾ തിരഞ്ഞെടുക്കുമ്പോൾ, പരിഹരിക്കേണ്ട ജോലികളുടെ പ്രത്യേകതകൾ നിങ്ങൾ മനസ്സിൽ സൂക്ഷിക്കണം. ഒറ്റനോട്ടത്തിൽ, NVMe, അതായത്, PCIe ഇന്റർഫേസുള്ള ഒരു SSD, "ക്ലാസിക്" SATA SSD-യെക്കാൾ വേഗതയുള്ളതാണെന്ന് വ്യക്തമാണ്. എന്നിരുന്നാലും, ഇന്ന് നമ്മൾ മനസ്സിലാക്കിയതുപോലെ, നിർദ്ദിഷ്ട വ്യവസ്ഥകളിലും ചില ജോലികളിലും ഇത് അങ്ങനെയാകണമെന്നില്ല.

ഒരു IaaS ദാതാവിൽ നിന്ന് വാടകയ്‌ക്ക് എടുക്കുമ്പോൾ നിങ്ങൾ എങ്ങനെയാണ് സെർവർ ഘടകങ്ങൾ പരിശോധിക്കുന്നത്?
അഭിപ്രായങ്ങളിൽ ഞങ്ങൾ നിങ്ങൾക്കായി കാത്തിരിക്കുന്നു.

അവലംബം: www.habr.com