ധാരാളം സൗജന്യ റാം, NVMe Intel P4500, എല്ലാം വളരെ മന്ദഗതിയിലാണ് - ഒരു സ്വാപ്പ് പാർട്ടീഷൻ പരാജയപ്പെട്ടതിന്റെ കഥ

ഈ ലേഖനത്തിൽ, ഞങ്ങളുടെ VPS ക്ലൗഡിലെ സെർവറുകളിൽ ഒന്നിൽ അടുത്തിടെ സംഭവിച്ച ഒരു സാഹചര്യത്തെക്കുറിച്ച് ഞാൻ സംസാരിക്കും, അത് എന്നെ മണിക്കൂറുകളോളം സ്തംഭിപ്പിച്ചു. ഏകദേശം 15 വർഷമായി ഞാൻ ലിനക്സ് സെർവറുകൾ കോൺഫിഗർ ചെയ്യുകയും ട്രബിൾഷൂട്ട് ചെയ്യുകയും ചെയ്യുന്നു, പക്ഷേ ഈ കേസ് എന്റെ പ്രയോഗത്തിന് ഒട്ടും യോജിച്ചതല്ല - പ്രശ്നത്തിന്റെ കാരണം ശരിയായി നിർണ്ണയിക്കാനും അത് പരിഹരിക്കാനും കഴിയുന്നതിന് മുമ്പ് ഞാൻ നിരവധി തെറ്റായ അനുമാനങ്ങൾ ഉണ്ടാക്കി അൽപ്പം നിരാശനായി. .

പ്രീമുൽ

ഞങ്ങൾ ഒരു ഇടത്തരം വലിപ്പമുള്ള ക്ലൗഡ് പ്രവർത്തിപ്പിക്കുന്നു, അത് ഇനിപ്പറയുന്ന കോൺഫിഗറേഷനുള്ള സ്റ്റാൻഡേർഡ് സെർവറുകളിൽ നിർമ്മിക്കുന്നു - 32 കോറുകൾ, 256 GB RAM, 4500TB PCI-E Intel P4 NVMe ഡ്രൈവ്. ഈ കോൺഫിഗറേഷൻ ഞങ്ങൾ ശരിക്കും ഇഷ്ടപ്പെടുന്നു, കാരണം VM ഇൻസ്റ്റൻസ് ടൈപ്പ് ലെവലിൽ ശരിയായ നിയന്ത്രണം നൽകിക്കൊണ്ട് IO ഓവർഹെഡിനെക്കുറിച്ച് വിഷമിക്കേണ്ടതിന്റെ ആവശ്യകത ഇത് ഇല്ലാതാക്കുന്നു. കാരണം NVMe ഇന്റൽ P4500 ശ്രദ്ധേയമായ പ്രകടനമുണ്ട്, ഞങ്ങൾക്ക് ഒരേസമയം മെഷീനുകൾക്ക് പൂർണ്ണമായ IOPS പ്രൊവിഷനിംഗും IOWAIT പൂജ്യമുള്ള ഒരു ബാക്കപ്പ് സെർവറിലേക്ക് ബാക്കപ്പ് സംഭരണവും നൽകാൻ കഴിയും.

വിഎം വോള്യങ്ങൾ സംഭരിക്കുന്നതിന് ഹൈപ്പർകൺവേർജ്ഡ് എസ്ഡിഎൻ, മറ്റ് സ്റ്റൈലിഷ്, ഫാഷനബിൾ, യൂത്ത് വസ്‌തുക്കൾ ഉപയോഗിക്കാത്ത പഴയ വിശ്വാസികളിൽ ഒരാളാണ് ഞങ്ങൾ, “പ്രധാന ഗുരു പോയി” എന്ന അവസ്ഥയിൽ സിസ്റ്റം ലളിതമാകുമ്പോൾ അതിന്റെ പ്രശ്‌നപരിഹാരം എളുപ്പമാണെന്ന് വിശ്വസിക്കുന്നു. മലകളിലേക്ക്." തൽഫലമായി, ഞങ്ങൾ VM വോള്യങ്ങൾ QCOW2 ഫോർമാറ്റിൽ XFS അല്ലെങ്കിൽ EXT4-ൽ സംഭരിക്കുന്നു, അത് LVM2-ന് മുകളിൽ വിന്യസിച്ചിരിക്കുന്നു.

ഓർക്കസ്ട്രേഷനായി ഞങ്ങൾ ഉപയോഗിക്കുന്ന ഉൽപ്പന്നം - അപ്പാച്ചെ ക്ലൗഡ്‌സ്റ്റാക്ക് - QCOW2 ഉപയോഗിക്കാനും ഞങ്ങൾ നിർബന്ധിതരാകുന്നു.

ഒരു ബാക്കപ്പ് നടത്താൻ, ഞങ്ങൾ ഒരു എൽവിഎം2 സ്നാപ്പ്ഷോട്ടായി വോള്യത്തിന്റെ ഒരു പൂർണ്ണ ചിത്രം എടുക്കുന്നു (അതെ, എൽവിഎം2 സ്നാപ്പ്ഷോട്ടുകൾ മന്ദഗതിയിലാണെന്ന് ഞങ്ങൾക്കറിയാം, പക്ഷേ ഇവിടെയും Intel P4500 ഞങ്ങളെ സഹായിക്കുന്നു). ഞങ്ങൾ ചെയ്യുന്നു lvmcreate -s .. സഹായത്തോടെയും dd ZFS സ്റ്റോറേജുള്ള ഒരു റിമോട്ട് സെർവറിലേക്ക് ഞങ്ങൾ ബാക്കപ്പ് കോപ്പി അയയ്ക്കുന്നു. ഇവിടെ ഞങ്ങൾ ഇപ്പോഴും അൽപ്പം പുരോഗമനപരമാണ് - എല്ലാത്തിനുമുപരി, ZFS ന് കംപ്രസ് ചെയ്ത രൂപത്തിൽ ഡാറ്റ സംഭരിക്കാൻ കഴിയും, കൂടാതെ നമുക്ക് അത് ഉപയോഗിച്ച് വേഗത്തിൽ പുനഃസ്ഥാപിക്കാൻ കഴിയും DD അല്ലെങ്കിൽ വ്യക്തിഗത VM വോള്യങ്ങൾ ഉപയോഗിച്ച് നേടുക mount -o loop ....

നിങ്ങൾക്ക് തീർച്ചയായും, എൽവിഎം2 വോള്യത്തിന്റെ പൂർണ്ണമായ ഇമേജ് നീക്കം ചെയ്യാനാകില്ല, എന്നാൽ ഫയൽ സിസ്റ്റം മൌണ്ട് ചെയ്യുക RO കൂടാതെ QCOW2 ഇമേജുകൾ സ്വയം പകർത്തുക, എന്നിരുന്നാലും, XFS ഇതിൽ നിന്ന് മോശമായിപ്പോയി എന്ന വസ്തുത ഞങ്ങൾ അഭിമുഖീകരിച്ചു, ഉടനടി അല്ല, പ്രവചനാതീതമായ രീതിയിൽ. എപ്പോൾ സംഭവിക്കുമെന്ന് വ്യക്തമല്ലാത്ത പിശകുകൾ കാരണം ഹൈപ്പർവൈസർ ഹോസ്റ്റുകൾ വാരാന്ത്യങ്ങളിലോ രാത്രിയിലോ അവധി ദിവസങ്ങളിലോ പെട്ടെന്ന് “പറ്റിനിൽക്കുന്നത്” ഞങ്ങൾക്കത് ഇഷ്ടപ്പെടില്ല. അതിനാൽ, XFS-നായി ഞങ്ങൾ സ്നാപ്പ്ഷോട്ട് മൗണ്ടിംഗ് ഉപയോഗിക്കുന്നില്ല RO വോള്യങ്ങൾ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുന്നതിന്, ഞങ്ങൾ മുഴുവൻ എൽവിഎം2 വോള്യവും പകർത്തുക.

ബാക്കപ്പ് സെർവറിലേക്കുള്ള ബാക്കപ്പ് വേഗത ഞങ്ങളുടെ കാര്യത്തിൽ നിർണ്ണയിക്കുന്നത് ബാക്കപ്പ് സെർവറിന്റെ പ്രകടനത്തെ അടിസ്ഥാനമാക്കിയാണ്, ഇത് 600-800 MB/s ആണ്. ക്ലസ്റ്ററിലേക്ക്.

ഈ സാഹചര്യത്തിൽ, 8 ഹൈപ്പർവൈസർ സെർവറുകളുടെ ബാക്കപ്പ് പകർപ്പുകൾ ഒരേസമയം ഒരു ബാക്കപ്പ് സെർവറിലേക്ക് അപ്‌ലോഡ് ചെയ്യപ്പെടും. അങ്ങനെ, ബാക്കപ്പ് സെർവറിന്റെ ഡിസ്കും നെറ്റ്‌വർക്ക് സബ്സിസ്റ്റങ്ങളും വേഗത കുറവായതിനാൽ, ഹൈപ്പർവൈസർ ഹോസ്റ്റുകളുടെ ഡിസ്ക് സബ്സിസ്റ്റങ്ങളെ ഓവർലോഡ് ചെയ്യാൻ അനുവദിക്കുന്നില്ല, കാരണം അവയ്ക്ക് 8 GB/സെക്കൻഡ് പ്രോസസ്സ് ചെയ്യാൻ കഴിയില്ല, അത് ഹൈപ്പർവൈസർ ഹോസ്റ്റുകൾക്ക് എളുപ്പത്തിൽ ചെയ്യാൻ കഴിയും. ഉൽപ്പാദിപ്പിക്കുക.

വേഗത്തിലുള്ള Intel P4500 ഡ്രൈവ് ഉപയോഗിച്ചും NFS ഉപയോഗിച്ചും ഒരുപക്ഷേ ZFS ഉപയോഗിച്ചും - വിശദാംശങ്ങൾ ഉൾപ്പെടെയുള്ള തുടർന്നുള്ള സ്റ്റോറിക്ക് മുകളിലുള്ള പകർത്തൽ പ്രക്രിയ വളരെ പ്രധാനമാണ്.

ബാക്കപ്പ് സ്റ്റോറി

ഓരോ ഹൈപ്പർവൈസർ നോഡിലും നമുക്ക് 8 GB വലുപ്പമുള്ള ഒരു ചെറിയ SWAP പാർട്ടീഷൻ ഉണ്ട്, കൂടാതെ ഞങ്ങൾ ഹൈപ്പർവൈസർ നോഡ് തന്നെ "റോൾ ഔട്ട്" ചെയ്യുന്നു DD റഫറൻസ് ചിത്രത്തിൽ നിന്ന്. സെർവറുകളിലെ സിസ്റ്റം വോളിയത്തിനായി, ഞങ്ങൾ ഒരു LSI അല്ലെങ്കിൽ HP ഹാർഡ്‌വെയർ കൺട്രോളറിൽ 2xSATA SSD RAID1 അല്ലെങ്കിൽ 2xSAS HDD RAID1 ഉപയോഗിക്കുന്നു. പൊതുവേ, SWAP ഒഴികെ, ഞങ്ങളുടെ സിസ്റ്റം വോളിയം "ഏതാണ്ട് വായിക്കാൻ മാത്രം" മോഡിൽ പ്രവർത്തിക്കുന്നതിനാൽ, ഉള്ളിലുള്ളത് ഞങ്ങൾ കാര്യമാക്കുന്നില്ല. സെർവറിൽ ഞങ്ങൾക്ക് ധാരാളം റാം ഉള്ളതിനാലും അത് 30-40% സൗജന്യമായതിനാലും ഞങ്ങൾ SWAP നെ കുറിച്ച് ചിന്തിക്കുന്നില്ല.

ബാക്കപ്പ് പ്രക്രിയ. ഈ ടാസ്ക് ഇതുപോലെ കാണപ്പെടുന്നു:

#!/bin/bash

mkdir -p /mnt/backups/volumes

DIR=/mnt/images-snap
VOL=images/volume
DATE=$(date "+%d")
HOSTNAME=$(hostname)

lvcreate -s -n $VOL-snap -l100%FREE $VOL
ionice -c3 dd iflag=direct if=/dev/$VOL-snap bs=1M of=/mnt/backups/volumes/$HOSTNAME-$DATE.raw
lvremove -f $VOL-snap

ശ്രദ്ധിക്കുക ionice -c3, വാസ്തവത്തിൽ, ഈ കാര്യം NVMe ഉപകരണങ്ങൾക്ക് പൂർണ്ണമായും ഉപയോഗശൂന്യമാണ്, കാരണം അവയ്‌ക്കായുള്ള IO ഷെഡ്യൂളർ ഇങ്ങനെ സജ്ജീകരിച്ചിരിക്കുന്നു:

cat /sys/block/nvme0n1/queue/scheduler
[none] 

എന്നിരുന്നാലും, പരമ്പരാഗത എസ്എസ്ഡി റെയിഡുകളുള്ള നിരവധി ലെഗസി നോഡുകൾ ഞങ്ങളുടെ പക്കലുണ്ട്, അവയ്ക്ക് ഇത് പ്രസക്തമാണ്, അതിനാൽ അവ നീങ്ങുന്നു അതു പൊലെ. മൊത്തത്തിൽ, ഇത് നിഷ്ഫലത വിശദീകരിക്കുന്ന ഒരു രസകരമായ കോഡ് മാത്രമാണ് ionice അത്തരമൊരു കോൺഫിഗറേഷന്റെ കാര്യത്തിൽ.

പതാകയിൽ ശ്രദ്ധിക്കുക iflag=direct വേണ്ടി DD. വായിക്കുമ്പോൾ IO ബഫറുകൾ അനാവശ്യമായി മാറ്റിസ്ഥാപിക്കുന്നത് ഒഴിവാക്കാൻ ഞങ്ങൾ ബഫർ കാഷെ മറികടന്ന് നേരിട്ട് IO ഉപയോഗിക്കുന്നു. എന്നിരുന്നാലും, oflag=direct ZFS ഉപയോഗിക്കുമ്പോൾ പ്രകടന പ്രശ്നങ്ങൾ നേരിട്ടതിനാൽ ഞങ്ങൾ അങ്ങനെ ചെയ്യുന്നില്ല.

നിരവധി വർഷങ്ങളായി പ്രശ്‌നങ്ങളില്ലാതെ ഞങ്ങൾ ഈ സ്കീം വിജയകരമായി ഉപയോഗിക്കുന്നു.

പിന്നെ തുടങ്ങി... നോഡുകളിലൊന്ന് ഇനി ബാക്കപ്പ് ചെയ്തിട്ടില്ലെന്നും മുമ്പത്തേത് 50% ഭീമാകാരമായ IOWAIT ഉപയോഗിച്ചാണ് പ്രവർത്തിക്കുന്നത് എന്നും ഞങ്ങൾ കണ്ടെത്തി. എന്തുകൊണ്ടാണ് പകർത്തൽ സംഭവിക്കാത്തതെന്ന് മനസിലാക്കാൻ ശ്രമിക്കുമ്പോൾ, ഇനിപ്പറയുന്ന പ്രതിഭാസം ഞങ്ങൾ നേരിട്ടു:

Volume group "images" not found

"Intel P4500-ന്റെ അവസാനം വന്നിരിക്കുന്നു" എന്നതിനെക്കുറിച്ച് ഞങ്ങൾ ചിന്തിക്കാൻ തുടങ്ങി, എന്നിരുന്നാലും, ഡ്രൈവ് മാറ്റിസ്ഥാപിക്കുന്നതിന് സെർവർ ഓഫാക്കുന്നതിന് മുമ്പ്, ഒരു ബാക്കപ്പ് നടത്തേണ്ടത് ആവശ്യമാണ്. ഒരു LVM2 ബാക്കപ്പിൽ നിന്ന് മെറ്റാഡാറ്റ പുനഃസ്ഥാപിച്ചുകൊണ്ട് ഞങ്ങൾ LVM2 ശരിയാക്കി:

vgcfgrestore images

ഞങ്ങൾ ഒരു ബാക്കപ്പ് സമാരംഭിച്ചു, ഈ ഓയിൽ പെയിന്റിംഗ് കണ്ടു:

വീണ്ടും ഞങ്ങൾ വളരെ സങ്കടപ്പെട്ടു - ഞങ്ങൾക്ക് ഇതുപോലെ ജീവിക്കാൻ കഴിയില്ലെന്ന് വ്യക്തമായിരുന്നു, കാരണം എല്ലാ വിപിഎസുകളും കഷ്ടപ്പെടും, അതിനർത്ഥം ഞങ്ങളും കഷ്ടപ്പെടും. എന്താണ് സംഭവിച്ചതെന്ന് പൂർണ്ണമായും വ്യക്തമല്ല - iostat ദയനീയമായ IOPS ഉം ഉയർന്ന IOWAIT ഉം കാണിച്ചു. "നമുക്ക് NVMe മാറ്റിസ്ഥാപിക്കാം" എന്നല്ലാതെ മറ്റ് ആശയങ്ങളൊന്നും ഉണ്ടായിരുന്നില്ല, എന്നാൽ കൃത്യസമയത്ത് ഒരു ഉൾക്കാഴ്ച സംഭവിച്ചു.

ഘട്ടം ഘട്ടമായുള്ള സാഹചര്യത്തിന്റെ വിശകലനം

ചരിത്ര മാസിക. കുറച്ച് ദിവസങ്ങൾക്ക് മുമ്പ്, ഈ സെർവറിൽ 128 ജിബി റാം ഉള്ള ഒരു വലിയ വിപിഎസ് സൃഷ്ടിക്കേണ്ടത് ആവശ്യമാണ്. ആവശ്യത്തിന് മെമ്മറി ഉണ്ടെന്ന് തോന്നുന്നു, പക്ഷേ സുരക്ഷിതമായ വശത്തായിരിക്കാൻ, സ്വാപ്പ് പാർട്ടീഷനായി ഞങ്ങൾ മറ്റൊരു 32 GB അനുവദിച്ചു. VPS സൃഷ്ടിക്കപ്പെട്ടു, അതിന്റെ ചുമതല വിജയകരമായി പൂർത്തിയാക്കി, സംഭവം മറന്നു, പക്ഷേ SWAP പാർട്ടീഷൻ തുടർന്നു.

കോൺഫിഗറേഷൻ സവിശേഷതകൾ. എല്ലാ ക്ലൗഡ് സെർവറുകൾക്കും പരാമീറ്റർ vm.swappiness സ്ഥിരസ്ഥിതിയായി സജ്ജമാക്കി 60. കൂടാതെ SAS HDD RAID1-ൽ SWAP സൃഷ്ടിച്ചു.

എന്താണ് സംഭവിച്ചത് (എഡിറ്റർമാരുടെ അഭിപ്രായത്തിൽ). ബാക്കപ്പ് ചെയ്യുമ്പോൾ DD NFS-ലേക്ക് എഴുതുന്നതിന് മുമ്പ് റാം ബഫറുകളിൽ സ്ഥാപിച്ചിട്ടുള്ള ധാരാളം റൈറ്റ് ഡാറ്റ നിർമ്മിച്ചു. സിസ്റ്റം കോർ, നയത്താൽ നയിക്കപ്പെടുന്നു swappiness, സ്ലോ HDD RAID1 വോള്യത്തിൽ സ്ഥിതി ചെയ്യുന്ന സ്വാപ്പ് ഏരിയയിലേക്ക് VPS മെമ്മറിയുടെ നിരവധി പേജുകൾ നീക്കുകയായിരുന്നു. ഇത് IOWAIT വളരെ ശക്തമായി വളരുന്നതിലേക്ക് നയിച്ചു, പക്ഷേ IO NVMe കാരണമല്ല, IO HDD RAID1 കാരണം.

പ്രശ്നം എങ്ങനെ പരിഹരിച്ചു. 32GB സ്വാപ്പ് പാർട്ടീഷൻ പ്രവർത്തനരഹിതമാക്കി. ഇതിന് 16 മണിക്കൂർ എടുത്തു; SWAP വളരെ സാവധാനത്തിൽ എങ്ങനെ, എന്തുകൊണ്ട് ഓഫ് ചെയ്യുന്നു എന്നതിനെക്കുറിച്ച് നിങ്ങൾക്ക് പ്രത്യേകം വായിക്കാം. ക്രമീകരണങ്ങൾ മാറ്റി swappiness തുല്യമായ മൂല്യത്തിലേക്ക് 5 മേഘം മുഴുവൻ.

ഇതെങ്ങനെ സംഭവിക്കാതിരിക്കും?. ഒന്നാമതായി, SWAP ഒരു SSD റെയ്ഡിലോ NVMe ഉപകരണത്തിലോ ആണെങ്കിൽ, രണ്ടാമതായി, NVMe ഉപകരണം ഇല്ലായിരുന്നുവെങ്കിൽ, എന്നാൽ അത്തരം ഒരു വോളിയം ഡാറ്റ ഉൽപ്പാദിപ്പിക്കാത്ത വേഗത കുറഞ്ഞ ഉപകരണമാണെങ്കിൽ - വിരോധാഭാസമെന്നു പറയട്ടെ, NVMe വളരെ വേഗതയുള്ളതാണ് കാരണം.

അതിനുശേഷം, എല്ലാം മുമ്പത്തെപ്പോലെ പ്രവർത്തിക്കാൻ തുടങ്ങി - പൂജ്യം IOWAIT.

അവലംബം: www.habr.com