ืืื ืืขื ืึทืจืืืงื, ืืื ืืืขื ืจืขืื ืืืขืื ืึท ืกืืืืึทืฆืืข ืืืึธืก ืืื ืืขืฆืื ืก ืคืืจืืขืงืืืขื ืืื ืืืื ืขืจ ืคืื ืื ืกืขืจืืืขืจืก ืืื ืืื ืืืขืจ ืืืคึผืก ืืืึธืืงื, ืืืึธืก ืืึธืื ืืืจ ืกืืึทืืคึผื ืคึฟืึทืจ ืขืืืขืืข ืฉืขื. ืืื ืืึธืื ืงืึทื ืคืืืืขืจื ืืื ืืจืึธืืืืขืฉืึธืึธืืื ื ืืื ืืงืก ืกืขืจืืืขืจืก ืคึฟืึทืจ ืืืขืื 15 ืืึธืจ, ืึธืืขืจ ืืขืจ ืคืึทื ืืื ื ืืฉื ืคึผืึทืกืืง ืืื ืืืื ืคืืจ - ืืื ืืขืืืื ืขืืืขืืข ืคืึทืืฉ ืึทืกืึทืืคึผืฉืึทื ื ืืื ืืึทื ืึท ืืืกื ืคืึทืจืฆืืืืืคืื ืืืืืขืจ ืืื ืืื ืืืืืืช ืฆื ืจืืืืืง ืืึทืฉืืืืขื ืื ืืจืื ื ืคืื ืืขื ืคึผืจืึธืืืขื ืืื ืกืึธืืืืข ืขืก. .
Preamble
ืืืจ ืึทืจืืขืื ืึท ืืืื-ืกืืืื ืืืึธืืงื, ืืืึธืก ืืืจ ืืืืขื ืืืืฃ ื ืึธืจืืึทื ืกืขืจืืืขืจืก ืืื ืื ืคืืืืขื ืืข ืงืึทื ืคืืืืขืจืืืฉืึทื - 32 ืงืึธืจืขืก, 256 GB ืืึทืจืึทื ืืื ืึท 4500TB PCI-E Intel P4 NVMe ืคืึธืจ. ืืืจ ืืึทืงืข ืืื ืืขื ืงืึทื ืคืืืืขืจืืืฉืึทื ืืืืึทื ืขืก ืืืืืึทื ืืืฅ ืื ื ืืื ืฆื ืืึธืจื ืืืขืื IO ืึธืืืืขืจืืขื ืืืจื ืฆืืฉืืขืื ืื ืจืืืืืง ืจืืกืืจืืงืฉืึทื ืืื ืื VM ืืืึทืฉืคึผืื ืืืคึผ. ืืืืึทื NVMe Intel ืืื ืืืคึผืจืขืกืืื ืคืึธืจืฉืืขืืื ื, ืืืจ ืงืขื ืขื ืกืืืืึทืืืืื ืืึทืกืื ืฆืืฉืืขืื ืคืื IOPS ืคึผืจืึทืืืืืฉืึทื ื ืฆื ืืืฉืื ืขื ืืื ืืึทืงืึทืคึผ ืกืืึธืจืืืืฉ ืฆื ืึท ืืึทืงืึทืคึผ ืกืขืจืืืขืจ ืืื ื ืื IOWAIT.
ืืืจ ืืขื ืขื ืืืื ืขืจ ืคืื ืื ืึทืื ืืขืืืืืื ืืืึธืก ืืึธื ื ืื ื ืืฆื ืืืืคึผืขืจืงืึธื ืืืขืจืืืฉื SDN ืืื ืื ืืขืจืข ืืึธืืขืจื, ืืึธืืขืจื ืืืื ื ืืืื ืฆื ืงืจืึธื VM ืืืึทืืืืื, ืืืืืืืง ืึทื ืื ืกืืืคึผืืขืจ ืื ืกืืกืืขื, ืื ืืจืื ืืขืจ ืขืก ืืื ืฆื ืืจืึธืืืืขืฉืึธืึธื ืืื ืื ืืืืื ืืื ืืขื ืคืื "ืืขืจ ืืืืคึผื ืืืจื ืืื ื ืืืึธ. ืฆื ืื ืืขืจืโ. ืืื ืึท ืจืขืืืืืึทื, ืืืจ ืงืจืึธื VM ืืืึทืืืืื ืืื QCOW2 ืคึฟืึธืจืืึทื ืืื XFS ืึธืืขืจ EXT4, ืืืึธืก ืืื ืืืคึผืืืื ืืืืฃ ืฉืคึผืืฅ ืคืื LVM2.
ืืืจ ืืขื ืขื ืืืื ืืขืฆืืืื ืืขื ืฆื ื ืืฆื QCOW2 ืืืจื ืื ืคึผืจืึธืืืงื ืืืึธืก ืืืจ ื ืืฆื ืคึฟืึทืจ ืึธืจืืฉืขืกืืจืืืฉืึทื - Apache CloudStack.
ืฆื ืืึทืื ืึท ืืึทืงืึทืคึผ, ืืืจ ื ืขืืขื ืึท ืคืื ืืืื ืคืื ืืขื ืืึทื ื ืืื ืึท LVM2 ืืึธืืขื ืืืืื (ืืึธ, ืืืจ ืืืืกื ืึทื LVM2 ืกื ืึทืคึผืฉืึทืฅ ืืขื ืขื ืคึผืึทืืขืืขื, ืึธืืขืจ ืื Intel P4500 ืืขืืคึผืก ืืื ืื ืืืื ืืึธ). ืืืจ ืืืืขื lvmcreate -s .. ืืื ืืื ืืขืจ ืืืืฃ dd ืืืจ ืฉืืงื ืื ืืึทืงืึทืคึผ ืงืึธืคึผืืข ืฆื ืึท ืืืืึทื ืกืขืจืืืขืจ ืืื ZFS ืกืืึธืจืืืืฉ. ืืึธ ืืืจ ืืขื ืขื ื ืึธื ืึท ืืืกื ืคึผืจืึธืืจืขืกืืื - ื ืึธื ืึทืืข, ZFS ืงืขื ืขื ืงืจืึธื ืืึทืื ืืื ืงืึทืืคึผืจืขืกื ืคืึธืจืขื, ืืื ืืืจ ืงืขื ืขื ืืขืฉืืืื ื ืืืงืขืจื ืขืก ื ืืฆื DD ืึธืืขืจ ืืึทืงืืืขื ืืืื VM ืืืึทืืืืื ื ืืฆื mount -o loop ....
ืืืจ ืงืขื ืขื, ืคืื ืงืืจืก, ื ืื ืืึทืืืึทืืืงื ืื ืคืื ืืืื ืคืื ืื LVM2 ืืึทื ื, ืึธืืขืจ ืึธื ืงืืึทืคึผื ืื ืืขืงืข ืกืืกืืขื ืืื ืื
ROืืื ื ืึธืืืึทืื ืื QCOW2 ืืืืืขืจ ืืื, ืึธืืขืจ, ืืืจ ืืขื ืขื ืคืืืกื ืืื ืื ืคืึทืงื ืึทื XFS ืืขืืืืจื ืฉืืขืื ืคืื ืืขื, ืืื ื ืืฉื ืืื, ืึธืืขืจ ืืื ืึท ืึทื ืคึผืจืืืืงืืึทืืึทื ืืืขื. ืืืจ ืืึทืงืข ืืึธื ื ืื ืืื ืขืก ืืืขื ืืืืคึผืขืจืืืืืืขืจ ืืื ืืช "ืฉืืขืงื" ืคึผืืืฆืืื ื ืืืืฃ ืืืืงืขื ืื, ืืืึท ื ืึทืื ืึธืืขืจ ืืืืฃ ืืึธืืืืืึทืก ืจืขืื ืฆื ืขืจืจืึธืจืก ืืืึธืก ืืขื ืขื ื ืืฉื ืงืืึธืจ ืืืขื ืืื ืืืขืื ืคึผืึทืกืืจื. ืืขืจืืืขืจ, ืคึฟืึทืจ XFS ืืืจ ืืึธื ื ืื ื ืืฆื ืืึธืืขื ืืืืื ืืึทืื ืืื ื ืืืROืฆื ืขืงืกืืจืึทืงื ืืืึทืืืืื, ืืืจ ืคืฉืื ื ืึธืืืึทืื ืื ืืื ืฆืข LVM2 ืืึทื ื.
ืื ืืืืงืืึทื ืคืื ืืึทืงืึทืคึผ ืฆื ืื ืืึทืงืึทืคึผ ืกืขืจืืืขืจ ืืื ืืืฉืืืกื ืืื ืืื ืืืขืจ ืคืึทื ืืืจื ืื ืคืึธืจืฉืืขืืื ื ืคืื ืื ืืึทืงืึทืคึผ ืกืขืจืืืขืจ, ืืืึธืก ืืื ืืืขืื 600-800 ืืขืืืืืืื / s ืคึฟืึทืจ ืื ืงืึทืืคึผืจืขืกืึทืืึทื ืืึทืื; ืึท ืืืืึทืืขืจ ืืืืืืขืจ ืืื ืื 10Gbit / s ืงืึทื ืึทื ืืื ืืืึธืก ืื ืืึทืงืึทืคึผ ืกืขืจืืืขืจ ืืื ืงืึธื ื ืขืงืืขื ืฆื ืืขืจ ืงื ืืื.
ืืื ืืขื ืคืึทื, ืืึทืงืึทืคึผ ืงืืคืืขืก ืคืื 8 ืืืืคึผืขืจืืืืืืขืจ ืกืขืจืืืขืจืก ืืขื ืขื ืกืืืืึทืืืืื ืืึทืกืื ืืคึผืืึธืึทืืขื ืฆื ืืืื ืืึทืงืึทืคึผ ืกืขืจืืืขืจ. ืืืื, ืื ืืืกืง ืืื ื ืขืฅ ืกืึทืืกืืกืืึทืื ืคืื ืื ืืึทืงืึทืคึผ ืกืขืจืืืขืจ, ืกืืึธืืขืจ, ืืึธื ื ืื ืืึธืื ืื ืืืกืง ืกืึทืืกืืกืืึทืื ืคืื ืื ืืืืคึผืขืจืืืืืืขืจ ืืื ืืช ืฆื ืึธืืืขืจืืึธืึทื, ืืืืึทื ืืื ืืขื ืขื ืคืฉืื ื ืืฉื ืืืืืืช ืฆื ืคึผืจืึธืฆืขืก, ืืึธืื, 8 ืืืืืืืื / ืกืขืง, ืืืึธืก ืื ืืืืคึผืขืจืืืืืืขืจ ืืื ืืช ืงืขื ืขื ืืืืื. ืคึผืจืึธืืืฆืืจื.
ืืขืจ ืืืืื ืงืึทืคึผืืื ื ืคึผืจืึธืฆืขืก ืืื ืืืืขืจ ืืืืืืืง ืคึฟืึทืจ ืื ืืืืึทืืขืจ ืืขืฉืืืืข, ืึทืจืืึทื ืืขืจืขืื ื ืื ืืขืืึทืืืก - ื ืืฆื ืึท ืฉื ืขื Intel P4500 ืคืึธืจ, ื ืืฆื NFS ืืื, ืืืกืืึธืืข, ื ืืฆื ZFS.
ืืึทืงืงืืคึผ ืืขืฉืืืืข
ืืืืฃ ืืขืืขืจ ืืืคึผืขืจืืืืืืขืจ ื ืึธืืข ืืืจ ืืึธืื ืึท ืงืืืื SWAP ืฆืขืืืืืื ื ืคืื 8 ืืืืืืืื ืืื ืืจืืืก, ืืื ืืืจ "ืจืึธืื ืืืืก" ืื ืืืืคึผืขืจืืืืืืขืจ ื ืึธืืข ืืื ืืื DD ืคืื ืื ืจืขืคึฟืขืจืขื ืฅ ืืืื. ืคึฟืึทืจ ืื ืกืืกืืขื ืืึทื ื ืืืืฃ ืกืขืจืืืขืจืก, ืืืจ ื ืืฆื 2xSATA SSD RAID1 ืึธืืขืจ 2xSAS HDD RAID1 ืืืืฃ ืึท ืืกื ืึธืืขืจ ืืคึผ ืืึทืื ืืืึทืจื ืงืึธื ืืจืึธืืืขืจ. ืืื ืึทืืืขืืืื, ืืืจ ืืึธื ื ืื ืืึธืจืื ืืืึธืก ืืื ืืื ืขืืืืื ืืง, ืืืืึทื ืืื ืืืขืจ ืกืืกืืขื ืืึทื ื ืึทืคึผืขืจืืืฅ ืืื "ืึผืืขื ืืืื ืขื" ืืึธืืข, ืึทืืืฅ ืคึฟืึทืจ SWAP. ืืื ืืื ื ืืืจ ืืึธืื ืึท ืคึผืืึทืฅ ืคืื ืืึทืจืึทื ืืืืฃ ืื ืกืขืจืืืขืจ ืืื ืขืก ืืื 30-40% ืคืจืื, ืืืจ ืืึธื ื ืื ืืจืึทืืื ืืืขืื SWAP.
ืืึทืงืงืืคึผ ืคึผืจืึธืฆืขืก. ืื ืึทืจืืขื ืงืืงื ืขืคึผืขืก ืืื ืืึธืก:
#!/bin/bash
mkdir -p /mnt/backups/volumes
DIR=/mnt/images-snap
VOL=images/volume
DATE=$(date "+%d")
HOSTNAME=$(hostname)
lvcreate -s -n $VOL-snap -l100%FREE $VOL
ionice -c3 dd iflag=direct if=/dev/$VOL-snap bs=1M of=/mnt/backups/volumes/$HOSTNAME-$DATE.raw
lvremove -f $VOL-snapืฆืืงืืงื ืืื ืฆื ionice -c3, ืืื ืคืึทืงื, ืื ืืึทื ืืื ืืึธืจ ืึทืจืืืกืืขืืืึธืจืคื ืคึฟืึทืจ NVMe ืืขืืืืกืขืก, ืืื ื ืื IO ืกืงืขืืืฉืืืขืจ ืคึฟืึทืจ ืืื ืืื ืืึทืฉืืืื ืืื:
cat /sys/block/nvme0n1/queue/scheduler
[none] ืึธืืขืจ, ืืืจ ืืึธืื ืึท ื ืืืขืจ ืคืื ืืขืืึทื ื ืึธืืื ืืื ืงืึทื ืืืขื ืฉืึทื ืึทื SSD RAIDs, ืคึฟืึทืจ ืืื ืืึธืก ืืื ืืึทืืืึทืืืง, ืึทืืื ืืื ืืึทื ืืืื ืืื ืขืก ืืื. ืงืืืืขืืืืง, ืืึธืก ืืื ื ืึธืจ ืึท ืืฉืืงืึทืืืข ืฉืืืง ืคืื ืงืึธื ืืืึธืก ืืขืจืงืืขืจื ืื ืืืืืกื ionice ืืื ืคืึทื ืคืื ืึทืืึท ืึท ืงืึทื ืคืืืืขืจืืืฉืึทื.
ืืึทืฆืึธืื ืืคืืขืจืงืืึทืืงืืึทื ืฆื ืื ืคืึธื iflag=direct ืคืึทืจ DD. ืืืจ ื ืืฆื ืืืจืขืงื IO ืืืืคึผืึทืกืื ื ืื ืืึทืคืขืจ ืงืึทืฉ ืฆื ืืืกืืืืื ืืื ืืืืืง ืคืึทืจืืืึทื ืคืื IO ืืึทืคืขืจื ืืืขื ืืืืขื ืขื. ืึธืืขืจ, oflag=direct ืืืจ ืืึธื ื ืื ืืืืึทื ืืืจ ืืึธืื ืืขืคึผืืึธื ืืขืจื ZFS ืคืึธืจืฉืืขืืื ื ืืฉืื ืืืขื ื ืืฆื ืขืก.
ืืืจ ืืึธืื ืฉืืื ื ืืฆื ืืขื ืกืืขืืข ืืฆืืื ืคึฟืึทืจ ืขืืืขืืข ืืึธืจื ืึธื ืคืจืืืืขืืขื.
ืืื ืืขืืึธืื ืขืก ืื ืืขืืืืื... ืืืจ ืืืกืงืึทืืืขืจื ืึทื ืืืื ืขืจ ืคืื ืื ื ืึธืืื ืืื ื ืื ืืขืจ ืืึทืงื ืึทืจืืืฃ, ืืื ืื ืคืจืืขืจืืืงืข ืืื ืคืืืกื ืืืง ืืื ืึท ืืึทื ืกืืจืึทืก IOWAIT ืคืื 50%. ืืืขื ืืืจ ืคึผืจืึผืืื ืฆื ืคึฟืึทืจืฉืืืื ืืืึธืก ืงืึทืคึผืืื ื ืืื ื ืืฉื ืคึผืึทืกืืจื, ืืืจ ืืขืคึผืืึธื ืืขืจื ืื ืคืืืืขื ืืข ืืขืจืฉืืื ืื ื:
Volume group "images" not foundืืืจ ืื ืืขืืืืื ืฆื ืืจืึทืืื ืืืขืื "ืืขืจ ืกืืฃ ืืื ืืขืงืืืขื ืคึฟืึทืจ ืื Intel P4500," ืึธืืขืจ ืืืืืขืจ ืืืจ ืงืขืจ ืึทืืืขืง ืื ืกืขืจืืืขืจ ืฆื ืคืึทืจืืืึทืื ืื ืคืึธืจ, ืขืก ืืื ื ืึธื ื ืืืืืง ืฆื ืืึทืื ืึท ืืึทืงืึทืคึผ. ืืืจ ืคืึทืจืคืขืกืืืงื LVM2 ืืืจื ืจืืกืืึธืจืื ื ืืขืืึทืืึทืืึท ืคึฟืื ืึท LVM2 ืืึทืงืึทืคึผ:
vgcfgrestore imagesืืืจ ืืึธื ืืฉื ืึท ืืึทืงืึทืคึผ ืืื ืืขืืขื ืืขื ืืื ืืขืืขื:
ืืืืืขืจ ืืืจ ืืขื ืขื ืืืืขืจ ืืจืืืขืจืืง - ืขืก ืืื ืืขืืืขื ืงืืึธืจ ืึทื ืืืจ ืงืขื ื ืืฉื ืืขืื ืืื ืืึธืก, ืืืืึทื ืึทืืข ืื ืืืคึผืก ืืืึธืื ืืืึทืื, ืืืึธืก ืืืื ืึทื ืืืจ ืืืขืื ืืืื ืืืืื. ืืืึธืก ืืขืืจืืคื ืืื ืืึธืจ ืืืงืืึธืจ - iostat ืืขืืืืื ื ืขืืขืืืืง IOPS ืืื ืื ืืขืืกืื IOWAIT. ืขืก ืืขื ืขื ืืขืืืขื ืงืืื ืืขืืื ืงืขื ืื ืืขืจืข ืืื "ืืึธืืืจ ืคืึทืจืืืึทืื NVMe," ืึธืืขืจ ืึทื ืื ืกืืื ืืื ืืขืืืขื ืคึผืื ืงื ืืื ืฆืืื.
ืึทื ืึทืืืกืืก ืคืื ืื ืกืืืืึทืฆืืข ืฉืจืื ืืืจื ืฉืจืื
ืืืกืืึธืจืืฉืขืจ ืืฉืืจื ืึทื. ืขืืืขืืข ืืขื ืคืจืืขืจ, ืืืืฃ ืืขื ืกืขืจืืืขืจ ืืื ื ืืืืืง ืฆื ืฉืึทืคึฟื ืึท ืืจืืืก ืืืคึผืก ืืื 128 ืืืืืืืื ืืึทืจืึทื. ืขืก ืกืืื ืฆื ืืืื ืืขื ืื ืืึผืจืื, ืึธืืขืจ ืฆื ืืืื ืืืืฃ ืื ืืืืขืจ ืืืึทื, ืืืจ ืึทืืึทืงืืืืื ื ืึธื 32 ืืืืืืืื ืคึฟืึทืจ ืื ืืืกืืืึทืื ืฆืขืืืืืื ื. ืื VPS ืืื ืืืฉืืคื, ืืฆืืื ืืขืขื ืืืงื ืืืื ืึทืจืืขื ืืื ืืขืจ ืืื ืฆืืืขื ื ืืื ืคืืจืืขืกื, ืึธืืขืจ ืื SWAP ืฆืขืืืืืื ื ืืื ืืขืืืืื.
ืงืึธื ืคืืืืจืึทืืืึธื ืคึฟืขืึดืงืืืื. ืคึฟืึทืจ ืึทืืข ืืืึธืืงื ืกืขืจืืืขืจืก ืื ืคึผืึทืจืึทืืขืืขืจ vm.swappiness ืืื ืืึทืฉืืืื ืฆื ืคืขืืืงืืึทื 60. ืืื SWAP ืืื ืืืฉืืคื ืืืืฃ SAS HDD RAID1.
ืืืืก ืืื ืืขืฉืขื (ืืืื ืื ืจืขืืืงืฆืืข). ืืืขื ืืึทืงืื ื ืึทืจืืืฃ DD ืืขืฉืืคื ืึท ืคึผืืึทืฅ ืคืื ืฉืจืืึทืื ืืึทืื, ืืืึธืก ืืื ืืขืืืขื ืืขืฉืืขืื ืืื ืืึทืจืึทื ืืึทืคืขืจื ืืืืืขืจ ืฉืจืืืื ืฆื NFS. ืกืืกืืขื ืืึทืจืฅ, ืืืืืื ืืืจื ืคึผืึธืืืืืง swappiness, ืืื ืืขืืืขื ืืึธืืืื ื ืคืืืข ืืืขืืขืจ ืคืื ืืืคึผืก ืืึผืจืื ืฆื ืื ืืืกืืืึทืื ืืขืื ื, ืืืึธืก ืืื ืืขืืืขื ืืืื ืืืืฃ ืึท ืคึผืึทืืขืืขื HDD RAID1 ืืึทื ื. ืืึธืก ืืึธื ืืขืคึฟืืจื ืฆื IOWAIT ืืจืึธืืื ื ืืืืขืจ ืฉืืืจืง, ืึธืืขืจ ื ืืฉื ืจืขืื ืฆื IO NVMe, ืึธืืขืจ ืจืขืื ืฆื IO HDD RAID1.
ืืื ืื ืคึผืจืึธืืืขื ืืื ืกืึทืืืื. ืื 32GB ืืืกืืืึทืื ืฆืขืืืืืื ื ืืื ืคืึทืจืงืจืืคึผืื. ืืึธืก ืืึธื ืืขืืืืขืจื 16 ืฉืขื; ืืืจ ืงืขื ื ืืืืขื ืขื ืกืขืคึผืขืจืึทืืื ืืืขืื ืืื ืืื ืืืึธืก SWAP ืืืจื ืก ืึทืืืขืง ืึทืืื ืกืืึธืืื. ืกืขืืืื ืืก ืืขื ืขื ืืขืืืื swappiness ืฆื ืึท ืืืขืจื ืืืืึทื ืฆื 5 ืืืืขืจ ืืขื ืืืึธืืงื.
ืืื ืงืขื ืืึธืก ื ืืฉื ืคึผืึทืกืืจื?. ืขืจืฉืืขืจ, ืืืื SWAP ืืื ืืขืืืขื ืืืืฃ ืึท SSD RAID ืึธืืขืจ NVMe ืืืื, ืืื ืฆืืืืืื ืก, ืืืื ืขืก ืืื ืืขืืืขื ืงืืื NVMe ืืืื, ืึธืืขืจ ืึท ืกืืึธืืขืจ ืืืื ืืืึธืก ืืืึธืื ื ืืฉื ืคึผืจืึธืืืฆืืจื ืึทืืึท ืึท ืืึทื ื ืคืื ืืึทืื - ืืืจืึทื ืืงืื, ืื ืคึผืจืึธืืืขื ืืขืืจืืคื ืืืืึทื ืื NVMe ืืื ืฆื ืฉื ืขื.
ื ืึธื ืืขื, ืึทืืฅ ืื ืืขืืืืื ืฆื ืึทืจืืขืื ืืื ืคืจืืขืจ - ืืื ื ืื IOWAIT.
ืืงืืจ: www.habr.com