CEPH เดคเดฟเดฐเดเตเดเตเดเตเดเตเดเตเดจเตเดจเต. เดญเดพเดเด 1
เดเดเตเดเตพเดเตเดเต เด เดเตเดเต เดฑเดพเดเตเดเตเดเตพ, เดชเดคเตเดคเต เดเดชเตเดฑเตเดฑเดฟเดเตเดเตฝ เดธเตเดตเดฟเดเตเดเตเดเตพ, เดเตเตบเดซเดฟเดเตผ เดเตเดฏเตโเดค เดฌเดฟเดเดฟเดชเดฟ, เดฐเดฃเตเดเต เดกเดธเตป เดเดธเตเดเดธเตโเดกเดฟเดเตพ, เดเดฒเตเดฒเดพ เดจเดฟเดฑเดเตเดเดณเดฟเดฒเตเด เดตเดฒเตเดชเตเดชเดคเตเดคเดฟเดฒเตเดฎเตเดณเตเดณ เดเดฐเต เดเตเดเตเดเด เดเดธเตโเดเดเดธเต เดกเดฟเดธเตโเดเตเดเตพ, เดชเตเดฐเตเดเตโเดธเตโเดฎเตเดเตโเดธเต เดเดจเตเดจเดฟเดตเดฏเตเด เดเดฒเตเดฒเดพ เดธเตเดฑเตเดฑเดพเดฑเตเดฑเดฟเดเต เดกเดพเดฑเตเดฑเดฏเตเด เดเดเตเดเดณเตเดเต เดธเตเดตเดจเตเดคเด เดเดธเต 3 เดธเตเดฑเตเดฑเตเดฑเตเดเดฟเตฝ เดเดเดพเดจเตเดณเตเดณ เดเดเตเดฐเดนเดตเตเด เดเดฃเตเดเดพเดฏเดฟเดฐเตเดจเตเดจเต. เดตเดฟเตผเดเตเดเตเดตเดฒเตเดธเตเดทเดจเดพเดฏเดฟ เดเดคเตเดฒเตเดฒเดพเด เดเดตเดถเตเดฏเดฎเดพเดฃเตเดจเตเดจเดฒเตเดฒ, เดจเดฟเดเตเดเตพ เดเดชเตเดชเตบ เดธเตเดดเตโเดธเต เดเดชเดฏเตเดเดฟเดเตเดเดพเตป เดคเตเดเดเตเดเดฟเดฏเดพเตฝ, เด เดตเดธเดพเดจเด เดตเดฐเต เดจเดฟเดเตเดเดณเตเดเต เดนเตเดฌเดฟ เดชเดฟเดจเตเดคเตเดเดฐเตเด. เดเดจเตเดจเต เดตเดฟเดทเดฎเดฟเดชเตเดชเดฟเดเตเด เดเดฐเตเดฏเตเดฐเต เดเดพเดฐเตเดฏเด เดฌเดฟเดเดฟเดชเดฟเดฏเดพเดฃเต. เดเดจเตเดฑเตเดฃเตฝ เดฌเดฟเดเดฟเดชเดฟ เดฑเตเดเตเดเดฟเดเดเดฟเดจเตเดเตเดเดพเตพ เดจเดฟเดธเตเดธเดนเดพเดฏเดจเตเด เดจเดฟเดฐเตเดคเตเดคเดฐเดตเดพเดฆเดชเดฐเดตเตเด เด เดงเดพเตผเดฎเดฟเดเดตเตเดฎเดพเดฏ เดฎเดฑเตเดฑเดพเดฐเตเดฎเดฟเดฒเตเดฒ. เดคเดพเดฎเดธเดฟเดฏเดพเดคเต เดเดเตเดเตพ เด เดคเดฟเตฝ เดฎเตเดดเตเดเตเดฎเตเดจเตเดจเต เดเดจเดฟเดเตเดเดฑเดฟเดฏเดพเดฎเดพเดฏเดฟเดฐเตเดจเตเดจเต.
เดเตเดฎเดคเดฒ เดจเดฟเดธเตเดธเดพเดฐเดฎเดพเดฏเดฟเดฐเตเดจเตเดจเต - CEPH เดเดฃเตเดเดพเดฏเดฟเดฐเตเดจเตเดจเต, เดชเดเตเดทเต เด
เดคเต เดจเดจเตเดจเดพเดฏเดฟ เดชเตเดฐเดตเตผเดคเตเดคเดฟเดเตเดเดฟเดฒเตเดฒ. "เดจเดฒเตเดฒเดคเต" เดเตเดฏเตเดฏเตเดฃเตเดเดคเต เด
เดคเตเดฏเดพเดตเดถเตเดฏเดฎเดพเดฏเดฟเดฐเตเดจเตเดจเต.
เดเดจเดฟเดเตเดเต เดฒเดญเดฟเดเตเด เดเตเดฒเดธเตเดฑเตเดฑเตผ เดตเตเดตเดฟเดงเตเดฏเดฎเดพเตผเดจเตเดจเดคเตเด เดคเดฟเดเตเดเตเดเดคเตเดคเดฟเตฝ เดเตเดฏเตเตบ เดเตเดฏเตเดคเดคเตเด เดชเตเดฐเดพเดฏเตเดเดฟเดเดฎเดพเดฏเดฟ เดเตเดฏเตเตบ เดเตเดฏเตเดคเดฟเดเตเดเดฟเดฒเตเดฒเดพเดคเตเดคเดคเตเดฎเดพเดฃเต. เดเดฐเต เดชเตเดคเต เดถเตเดเดเดฒ เดเดฐเต เดเตเดฒเดธเตเดฑเตเดฑเดฑเดพเดฏเตเด เดชเตเดคเต เดถเตเดเดเดฒเดฏเดพเดฏเตเด เดชเตเดฐเดตเตผเดคเตเดคเดฟเดเตเดเตเดจเตเดจ เดฐเดฃเตเดเต เดตเตเดฏเดคเตเดฏเดธเตเดค เดจเตเดกเตเดเดณเตเดเต เดฐเดฃเตเดเต เดเตเดฐเตเดชเตเดชเตเดเตพ เดเดคเดฟเตฝ เดเตพเดชเตเดชเตเดเตเดจเตเดจเต. เดจเตเดกเตเดเตพ เดจเดพเดฒเต เดคเดฐเด เดกเดฟเดธเตเดเตเดเตพ เดเตเดฃเตเดเต เดจเดฟเดฑเดเตเดเต - เดฐเดฃเตเดเต เดคเดฐเด เดเดธเตเดเดธเตเดกเดฟ, เดฐเดฃเตเดเต เดตเตเดฏเดคเตเดฏเดธเตเดค เดชเตเดฒเตเดฏเตเดธเตเดฎเตเดจเตเดฑเต เดจเดฟเดฏเดฎเดเตเดเดณเดฟเตฝ เดถเตเดเดฐเดฟเดเตเดเต, เดเตเดเดพเดคเต เดฎเตเดจเตเดจเดพเดฎเดคเตเดคเต เดเตเดฐเตเดชเตเดชเดฟเตฝ เดถเตเดเดฐเดฟเดเตเด เดตเตเดฏเดคเตเดฏเดธเตเดค เดตเดฒเตเดชเตเดชเดคเตเดคเดฟเดฒเตเดณเตเดณ เดฐเดฃเตเดเต เดคเดฐเด HDD. เดตเตเดฏเดคเตเดฏเดธเตโเดค เดตเดฒเตเดชเตเดชเดคเตเดคเดฟเดฒเตเดณเตเดณ เดชเตเดฐเดถเตโเดจเด เดตเตเดฏเดคเตเดฏเดธเตโเดค OSD เดตเตเดฏเตโเดฑเตเดฑเตเดเดณเดพเตฝ เดชเดฐเดฟเดนเดฐเดฟเดเตเดเต.
เดธเดเตเดเตเดเดฐเดฃเด เดคเดจเตเดจเต เดฐเดฃเตเดเต เดญเดพเดเดเตเดเดณเดพเดฏเดฟ เดคเดฟเดฐเดฟเดเตเดเดฟเดฐเดฟเดเตเดเตเดจเตเดจเต - เดเดชเตเดชเดฑเตเดฑเตเดฑเดฟเดเดเต เดธเดฟเดธเตเดฑเตเดฑเด เดเตเดฏเตเดฃเดฟเดเดเต ะธ CEPH-เดจเตเดฑเต เดคเดจเตเดจเต เดเตเดฏเตเดฃเดฟเดเดเต เด เดคเดฟเดจเตเดฑเต เดเตเดฐเดฎเตเดเดฐเดฃเดเตเดเดณเตเด.
OS เดจเดตเตเดเดฐเดฟเดเตเดเตเดจเตเดจเต
เดจเตเดฑเตเดฑเตเดตเตผเดเตเดเต
เดเดฏเตผเดจเตเดจ เดฒเตเดฑเตเดฑเตปเดธเดฟ เดฑเตเดเตเดเตเตผเดกเดฟเดเดเดฟเดจเตเดฏเตเด เดฌเดพเดฒเตปเดธเดฟเดเดเดฟเดจเตเดฏเตเด เดฌเดพเดงเดฟเดเตเดเต. เดฑเตเดเตเดเตเตผเดกเดฟเดเดเต เดเตเดฏเตเดฏเตเดฎเตเดชเตเตพ - เดเดพเดฐเดฃเด เดฎเดฑเตเดฑเต เดชเตเดฒเตเดธเตโเดฎเตเดจเตเดฑเต เดเตเดฐเตเดชเตเดชเตเดเดณเดฟเดฒเต เดกเดพเดฑเตเดฑ เดชเดเตผเดชเตเดชเตเดเตพ เดตเดฟเดเดฏเด เดธเตเดฅเดฟเดฐเตเดเดฐเดฟเดเตเดเตเดจเตเดจเดคเต เดตเดฐเต เดตเดฟเดเดฏเดเดฐเดฎเดพเดฏ เดฑเตเดเตเดเตเตผเดกเดฟเดเดเดฟเดจเตเดเตเดเตเดฑเดฟเดเตเดเต เดเตเดฒเดฏเดจเตเดฑเดฟเดจเต เดเดฐเต เดชเตเดฐเดคเดฟเดเดฐเดฃเด เดฒเดญเดฟเดเตเดเดฟเดฒเตเดฒ. เดเตเดฐเดทเต เดฎเดพเดชเตเดชเดฟเตฝ เดชเดเตผเดชเตเดชเตเดเตพ เดตเดฟเดคเดฐเดฃเด เดเตเดฏเตเดฏเตเดจเตเดจเดคเดฟเดจเตเดณเตเดณ เดจเดฟเดฏเดฎเดเตเดเตพ เดเดฐเต เดนเตเดธเตเดฑเตเดฑเดฟเดจเต เดเดฐเต เดชเดเตผเดชเตเดชเดพเดฏเดคเดฟเดจเดพเตฝ, เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเต เดเดฒเตเดฒเดพเดฏเตเดชเตเดชเตเดดเตเด เดเดชเดฏเตเดเดฟเดเตเดเต.
เด เดคเดฟเดจเดพเตฝ, เดเดพเตป เดเดฆเตเดฏเด เดเตเดฏเตเดฏเดพเตป เดคเตเดฐเตเดฎเดพเดจเดฟเดเตเดเดคเต เดจเดฟเดฒเดตเดฟเดฒเต เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเต เดเตเดฑเตเดคเดพเดฏเดฟ เดฎเดพเดฑเตเดฑเตเด เดเดจเตเดจเดคเดพเดฃเต, เด เดคเต เดธเดฎเดฏเด เดชเตเดฐเดคเตเดฏเตเด เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเตเดเดณเดฟเดฒเตเดเตเดเต เดฎเดพเดฑเดพเตป เดเดจเตเดจเต เดฌเตเดงเตเดฏเดชเตเดชเตเดเตเดคเตเดคเดพเตป เดถเตเดฐเดฎเดฟเดเตเดเตเดเดฏเดพเดฃเต.
เดเดฐเดเดญเดฟเดเตเดเตเดจเตเดจเดคเดฟเดจเต, เดเดพเตป เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเต เดเดพเตผเดกเตเดเดณเตเดเต เดเตเดฐเดฎเตเดเดฐเดฃเดเตเดเตพ เดเตเดตเตเดเตเดเต เดเตเดฏเตเดคเต. เดเตเดฏเตเดเตพ เดธเดเตเดเตเดเดฐเดฟเดเตเดเตเดเตเดฃเตเดเต เดเดพเตป เดเดฐเดเดญเดฟเดเตเดเต:
เดเดจเตเดคเต เดธเดเดญเดตเดฟเดเตเดเต:
ethtool -l ens1f1
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
root@ceph01:~# ethtool -g ens1f1
Ring parameters for ens1f1:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 256
RX Mini: 0
RX Jumbo: 0
TX: 256
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
เดจเดฟเดฒเดตเดฟเดฒเต เดชเดพเดฐเดพเดฎเตเดฑเตเดฑเดฑเตเดเตพ เดชเดฐเดฎเดพเดตเดงเดฟเดฏเดฟเตฝ เดจเดฟเดจเตเดจเต เดตเดณเดฐเต เด เดเดฒเตเดฏเดพเดฃเตเดจเตเดจเต เดเดพเดฃเดพเตป เดเดดเดฟเดฏเตเด. เดตเตผเดฆเตเดงเดฟเดเตเดเต:
root@ceph01:~#ethtool -G ens1f0 rx 4096
root@ceph01:~#ethtool -G ens1f0 tx 4096
root@ceph01:~#ethtool -L ens1f0 combined 63
เดเดฐเต เดฎเดฟเดเดเตเด เดฒเตเดเดจเดคเตเดคเดพเตฝ เดจเดฏเดฟเดเตเดเดชเตเดชเตเดเตเดจเตเดจเต
เด เดฏเดฏเตเดเตเดเตเดจเตเดจ เดเตเดฏเตเดตเดฟเดจเตเดฑเต เดจเตเดณเด เดตเตผเดฆเตเดงเดฟเดชเตเดชเดฟเดเตเดเต txqueuelen 1000 เดฎเตเดคเตฝ 10 เดตเดฐเต
root@ceph01:~#ip link set ens1f0 txqueuelen 10000
เดถเดฐเดฟ, เดธเตเดซเดฟเดจเตเดฑเต เดกเตเดเตเดฏเตเดฎเตเดจเตเดฑเตเดทเตป เดชเดฟเดจเตเดคเตเดเดฐเตเดจเตเดจเต
เดตเตผเดฆเตเดงเดฟเดเตเดเต เดเด.เดเดฟ.เดฏเต 9000 เดตเดฐเต.
root@ceph01:~#ip link set dev ens1f0 mtu 9000
/etc/network/interfaces-เดฒเตเดเตเดเต เดเตเตผเดคเตเดคเดคเดฟเดจเดพเตฝ เดฎเตเดเดณเดฟเตฝ เดชเดฑเดเตเดเดตเดฏเตเดฒเตเดฒเดพเด เดธเตเดฑเตเดฑเดพเตผเดเตเดเดชเตเดชเดฟเตฝ เดฒเตเดกเต เดเตเดฏเตเดฏเดชเตเดชเตเดเตเด
cat / etc / network / interfaces
root@ceph01:~# cat /etc/network/interfaces
auto lo
iface lo inet loopback
auto ens1f0
iface ens1f0 inet manual
post-up /sbin/ethtool -G ens1f0 rx 4096
post-up /sbin/ethtool -G ens1f0 tx 4096
post-up /sbin/ethtool -L ens1f0 combined 63
post-up /sbin/ip link set ens1f0 txqueuelen 10000
mtu 9000
auto ens1f1
iface ens1f1 inet manual
post-up /sbin/ethtool -G ens1f1 rx 4096
post-up /sbin/ethtool -G ens1f1 tx 4096
post-up /sbin/ethtool -L ens1f1 combined 63
post-up /sbin/ip link set ens1f1 txqueuelen 10000
mtu 9000
เด เดคเดฟเดจเตเดถเตเดทเด, เด เดคเต เดฒเตเดเดจเดคเตเดคเต เดคเตเดเตผเดจเตเดจเต, เดเดพเตป 4.15 เดเตเตผเดฃเดฒเดฟเดจเตเดฑเต เดนเดพเตปเดกเดฟเดฒเตเดเดณเต เดเดฟเดจเตเดคเดพเดชเตเตผเดตเตเดตเด เดตเดณเดเตเดเตเดเดฟเดเตเดเดพเตป เดคเตเดเดเตเดเดฟ. เดจเตเดกเตเดเตพเดเตเดเต 128G เดฑเดพเด เดเดฃเตเดเตเดจเตเดจเต เดเดฃเดเตเดเดฟเดฒเตเดเตเดเตเดเตเดฎเตเดชเตเตพ, เดเดเตเดเตพ เดเดฐเต เดเตเตบเดซเดฟเดเดฑเตเดทเตป เดซเดฏเดฒเดฟเตฝ เด เดตเดธเดพเดจเดฟเดชเตเดชเดฟเดเตเดเต sysctl
cat /etc/sysctl.d/50-ceph.conf
net.core.rmem_max = 56623104
#ะะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ ะฟัะธะตะผะฐ ะดะฐะฝะฝัั
ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
net.core.wmem_max = 56623104
#ะะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ ะฟะตัะตะดะฐัะธ ะดะฐะฝะฝัั
ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
net.core.rmem_default = 56623104
#ะ ะฐะทะผะตั ะฑััะตัะฐ ะฟัะธะตะผะฐ ะดะฐะฝะฝัั
ะฟะพ ัะผะพะปัะฐะฝะธั ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน. 54M
net.core.wmem_default = 56623104
#ะ ะฐะทะผะตั ะฑััะตัะฐ ะฟะตัะตะดะฐัะธ ะดะฐะฝะฝัั
ะฟะพ ัะผะพะปัะฐะฝะธั ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
# ะฝะฐ ะบะฐะถะดัะน ัะพะบะตั
net.ipv4.tcp_rmem = 4096 87380 56623104
#ะะตะบัะพัะฝะฐั (ะผะธะฝะธะผัะผ, ะฟะพ ัะผะพะปัะฐะฝะธั, ะผะฐะบัะธะผัะผ) ะฟะตัะตะผะตะฝะฝะฐั ะฒ ัะฐะนะปะต tcp_rmem
# ัะพะดะตัะถะธั 3 ัะตะปัั
ัะธัะปะฐ, ะพะฟัะตะดะตะปัััะธั
ัะฐะทะผะตั ะฟัะธะตะผะฝะพะณะพ ะฑััะตัะฐ ัะพะบะตัะพะฒ TCP.
# ะะธะฝะธะผัะผ: ะบะฐะถะดัะน ัะพะบะตั TCP ะธะผะตะตั ะฟัะฐะฒะพ ะธัะฟะพะปัะทะพะฒะฐัั ััั ะฟะฐะผััั ะฟะพ
# ัะฐะบัั ัะฒะพะตะณะพ ัะพะทะดะฐะฝะธั. ะะพะทะผะพะถะฝะพััั ะธัะฟะพะปัะทะพะฒะฐะฝะธั ัะฐะบะพะณะพ ะฑััะตัะฐ
# ะณะฐัะฐะฝัะธััะตััั ะดะฐะถะต ะฟัะธ ะดะพััะธะถะตะฝะธะธ ะฟะพัะพะณะฐ ะพะณัะฐะฝะธัะตะฝะธั (moderate memory pressure).
# ะ ะฐะทะผะตั ะผะธะฝะธะผะฐะปัะฝะพะณะพ ะฑััะตัะฐ ะฟะพ ัะผะพะปัะฐะฝะธั ัะพััะฐะฒะปัะตั 8 ะะฑะฐะนั (8192).
#ะะฝะฐัะตะฝะธะต ะฟะพ ัะผะพะปัะฐะฝะธั: ะบะพะปะธัะตััะฒะพ ะฟะฐะผััะธ, ะดะพะฟัััะธะผะพะต ะดะปั ะฑััะตัะฐ
# ะฟะตัะตะดะฐัะธ ัะพะบะตัะฐ TCP ะฟะพ ัะผะพะปัะฐะฝะธั. ะญัะพ ะทะฝะฐัะตะฝะธะต ะฟัะธะผะตะฝัะตััั ะฒะทะฐะผะตะฝ
# ะฟะฐัะฐะผะตััะฐ /proc/sys/net/core/rmem_default, ะธัะฟะพะปัะทัะตะผะพะณะพ ะดััะณะธะผะธ ะฟัะพัะพะบะพะปะฐะผะธ.
# ะะฝะฐัะตะฝะธะต ะธัะฟะพะปัะทัะตะผะพะณะพ ะฟะพ ัะผะพะปัะฐะฝะธั ะฑััะตัะฐ ะพะฑััะฝะพ (ะฟะพ ัะผะพะปัะฐะฝะธั)
# ัะพััะฐะฒะปัะตั 87830 ะฑะฐะนั. ะญัะพ ะพะฟัะตะดะตะปัะตั ัะฐะทะผะตั ะพะบะฝะฐ 65535 ั
# ะทะฐะดะฐะฝะฝัะผ ะฟะพ ัะผะพะปัะฐะฝะธั ะทะฝะฐัะตะฝะธะตะผ tcp_adv_win_scale ะธ tcp_app_win = 0,
# ะฝะตัะบะพะปัะบะพ ะผะตะฝััะธะน, ะฝะตะถะตะปะธ ะพะฟัะตะดะตะปัะตั ะฟัะธะฝััะพะต ะฟะพ ัะผะพะปัะฐะฝะธั ะทะฝะฐัะตะฝะธะต tcp_app_win.
# ะะฐะบัะธะผัะผ: ะผะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ, ะบะพัะพััะน ะผะพะถะตั ะฑััั ะฐะฒัะพะผะฐัะธัะตัะบะธ
# ะฒัะดะตะปะตะฝ ะดะปั ะฟัะธะตะผะฐ ัะพะบะตัั TCP. ะญัะพ ะทะฝะฐัะตะฝะธะต ะฝะต ะพัะผะตะฝัะตั ะผะฐะบัะธะผัะผะฐ,
# ะทะฐะดะฐะฝะฝะพะณะพ ะฒ ัะฐะนะปะต /proc/sys/net/core/rmem_max. ะัะธ ยซััะฐัะธัะตัะบะพะผยป
# ะฒัะดะตะปะตะฝะธะธ ะฟะฐะผััะธ ั ะฟะพะผะพััั SO_RCVBUF ััะพั ะฟะฐัะฐะผะตัั ะฝะต ะธะผะตะตั ะทะฝะฐัะตะฝะธั.
net.ipv4.tcp_wmem = 4096 65536 56623104
net.core.somaxconn = 5000
# ะะฐะบัะธะผะฐะปัะฝะพะต ัะธัะปะพ ะพัะบััััั
ัะพะบะตัะพะฒ, ะถะดััะธั
ัะพะตะดะธะฝะตะฝะธั.
net.ipv4.tcp_timestamps=1
# ะ ะฐะทัะตัะฐะตั ะธัะฟะพะปัะทะพะฒะฐะฝะธะต ะฒัะตะผะตะฝะฝัั
ะผะตัะพะบ (timestamps), ะฒ ัะพะพัะฒะตัััะฒะธะธ ั RFC 1323.
net.ipv4.tcp_sack=1
# ะ ะฐะทัะตัะธัั ะฒัะฑะพัะพัะฝัะต ะฟะพะดัะฒะตัะถะดะตะฝะธั ะฟัะพัะพะบะพะปะฐ TCP
net.core.netdev_max_backlog=5000 (ะดะตัะพะปั 1000)
# ะผะฐะบัะธะผะฐะปัะฝะพะต ะบะพะปะธัะตััะฒะพ ะฟะฐะบะตัะพะฒ ะฒ ะพัะตัะตะดะธ ะฝะฐ ะพะฑัะฐะฑะพัะบั, ะตัะปะธ
# ะธะฝัะตััะตะนั ะฟะพะปััะฐะตั ะฟะฐะบะตัั ะฑััััะตะต, ัะตะผ ัะดัะพ ะผะพะถะตั ะธั
ะพะฑัะฐะฑะพัะฐัั.
net.ipv4.tcp_max_tw_buckets=262144
# ะะฐะบัะธะผะฐะปัะฝะพะต ัะธัะปะพ ัะพะบะตัะพะฒ, ะฝะฐั
ะพะดััะธั
ัั ะฒ ัะพััะพัะฝะธะธ TIME-WAIT ะพะดะฝะพะฒัะตะผะตะฝะฝะพ.
# ะัะธ ะฟัะตะฒััะตะฝะธะธ ััะพะณะพ ะฟะพัะพะณะฐ โ ยซะปะธัะฝะธะนยป ัะพะบะตั ัะฐะทัััะฐะตััั ะธ ะฟะธัะตััั
# ัะพะพะฑัะตะฝะธะต ะฒ ัะธััะตะผะฝัะน ะถััะฝะฐะป.
net.ipv4.tcp_tw_reuse=1
#ะ ะฐะทัะตัะฐะตะผ ะฟะพะฒัะพัะฝะพะต ะธัะฟะพะปัะทะพะฒะฐะฝะธะต TIME-WAIT ัะพะบะตัะพะฒ ะฒ ัะปััะฐัั
,
# ะตัะปะธ ะฟัะพัะพะบะพะป ััะธัะฐะตั ััะพ ะฑะตะทะพะฟะฐัะฝัะผ.
net.core.optmem_max=4194304
#ะฃะฒะตะปะธัะธัั ะผะฐะบัะธะผะฐะปัะฝัะน ะพะฑัะธะน ะฑััะตั-ะบะพัะผะธัะตัะบะพะน ALLOCATABLE
#ะธะทะผะตััะตััั ะฒ ะตะดะธะฝะธัะฐั
ัััะฐะฝะธั (4096 ะฑะฐะนั)
net.ipv4.tcp_low_latency=1
#ะ ะฐะทัะตัะฐะตั ััะตะบั TCP/IP ะพัะดะฐะฒะฐัั ะฟัะตะดะฟะพััะตะฝะธะต ะฝะธะทะบะพะผั ะฒัะตะผะตะฝะธ ะพะถะธะดะฐะฝะธั
# ะฟะตัะตะด ะฑะพะปะตะต ะฒััะพะบะพะน ะฟัะพะฟััะบะฝะพะน ัะฟะพัะพะฑะฝะพัััั.
net.ipv4.tcp_adv_win_scale=1
# ะญัะฐ ะฟะตัะตะผะตะฝะฝะฐั ะฒะปะธัะตั ะฝะฐ ะฒััะธัะปะตะฝะธะต ะพะฑัะตะผะฐ ะฟะฐะผััะธ ะฒ ะฑััะตัะต ัะพะบะตัะฐ,
# ะฒัะดะตะปัะตะผะพะน ะฟะพะด ัะฐะทะผะตั TCP-ะพะบะฝะฐ ะธ ะฟะพะด ะฑััะตั ะฟัะธะปะพะถะตะฝะธั.
# ะัะปะธ ะฒะตะปะธัะธะฝะฐ tcp_adv_win_scale ะพััะธัะฐัะตะปัะฝะฐั, ัะพ ะดะปั ะฒััะธัะปะตะฝะธั ัะฐะทะผะตัะฐ
# ะธัะฟะพะปัะทัะตััั ัะปะตะดัััะตะต ะฒััะฐะถะตะฝะธะต:
# Bytes- bytes2ะฒ ััะตะฟะตะฝะธ -tcp_adv_win_scale
# ะะดะต bytes โ ััะพ ัะฐะทะผะตั ะพะบะฝะฐ ะฒ ะฑะฐะนัะฐั
. ะัะปะธ ะฒะตะปะธัะธะฝะฐ tcp_adv_win_scale
# ะฟะพะปะพะถะธัะตะปัะฝะฐั, ัะพ ะดะปั ะพะฟัะตะดะตะปะตะฝะธั ัะฐะทะผะตัะฐ ะธัะฟะพะปัะทัะตััั ัะปะตะดัััะตะต ะฒััะฐะถะตะฝะธะต:
# Bytes- bytes2ะฒ ััะตะฟะตะฝะธ tcp_adv_win_scale
# ะะตัะตะผะตะฝะฝะฐั ะฟัะธะฝะธะผะฐะตั ัะตะปะพะต ะทะฝะฐัะตะฝะธะต. ะะฝะฐัะตะฝะธะต ะฟะพ-ัะผะพะปัะฐะฝะธั โ 2,
# ั.ะต. ะฟะพะด ะฑััะตั ะฟัะธะปะพะถะตะฝะธั ะพัะฒะพะดะธััั ยผ ัะฐััั ะพะฑัะตะผะฐ, ะพะฟัะตะดะตะปัะตะผะพะณะพ ะฟะตัะตะผะตะฝะฝะพะน
# tcp_rmem.
net.ipv4.tcp_slow_start_after_idle=0
# ะผะตั
ะฐะฝะธะทะผ ะฟะตัะตะทะฐะฟััะบะฐ ะผะตะดะปะตะฝะฝะพะณะพ ััะฐััะฐ, ะบะพัะพััะน ัะฑัะฐััะฒะฐะตั ะทะฝะฐัะตะฝะธะต ะพะบะฝะฐ
# ะฟะตัะตะณััะทะบะธ, ะตัะปะธ ัะพะตะดะธะฝะตะฝะธะต ะฝะต ะธัะฟะพะปัะทะพะฒะฐะปะพัั ะทะฐะดะฐะฝะฝัะน ะฟะตัะธะพะด ะฒัะตะผะตะฝะธ.
# ะัััะต ะพัะบะปััะธัั SSR ะฝะฐ ัะตัะฒะตัะต, ััะพะฑั ัะปัััะธัั ะฟัะพะธะทะฒะพะดะธัะตะปัะฝะพััั
# ะดะพะปะณะพะถะธะฒััะธั
ัะพะตะดะธะฝะตะฝะธะน.
net.ipv4.tcp_no_metrics_save=1
#ะะต ัะพั
ัะฐะฝััั ัะตะทัะปััะฐัั ะธะทะผะตัะตะฝะธะน TCP ัะพะตะดะธะฝะตะฝะธั ะฒ ะบะตัะต ะฟัะธ ะตะณะพ ะทะฐะบัััะธะธ.
net.ipv4.tcp_syncookies=0
#ะัะบะปััะธัั ะผะตั
ะฐะฝะธะทะผ ะพัะฟัะฐะฒะบะธ syncookie
net.ipv4.tcp_ecn=0
#Explicit Congestion Notification (ะฏะฒะฝะพะต ะฃะฒะตะดะพะผะปะตะฝะธะต ะพ ะะตัะตะณััะถะตะฝะฝะพััะธ) ะฒ
# TCP-ัะพะตะดะธะฝะตะฝะธัั
. ะัะฟะพะปัะทัะตััั ะดะปั ัะฒะตะดะพะผะปะตะฝะธั ะพ ะฒะพะทะฝะธะบะฝะพะฒะตะฝะธะธ ยซะทะฐัะพัะฐยป
# ะฝะฐ ะผะฐัััััะต ะบ ะทะฐะดะฐะฝะฝะพะผั ั
ะพััั ะธะปะธ ัะตัะธ. ะะพะถะตั ะธัะฟะพะปัะทะพะฒะฐัััั ะดะปั ะธะทะฒะตัะตะฝะธั
# ั
ะพััะฐ-ะพัะฟัะฐะฒะธัะตะปั ะพ ะฝะตะพะฑั
ะพะดะธะผะพััะธ ัะฝะธะทะธัั ัะบะพัะพััั ะฟะตัะตะดะฐัะธ ะฟะฐะบะตัะพะฒ ัะตัะตะท
# ะบะพะฝะบัะตัะฝัะน ะผะฐัััััะธะทะฐัะพั ะธะปะธ ะฑัะฐะฝะดะผะฐััั.
net.ipv4.conf.all.send_redirects=0
# ะฒัะบะปััะฐะตั ะฒัะดะฐัั ICMP Redirect โฆ ะดััะณะธะผ ั
ะพััะฐะผ. ะญัะฐ ะพะฟัะธั ะพะฑัะทะฐัะตะปัะฝะพ
# ะดะพะปะถะฝะฐ ะฑััั ะฒะบะปััะตะฝะฐ, ะตัะปะธ ั
ะพัั ะฒััััะฟะฐะตั ะฒ ัะพะปะธ ะผะฐัััััะธะทะฐัะพัะฐ ะปัะฑะพะณะพ ัะพะดะฐ.
# ะฃ ะฝะฐั ะฝะตั ะผะฐัััััะธะทะฐัะธะธ.
net.ipv4.ip_forward=0
#ะกะพะฟัะฝะพ ะพัะบะปััะตะฝะธะต ัะพัะฒะฐัะดะธะฝะณะฐ. ะั ะฝะต ัะปัะท, ะดะพะบะตั ะฝะฐ ะผะฐัะธะฝะฐั
ะฝะต ะฟะพะดะฝัั,
# ะฝะฐะผ ััะพ ะฝะต ะฝัะถะฝะพ.
net.ipv4.icmp_echo_ignore_broadcasts=1
#ะะต ะพัะฒะตัะฐะตะผ ะฝะฐ ICMP ECHO ะทะฐะฟัะพัั, ะฟะตัะตะดะฐะฝะฝัะต ัะธัะพะบะพะฒะตัะฐัะตะปัะฝัะผะธ ะฟะฐะบะตัะฐะผะธ
net.ipv4.tcp_fin_timeout=10
#ะพะฟัะตะดะตะปัะตั ะฒัะตะผั ัะพั
ัะฐะฝะตะฝะธั ัะพะบะตัะฐ ะฒ ัะพััะพัะฝะธะธ FIN-WAIT-2 ะฟะพัะปะต ะตะณะพ
# ะทะฐะบัััะธั ะปะพะบะฐะปัะฝะพะน ััะพัะพะฝะพะน. ะะตัะพะปั 60
net.core.netdev_budget=600 # (ะดะตัะพะปั 300)
# ะัะปะธ ะฒัะฟะพะปะฝะตะฝะธะต ะฟัะพะณัะฐะผะผะฝัั
ะฟัะตััะฒะฐะฝะธะน ะฝะต ะฒัะฟะพะปะฝััััั ะดะพััะฐัะพัะฝะพ ะดะพะปะณะพ,
# ัะพ ัะตะผะฟ ัะพััะฐ ะฒั
ะพะดััะธั
ะดะฐะฝะฝัั
ะผะพะถะตั ะฟัะตะฒััะธัั ะฒะพะทะผะพะถะฝะพััั ัะดัะฐ
# ะพะฟัััะพัะธัั ะฑััะตั. ะ ัะตะทัะปััะฐัะต ะฑััะตัั NIC ะฟะตัะตะฟะพะปะฝัััั, ะธ ััะฐัะธะบ ะฑัะดะตั ะฟะพัะตััะฝ.
# ะะฝะพะณะดะฐ, ะฝะตะพะฑั
ะพะดะธะผะพ ัะฒะตะปะธัะธัั ะดะปะธัะตะปัะฝะพััั ัะฐะฑะพัั SoftIRQs
# (ะฟัะพะณัะฐะผะผะฝัั
ะฟัะตััะฒะฐะฝะธะน) ั CPU. ะะฐ ััะพ ะพัะฒะตัะฐะตั netdev_budget.
# ะะฝะฐัะตะฝะธะต ะฟะพ ัะผะพะปัะฐะฝะธั 300. ะะฐัะฐะผะตัั ะทะฐััะฐะฒะธั ะฟัะพัะตัั SoftIRQ ะพะฑัะฐะฑะพัะฐัั
# 300 ะฟะฐะบะตัะพะฒ ะพั NIC ะฟะตัะตะด ัะตะผ ะบะฐะบ ะพัะฟัััะธัั CPU
net.ipv4.tcp_fastopen=3
# TFO TCP Fast Open
# ะตัะปะธ ะธ ะบะปะธะตะฝั ะธ ัะตัะฒะตั ะธะผะตัั ะฟะพะดะดะตัะถะบั TFO, ะพ ะบะพัะพัะพะน ัะพะพะฑัะฐัั ะทะฐ ััะตั
# ัะฟะตัะธะฐะปัะฝะพะณะพ ัะปะฐะณะฐ ะฒ TCP ะฟะฐะบะตัะต. ะ ะฝะฐัะตะผ ัะปััะฐะต ัะฒะปัะตััั ะฟะปะฐัะตะฑะพ, ะฟัะพััะพ
# ะฒัะณะปัะดะธั ะบัะฐัะธะฒะพ)
ะกเดคเดฟเดณเดเตเดเดฎเตเดณเตเดณ เดถเตเดเดเดฒ เดชเตเดฐเดคเตเดฏเตเด 10Gbps เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเต เดเดจเตเดฑเตผเดซเตเดธเตเดเดณเดฟเตฝ เดเดฐเต เดชเตเดฐเดคเตเดฏเตเด เดซเตเดฒเดพเดฑเตเดฑเต เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเดฟเดฒเตเดเตเดเต เด เดจเตเดตเดฆเดฟเดเตเดเต. เดเดฐเต เดฎเตเดทเตเดจเดฟเดฒเตเด เดกเตเดฏเตเดตเตฝ เดชเตเตผเดเตเดเต เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเต เดเดพเตผเดกเตเดเตพ เดธเดเตเดเตเดเดฐเดฟเดเตเดเดฟเดฐเดฟเดเตเดเตเดจเตเดจเต เดฎเตเดฒเตเดฒเดจเตเดเตเดธเต 10/25 Gbps, เดฐเดฃเตเดเต เดตเตเดฏเดคเตเดฏเดธเตเดค 10Gbps เดธเตเดตเดฟเดเตเดเตเดเดณเดฟเดฒเตเดเตเดเต เดชเตเดฒเดเต เดเตเดฏเตโเดคเดฟเดฐเดฟเดเตเดเตเดจเตเดจเต. เดเดเดธเตเดชเดฟเดเดซเต เดเดชเดฏเตเดเดฟเดเตเดเดพเดฃเต เด เดเตเดฐเดเตเดทเตป เดจเดเดคเตเดคเดฟเดฏเดคเต, เดเดพเดฐเดฃเด เดเดฟเดฒ เดเดพเดฐเดฃเดเตเดเดณเดพเตฝ lacp-เดฏเตเดฎเดพเดฏเตเดณเตเดณ เดฌเตเดฃเตเดเดฟเดเดเต เดชเดฐเดฎเดพเดตเดงเดฟ 16 Gbps เดคเตเดฐเตเดชเตเดเตเดเต เดเดพเดฃเดฟเดเตเดเตเดจเตเดจเต, เด เดคเตเดธเดฎเดฏเด ospf เดเดฐเต เดฎเตเดทเตเดจเดฟเดฒเตเด เดฐเดฃเตเดเต เดเตเตปเดธเตเด เดตเดฟเดเดฏเดเดฐเดฎเดพเดฏเดฟ เดเดชเดฏเตเดเดฟเดเตเดเต. เดฒเตเดฑเตเดฑเตปเดธเดฟ เดเตเดฑเดฏเตเดเตเดเดพเตป เด เดฎเตเดฒเดจเตเดเตเดธเตเดเดณเดฟเตฝ ROCE เดชเตเดฐเดฏเตเดเดจเดชเตเดชเตเดเตเดคเตเดคเตเด เดเดจเตเดจเดคเดพเดฏเดฟเดฐเตเดจเตเดจเต เดญเดพเดตเดฟ เดชเดฆเตเดงเดคเดฟเดเตพ. เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเดฟเดจเตเดฑเต เด เดญเดพเดเด เดเดเตเดเดจเต เดธเดเตเดเตเดเดฐเดฟเดเตเดเดพเด:
- เดฎเตเดทเตเดจเตเดเตพเดเตเดเต เดคเดจเตเดจเต BGP-เดฏเดฟเตฝ เดฌเดพเดนเตเดฏ IP เดตเดฟเดฒเดพเดธเดเตเดเตพ เดเดณเตเดณเดคเดฟเดจเดพเตฝ, เดเดเตเดเตพเดเตเดเต เดธเตเดซเตเดฑเตเดฑเตโเดตเตเดฏเตผ เดเดตเดถเตเดฏเดฎเดพเดฃเต - (เดเตเดเตเดคเตฝ เดเตเดคเตเดฏเดฎเดพเดฏเดฟ เดชเดฑเดเตเดเดพเตฝ, เด เดฒเตเดเดจเด เดเดดเตเดคเตเดจเตเดจ เดธเดฎเดฏเดคเตเดคเต เด
เดคเต เด
เดเตเดเดจเตเดฏเดพเดฏเดฟเดฐเตเดจเตเดจเต
frr=6.0-1 ) เดเดคเดฟเดจเดเด เดจเดฟเตฝเดเตเดเตเดเดฏเดพเดฏเดฟเดฐเตเดจเตเดจเต. - เดฎเตเดคเตเดคเดคเตเดคเดฟเตฝ, เดฎเตเดทเตเดจเตเดเตพเดเตเดเต เดฐเดฃเตเดเต เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเต เดเดจเตเดฑเตผเดซเตเดธเตเดเดณเตเดฃเตเดเต, เดเดฐเตเดจเตเดจเดฟเดจเตเด เดฐเดฃเตเดเต เดเดจเตเดฑเตผเดซเตเดธเตเดเดณเตเดฃเตเดเต - เดเดเต 4 เดชเตเตผเดเตเดเตเดเตพ. เดเดฐเต เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเต เดเดพเตผเดกเต เดฐเดฃเตเดเต เดชเตเตผเดเตเดเตเดเดณเตเดณเตเดณ เดซเดพเดเตเดเดฑเดฟเดฏเดฟเดฒเตเดเตเดเต เดจเตเดเตเดเดฟ, เด เดคเดฟเตฝ BGP เดเตเตบเดซเดฟเดเตผ เดเตเดฏเตโเดคเต, เดฐเดฃเตเดเดพเดฎเดคเตเดคเตเดคเต เดฐเดฃเตเดเต เดชเตเตผเดเตเดเตเดเดณเตเดณเตเดณ เดฐเดฃเตเดเต เดตเตเดฏเดคเตเดฏเดธเตเดค เดธเตเดตเดฟเดเตเดเตเดเตพ เดจเตเดเตเดเดฟ, เด เดคเดฟเตฝ OSPF เดธเดเตเดเตเดเดฐเดฟเดเตเดเต.
OSPF เดธเดเตเดเตเดเดฐเดฟเดเตเดเตเดจเตเดจเดคเดฟเดจเตเดเตเดเตเดฑเดฟเดเตเดเตเดณเตเดณ เดเตเดเตเดคเตฝ เดตเดฟเดถเดฆเดพเดเดถเดเตเดเตพ: เดฐเดฃเตเดเต เดฒเดฟเดเตเดเตเดเตพ เดเตเดเตเดเดฟเดเตเดเตเตผเดเตเดเตเดเดฏเตเด เดคเตเดฑเตเดฑเต เดธเดนเดฟเดทเตเดฃเตเดค เดชเตเดฒเตผเดคเตเดคเตเดเดฏเตเด เดเตเดฏเตเดฏเตเด เดเดจเตเดจเดคเดพเดฃเต เดชเตเดฐเดงเดพเดจ เดเตเดฎเดคเดฒ.
เดฐเดฃเตเดเต เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเต เดเดจเตเดฑเตผเดซเตเดธเตเดเตพ เดฐเดฃเตเดเต เดฒเดณเดฟเดคเดฎเดพเดฏ เดซเตเดฒเดพเดฑเตเดฑเต เดจเตเดฑเตเดฑเตโเดตเตผเดเตเดเตเดเดณเดพเดฏเดฟ เดเตเดฐเดฎเตเดเดฐเดฟเดเตเดเดฟเดฐเดฟเดเตเดเตเดจเตเดจเต - 10.10.10.0/24, 10.10.20.0/24
1: ens1f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.10.2/24 brd 10.10.10.255 scope global ens1f0
2: ens1f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.20.2/24 brd 10.10.20.255 scope global ens1f1
เด เดคเดฟเดฒเตเดเต เดเดพเดฑเตเดเตพ เดชเดฐเดธเตเดชเดฐเด เดเดพเดฃเตเดจเตเดจเต.
เดกเดฟเดธเตเดเต
เดกเดฟเดธเตเดเตเดเตพ เดเดชเตเดฑเตเดฑเดฟเดฎเตเดธเต เดเตเดฏเตเดฏเตเด เดเดจเตเดจเดคเดพเดฏเดฟเดฐเตเดจเตเดจเต เด
เดเตเดคเตเดค เดเดเตเดเด. SSD-เดฏเตโเดเตเดเต เดเดพเตป เดทเตเดกเตเดฏเตเดณเตผ เดฎเดพเดฑเตเดฑเดฟ เดเดฒเตเดฒ, HDD-เดฏเตโเดเตเดเต - เดธเดฎเดฏเดชเดฐเดฟเดงเดฟ. เดตเตเดฏเดเตเดคเดฎเดพเดฏเดฟ เดชเดฑเดเตเดเดพเตฝ, เดเดเดเตเดฒเตเดทเดฟเตฝ "FIFO (เดซเดธเตเดฑเตเดฑเต เดเตป, เดซเดธเตเดฑเตเดฑเต เดเดเตเดเต)" เดเดจเตเดจเต เดคเตเดจเตเดจเตเดจเตเดจ "เดซเดธเตเดฑเตเดฑเต เดเตป, เดซเดธเตเดฑเตเดฑเต เดเดเตเดเต" เดเดจเตเดจ เดคเดคเตเดตเดคเตเดคเดฟเดฒเดพเดฃเต NOOP เดชเตเดฐเดตเตผเดคเตเดคเดฟเดเตเดเตเดจเตเดจเดคเต. เด
เดญเตเดฏเตผเดคเตเดฅเดจเดเตพ เดเดคเตเดคเตเดฎเตเดชเตเตพ เดเตเดฏเต เดจเดฟเตฝเดเตเดเตเดจเตเดจเต. DEADLINE เดเดจเตเดจเดคเต เดเตเดเตเดคเตฝ เดตเดพเดฏเดจเดพเดงเดฟเดทเตโเด เดฟเดคเดฎเดพเดฃเต, เดเตเดเดพเดคเต เดเตเดฏเต เดเตเดฏเตโเดคเดฟเดฐเดฟเดเตเดเตเดจเตเดจ เดชเตเดฐเดเตเดฐเดฟเดฏเดฏเตโเดเตเดเต เดเดชเตเดชเดฑเตเดทเตป เดธเดฎเดฏเดคเตเดคเต เดกเดฟเดธเตโเดเดฟเดฒเตเดเตเดเต เดเดคเดพเดฃเตเดเต เดเดเตโเดธเตโเดเตเดฒเตเดธเตเดตเต เดเดเตโเดธเดธเต เดฒเดญเดฟเดเตเดเตเดจเตเดจเต. เดเดคเต เดเดเตเดเดณเตเดเต เดธเดฟเดธเตเดฑเตเดฑเดคเตเดคเดฟเดจเต เด
เดจเตเดฏเตเดเตเดฏเดฎเดพเดฃเต - เดเดฒเตเดฒเดพเดคเตเดคเดฟเดจเตเดฎเตเดชเดฐเดฟ, เดเดฐเต เดกเดฟเดธเตเดเดฟเดฒเตเด เดเดฐเต เดชเตเดฐเตเดธเดธเตเดธเต เดฎเดพเดคเตเดฐเดฎเต เดชเตเดฐเดตเตผเดคเตเดคเดฟเดเตเดเต - OSD เดกเตเดฎเตบ.
(I/O เดทเตเดกเตเดฏเตเดณเดฑเดฟเดฒเตเดเตเดเต เดกเตเดตเต เดเตเดฏเตเดฏเดพเตป เดเดเตเดฐเดนเดฟเดเตเดเตเดจเตเดจเดตเตผเดเตเดเต เด
เดคเดฟเดจเตเดเตเดเตเดฑเดฟเดเตเดเต เดเดตเดฟเดเต เดตเดพเดฏเดฟเดเตเดเดพเด:
เดฑเดทเตเดฏเตป เดญเดพเดทเดฏเดฟเตฝ เดตเดพเดฏเดฟเดเตเดเดพเตป เดเดทเตเดเดชเตเดชเตเดเตเดจเตเดจเดตเตผ:
Linux เดเตเดฏเตเตบ เดเตเดฏเตเดฏเตเดจเตเดจเดคเดฟเดจเตเดณเตเดณ เดถเตเดชเดพเตผเดถเดเดณเดฟเตฝ, nr_request เดตเตผเดฆเตเดงเดฟเดชเตเดชเดฟเดเตเดเดพเดจเตเด เดถเตเดชเดพเตผเดถ เดเตเดฏเตเดฏเตเดจเตเดจเต
nr_requests
nr_requests-เดจเตเดฑเต เดฎเตเดฒเตเดฏเด, I/O เดทเตเดกเตเดฏเตเดณเตผ เดฌเตเดฒเตเดเตเดเต เดเดชเดเดฐเดฃเดคเตเดคเดฟเดฒเตเดเตเดเต เดกเดพเดฑเตเดฑ เด เดฏเดฏเตโเดเตเดเตเดจเตเดจเดคเดฟเดจเตเด / เดธเตเดตเตเดเดฐเดฟเดเตเดเตเดจเตเดจเดคเดฟเดจเตเด เดฎเตเดฎเตเดชเต เดฌเดซเตผ เดเตเดฏเตเดฏเดชเตเดชเตเดเตเดจเตเดจ I/O เด เดญเตเดฏเตผเดคเตเดฅเดจเดเดณเตเดเต เด เดณเดตเต เดจเดฟเตผเดฃเตเดฃเดฏเดฟเดเตเดเตเดจเตเดจเต, เดจเดฟเดเตเดเตพ เดเดฐเต RAID เดเดพเตผเดกเต / เดฌเตเดฒเตเดเตเดเต เดเดชเดเดฐเดฃเด เดเดชเดฏเตเดเดฟเดเตเดเตเดเดฏเดพเดฃเตเดเตเดเดฟเตฝ, I-เดจเตเดเตเดเดพเตพ เดตเดฒเดฟเดฏ เดเตเดฏเต เดเตเดเดพเดฐเตเดฏเด เดเตเดฏเตเดฏเดพเตป เดเดดเดฟเดฏเตเด. /O เดทเตเดกเตเดฏเตเดณเตผ เดธเดเตเดเตเดเดฐเดฟเดเตเดเดฟเดฐเดฟเดเตเดเตเดจเตเดจเต, nr_requests-เดจเตเดฑเต เดฎเตเดฒเตเดฏเด เดเดฏเตผเดคเตเดคเตเดจเตเดจเดคเต, เดธเตเตผเดตเดฑเดฟเตฝ เดตเดฒเดฟเดฏ เด เดณเดตเดฟเตฝ I/O เดธเดเดญเดตเดฟเดเตเดเตเดฎเตเดชเตเตพ เดธเตเตผเดตเตผ เดฒเตเดกเต เดเตเดฑเดฏเตเดเตเดเดพเดจเตเด เดฎเตเดเตเดเดชเตเดชเตเดเตเดคเตเดคเดพเดจเตเด เดธเดนเดพเดฏเดฟเดเตเดเตเดเตเดเดพเด. เดทเตเดกเตเดฏเตเดณเดฑเดพเดฏเดฟ เดจเดฟเดเตเดเตพ เดกเตเดกเตโเดฒเตเตป เด เดฒเตเดฒเตเดเตเดเดฟเตฝ CFQ เดเดชเดฏเตเดเดฟเดเตเดเตเดเดฏเดพเดฃเตเดเตเดเดฟเตฝ, เดจเดฟเดเตเดเตพ nr_request เดฎเตเดฒเตเดฏเด เดเตเดฏเต เดกเตเดชเตโเดคเดฟเดจเตเดฑเต เดฎเตเดฒเตเดฏเดคเตเดคเดฟเดจเตเดฑเต 2 เดฎเดเดเตเดเต เดเดฏเดฟ เดธเดเตเดเตเดเดฐเดฟเดเตเดเดพเตป เดจเดฟเตผเดฆเตเดฆเตเดถเดฟเดเตเดเตเดจเตเดจเต.
เดชเดเตเดทเต! CEPH-เดจเตเดฑเต เดกเตเดตเดฒเดชเตเดชเตผเดฎเดพเดฐเดพเดฏ เดชเตเดฐเดจเตเดฎเดพเตผ เดคเดจเตเดจเต, เด เดตเดฐเตเดเต เดฎเตเตปเดเดฃเดจเดพ เดธเดเดตเดฟเดงเดพเดจเด เดฎเดฟเดเดเตเด เดฐเตเดคเดฟเดฏเดฟเตฝ เดชเตเดฐเดตเตผเดคเตเดคเดฟเดเตเดเตเดจเตเดจเตเดตเตเดจเตเดจเต เดเดเตเดเดณเต เดฌเตเดงเตเดฏเดชเตเดชเตเดเตเดคเตเดคเตเดจเตเดจเต
WBThrottle เดเตเดเดพเดคเต/เด เดฒเตเดฒเตเดเตเดเดฟเตฝ nr_requests
WBThrottle เดเตเดเดพเดคเต/เด เดฒเตเดฒเตเดเตเดเดฟเตฝ nr_requests
เดซเดฏเตฝ เดธเดเดญเดฐเดฃเด เดเดดเตเดคเตเดจเตเดจเดคเดฟเดจเดพเดฏเดฟ เดฌเดซเตผ เดเตเดฏเตเดค I/O เดเดชเดฏเตเดเดฟเดเตเดเตเดจเตเดจเต; เดซเดฏเตฝ เดธเตเดฑเตเดฑเตเดฑเตเดเต เดฒเตเดเต เดตเตเดเดคเดฏเตเดฑเดฟเดฏ เดฎเตเดกเดฟเดฏเดฏเดฟเดฒเดพเดฃเตเดเตเดเดฟเตฝ เดเดคเต เดจเดฟเดฐเดตเดงเดฟ เดจเตเดเตเดเดเตเดเตพ เดจเตฝเดเตเดจเตเดจเต. เดฒเตเดเดฟเดฒเตเดเตเดเต เดกเดพเดฑเตเดฑ เดเดดเตเดคเดฟเดฏเดพเดฒเตเดเตป เดเตเดฒเดฏเดจเตเดฑเต เด เดญเตเดฏเตผเดคเตเดฅเดจเดเตพ เด เดฑเดฟเดฏเดฟเดเตเดเตเดเดฏเตเด เดชเดฟเดจเตเดจเตเดเต เดธเดพเดงเดพเดฐเดฃ เดฒเดฟเดจเดเตเดธเต เดซเดเดเตเดทเดฃเดพเดฒเดฟเดฑเตเดฑเดฟ เดเดชเดฏเตเดเดฟเดเตเดเต เดกเดพเดฑเตเดฑ เดกเดฟเดธเตเดเดฟเดฒเตเดเตเดเต เดคเดจเตเดจเต เดซเตเดฒเดทเต เดเตเดฏเตเดฏเตเดเดฏเตเด เดเตเดฏเตเดฏเตเดจเตเดจเต. เดเดคเต เดธเตเดชเดฟเตปเดกเดฟเตฝ เดเดเดธเตเดกเดฟเดเตพเดเตเดเต เดเตเดฑเดฟเดฏ เดธเตเดซเตเดเดจเดเตเดเดณเดฟเตฝ เดเดดเตเดคเตเดฎเตเดชเตเตพ เดเดธเตเดเดธเตเดกเดฟเดเตพเดเตเดเต เดธเดฎเดพเดจเดฎเดพเดฏ เดฑเตเดฑเตเดฑเต เดฒเตเดฑเตเดฑเตปเดธเดฟ เดจเตฝเดเตเดจเตเดจเดคเต เดธเดพเดงเตเดฏเดฎเดพเดเตเดเตเดจเตเดจเต. เด เดเดพเดฒเดคเดพเดฎเดธเด เดจเตเดฐเดฟเดเตเด เดฑเตเดฑเตเดฑเต เดฌเดพเดเตเดเต, เดเตเตผเดฃเดฒเดฟเดจเต เดคเดจเตเดจเต เดกเดฟเดธเตเดเต I/O เด เดญเตเดฏเตผเดคเตเดฅเดจเดเตพ เดชเตเดจเดเดธเดเดเดเดฟเดชเตเดชเดฟเดเตเดเดพเตป เด เดจเตเดตเดฆเดฟเดเตเดเตเดจเตเดจเต, เดเดจเตเดจเตเดเดฟเตฝ เด เดตเดฏเต เดเดจเตเดจเดฟเดเตเดเต เดฒเดฏเดฟเดชเตเดชเดฟเดเตเดเดพเด เด เดฒเตเดฒเตเดเตเดเดฟเตฝ เดจเดฟเดฒเดตเดฟเดฒเตเดณเตเดณ เดกเดฟเดธเตเดเต เดนเตเดกเตเดกเตเดเดณเต เด เดตเดฏเตเดเต เดชเตเดฒเดพเดฑเตเดฑเดฑเตเดเดณเดฟเตฝ เดเตเดเตเดคเตฝ เด เดจเตเดฏเตเดเตเดฏเดฎเดพเดฏ เดชเดพเดค เดคเดฟเดฐเดเตเดเตเดเตเดเตเดเดพเตป เด เดจเตเดตเดฆเดฟเดเตเดเตเด. เดกเดฏเดฑเดเตเดเต เด เดฒเตเดฒเตเดเตเดเดฟเตฝ เดธเดฟเตปเดเตเดฐเดฃเดธเต I/O เดเดชเดฏเตเดเดฟเดเตเดเต เดธเดพเดงเตเดฏเดฎเดพเดเตเดจเตเดจเดคเดฟเดจเตเดเตเดเดพเตพ เด เตฝเดชเตเดชเด เดเตเดเตเดคเตฝ I/O เดเดฐเต เดกเดฟเดธเตเดเดฟเตฝ เดจเดฟเดจเตเดจเตเด เดจเดฟเดเตเดเตพเดเตเดเต เดเตเดฐเตเดเตเดเดพเตป เดเดดเดฟเดฏเตเด เดเดจเตเดจเดคเดพเดฃเต เดจเตเดฑเตเดฑเต เดเดซเดเตเดฑเตเดฑเต.
เดเดจเตเดจเดฟเดฐเตเดจเตเดจเดพเดฒเตเด, เดจเตฝเดเดฟเดฏเดฟเดฐเดฟเดเตเดเตเดจเตเดจ Ceph เดเตเดฒเดธเตเดฑเตเดฑเดฑเดฟเดฒเตเดเตเดเตเดณเตเดณ เดเตปเดเดฎเดฟเดเดเต เดฑเตเดเตเดเตเตผเดกเตเดเดณเตเดเต เด เดณเดตเต เด เดเดฟเดธเตเดฅเดพเดจ เดกเดฟเดธเตเดเตเดเดณเตเดเต เดเดฒเตเดฒเดพ เดเดดเดฟเดตเตเดเดณเตเด เดเดตเดฟเดฏเตเดจเตเดจเตเดตเตเดเตเดเดฟเตฝ เดเดฐเต เดชเตเดฐเดคเตเดฏเตเด เดชเตเดฐเดถเตเดจเด เดเดฏเตผเดจเตเดจเตเดตเดฐเตเดจเตเดจเต. เด เดธเดพเดนเดเดฐเตเดฏเดคเตเดคเดฟเตฝ, เดกเดฟเดธเตเดเดฟเดฒเตเดเตเดเต เดเดดเตเดคเดพเตป เดเดพเดคเตเดคเดฟเดฐเดฟเดเตเดเตเดจเตเดจ เดคเตเตผเดเตเดเดชเตเดชเตเดเตเดคเตเดคเดพเดคเตเดค I/O เดชเตเดฐเดตเตผเดคเตเดคเดจเดเตเดเดณเตเดเต เดเดเต เดเดฃเตเดฃเด เด เดจเดฟเดฏเดจเตเดคเตเดฐเดฟเดคเดฎเดพเดฏเดฟ เดตเดณเดฐเตเดเดฏเตเด, เดฎเตเดดเตเดตเตป เดกเดฟเดธเตเดเดฟเดฒเตเด Ceph เดเตเดฏเตเดเดณเดฟเดฒเตเด I/O เดเตเดฏเตเดเตพ เดจเดฟเดฑเดฏเตเดเดฏเตเด เดเตเดฏเตเดฏเตเด. เดชเตเดฐเตเดฎเดฑเดฟ เดกเดฟเดธเตเดเดฟเดฒเตเดเตเดเต เดซเตเดฒเดทเต เดเตเดฏเตเดฏเดพเตป เดเตเดฑเดเตเดเต เดธเตเดเตเดเดจเตเดฑเตเดเตพ เดเดเตเดคเตเดคเตเดเตเดเดพเดตเตเดจเตเดจ, เดฑเตเดฑเตเดฑเต เด เดญเตเดฏเตผเดคเตเดฅเดจเดเตพเดเตเดเดฟเดเดฏเดฟเตฝ เด เดต เดเตเดเตเดเตเดเดฟเดชเตเดชเตเดฏเดคเดฟเดจเดพเตฝ เดฑเตเดกเต เด เดญเตเดฏเตผเดคเตเดฅเดจเดเดณเต เดชเตเดฐเดคเตเดฏเตเดเดฟเดเตเดเต เดธเตเดตเดพเดงเตเดจเดฟเดเตเดเตเดจเตเดจเต.
เด เดชเตเดฐเดถเตเดจเด เดฎเดฑเดฟเดเดเดเตเดเดพเตป, Ceph-เดจเต WBThrottle เดเดจเตเดจ เดซเดฏเตฝ เดธเตเดฑเตเดฑเตเดฑเตเดเดฟเตฝ เดเดฐเต เดฑเตเดฑเตเดฑเตเดฌเดพเดเตเดเต เดคเตเดฐเตเดเตเดเดฟเดฒเดฟเดเดเต เดธเดเดตเดฟเดงเดพเดจเด เดเดฃเตเดเต. เดเตเตผเดฃเตฝ เดคเดจเตเดจเต เดชเตเดฐเดตเตผเดคเตเดคเดจเดเตเดทเดฎเดฎเดพเดเตเดเดฟเดฏเดคเดฟเดจเดพเตฝ เดธเตเดตเดพเดญเดพเดตเดฟเดเดฎเดพเดฏเดฟ เดธเดเดญเดตเดฟเดเตเดเตเดจเตเดจเดคเดฟเดจเตเดเตเดเดพเตพ เดจเตเดฐเดคเตเดคเต เดเตเดฏเต เด เดชเตเดชเต เดเตเดฏเตเดฏเดพเดจเตเด เด เดคเดฟเดจเตเดฑเต เดซเตเดฒเดทเต เดชเตเดฐเดเตเดฐเดฟเดฏ เดเดฐเดเดญเดฟเดเตเดเดพเดจเตเด เดเดดเดฟเดฏเตเดจเตเดจ เด เดฒเดธเดฎเดพเดฏ เดเดดเตเดคเตเดคเต I/O เดฏเตเดเต เดฎเตเดคเตเดคเดคเตเดคเดฟเดฒเตเดณเตเดณ เด เดณเดตเต เดชเดฐเดฟเดฎเดฟเดคเดชเตเดชเตเดเตเดคเตเดคเตเดจเตเดจเดคเดฟเดจเดพเดฃเต เดเดคเต เดฐเตเดชเดเตฝเดชเตเดชเดจ เดเตเดฏเตเดคเดฟเดฐเดฟเดเตเดเตเดจเตเดจเดคเต. เดจเดฟเตผเดญเดพเดเตเดฏเดตเดถเดพเตฝ, เดธเตเดฅเดฟเดฐเดธเตเดฅเดฟเดคเดฟ เดฎเตเดฒเตเดฏเดเตเดเตพ เดเดชเตเดชเตเดดเตเด เดจเดฟเดฒเดตเดฟเดฒเตเดณเตเดณ เดธเตเดตเดญเดพเดตเดคเตเดคเต เดฑเตเดกเต เดฒเตเดฑเตเดฑเตปเดธเดฟเดฏเดฟเตฝ เด เดเดเดพเดคเด เดเตเดฑเดฏเตเดเตเดเดพเตป เดเดดเดฟเดฏเตเดจเตเดจ เดเดฐเต เดคเดฒเดคเตเดคเดฟเดฒเตเดเตเดเต เดเตเดฑเดเตเดเตเดเตเดเดฟเดฒเตเดฒ เดเดจเตเดจเต เดชเดฐเดฟเดถเตเดงเดจ เดคเตเดณเดฟเดฏเดฟเดเตเดเตเดจเตเดจเต. เดเตเดฐเดฎเตเดเดฐเดฃเดเตเดเตพเดเตเดเต เด เดธเตเดตเดญเดพเดตเด เดฎเดพเดฑเตเดฑเดพเดจเตเด เดฎเตเดคเตเดคเดคเตเดคเดฟเดฒเตเดณเตเดณ เดฑเตเดฑเตเดฑเต เดเตเดฏเต เดฆเตเตผเดเตเดฏเด เดเตเดฑเดฏเตเดเตเดเดพเดจเตเด เด เดเดเดพเดคเด เดเตเดฑเดเตเดเตเดเตเดเดฟ เดคเตเดตเตเดฐเดฎเดพเดเตเดเดพเดจเตเด เดเดดเดฟเดฏเตเด. เดเดจเตเดจเดฟเดฐเตเดจเตเดจเดพเดฒเตเด, เดเดฐเต เดเตเดฐเตเดกเต-เดเดซเต เดเดฃเตเดเต: เดเตเดฏเตเดตเดฟเตฝ เด เดจเตเดตเดฆเดฟเดเตเดเตเดจเตเดจ เดเตปเดเตเดฐเดฟเดเดณเตเดเต เดฎเตเดคเตเดคเดคเตเดคเดฟเดฒเตเดณเตเดณ เดชเดฐเดฎเดพเดตเดงเดฟ เดเดฃเตเดฃเด เดเตเดฑเดฏเตเดเตเดเตเดจเตเดจเดคเดฟเดฒเตเดเต, เดเตปเดเดฎเดฟเดเดเต เด เดญเตเดฏเตผเดคเตเดฅเดจเดเตพ เดเตผเดกเตผ เดเตเดฏเตเดฏเตเดจเตเดจเดคเดฟเตฝ เด เดคเดฟเดจเตเดฑเต เดเดพเดฐเตเดฏเดเตเดทเดฎเดค เดตเตผเดฆเตเดงเดฟเดชเตเดชเดฟเดเตเดเตเดจเตเดจเดคเดฟเดจเตเดณเตเดณ เดเตเตผเดฃเดฒเดฟเดจเตเดฑเต เดเดดเดฟเดตเต เดจเดฟเดเตเดเตพเดเตเดเต เดเตเดฑเดฏเตเดเตเดเดพเตป เดเดดเดฟเดฏเตเด. เดจเดฟเดเตเดเดณเตเดเต เดจเดฟเตผเดฆเตเดฆเดฟเดทเตโเด เดเดชเดฏเตเด เดธเดพเดนเดเดฐเตเดฏเด, เดเตเดฒเดฟเดญเดพเดฐเด, เด เดตเดฏเตโเดเตเดเดจเตเดธเตเดคเดฎเดพเดฏเดฟ เดเตเดฐเดฎเตเดเดฐเดฟเดเตเดเตฝ เดเดจเตเดจเดฟเดตเดฏเตโเดเตเดเต เดเตเดเตเดคเตฝ เดเดจเตเดคเดพเดฃเต เดตเตเดฃเตเดเดคเตเดจเตเดจเต เด เตฝเดชเตเดชเด เดเดฟเดจเตเดคเดฟเดเตเดเตเดจเตเดจเดคเต เดฎเตเดฒเตเดฏเดตเดคเตเดคเดพเดฃเต.
เด
เดคเตเดคเดฐเด เดเดฐเต เดฑเตเดฑเตเดฑเต-เดฌเดพเดเตเดเตโเดฒเตเดเต เดเตเดฏเตเดตเดฟเดจเตเดฑเต เดเดดเด เดจเดฟเดฏเดจเตเดคเตเดฐเดฟเดเตเดเตเดจเตเดจเดคเดฟเดจเต, เดเดจเตเดจเตเดเดฟเตฝ เดจเดฟเดเตเดเตพเดเตเดเต WBThrottle เดเตเดฐเดฎเตเดเดฐเดฃเดเตเดเตพ เดเดชเดฏเตเดเดฟเดเตเดเต เดฎเตเดคเตเดคเดคเตเดคเดฟเดฒเตเดณเตเดณ เดชเดฐเดฎเดพเดตเดงเดฟ I/O เดชเตเดฐเดตเตผเดคเตเดคเดจเดเตเดเดณเตเดเต เดเดฃเตเดฃเด เดเตเดฑเดฏเตเดเตเดเดพเด, เด
เดฒเตเดฒเตเดเตเดเดฟเตฝ เดจเดฟเดเตเดเดณเตเดเต เดเตเตผเดฃเดฒเดฟเดจเตเดฑเต เดฌเตเดฒเตเดเตเดเต เดคเดฒเดคเตเดคเดฟเตฝ เดคเดจเตเดจเต เดฎเดฟเดเดเตเด เดชเตเดฐเดตเตผเดคเตเดคเดจเดเตเดเดณเตเดเต เดชเดฐเดฎเดพเดตเดงเดฟ เดฎเตเดฒเตเดฏเด เดเตเดฑเดฏเตเดเตเดเดพเด. เดฐเดฃเตเดเดฟเดจเตเด เดเดฐเต เดธเตเดตเดญเดพเดตเด เดซเดฒเดชเตเดฐเดฆเดฎเดพเดฏเดฟ เดจเดฟเดฏเดจเตเดคเตเดฐเดฟเดเตเดเดพเตป เดเดดเดฟเดฏเตเด, เด เดเตเดฐเดฎเตเดเดฐเดฃเด เดจเดเดชเตเดชเดฟเดฒเดพเดเตเดเตเดจเตเดจเดคเดฟเดจเตเดณเตเดณ เด
เดเดฟเดธเตเดฅเดพเดจเด เดจเดฟเดเตเดเดณเตเดเต เดฎเตเตปเดเดฃเดจเดเดณเดพเดฏเดฟเดฐเดฟเดเตเดเตเด.
เดกเดฟเดธเตเดเต เดคเดฒเดคเตเดคเดฟเดฒเตเดณเตเดณ เดเตเดฑเดฟเดฏ เดเตเดฆเตเดฏเดเตเดเตพเดเตเดเต เดธเตเดซเดฟเดจเตเดฑเต เดเดชเตเดชเดฑเตเดทเตป เดชเตเดฐเดฏเตเดฑเดฟเดฑเตเดฑเดฟ เดธเดฟเดธเตเดฑเตเดฑเด เดเตเดเตเดคเตฝ เดเดพเดฐเตเดฏเดเตเดทเดฎเดฎเดพเดฃเตเดจเตเดจเดคเตเด เดถเตเดฐเดฆเตเดงเดฟเดเตเดเตเดฃเตเดเดคเดพเดฃเต. เดจเตฝเดเดฟเดฏเดฟเดฐเดฟเดเตเดเตเดจเตเดจ เดกเดฟเดธเตเดเดฟเดฒเตเดเตเดเต เดฎเตเดคเตเดคเดคเตเดคเดฟเดฒเตเดณเตเดณ เดเตเดฏเต เดเตเดฐเตเดเตเดเตเดจเตเดจเดคเดฟเดฒเตเดเต, เดเตเดฏเตเดตเดฟเดจเตเดฑเต เดชเตเดฐเดพเดฅเดฎเดฟเด เดธเตเดฅเดพเดจเด Ceph-เดฒเตเดเตเดเต เดจเตเดเตเดเตเดจเตเดจเต, เด
เดตเดฟเดเต I/O เดเดชเตเดชเดฑเตเดทเดจเต เดเดจเตเดคเต เดฎเตเตปเดเดฃเดจเดฏเดพเดฃเตเดณเตเดณเดคเต เดเดจเตเดจเดคเดฟเตฝ เด
เดคเดฟเดจเต เดเตเดเตเดคเตฝ เดจเดฟเดฏเดจเตเดคเตเดฐเดฃเด เดเดฃเตเดเต. เดเดจเดฟเดชเตเดชเดฑเดฏเตเดจเตเดจ เดเดฆเดพเดนเดฐเดฃเด เดชเดฐเดฟเดเดฃเดฟเดเตเดเตเด:
echo 8 > /sys/block/sda/queue/nr_requests
เดเตเดฎเตบ
เดจเดฟเดเตเดเดณเตเดเต เดเดพเดฑเดฟเดจเต เดฎเตเดฆเตเดตเตเด เดธเดฟเตฝเดเตเดเดฟเดฏเตเด เดเดเตเดเดพเดจเตเด เดนเดพเตผเดกเตโเดตเตเดฏเดฑเดฟเตฝ เดจเดฟเดจเตเดจเต เดเตเดฑเดเตเดเต เดเตเดเดฟ เดชเตเตผเดซเตเดฎเตปเดธเต เดเตเดฐเตเดเตเดเดพเดจเตเดฎเตเดณเตเดณ เดเตเดฑเดเตเดเต เดเตเตผเดฃเตฝ เดเตเดตเตเดเตเดเตเดเดณเตเด
cat /etc/sysctl.d/60-ceph2.conf
kernel.pid_max = 4194303
#ะะธัะบะพะฒ ะฒ ะบะฐะถะดะพะน ะผะฐัะธะฝะต ะฟะพ 25, ะฟะพัะพะผั ัะฐัััะธััะฒะฐะปะธ ััะพ ะฟัะพัะตััะพะฒ ะฑัะดะตั ะผะฝะพะณะพ
kernel.threads-max=2097152
# ะขัะตะดะพะฒ, ะตััะตััะฝะพ, ัะพะถะต.
vm.max_map_count=524288
# ะฃะฒะตะปะธัะธะปะธ ะบะพะปะธัะตััะฒะพ ะพะฑะปะฐััะตะน ะบะฐััั ะฟะฐะผััะธ ะฟัะพัะตััะฐ.
# ะะฐะบ ัะปะตะดัะตั ะธะท ะดะพะบัะผะตะฝัะฐัะธะธ ะฟะพ ัะดะตัะฝัะผ ะฟะตัะตะผะตะฝะฝัะผ
# ะะฑะปะฐััะธ ะบะฐััั ะฟะฐะผััะธ ะธัะฟะพะปัะทัะตััั ะบะฐะบ ะฟะพะฑะพัะฝัะน ัััะตะบั ะฒัะทะพะฒะฐ
# malloc, ะฝะฐะฟััะผัั ั ะฟะพะผะพััั mmap, mprotect ะธ madvise, ะฐ ัะฐะบะถะต ะฟัะธ ะทะฐะณััะทะบะต
# ะพะฑัะธั
ะฑะธะฑะปะธะพัะตะบ.
fs.aio-max-nr=50000000
# ะะพะดััะฝะธะผ ะฟะฐัะฐะผะตััั input-output
# ะฏะดัะพ Linux ะฟัะตะดะพััะฐะฒะปัะตั ััะฝะบัะธั ะฐัะธะฝั
ัะพะฝะฝะพะณะพ ะฝะตะฑะปะพะบะธััััะตะณะพ ะฒะฒะพะดะฐ-ะฒัะฒะพะดะฐ (AIO),
# ะบะพัะพัะฐั ะฟะพะทะฒะพะปัะตั ะฟัะพัะตััั ะธะฝะธัะธะธัะพะฒะฐัั ะฝะตัะบะพะปัะบะพ ะพะฟะตัะฐัะธะน ะฒะฒะพะดะฐ-ะฒัะฒะพะดะฐ
# ะพะดะฝะพะฒัะตะผะตะฝะฝะพ, ะฝะต ะดะพะถะธะดะฐััั ะทะฐะฒะตััะตะฝะธั ะบะฐะบะพะน-ะปะธะฑะพ ะธะท ะฝะธั
.
# ะญัะพ ะฟะพะผะพะณะฐะตั ะฟะพะฒััะธัั ะฟัะพะธะทะฒะพะดะธัะตะปัะฝะพััั ะฟัะธะปะพะถะตะฝะธะน,
# ะบะพัะพััะต ะผะพะณัั ะฟะตัะตะบััะฒะฐัั ะพะฑัะฐะฑะพัะบั ะธ ะฒะฒะพะด-ะฒัะฒะพะด.
# ะะฐัะฐะผะตัั aio-max-nr ะพะฟัะตะดะตะปัะตั ะผะฐะบัะธะผะฐะปัะฝะพะต ะบะพะปะธัะตััะฒะพ ะดะพะฟัััะธะผัั
# ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะทะฐะฟัะพัะพะฒ.
vm.min_free_kbytes=1048576
# ะผะธะฝะธะผะฐะปัะฝัะน ัะฐะทะผะตั ัะฒะพะฑะพะดะฝะพะน ะฟะฐะผััะธ ะบะพัะพััะน ะฝะตะพะฑั
ะพะดะธะผะพ ะฟะพะดะดะตัะถะธะฒะฐัั.
# ะัััะฐะฒะปะตะฝ 1Gb, ัะตะณะพ ะฒะฟะพะปะฝะต ะดะพััะฐัะพัะฝะพ ะดะปั ัะฐะฑะพัั ะพะฟะตัะฐัะธะพะฝะฝะพะน ัะธััะตะผั,
# ะธ ะฟะพะทะฒะพะปัะตั ะธะทะฑะตะณะฐัั OOM Killer ะดะปั ะฟัะพัะตััะพะฒ OSD. ะฅะพัั ะฟะฐะผััะธ ะธ ัะฐะบ
# ะบะฐะบ ั ะดััะฐะบะฐ ัะฐะฝัะธะบะพะฒ, ะฝะพ ะทะฐะฟะฐั ะบะฐัะผะฐะฝ ะฝะต ััะฝะตั
vm.swappiness=10
# ะะพะฒะพัะธะผ ะธัะฟะพะปัะทะพะฒะฐัั ัะฒะพะฟ ะตัะปะธ ะพััะฐะปะพัั ัะฒะพะฑะพะดะฝัะผ 10% ะฟะฐะผััะธ.
# ะะฐ ะผะฐัะธะฝะฐั
128G ะพะฟะตัะฐัะธะฒั, ะธ 10% ััะพ 12 ะะธะณะพะฒ. ะะพะปะตะต ัะตะผ ะดะพััะฐัะพัะฝะพ ะดะปั ัะฐะฑะพัั.
# ะจัะฐัะฝัะน ะฟะฐัะฐะผะตัั ะฒ 60% ะทะฐััะฐะฒะปัะป ัะพัะผะพะทะธัั ัะธััะตะผั, ะทะฐะปะตะทะฐั ะฒ ัะฒะพะฟ,
# ะบะพะณะดะฐ ะตััั ะตัะต ะบััะฐ ัะฒะพะฑะพะดะฝะพะน ะฟะฐะผััะธ
vm.vfs_cache_pressure=1000
# ะฃะฒะตะปะธัะธะฒะฐะตะผ ัะพ ััะฐัะฝัั
100. ะะฐััะฐะฒะปัะตะผ ัะดัะพ ะฐะบัะธะฒะฝะตะต ะฒัะณััะถะฐัั
# ะฝะตะธัะฟะพะปัะทัะตะผัะต ัััะฐะฝะธัั ะฟะฐะผััะธ ะธะท ะบะตัะฐ.
vm.zone_reclaim_mode=0
# ะะพะทะฒะพะปัะตั ัััะฐะฝะฐะฒะปะธะฒะฐัั ะฑะพะปะตะต ะธะปะธ ะผะตะฝะตะต ะฐะณัะตััะธะฒะฝัะต ะฟะพะดั
ะพะดั ะบ
# ะฒะพัััะฐะฝะพะฒะปะตะฝะธั ะฟะฐะผััะธ, ะบะพะณะดะฐ ะฒ ะทะพะฝะต ะทะฐะบะฐะฝัะธะฒะฐะตััั ะฟะฐะผััั.
# ะัะปะธ ะพะฝ ัััะฐะฝะพะฒะปะตะฝ ะฝะฐ ะฝะพะปั, ัะพ ะฝะต ะฟัะพะธัั
ะพะดะธั ะฒะพัััะฐะฝะพะฒะปะตะฝะธะต ะทะพะฝั.
# ะะปั ัะฐะนะปะพะฒัั
ัะตัะฒะตัะพะฒ ะธะปะธ ัะฐะฑะพัะธั
ะฝะฐะณััะทะพะบ
# ะฒัะณะพะดะฝะพ, ะตัะปะธ ะธั
ะดะฐะฝะฝัะต ะบััะธัะพะฒะฐะฝั, zone_reclaim_mode
# ะพััะฐะฒะธัั ะพัะบะปััะตะฝะฝัะผ, ะฟะพัะบะพะปัะบั ัััะตะบั ะบััะธัะพะฒะฐะฝะธั,
# ะฒะตัะพััะฝะพ, ะฑัะดะตั ะฑะพะปะตะต ะฒะฐะถะฝัะผ, ัะตะผ ะผะตััะพะฝะฐั
ะพะถะดะตะฝะธะต ะดะฐะฝะฝัั
.
vm.dirty_ratio=20
# ะัะพัะตะฝั ะพะฟะตัะฐัะธะฒะฝะพะน ะฟะฐะผััะธ, ะบะพัะพััะน ะผะพะถะฝะพ ะฒัะดะตะปะธัั ะฟะพะด "ะณััะทะฝัะต" ัััะฐะฝะธัั
# ะััะธัะปัะปะธ ะธะท ะฟัะธะผะตัะฝะพะณะพ ัะฐััะตัะฐ:
# ะ ัะธััะตะผะฐ 128 ะณะธะณะพะฒ ะฟะฐะผััะธ.
# ะัะธะผะตัะฝะพ ะฟะพ 20 ะดะธัะบะพะฒ SSD, ั ะบะพัะพััั
ะฒ ะฝะฐัััะพะนะบะฐั
CEPH ัะบะฐะทะฐะฝะพ
# ะฒัะดะตะปััั ะฟะพะด ะบััะธัะพะฒะฐะฝะธะต ะฟะพ 3G ะพะฟะตัะฐัะธะฒั.
# ะัะธะผะตัะฝะพ ะฟะพ 40 ะดะธัะบะพะฒ HDD, ะดะปั ะบะพัะพััั
ััะพั ะฟะฐัะฐะผะตัั ัะฐะฒะตะฝ 1G
# 20% ะพั 128 ััะพ 25.6 ะณะธะณะพะฒ. ะัะพะณะพ, ะฒ ัะปััะฐะต ะผะฐะบัะธะผะฐะปัะฝะพะน ััะธะปะธะทะฐัะธะธ ะฟะฐะผััะธ,
# ะดะปั ัะธััะตะผั ะพััะฐะฝะตััั 2.4G ะฟะฐะผััะธ. ะงะตะณะพ ะตะน ะดะพะปะถะฝะพ ั
ะฒะฐัะธัั ััะพะฑ ะฒัะถะธัั ะธ ะดะพะถะดะฐัััั
# ัััะบะฐ ะบะพะฟัั ะบะฐะฒะฐะปะตัะธะธ - ัะพ ะตััั ะฟัะธัะตััะฒะธั DevOps ะบะพัะพััะน ะฒัะต ะฟะพัะธะฝะธั.
vm.dirty_background_ratio=3
# ะฟัะพัะตะฝั ัะธััะตะผะฝะพะน ะฟะฐะผััะธ, ะบะพัะพััะน ะผะพะถะฝะพ ะทะฐะฟะพะปะฝะธัั dirty pages ะดะพ ัะพะณะพ,
# ะบะฐะบ ัะพะฝะพะฒัะต ะฟัะพัะตััั pdflush/flush/kdmflush ะทะฐะฟะธััั ะธั
ะฝะฐ ะดะธัะบ
fs.file-max=524288
# ะั ะธ ะพัะบััััั
ัะฐะนะปะพะฒ ั ะฝะฐั,ะฒะตัะพััะฝะพ, ะฑัะดะตั ัะธะปัะฝะพ ะฑะพะปััะต, ัะตะผ ัะบะฐะทะฐะฝะพ ะฟะพ ะดะตัะพะปัั.
CEPH-เตฝ เดจเดฟเดฎเดเตเดเดจเด
เดเตเดเตเดคเตฝ เดตเดฟเดถเดฆเดฎเดพเดฏเดฟ เดเดพเตป เดคเดพเดฎเดธเดฟเดเตเดเดพเตป เดเดเตเดฐเดนเดฟเดเตเดเตเดจเตเดจ เดเตเดฐเดฎเตเดเดฐเดฃเดเตเดเตพ:
cat /etc/ceph/ceph.conf
osd:
journal_aio: true # ะขัะธ ะฟะฐัะฐะผะตััะฐ, ะฒะบะปััะฐััะธะต
journal_block_align: true # ะฟััะผะพะน i/o
journal_dio: true # ะฝะฐ ะถััะฝะฐะป
journal_max_write_bytes: 1073714824 # ะะตะผะฝะพะณะพ ัะฐัััะฝะตะผ ะผะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั
# ัะฐะทะพะฒะพ ะทะฐะฟะธััะฒะฐะตะผะพะน ะพะฟะตัะฐัะธะธ ะฒ ะถััะฝะฐะป
journal_max_write_entries: 10000 # ะั ะธ ะบะพะปะธัะตััะฒะพ ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะทะฐะฟะธัะตะน
journal_queue_max_bytes: 10485760000
journal_queue_max_ops: 50000
rocksdb_separate_wal_dir: true # ะ ะตัะธะปะธ ะดะตะปะฐัั ะพัะดะตะปัะฝัะน wal
# ะะฐะถะต ะฟะพะฟััะฐะปะธัั ะฒัะฑะธัั ะฟะพะด ััะพ ะดะตะปะพ
# NVMe
bluestore_block_db_create: true # ะั ะธ ะฟะพะด ะถััะฝะฐะป ะพัะดะตะปัะฝะพะต ััััะพะนััะฒะพ
bluestore_block_db_size: '5368709120 #5G'
bluestore_block_wal_create: true
bluestore_block_wal_size: '1073741824 #1G'
bluestore_cache_size_hdd: '3221225472 # 3G'
# ะฑะพะปััะพะน ะพะฑัะตะผ ะพะฟะตัะฐัะธะฒั ะฟะพะทะฒะพะปัะตั
# ั
ัะฐะฝะธัั ะดะพััะฐัะพัะฝะพ ะฑะพะปััะธะต ะพะฑัะตะผั
bluestore_cache_size_ssd: '9663676416 # 9G'
keyring: /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap: '1073741824 #1G'
osd_disk_thread_ioprio_class: idle
osd_disk_thread_ioprio_priority: 7
osd_disk_threads: 2 # ะบะพะปะธัะตััะฒะพ ััะตะดะพะฒ ั ะดะตะผะพะฝะฐ ะฝะฐ ะพะดะธะฝ ะดะธัะบ
osd_failsafe_full_ratio: 0.95
osd_heartbeat_grace: 5
osd_heartbeat_interval: 3
osd_map_dedup: true
osd_max_backfills: 2 # ะบะพะปะธัะตััะฒะพ ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะพะฟะตัะฐัะธะน ะทะฐะฟะพะปะฝะตะฝะธั ะฝะฐ ะพะดะธะฝ ะะกะ.
osd_max_write_size: 256
osd_mon_heartbeat_interval: 5
osd_op_threads: 16
osd_op_num_threads_per_shard: 1
osd_op_num_threads_per_shard_hdd: 2
osd_op_num_threads_per_shard_ssd: 2
osd_pool_default_min_size: 1 # ะัะพะฑะตะฝะฝะพััะธ ะถะฐะดะฝะพััะธ. ะัะตะฝั ะฑััััะพ ััะฐะปะพ
osd_pool_default_size: 2 # ะฝะตั
ะฒะฐัะฐัั ะผะตััะฐ, ะฟะพัะพะผั ะบะฐะบ ะฒัะตะผะตะฝะฝะพะต
# ัะตัะตะฝะธะต ะฟัะธะฝัะปะธ ัะผะตะฝััะตะฝะธะต ะบะพะปะธัะตััะฒะพ
# ัะตะฟะปะธะบ ะดะฐะฝะฝัั
osd_recovery_delay_start: 10.000000
osd_recovery_max_active: 2
osd_recovery_max_chunk: 1048576
osd_recovery_max_single_start: 3
osd_recovery_op_priority: 1
osd_recovery_priority: 1 # ะฟะฐัะฐะผะตัั ัะตะณัะปะธััะตะผ ะฟะพ ะฝะตะพะฑั
ะพะดะธะผะพััะธ ะฝะฐ ั
ะพะดั
osd_recovery_sleep: 2
osd_scrub_chunk_max: 4
12.2.12 เดชเดคเดฟเดชเตเดชเดฟเตฝ QA-เดฏเตโเดเตเดเดพเดฏเดฟ เดชเดฐเตเดเตเดทเดฟเดเตเด เดเดฟเดฒ เดชเดพเดฐเดพเดฎเตเดฑเตเดฑเดฑเตเดเตพ ceph เดชเดคเดฟเดชเตเดชเต 12.2.2-เตฝ เดเดพเดฃเตเดจเตเดจเดฟเดฒเตเดฒ, เดเดฆเดพเดนเดฐเดฃเดคเตเดคเดฟเดจเต osd_recovery_threads. เด เดคเดฟเดจเดพเตฝ, เดชเตเดฒเดพเดจเตเดเดณเดฟเตฝ 12.2.12 เดฒเตเดเตเดเต เดเตฝเดชเตเดชเดพเดฆเดจเด เดธเดเดฌเดจเตเดงเดฟเดเตเด เดเดฐเต เด เดชเตเดกเตเดฑเตเดฑเต เดเตพเดชเตเดชเตเดเตเดคเตเดคเดฟเดฏเดฟเดเตเดเตเดฃเตเดเต. เดฑเตเดณเดฟเดเดเต เด เดชเตโเดกเตเดฑเตเดฑเตเดเตพ เด เดจเตเดตเดฆเดฟเดเตเดเตเดจเตเดจ เดเดฐเต เดเตเดฒเดธเตเดฑเตเดฑเดฑเดฟเดฒเต 12.2.2, 12.2.12 เดชเดคเดฟเดชเตเดชเตเดเตพ เดคเดฎเตเดฎเดฟเดฒเตเดณเตเดณ เด เดจเตเดฏเตเดเตเดฏเดค เดชเตเดฐเดพเดเตเดเตเดธเต เดเดพเดฃเดฟเดเตเดเตเดจเตเดจเต.
เดเตเดธเตเดฑเตเดฑเต เดเตเดฒเดธเตเดฑเตเดฑเตผ
เดธเตเดตเดพเดญเดพเดตเดฟเดเดฎเดพเดฏเตเด, เดเตเดธเตเดฑเตเดฑเดฟเดเดเดฟเดจเดพเดฏเดฟ เดฏเตเดฆเตเดงเดคเตเดคเดฟเดฒเต เด เดคเต เดชเดคเดฟเดชเตเดชเต เดเดฃเตเดเดพเดฏเดฟเดฐเดฟเดเตเดเตเดฃเตเดเดคเต เดเดตเดถเตเดฏเดฎเดพเดฃเต, เดเดจเตเดจเดพเตฝ เดเดพเตป เดเตเดฒเดธเตเดฑเตเดฑเดฑเตเดฎเดพเดฏเดฟ เดชเตเดฐเดตเตผเดคเตเดคเดฟเดเตเดเดพเตป เดคเตเดเดเตเดเดฟเดฏ เดธเดฎเดฏเดคเตเดคเต, เดชเตเดคเดฟเดฏเดคเต เดฎเดพเดคเตเดฐเดฎเต เดถเตเดเดฐเดคเตเดคเดฟเตฝ เดฒเดญเตเดฏเดฎเดพเดฏเดฟเดฐเตเดจเตเดจเตเดณเตเดณเต. เดจเตเดเตเดเตเดฎเตเดชเตเตพ, เดเตเดฑเดฟเดฏ เดชเดคเดฟเดชเตเดชเดฟเตฝ เดจเดฟเดเตเดเตพเดเตเดเต เดคเดฟเดฐเดฟเดเตเดเดฑเดฟเดฏเดพเตป เดเดดเดฟเดฏเตเดจเตเดจเดคเต เดตเดณเดฐเต เดตเดฒเตเดคเดฒเตเดฒ (1393 เดเตเตบเดซเดฟเดเดฑเตเดเดณเดฟเดฒเต เดตเดฐเดฟเดเตพ เดเดคเดฟเดฐเดพเดฏเดฟ 1436 เดชเตเดคเดฟเดฏ เดชเดคเดฟเดชเตเดชเดฟเตฝ), เดชเตเดคเดฟเดฏเดคเต เดชเดฐเตเดเตเดทเดฟเดเตเดเดพเตป เดเดเตเดเตพ เดคเตเดฐเตเดฎเดพเดจเดฟเดเตเดเต (เดเดจเตเดคเดพเดฏเดพเดฒเตเด เด เดชเตโเดกเตเดฑเตเดฑเต เดเตเดฏเตเดฏเตเดจเตเดจเต, เดเดจเตเดคเดฟเดจเดพเดฃเต เดชเดดเดฏ เดเดเตเดเต เดเดชเดฏเตเดเดฟเดเตเดเต เดชเตเดเตเดจเตเดจเดคเต)
เดชเดดเดฏ เดชเดคเดฟเดชเตเดชเต เดเดชเตเดเตเดทเดฟเดเตเดเดพเตป เดเดเตเดเตพ เดถเตเดฐเดฎเดฟเดเตเด เดเดฐเตเดฏเตเดฐเต เดเดพเดฐเตเดฏเด เดชเดพเดเตเดเตเดเต เดฎเดพเดคเตเดฐเดฎเดพเดฃเต ceph-เดตเดฟเดจเตเดฏเดพเดธเด เดเดพเดฐเดฃเด เดเดฟเดฒ เดฏเตเดเตเดเดฟเดฒเดฟเดฑเตเดฑเดฟเดเตพ (เดเดฟเดฒ เดเตเดตเดจเดเตเดเดพเดฐเตเด) เด เดคเดฟเดจเตเดฑเต เดตเดพเดเตเดฏเดเดเดจเดฏเตเดเตเดเต เด เดจเตเดธเตเดคเดฎเดพเดฏเดฟ เดฐเตเดชเดเตฝเดชเตเดชเดจ เดเตเดฏเตเดคเดฟเดเตเดเตเดณเตเดณเดคเดพเดฃเต. เดชเตเดคเดฟเดฏ เดชเดคเดฟเดชเตเดชเต เดคเดฟเดเดเตเดเตเด เดตเตเดฏเดคเตเดฏเดธเตเดคเดฎเดพเดฏเดฟเดฐเตเดจเตเดจเต, เดชเดเตเดทเต เดเตเดฒเดธเตเดฑเตเดฑเดฑเดฟเดจเตเดฑเต เดชเตเดฐเดตเตผเดคเตเดคเดจเดคเตเดคเต เดคเดจเตเดจเต เดฌเดพเดงเดฟเดเตเดเดฟเดฒเตเดฒ, เด เดคเต เดชเดคเดฟเดชเตเดชเดฟเตฝ เด เดตเดถเตเดทเดฟเดเตเดเตเดจเตเดจเต 1.5.39
ceph-disk เดเดฎเดพเตปเดกเต เด เดคเต เดเดดเดฟเดตเดพเดเตเดเดฟเดฏเตเดจเตเดจเต เดตเตเดฏเดเตเดคเดฎเดพเดฏเดฟ เดชเดฑเดฏเตเดจเตเดจเดคเดฟเดจเดพเตฝ, ceph-volume เดเดฎเดพเตปเดกเต เดเดชเดฏเตเดเดฟเดเตเดเตเด, เดชเตเดฐเดฟเดฏเดชเตเดชเตเดเตเดเดตเดฐเต, เดเดพเดฒเดนเดฐเดฃเดชเตเดชเตเดเตเดเดตเดฏเดฟเตฝ เดธเดฎเดฏเด เดชเดพเดดเดพเดเตเดเดพเดคเต เดเดเตเดเตพ เด เดเดฎเดพเตปเดกเต เดเดชเดฏเตเดเดฟเดเตเดเต OSD-เดเตพ เดธเตเดทเตเดเดฟเดเตเดเดพเตป เดคเตเดเดเตเดเดฟ.
เดฐเดฃเตเดเต เดเดธเตเดเดธเตเดกเดฟ เดกเตเดฐเตเดตเตเดเดณเตเดเต เดเดฐเต เดฎเดฟเดฑเตผ เดธเตเดทเตเดเดฟเดเตเดเตเด เดเดจเตเดจเดคเดพเดฏเดฟเดฐเตเดจเตเดจเต เดชเดฆเตเดงเดคเดฟ, เด เดคเดฟเตฝ เดเดเตเดเตพ เดเดเดธเตเดกเดฟ เดฒเตเดเตเดเตพ เดธเตเดฅเดพเดชเดฟเดเตเดเตเด, เด เดต เดธเตเดชเดฟเตปเดกเดฟเตฝ เดเดธเตเดเดเดธเตเดเดณเดฟเตฝ เดธเตเดฅเดฟเดคเดฟเดเตเดฏเตเดฏเตเดจเตเดจเต. เดฒเตเดเต เดเดณเตเดณ เดกเดฟเดธเตเดเต เดตเตเดฃเดพเตฝ เดกเดพเดฑเตเดฑเดฏเตเดฎเดพเดฏเดฟ เดฌเดจเตเดงเดชเตเดชเตเดเตเด เดชเตเดฐเดถเตเดจเดเตเดเดณเดฟเตฝ เดจเดฟเดจเตเดจเต เดเดคเตเดคเดฐเดคเตเดคเดฟเตฝ เดจเดฎเตเดเตเดเต เดธเตเดตเดฏเด เดชเดฐเดฟเดฐเดเตเดทเดฟเดเตเดเดพเด.
เดกเตเดเตเดฏเตเดฎเตเดจเตเดฑเตเดทเตป เด เดจเตเดธเดฐเดฟเดเตเดเต เดเดเตเดเตพ เดเดฐเต เดเตเดฒเดธเตเดฑเตเดฑเตผ เดธเตเดทเตเดเดฟเดเตเดเดพเตป เดคเตเดเดเตเดเดฟ
cat /etc/ceph/ceph.conf
root@ceph01-qa:~# cat /etc/ceph/ceph.conf # ะฟะพะปะพะถะธะปะธ ะทะฐัะฐะฝะตะต ะฟะพะดะณะพัะพะฒะปะตะฝะฝัะน ะบะพะฝัะธะณ
[client]
rbd_cache = true
rbd_cache_max_dirty = 50331648
rbd_cache_max_dirty_age = 2
rbd_cache_size = 67108864
rbd_cache_target_dirty = 33554432
rbd_cache_writethrough_until_flush = true
rbd_concurrent_management_ops = 10
rbd_default_format = 2
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster network = 10.10.10.0/24
debug_asok = 0/0
debug_auth = 0/0
debug_buffer = 0/0
debug_client = 0/0
debug_context = 0/0
debug_crush = 0/0
debug_filer = 0/0
debug_filestore = 0/0
debug_finisher = 0/0
debug_heartbeatmap = 0/0
debug_journal = 0/0
debug_journaler = 0/0
debug_lockdep = 0/0
debug_mon = 0/0
debug_monc = 0/0
debug_ms = 0/0
debug_objclass = 0/0
debug_objectcatcher = 0/0
debug_objecter = 0/0
debug_optracker = 0/0
debug_osd = 0/0
debug_paxos = 0/0
debug_perfcounter = 0/0
debug_rados = 0/0
debug_rbd = 0/0
debug_rgw = 0/0
debug_throttle = 0/0
debug_timer = 0/0
debug_tp = 0/0
fsid = d0000000d-4000-4b00-b00b-0123qwe123qwf9
mon_host = ceph01-q, ceph02-q, ceph03-q
mon_initial_members = ceph01-q, ceph02-q, ceph03-q
public network = 8.8.8.8/28 # ะฐะดัะตั ะธะทะผะตะฝะตะฝ, ะตััะตััะฒะตะฝะฝะพ ))
rgw_dns_name = s3-qa.mycompany.ru # ะธ ััะพั ะฐะดัะตั ะธะทะผะตะฝ
rgw_host = s3-qa.mycompany.ru # ะธ ััะพั ัะพะถะต
[mon]
mon allow pool delete = true
mon_max_pg_per_osd = 300 # ะฑะพะปััะต ััะตั
ัะพั ะฟะปะตะนัะผะตะฝั ะณััะฟะฟ
# ะฝะฐ ะดะธัะบ ะฝะต ัะตัะธะปะธัั
# ั
ะพัั ะฟะฐัะฐะผะตัั, ะตััะตััะฒะตะฝะฝะพ, ะทะฐะฒะธัะธั ะพั ะบะพะปะธัะตััะฒะฐ ะฟัะปะพะฒ,
# ะธั
ัะฐะทะผะตัะพะฒ ะธ ะบะพะปะธัะตััะฒะฐ OSD. ะะผะตัั ะผะฐะปะพ ะฝะพ ะทะดะพัะพะฒัั
PG
# ัะพะถะต ะฝะต ะปัััะธะน ะฒัะฑะพั - ัััะฐะดะฐะตั ัะพัะฝะพััั ะฑะฐะปะฐะฝัะธัะพะฒะบะธ
mon_osd_backfillfull_ratio = 0.9
mon_osd_down_out_interval = 5
mon_osd_full_ratio = 0.95 # ะฟะพะบะฐ ะดะปั SSD ะดะธัะบะพะฒ ะผะตััะพะผ ะดะปั ะธั
# ะถััะฝะฐะปะฐ ัะฒะปัะตััั ัะพั-ะถะต ะดะตะฒะฐะนั ััะพ ะธ ะดะปั ะะกะ
# ัะตัะธะปะธ ััะพ 5% ะพั ะดะธัะบะฐ (ะบะพัะพััะน ัะฐะผ ัะฐะทะผะตัะพะผ 1.2Tb)
# ะดะพะปะถะฝะพ ะฒะฟะพะปะฝะต ั
ะฒะฐัะธัั, ะธ ะบะพััะตะปะธััะตั ั ะฟะฐัะฐะผะตััะพะผ
# bluestore_block_db_size ะฟะปัั ะฒะฐัะธะฐัะธะฒะฝะพััั ะฝะฐ ะฑะพะปััะธะต
# ะฟะปะตะนัะผะตะฝั ะณััะฟะฟั
mon_osd_nearfull_ratio = 0.9
mon_pg_warn_max_per_osd = 520
[osd]
bluestore_block_db_create = true
bluestore_block_db_size = 5368709120 #5G
bluestore_block_wal_create = true
bluestore_block_wal_size = 1073741824 #1G
bluestore_cache_size_hdd = 3221225472 # 3G
bluestore_cache_size_ssd = 9663676416 # 9G
journal_aio = true
journal_block_align = true
journal_dio = true
journal_max_write_bytes = 1073714824
journal_max_write_entries = 10000
journal_queue_max_bytes = 10485760000
journal_queue_max_ops = 50000
keyring = /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap = 1073741824 #1G
osd_disk_thread_ioprio_class = idle
osd_disk_thread_ioprio_priority = 7
osd_disk_threads = 2
osd_failsafe_full_ratio = 0.95
osd_heartbeat_grace = 5
osd_heartbeat_interval = 3
osd_map_dedup = true
osd_max_backfills = 4
osd_max_write_size = 256
osd_mon_heartbeat_interval = 5
osd_op_num_threads_per_shard = 1
osd_op_num_threads_per_shard_hdd = 2
osd_op_num_threads_per_shard_ssd = 2
osd_op_threads = 16
osd_pool_default_min_size = 1
osd_pool_default_size = 2
osd_recovery_delay_start = 10.0
osd_recovery_max_active = 1
osd_recovery_max_chunk = 1048576
osd_recovery_max_single_start = 3
osd_recovery_op_priority = 1
osd_recovery_priority = 1
osd_recovery_sleep = 2
osd_scrub_chunk_max = 4
osd_scrub_chunk_min = 2
osd_scrub_sleep = 0.1
rocksdb_separate_wal_dir = true
# ัะพะทะดะฐะตะผ ะผะพะฝะธัะพัั
root@ceph01-qa:~#ceph-deploy mon create ceph01-q
# ะณะตะฝะตัะธััะตะผ ะบะปััะธ ะดะปั ะฐััะตะฝัะธัะธะบะฐัะธะธ ะฝะพะด ะฒ ะบะปะฐััะตัะต
root@ceph01-qa:~#ceph-deploy gatherkeys ceph01-q
# ะญัะพ ะตัะปะธ ะฟะพััััะฝะพ. ะัะปะธ ั ะฝะฐั ะฝะตัะบะพะปัะบะพ ะผะฐัะธะฝ ะดะพัััะฟะฝั - ัะต, ะบะพัะพััะต ะพะฟะธัะฐะฝั ะฒ ะบะพะฝัะธะณะต ะฒ ัะตะบัะธะธ
# mon_initial_members = ceph01-q, ceph02-q, ceph03-q
# ะผะพะถะฝะพ ะทะฐะฟัััะธัั ััะธ ะดะฒะต ะบะพะผะฐะฝะดั ะฒ ะฒะธะดะต ะพะดะฝะพะน
root@ceph01-qa:~#ceph-deploy mon create-initial
# ะะพะปะพะถะธะผ ะบะปััะธ ะฒ ัะบะฐะทะฐะฝะฝัะต ะฒ ะบะพะฝัะธะณะต ะผะตััะฐ
root@ceph01-qa:~#cat ceph.bootstrap-osd.keyring > /var/lib/ceph/bootstrap-osd/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-mgr.keyring > /var/lib/ceph/bootstrap-mgr/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-rgw.keyring > /var/lib/ceph/bootstrap-rgw/ceph.keyring
# ัะพะทะดะฐะดะธะผ ะบะปัั ะดะปั ัะฟัะฐะฒะปะตะฝะธั ะบะปะฐััะตัะพะผ
root@ceph01-qa:~#ceph-deploy admin ceph01-q
# ะธ ะผะตะฝะตะดะถะตั, ะฟะปะฐะณะธะฝะฐะผะธ ัะฟัะฐะฒะปััั
root@ceph01-qa:~#ceph-deploy mgr create ceph01-q
เดเดฐเต เดเตเดฒเดธเตเดฑเตเดฑเตผ เดชเดคเดฟเดชเตเดชเต 12.2.12 เดเดชเดฏเตเดเดฟเดเตเดเต ceph-deploy-เดฏเตเดเต เด เดชเดคเดฟเดชเตเดชเดฟเดจเตเดชเตเดชเด เดชเตเดฐเดตเตผเดคเตเดคเดฟเดเตเดเตเดฎเตเดชเตเตพ เดเดพเตป เดเดฆเตเดฏเด เดเดเดฑเดฟเดฏเดคเต เดเดฐเต เดธเตเดซเตเดฑเตเดฑเตโเดตเตเดฏเตผ เดฑเตเดฏเตเดกเดฟเตฝ db เดเดชเดฏเตเดเดฟเดเตเดเต เดเดฐเต OSD เดธเตเดทเตเดเดฟเดเตเดเดพเตป เดถเตเดฐเดฎเดฟเดเตเดเตเดฎเตเดชเตเดดเตเดฃเตเดเดพเดฏ เดเดฐเต เดชเดฟเดถเดเดพเดฃเต -
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
blkid could not detect a PARTUUID for device: /dev/md1
เดคเตเตผเดเตเดเดฏเดพเดฏเตเด, blkid PARTUID เดเดฃเตเดจเตเดจเต เดคเตเดจเตเดจเตเดจเตเดจเดฟเดฒเตเดฒ, เด เดคเดฟเดจเดพเตฝ เดเดจเดฟเดเตเดเต เดธเตเดตเดฎเตเดงเดฏเดพ เดชเดพเตผเดเตเดเตเดทเดจเตเดเตพ เดธเตเดทเตเดเดฟเดเตเดเตเดฃเตเดเดฟ เดตเดจเตเดจเต:
root@ceph01-qa:~#parted /dev/md0 mklabel GPT
# ัะฐะทะดะตะปะพะฒ ะฑัะดะตั ะผะฝะพะณะพ,
# ะฑะตะท GPT ะธั
ัะพะทะดะฐัั ะฝะต ะฟะพะปััะธััั
# ัะฐะทะผะตั ัะฐะทะดะตะปะฐ ะผั ัะบะฐะทะฐะปะธ ะฒ ะบะพะฝัะธะณะต ะฒััะต = bluestore_block_db_size: '5368709120 #5G'
# ะะธัะบะพะฒ ั ะผะตะฝั 20 ะฟะพะด OSD, ััะบะฐะผะธ ัะพะทะดะฐะฒะฐัั ัะฐะทะดะตะปั ะปะตะฝั
# ะฟะพัะพะผั ัะดะตะปะฐะป ัะธะบะป
root@ceph01-qa:~#for i in {1..20}; do echo -e "nnnn+5Gnw" | fdisk /dev/md0; done
เดเดฒเตเดฒเดพเด เดคเดฏเตเดฏเดพเดฑเดพเดฃเตเดจเตเดจเต เดคเตเดจเตเดจเตเดจเตเดจเต, เดเดเตเดเตพ เดตเตเดฃเตเดเตเด OSD เดธเตเดทเตเดเดฟเดเตเดเดพเตป เดถเตเดฐเดฎเดฟเดเตเดเตเดเดฏเตเด เดเดจเดฟเดชเตเดชเดฑเดฏเตเดจเตเดจ เดชเดฟเดถเดเต เดจเตเดเตเดเดฏเตเด เดเตเดฏเตเดฏเตเดจเตเดจเต (เดเดคเต เดฏเตเดฆเตเดงเดคเตเดคเดฟเตฝ เดชเตเดจเตผเดจเดฟเตผเดฎเตเดฎเดฟเดเตเดเดฟเดฒเตเดฒ)
WAL-เดฒเตเดเตเดเตเดณเตเดณ เดชเดพเดค เดตเตเดฏเดเตเดคเดฎเดพเดเตเดเดพเดคเต, เดเดจเตเดจเดพเตฝ db เดตเตเดฏเดเตเดคเดฎเดพเดเตเดเดพเดคเต เดฌเตเดฒเตเดธเตเดฑเตเดฑเตเตผ เดคเดฐเด OSD เดธเตเดทเตเดเดฟเดเตเดเตเดฎเตเดชเตเตพ
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
stderr: 2019-04-12 10:39:27.211242 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _read_fsid unparsable uuid
stderr: 2019-04-12 10:39:27.213185 7eff461b6e00 -1 bdev(0x55824c273680 /var/lib/ceph/osd/ceph-0//block.wal) open open got: (22) Invalid argument
stderr: 2019-04-12 10:39:27.213201 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _open_db add block device(/var/lib/ceph/osd/ceph-0//block.wal) returned: (22) Invalid argument
stderr: 2019-04-12 10:39:27.999039 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) mkfs failed, (22) Invalid argument
stderr: 2019-04-12 10:39:27.999057 7eff461b6e00 -1 OSD::mkfs: ObjectStore::mkfs failed with error (22) Invalid argument
stderr: 2019-04-12 10:39:27.999141 7eff461b6e00 -1 ** ERROR: error creating empty object store in /var/lib/ceph/osd/ceph-0/: (22) Invalid argumen
เดฎเดพเดคเตเดฐเดฎเดฒเตเดฒ, เดเดฐเต เดเดฃเตเดฃเดพเดเดฟเดฏเดฟเตฝ (เด เดฒเตเดฒเตเดเตเดเดฟเตฝ เดจเดฟเดเตเดเตพเดเตเดเต เดเดทเตเดเดฎเตเดณเตเดณ เดฎเดฑเตเดฑเตเดฐเดฟเดเดคเตเดคเต) เดจเดฟเดเตเดเตพ WAL-เดจเดพเดฏเดฟ เดฎเดฑเตเดฑเตเดฐเต เดชเดพเตผเดเตเดเตเดทเตป เดธเตเดทเตเดเดฟเดเตเดเตเดเดฏเตเด OSD เดธเตเดทเตเดเดฟเดเตเดเตเดฎเตเดชเตเตพ เด เดคเต เดตเตเดฏเดเตเดคเดฎเดพเดเตเดเตเดเดฏเตเด เดเตเดฏเตเดคเดพเตฝ, เดเดฒเตเดฒเดพเด เดธเตเดเดฎเดฎเดพเดฏเดฟ เดจเดเดเตเดเตเด (เดเดฐเต เดชเตเดฐเดคเตเดฏเตเด WAL เดชเตเดฐเดคเตเดฏเดเตเดทเดชเตเดชเตเดเตเดจเตเดจเดคเต เดเดดเดฟเดเต. เดเดเตเดฐเดนเดฟเดเตเดเดฟเดเตเดเตเดฃเตเดเต).
เดชเดเตเดทเต, WAL เดจเต NVMe-เดฒเตเดเตเดเต เดฎเดพเดฑเตเดฑเดพเดจเตเดณเตเดณ เดตเดฟเดฆเตเดฐ เดชเดฆเตเดงเดคเดฟเดเดณเดฟเดฒเดพเดฏเดฟเดฐเตเดจเตเดจเดคเดฟเดจเดพเตฝ, เด เดฐเตเดคเดฟ เด เดคเดฟเดฐเตเดเดเดจเตเดจเดคเดพเดฏเดฟ เดฎเดพเดฑเดฟเดฏเดฟเดฒเตเดฒ.
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sdf --block.wal /dev/md0p2 --block.db /dev/md1p2
เดฎเตเดฃเดฟเดฑเตเดฑเดฑเตเดเตพ, เดฎเดพเดจเตเดเตผเดฎเดพเตผ, OSD เดเดจเตเดจเดฟเดต เดธเตเดทเตเดเดฟเดเตเดเต. เดเดชเตเดชเตเตพ เดเดพเตป เด เดตเดฏเต เดตเตเดฏเดคเตเดฏเดธเตเดคเดฎเดพเดฏเดฟ เดเตเดฐเตเดชเตเดชเตเดเตเดฏเตเดฏเดพเตป เดเดเตเดฐเดนเดฟเดเตเดเตเดจเตเดจเต, เดเดพเดฐเดฃเด เดตเตเดฏเดคเตเดฏเดธเตเดค เดคเดฐเด เดกเดฟเดธเตเดเตเดเตพ - เดเดธเตเดเดธเตเดกเดฟเดฏเดฟเตฝ เดซเดพเดธเตเดฑเตเดฑเต เดชเตเดณเตเดเดณเตเด เดตเดฒเตเดคเตเด เดเดธเตเดเดเดธเต เดชเดพเตปเดเตเดเตเดเตเดเดณเดฟเตฝ เดธเตเดฒเต เดชเตเดณเตเดเดณเตเด เดเดฃเตเดเดพเดฏเดฟเดฐเดฟเดเตเดเดพเตป เดเดพเตป เดเดเตเดฐเดนเดฟเดเตเดเตเดจเตเดจเต.
เดธเตเตผเดตเดฑเตเดเตพเดเตเดเต 20 เดกเดฟเดธเตเดเตเดเตพ เดเดฃเตเดเตเดจเตเดจเต เดจเดฎเตเดเตเดเต เด
เดจเตเดฎเดพเดจเดฟเดเตเดเดพเด, เดเดฆเตเดฏเดคเตเดคเต เดชเดคเตเดคเต เดเดฐเต เดคเดฐเด, เดฐเดฃเตเดเดพเดฎเดคเตเดคเตเดคเต เดฎเดฑเตเดฑเตเดจเตเดจเต.
เดชเตเดฐเดพเดฐเดเดญ, เดธเตเดฅเดฟเดฐเดธเตเดฅเดฟเดคเดฟ, เดเดพเตผเดกเต เดเดคเตเดชเตเดฒเต เดเดพเดฃเดชเตเดชเตเดเตเดจเตเดจเต:
ceph osd เดฎเดฐเด
root@ceph01-q:~# ceph osd เดตเตเดเตเดทเด
เดเดกเดฟ เดเตเดฒเดพเดธเต เดตเตเดฏเตเดฑเตเดฑเต เดเตเดชเตเดชเต เดชเตเดฐเต เดธเตเดฑเตเดฑเดพเดฑเตเดฑเดธเต เดฑเดฟเดตเตเดฏเตเดฑเตเดฑเต เดชเตเดฐเดฟ-เดเดเดซเตเดเดซเต
-1 14.54799 เดฑเตเดเตเดเต เดกเดฟเดซเตเตพเดเตเดเต
-3 9.09200 เดนเตเดธเตเดฑเตเดฑเต ceph01-q
0 ssd 1.00000 osd.0 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
1 ssd 1.00000 osd.1 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
2 ssd 1.00000 osd.2 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
3 ssd 1.00000 osd.3 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
4 hdd 1.00000 osd.4 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
5 hdd 0.27299 osd.5 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
6 hdd 0.27299 osd.6 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
7 hdd 0.27299 osd.7 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
8 hdd 0.27299 osd.8 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
9 hdd 0.27299 osd.9 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
10 hdd 0.27299 osd.10 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
11 hdd 0.27299 osd.11 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
12 hdd 0.27299 osd.12 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
13 hdd 0.27299 osd.13 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
14 hdd 0.27299 osd.14 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
15 hdd 0.27299 osd.15 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
16 hdd 0.27299 osd.16 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
17 hdd 0.27299 osd.17 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
18 hdd 0.27299 osd.18 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
19 hdd 0.27299 osd.19 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
-5 5.45599 เดนเตเดธเตเดฑเตเดฑเต ceph02-q
20 ssd 0.27299 osd.20 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
21 ssd 0.27299 osd.21 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
22 ssd 0.27299 osd.22 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
23 ssd 0.27299 osd.23 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
24 hdd 0.27299 osd.24 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
25 hdd 0.27299 osd.25 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
26 hdd 0.27299 osd.26 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
27 hdd 0.27299 osd.27 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
28 hdd 0.27299 osd.28 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
29 hdd 0.27299 osd.29 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
30 hdd 0.27299 osd.30 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
31 hdd 0.27299 osd.31 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
32 hdd 0.27299 osd.32 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
33 hdd 0.27299 osd.33 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
34 hdd 0.27299 osd.34 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
35 hdd 0.27299 osd.35 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
36 hdd 0.27299 osd.36 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
37 hdd 0.27299 osd.37 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
38 hdd 0.27299 osd.38 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
39 hdd 0.27299 osd.39 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
-7 6.08690 เดนเตเดธเตเดฑเตเดฑเต ceph03-q
40 ssd 0.27299 osd.40 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
41 ssd 0.27299 osd.41 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
42 ssd 0.27299 osd.42 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
43 ssd 0.27299 osd.43 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
44 hdd 0.27299 osd.44 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
45 hdd 0.27299 osd.45 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
46 hdd 0.27299 osd.46 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
47 hdd 0.27299 osd.47 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
48 hdd 0.27299 osd.48 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
49 hdd 0.27299 osd.49 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
50 hdd 0.27299 osd.50 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
51 hdd 0.27299 osd.51 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
52 hdd 0.27299 osd.52 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
53 hdd 0.27299 osd.53 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
54 hdd 0.27299 osd.54 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
55 hdd 0.27299 osd.55 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
56 hdd 0.27299 osd.56 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
57 hdd 0.27299 osd.57 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
58 hdd 0.27299 osd.58 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
59 hdd 0.89999 osd.59 เดฎเตเดคเตฝ 1.00000 1.00000 เดตเดฐเต
เดฌเตเดฒเดพเดเตเดเต เดเดพเดเตเดเตเด เดฎเดฑเตเดฑเต เดเดพเดฐเตเดฏเดเตเดเดณเตเด เดเดชเดฏเตเดเดฟเดเตเดเต เดจเดฎเตเดเตเดเต เดจเดฎเตเดฎเตเดเต เดธเตเดตเดจเตเดคเด เดตเตเตผเดเตเดตเตฝ เดฑเดพเดเตเดเตเดเดณเตเด เดธเตเตผเดตเดฑเตเดเดณเตเด เดธเตเดทเตเดเดฟเดเตเดเดพเด:
root@ceph01-q:~#ceph osd crush add-bucket rack01 root #ัะพะทะดะฐะปะธ ะฝะพะฒัะน root
root@ceph01-q:~#ceph osd crush add-bucket ceph01-q host #ัะพะทะดะฐะปะธ ะฝะพะฒัะน ั
ะพัั
root@ceph01-q:~#ceph osd crush move ceph01-q root=rack01 #ะฟะตัะตััะฐะฒะธะปะธ ัะตัะฒะตั ะฒ ะดััะณัั ััะพะนะบั
root@ceph01-q:~#osd crush add 28 1.0 host=ceph02-q # ะะพะฑะฐะฒะธะปะธ ะะกะ ะฒ ัะตัะฒะตั
# ะัะปะธ ะบัะธะฒะพ ัะพะทะดะฐะปะธ ัะพ ะผะพะถะฝะพ ัะดะฐะปะธัั
root@ceph01-q:~# ceph osd crush remove osd.4
root@ceph01-q:~# ceph osd crush remove rack01
เดเดเตเดเตพ เดจเตเดฐเดฟเดเตเด เดชเตเดฐเดถเตเดจเดเตเดเตพ เดฏเตเดฆเตเดงเด เดเตเดฒเดธเตเดฑเตเดฑเตผ, เดเดฐเต เดชเตเดคเดฟเดฏ เดนเตเดธเตเดฑเตเดฑเต เดธเตเดทเตเดเดฟเดเตเดเดพเตป เดถเตเดฐเดฎเดฟเดเตเดเตเดฎเตเดชเตเตพ เดจเดฟเดฒเดตเดฟเดฒเตเดณเตเดณ เดเดฐเต เดฑเดพเดเตเดเต - เดเดฎเดพเตปเดกเดฟเดฒเตเดเตเดเต เดจเตเดเตเดเตเด ceph osd เดเตเดฐเดทเต เดฎเตเดตเต ceph01-host root=rack01 เดฎเดฐเดตเดฟเดเตเดเต, เดฎเตเดฃเดฟเดฑเตเดฑเดฑเตเดเตพ เดเดฐเตเดจเตเดจเดพเดฏเดฟ เดตเตเดดเดพเตป เดคเตเดเดเตเดเดฟ. เดฒเดณเดฟเดคเดฎเดพเดฏ CTRL+C เดเดชเดฏเตเดเดฟเดเตเดเต เดเดฎเดพเตปเดกเต เดจเดฟเตผเดคเตเดคเดฒเดพเดเตเดเตเดจเตเดจเดคเต, เดเตเดฒเดธเตเดฑเตเดฑเดฑเดฟเดจเต เดเตเดตเดจเตเดณเตเดณเดตเดฐเตเดเต เดฒเตเดเดคเตเดคเตเดเตเดเต เดคเดฟเดฐเดฟเดเตเดเตเดตเดฟเดเตเดเต.
เดเดฐเต เดคเดฟเดฐเดฏเตฝ เด เดชเตเดฐเดถเตเดจเด เดเดพเดฃเดฟเดเตเดเต:
เดเตเดฐเดทเตเดฎเดพเดชเตเดชเต เดตเดฒเดฟเดเตเดเตเดฑเดฟเดฏเตเดเดฏเตเด เด เดตเดฟเดเต เดจเดฟเดจเตเดจเต เดญเดพเดเด เดจเตเดเตเดเด เดเตเดฏเตเดฏเตเดเดฏเตเด เดเตเดฏเตเดฏเตเด เดเดจเตเดจเดคเดพเดฃเต เดชเดฐเดฟเดนเดพเดฐเด เดฑเตเตพ replicated_ruleset
root@ceph01-prod:~#ceph osd getcrushmap -o crushmap.row #ะะฐะผะฟะธะผ ะบะฐััั ะฒ ัััะพะผ ะฒะธะดะต
root@ceph01-prod:~#crushtool -d crushmap.row -o crushmap.txt #ะฟะตัะตะฒะพะดะธะผ ะฒ ัะธัะฐะตะผัะน
root@ceph01-prod:~#vim crushmap.txt #ัะตะดะฐะบัะธััะตะผ, ัะดะฐะปัั rule replicated_ruleset
root@ceph01-prod:~#crushtool -c crushmap.txt -o new_crushmap.row #ะบะพะผะฟะธะปะธััะตะผ ะพะฑัะฐัะฝะพ
root@ceph01-prod:~#ceph osd setcrushmap -i new_crushmap.row #ะทะฐะณััะถะฐะตะผ ะฒ ะบะปะฐััะตั
เด เดเตเดคเดเดเต: เด เดชเตเดฐเดตเตผเดคเตเดคเดจเด OSD-เดเตพเดเตเดเดฟเดเดฏเดฟเตฝ เดชเตเดฒเตเดธเตโเดฎเตเดจเตเดฑเต เดเตเดฐเตเดชเตเดชเดฟเดจเตเดฑเต เดชเตเดจเดเดธเดจเตเดคเตเดฒเดฟเดคเดพเดตเดธเตเดฅเดฏเตเดเตเดเต เดเดพเดฐเดฃเดฎเดพเดฏเตเดเตเดเดพเด. เดเดคเต เดเดเตเดเตพเดเตเดเต เดเดคเต เดเดพเดฐเดฃเดฎเดพเดฏเดฟ, เดชเดเตเดทเต เดตเดณเดฐเต เดเตเดฑเดตเดพเดฃเต.
เดเตเดธเตเดฑเตเดฑเต เดเตเดฒเดธเตเดฑเตเดฑเดฑเดฟเตฝ เดเดเตเดเตพ เดจเตเดฐเดฟเดเตเด เดตเดฟเดเดฟเดคเตเดฐเดฎเดพเดฏ เดเดพเดฐเตเดฏเด, OSD เดธเตเตผเดตเตผ เดฑเตเดฌเตเดเตเดเต เดเตเดฏเตเดค เดถเตเดทเด, เด
เดตเตผ เดชเตเดคเดฟเดฏ เดธเตเตผเดตเดฑเตเดเดณเดฟเดฒเตเดเตเดเตเด เดฑเดพเดเตเดเตเดเดณเดฟเดฒเตเดเตเดเตเด เดฎเดพเดฑเตเดฑเดฟเดฏเดคเต เดฎเดฑเดจเตเดจเตเดชเตเดฏเดฟ, เดฑเตเดเตเดเต เดกเดฟเดซเตเตพเดเตเดเดฟเดฒเตเดเตเดเต เดฎเดเดเตเดเดฟ.
เดคเตฝเดซเดฒเดฎเดพเดฏเดฟ, เดเดเตเดเตพ ssd เดกเตเดฐเตเดตเตเดเตพเดเตเดเดพเดฏเดฟ เดเดฐเต เดชเตเดฐเดคเตเดฏเตเด เดฑเตเดเตเดเตเด เดธเตเดชเดฟเตปเดกเดฟเตฝ เดกเตเดฐเตเดตเตเดเตพเดเตเดเดพเดฏเดฟ เดเดฐเต เดชเตเดฐเดคเตเดฏเตเด เดฑเตเดเตเดเตเด เดธเตเดทเตเดเดฟเดเตเด เด
เดจเตเดคเดฟเดฎ เดธเตเดเตเด เดเตเดเตเดเดฟเดเตเดเตเตผเดเตเดเตเดฎเตเดชเตเตพ, เดเดเตเดเตพ เดเดฒเตเดฒเดพ OSD-เดเดณเตเด เดฑเดพเดเตเดเตเดเดณเดฟเดฒเตเดเตเดเต เดเดเตเดคเตเดคเต เดธเตเดฅเดฟเดฐเดธเตเดฅเดฟเดคเดฟ เดฑเตเดเตเดเต เดเดฒเตเดฒเดพเดคเดพเดเตเดเดฟ. เดฑเตเดฌเตเดเตเดเดฟเดจเต เดถเตเดทเด, OSD เดธเตเดฅเดพเดจเดคเตเดคเต เดคเตเดเดฐเดพเตป เดคเตเดเดเตเดเดฟ.
เดชเดฟเดจเตเดจเตเดเต เดกเตเดเตเดฏเตเดฎเตเดจเตเดฑเตเดทเตป เดชเดฐเดฟเดถเตเดงเดฟเดเตเดเดคเดฟเดจเต เดถเตเดทเด, เด เดธเตเดตเดญเดพเดตเดคเตเดคเดฟเดจเต เดเดคเตเดคเดฐเดตเดพเดฆเดฟเดฏเดพเดฏ เดเดฐเต เดชเดพเดฐเดพเดฎเตเดฑเตเดฑเตผ เดเดเตเดเตพ เดเดฃเตเดเตเดคเตเดคเดฟ. เดฐเดฃเตเดเดพเด เดญเดพเดเดคเตเดคเดฟเตฝ เด
เดตเดจเต เดเตเดฑเดฟเดเตเดเต
เดกเดฟเดธเตเดเต เดคเดฐเด เด เดจเตเดธเดฐเดฟเดเตเดเต เดเดเตเดเตพ เดเดเตเดเดจเต เดตเตเดฏเดคเตเดฏเดธเตเดค เดเตเดฐเตเดชเตเดชเตเดเตพ เดเดฃเตเดเดพเดเตเดเดฟ.
เดเดฐเดเดญเดฟเดเตเดเตเดจเตเดจเดคเดฟเดจเต, เดเดเตเดเตพ เดฐเดฃเตเดเต เดฑเตเดเตเดเตเดเตพ เดธเตเดทเตเดเดฟเดเตเดเต - ssd เดจเตเด hdd เดจเตเด
root@ceph01-q:~#ceph osd crush add-bucket ssd-root root
root@ceph01-q:~#ceph osd crush add-bucket hdd-root root
เดธเตเตผเดตเดฑเตเดเตพ เดญเตเดคเดฟเดเดฎเดพเดฏเดฟ เดตเตเดฏเดคเตเดฏเดธเตเดค เดฑเดพเดเตเดเตเดเดณเดฟเตฝ เดธเตเดฅเดฟเดคเดฟ เดเตเดฏเตเดฏเตเดจเตเดจเดคเดฟเดจเดพเตฝ, เดธเตเดเดฐเตเดฏเดพเตผเดคเตเดฅเด เดเดเตเดเตพ เด เดตเดฏเดฟเตฝ เดธเตเตผเดตเดฑเตเดเดณเตเดณเตเดณ เดฑเดพเดเตเดเตเดเตพ เดธเตเดทเตเดเดฟเดเตเดเต.
# ะกัะพะนะบะธ:
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack02 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack03 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
# ะกะตัะฒะตัะฐ
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph03-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
เดเตเดเดพเดคเต เดกเดฟเดธเตเดเตเดเตพ เด เดตเดฏเตเดเต เดคเดฐเด เด เดจเตเดธเดฐเดฟเดเตเดเต เดตเตเดฏเดคเตเดฏเดธเตเดค เดธเตเตผเดตเดฑเตเดเดณเดฟเดฒเตเดเตเดเต เดตเดฟเดคเดฐเดฃเด เดเตเดฏเตเดคเต
root@ceph01-q:~# ะะธัะบะธ ั 0 ะฟะพ 3 ััะพ SSD, ะฝะฐั
ะพะดัััั ะฒ ceph01-q, ััะฐะฒะธะผ ะธั
ะฒ ัะตัะฒะตั
root@ceph01-q:~# ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 0 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 1 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 2 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 3 1 host=ssd-ceph01-q
root-ceph01-q:~# ะฐะฝะฐะปะพะณะธัะฝะพ ั ะดััะณะธะผะธ ัะตัะฒะตัะฐะผะธ
ssd-root, hdd-root เดฑเตเดเตเดเตเดเตพเดเตเดเดฟเดเดฏเดฟเตฝ เดกเดฟเดธเตเดเตเดเตพ เดเดฟเดคเดฑเดฟเดเตเดเดคเดฟเดจเดพเตฝ, เดเดเตเดเตพ เดฑเตเดเตเดเต-เดกเตเดซเตเตพเดเตเดเต เดถเตเดจเตเดฏเดฎเดพเดเตเดเดฟ, เด เดคเดฟเดจเดพเตฝ เดจเดฎเตเดเตเดเต เด เดคเต เดเดฒเตเดฒเดพเดคเดพเดเตเดเดพเด.
root-ceph01-q:~#ceph osd crush remove default
เด เดเตเดคเตเดคเดคเดพเดฏเดฟ, เดธเตเดทเตโเดเดฟเดเตเดเตเดจเตเดจ เดชเตเดณเตเดเดณเตเดฎเดพเดฏเดฟ เดฌเดจเตเดงเดฟเดชเตเดชเดฟเดเตเดเตเดจเตเดจ เดตเดฟเดคเดฐเดฃ เดจเดฟเดฏเดฎเดเตเดเตพ เดเดเตเดเตพ เดธเตเดทเตโเดเดฟเดเตเดเตเดฃเตเดเดคเตเดฃเตเดเต - เดจเดฟเดฏเดฎเดเตเดเดณเดฟเตฝ เดเดคเตเดเตเดเต เดฑเตเดเตเดเตเดเตพเดเตเดเดพเดฃเต เดเดเตเดเดณเตเดเต เดชเตเตพ เดกเดพเดฑเตเดฑเดฏเตเด เดชเดเตผเดชเตเดชเดฟเดจเตเดฑเต เดคเดจเดคเดพเดฏ เดจเดฟเดฒเดตเดพเดฐเดตเตเด เดธเตเดฅเดพเดชเดฟเดเตเดเดพเตป เดเดดเดฟเดฏเตเดเดฏเตเดจเตเดจเต เดเดเตเดเตพ เดธเตเดเดฟเดชเตเดชเดฟเดเตเดเตเด - เดเดฆเดพเดนเดฐเดฃเดคเตเดคเดฟเดจเต, เดชเดเตผเดชเตเดชเตเดเตพ เดตเตเดฏเดคเตเดฏเดธเตเดค เดธเตเตผเดตเดฑเตเดเดณเดฟเดฒเดพเดฏเดฟเดฐเดฟเดเตเดเดฃเด, เด เดฒเตเดฒเตเดเตเดเดฟเตฝ เดตเตเดฏเดคเตเดฏเดธเตเดค เดฑเดพเดเตเดเตเดเดณเดฟเตฝ (เดเดเตเดเตพเดเตเดเต เด เดคเตเดคเดฐเดฎเตเดฐเต เดตเดฟเดคเดฐเดฃเดฎเตเดฃเตเดเตเดเตเดเดฟเตฝ, เดจเดฟเดเตเดเตพเดเตเดเต เดตเตเดฏเดคเตเดฏเดธเตเดค เดตเตเดฐเตเดเดณเดฟเตฝ เดชเตเดฒเตเด เดเดดเดฟเดฏเตเด)
เดเดฐเต เดคเดฐเด เดคเดฟเดฐเดเตเดเตเดเตเดเตเดเตเดจเตเดจเดคเดฟเดจเต เดฎเตเดฎเตเดชเต, เดกเตเดเตเดฏเตเดฎเตเดจเตเดฑเตเดทเตป เดตเดพเดฏเดฟเดเตเดเตเดจเตเดจเดคเดพเดฃเต เดจเดฒเตเดฒเดคเต:
root-ceph01-q:~#ceph osd crush rule create-simple rule-ssd ssd-root host firstn
root-ceph01-q:~#ceph osd crush rule create-simple rule-hdd hdd-root host firstn
root-ceph01-q:~# ะั ัะบะฐะทะฐะปะธ ะดะฒะฐ ะฟัะฐะฒะธะปะฐ, ะฒ ะบะพัะพััั
ะดะฐะฝะฝัะต ัะตะฟะปะธัะธัััััั
root-ceph01-q:~# ะผะตะถะดั ั
ะพััะฐะผะธ - ัะพ ะตััั ัะตะฟะปะธะบะฐ ะดะพะปะถะฝะฐ ะปะตะถะฐัั ะฝะฐ ะดััะณะพะผ ั
ะพััะต,
root-ceph01-q:~# ะดะฐะถะต ะตัะปะธ ะพะฝะธ ะฒ ะพะดะฝะพะน ััะพะนะบะต
root-ceph01-q:~# ะ ะฟัะพะดะฐะบัะตะฝะต, ะตัะปะธ ะตััั ะฒะพะทะผะพะถะฝะพััั, ะปัััะต ัะฐัะฟัะตะดะตะปะธัั ั
ะพััั
root-ceph01-q:~# ะฟะพ ััะพะนะบะฐะผ ะธ ัะบะฐะทะฐัั ัะฐัะฟัะตะดะตะปััั ัะตะฟะปะธะบะธ ะฟะพ ััะพะนะบะฐะผ:
root-ceph01-q:~# ##ceph osd crush rule create-simple rule-ssd ssd-root rack firstn
เดถเดฐเดฟ, เดญเดพเดตเดฟเดฏเดฟเตฝ เดเดเตเดเดณเตเดเต เดตเดฟเตผเดเตเดเตเดตเดฒเตเดธเตเดทเดจเตเดฑเต เดกเดฟเดธเตเดเต เดเดฎเตเดเตเดเตพ เดธเดเดญเดฐเดฟเดเตเดเดพเตป เดเดเตเดฐเดนเดฟเดเตเดเตเดจเตเดจ เดชเตเดณเตเดเตพ เดเดเตเดเตพ เดธเตเดทเตเดเดฟเดเตเดเตเดจเตเดจเต - PROXMOX:
root-ceph01-q:~# #ceph osd pool create {NAME} {pg_num} {pgp_num}
root-ceph01-q:~# ceph osd pool create ssd_pool 1024 1024
root-ceph01-q:~# ceph osd pool create hdd_pool 1024 1024
เดเดคเตเดเตเดเต เดชเตเดฒเตเดธเตโเดฎเตเดจเตเดฑเต เดจเดฟเดฏเดฎเดเตเดเดณเดพเดฃเต เดเดชเดฏเตเดเดฟเดเตเดเตเดฃเตเดเดคเตเดจเตเดจเต เดเดเตเดเตพ เด เดชเตเดณเตเดเดณเตเดเต เดชเดฑเดฏเตเดจเตเดจเต
root-ceph01-q:~#ceph osd crush rule ls # ัะผะพััะธะผ ัะฟะธัะพะบ ะฟัะฐะฒะธะป
root-ceph01-q:~#ceph osd crush rule dump rule-ssd | grep rule_id #ะฒัะฑะธัะฐะตะผ ID ะฝัะถะฝะพะณะพ
root-ceph01-q:~#ceph osd pool set ssd_pool crush_rule 2
เดชเตเดฒเตเดฏเตโเดธเตโเดฎเตเดจเตเดฑเต เดเตเดฐเตเดชเตเดชเตเดเดณเตเดเต เดเดฃเตเดฃเด เดคเดฟเดฐเดเตเดเตเดเตเดเตเดเตเดจเตเดจเดคเต เดจเดฟเดเตเดเดณเตเดเต เดเตเดฒเดธเตเดฑเตเดฑเดฑเดฟเดจเดพเดฏเตเดณเตเดณ เดฎเตเตปเดเตเตผ เดเดพเดดเตเดเดชเตเดชเดพเดเตเดเตเดฏเดพเดฃเต เดธเดฎเตเดชเดฟเดเตเดเตเดฃเตเดเดคเต - เดเดเดฆเตเดถเด เดเดคเตเดฐ เดเดเดธเตโเดกเดฟเดเตพ เดเดฃเตเดเดพเดเตเด, เดชเตเดณเดฟเตฝ เดเดคเตเดฐ เดกเดพเดฑเตเดฑ (เดฎเตเดคเตเดคเด เดตเตเดณเดฟเดฏเดคเตเดคเดฟเดจเตเดฑเต เดถเดคเดฎเดพเดจเดฎเดพเดฏเดฟ) เดเดฃเตเดเดพเดฏเดฟเดฐเดฟเดเตเดเตเด, เดเดจเตเดคเดพเดฃเต เดกเดพเดฑเตเดฑเดฏเตเดเต เดเดเต เดคเตเด.
เดฎเตเดคเตเดคเดคเตเดคเดฟเตฝ, เดกเดฟเดธเตเดเดฟเตฝ 300-เดฒเดงเดฟเดเด เดชเตเดฒเตเดฏเตโเดธเตโเดฎเตเดจเตเดฑเต เดเตเดฐเตเดชเตเดชเตเดเตพ เดเดฃเตเดเดพเดเดพเดคเดฟเดฐเดฟเดเตเดเตเดจเตเดจเดคเดพเดฃเต เดเดเดฟเดคเด, เดเตเดฑเดฟเดฏ เดชเตเดฒเตเดฏเตโเดธเตโเดฎเตเดจเตเดฑเต เดเตเดฐเตเดชเตเดชเตเดเดณเตเดฎเดพเดฏเดฟ เดธเดจเตเดคเตเดฒเดฟเดคเดฎเดพเดเตเดเตเดจเตเดจเดคเต เดเดณเตเดชเตเดชเดฎเดพเดฏเดฟเดฐเดฟเดเตเดเตเด - เด เดคเดพเดฏเดคเต, เดจเดฟเดเตเดเดณเตเดเต เดฎเตเดดเตเดตเตป เดชเตเดณเตเด 10 Tb เดเดเตเดเตเดเตเดเดฏเตเด เด เดคเดฟเตฝ 10 PG เดเดฃเตเดเตเดเตเดเดฟเตฝ - เดคเตเดเตผเดจเตเดจเต - เดเตเดฑเดพเดฌเตเดฑเตเดฑเต เดเดทเตเดเดฟเดเดเตพ (pg) เดเดฑเดฟเดเตเดเต เดฌเดพเดฒเตปเดธเต เดเตเดฏเตเดฏเตเดจเตเดจเดคเต เดชเตเดฐเดถเตเดจเดฎเดพเดเตเด - เดเตเดฑเดฟเดฏ เดตเดฒเดฟเดชเตเดชเดคเตเดคเดฟเดฒเตเดณเตเดณ เดฎเดฃเตฝ เดคเดฐเดฟเดเตพ เดเดชเดฏเตเดเดฟเดเตเดเต เดฎเดฃเตฝ เดฌเดเตเดเดฑเตเดฑเตเดเดณเดฟเดฒเตเดเตเดเต เดเดณเตเดชเตเดชเดคเตเดคเดฟเดฒเตเด เดคเตเดฒเตเดฏเดฎเดพเดฏเตเด เดเดดเดฟเดเตเดเตเด).
เดเดจเตเดจเดพเตฝ เดชเดฟเดเดฟเดเดณเตเดเต เดเดฃเตเดฃเด เดเตเดเตเดจเตเดคเตเดฑเตเด เด เดตเดฏเตเดเต เดธเตเดฅเดพเดจเด เดเดฃเดเตเดเดพเดเตเดเดพเตป เดเตเดเตเดคเตฝ เดตเดฟเดญเดตเดเตเดเตพ เดเดฟเดฒเดตเดดเดฟเดเตเดเตเดจเตเดจเตเดตเตเดจเตเดจเต เดจเดพเด เดเตผเดเตเดเดฃเด - เดฎเตเดฎเตเดฎเดฑเดฟเดฏเตเด เดธเดฟเดชเดฟเดฏเตเดตเตเด เดเดชเดฏเตเดเดฟเดเตเดเดพเตป เดคเตเดเดเตเดเตเดจเตเดจเต.
เดเดฐเต เดเดเดฆเตเดถ เดงเดพเดฐเดฃ เดเดฃเตเดเดพเดเดพเด
เดฎเตเดฑเตเดฑเตเดฐเดฟเดฏเดฒเตเดเดณเตเดเต เดชเดเตเดเดฟเด:
เด เดตเดฒเดเดฌเด: www.habr.com