CEPH เชจเซ เชชเชธเชเชฆเชเซ. เชญเชพเช 1
เช เชฎเชพเชฐเซ เชชเชพเชธเซ เชชเชพเชเช เชฐเซเชเซเชธ, เชฆเชธ เชเชชเซเชเชฟเชเชฒ เชธเซเชตเซเชเซ, เชเซเช เชตเซเชฒ BGP, เชฌเซ เชกเชเชจ SSDs เช เชจเซ เชคเชฎเชพเชฎ เชฐเชเชเซ เช เชจเซ เชเชฆเชจเซ SAS เชกเซเชฐเชพเชเชตเซเชจเซ เชธเชฎเซเชน เชคเซเชฎเช เชชเซเชฐเซเชเซเชธเชฎเซเชเซเชธ เช เชจเซ เชคเชฎเชพเชฎ เชธเซเชเซเชเชฟเชเชจเซ เช เชฎเชพเชฐเชพ เชชเซเชคเชพเชจเชพ S3 เชธเซเชเซเชฐเซเชเชฎเชพเช เชฎเซเชเชตเชพเชจเซ เชเชเซเชเชพ เชนเชคเซ. เชเชตเซเช เชจเชฅเซ เชเซ เชตเชฐเซเชเซเชฏเซเช เชฒเชพเชเชเซเชถเชจ เชฎเชพเชเซ เช เชฌเชงเซเช เชเชฐเซเชฐเซ เชนเชคเซเช, เชชเชฐเชเชคเซ เชเชเชตเชพเชฐ เชคเชฎเซ เชเชชเชจเชธเซเชฐเซเชธเชจเซ เชเชชเชฏเซเช เชเชฐเชตเชพเชจเซเช เชถเชฐเซ เชเชฐเซ เชฆเซ, เชชเชเซ เชคเชฎเชพเชฐเชพ เชถเซเชเชจเซ เช เชเชค เชธเซเชงเซ เชฒเช เชเชพเช. เชฎเชพเชคเซเชฐ เชเช เช เชตเชธเซเชคเซ เชเซ เชฎเชจเซ เชชเชฐเซเชถเชพเชจ เชเชฐเชคเซ เชนเชคเซ เชคเซ เชนเชคเซ BGP. BGP เชเชเชคเชฐเชฟเช เชฐเซเชเซเชเช เชเชฐเชคเชพเช เชตเชงเซ เชฒเชพเชเชพเชฐ, เชฌเซเชเชตเชพเชฌเชฆเชพเชฐ เช เชจเซ เช เชจเซเชคเชฟเช เชฆเซเชจเชฟเชฏเชพเชฎเชพเช เชเชเช เชจเชฅเซ. เช เชจเซ เชนเซเช เชเชพเชฃเชคเซ เชนเชคเซ เชเซ เชฌเชนเซ เชเชฒเซเชฆเซ เชเชชเชฃเซ เชคเซเชฎเชพเช เชกเซเชฌเซ เชเชเชถเซเช.
เชเชพเชฐเซเชฏ เชฎเชพเชฎเซเชฒเซ เชนเชคเซเช - เชคเซเชฏเชพเช CEPH เชนเชคเซเช, เชคเซ เชเซเชฌ เชธเชพเชฐเซ เชฐเซเชคเซ เชเชพเชฎ เชเชฐเชคเซเช เชจ เชนเชคเซเช. เชคเซ เชธเชพเชฐเซ เชฐเซเชคเซ เชเชฐเชตเชพเชจเซเช เชนเชคเซเช.
เชฎเชจเซ เชเซ เชเซเชฒเชธเซเชเชฐ เชฎเชณเซเชฏเซเช เชคเซ เชตเชฟเชเชพเชคเซเชฏ เชนเชคเซเช, เชเชคเชพเชตเชณเชฎเชพเช เชเซเชฏเซเชจ เชเชฐเชตเชพเชฎเชพเช เชเชตเซเชฏเซเช เชนเชคเซเช เช
เชจเซ เชตเซเชฏเชตเชนเชพเชฐเซเช เชฐเซเชคเซ เชเซเชฏเซเชจ เชเชฐเซเชฏเซเช เชจ เชนเชคเซเช. เชคเซเชฎเชพเช เชตเชฟเชตเชฟเชง เชเชพเชเช เซเชจเชพ เชฌเซ เชเซเชฅเซเชจเซ เชธเชฎเชพเชตเซเชถ เชฅเชพเชฏ เชเซ, เชเซเชฎเชพเช เชเช เชธเชพเชฎเชพเชจเซเชฏ เชเซเชฐเซเชก เชเซเชฒเชธเซเชเชฐ เช
เชจเซ เชเชพเชนเซเชฐ เชจเซเชเชตเชฐเซเช เชฌเชเชจเซ เชคเชฐเซเชเซ เชเชพเชฎ เชเชฐเซ เชเซ. เชเชพเชเช เซ เชเชพเชฐ เชชเซเชฐเชเชพเชฐเชจเซ เชกเชฟเชธเซเชเชฅเซ เชญเชฐเซเชฒเซ เชนเชคเซ - เชฌเซ เชชเซเชฐเชเชพเชฐเชจเชพ SSDs, เชเซ เชฌเซ เช
เชฒเช-เช
เชฒเช เชชเซเชฒเซเชธเชฎเซเชจเซเช เชจเชฟเชฏเชฎเซเชฎเชพเช เชเชเชคเซเชฐเชฟเชค เชเชฐเชตเชพเชฎเชพเช เชเชตเซเชฏเชพ เชนเชคเชพ, เช
เชจเซ เชคเซเชฐเซเชเชพ เชเซเชฅเชฎเชพเช เชเชเชคเซเชฐเชฟเชค เชเชฐเชพเชฏเซเชฒ เชตเชฟเชตเชฟเชง เชเชฆเชจเชพ เชฌเซ เชชเซเชฐเชเชพเชฐเชจเชพ HDD. เชตเชฟเชตเชฟเชง เชฎเชพเชชเซเชจเซ เชธเชฎเชธเซเชฏเชพ เชตเชฟเชตเชฟเชง OSD เชตเชเชจ เชฆเซเชตเชพเชฐเชพ เชนเชฒ เชเชฐเชตเชพเชฎเชพเช เชเชตเซ เชนเชคเซ.
เชธเซเชเช เชช เชชเซเชคเซ เชฌเซ เชญเชพเชเซเชฎเชพเช เชตเชนเซเชเชเชพเชฏเซเชฒเซเช เชเซ - เชเชชเชฐเซเชเชฟเชเช เชธเชฟเชธเซเชเชฎ เชเซเชฏเซเชจเชฟเชเช ะธ CEPH เชชเซเชคเซ เชเซเชฏเซเชจเชฟเชเช เช เชจเซ เชคเซเชจเซ เชธเซเชเชฟเชเชเซเชธ.
เชเชเชธ เช เชชเชเซเชฐเซเชก
เชจเซเชเชตเชฐเซเช
เชเชเซเช เชฒเซเชเชจเซเชธเซเช เชฐเซเชเซเชฐเซเชกเชฟเชเช เช เชจเซ เชฌเซเชฒเซเชจเซเชธเชฟเชเช เชฌเชเชจเซเชจเซ เช เชธเชฐ เชเชฐเซ. เชฒเชเชคเซ เชตเชเชคเซ, เชเชพเชฐเชฃ เชเซ เชเซเชฏเชพเช เชธเซเชงเซ เช เชจเซเชฏ เชชเซเชฒเซเชธเชฎเซเชจเซเช เชเซเชฅเซเชฎเชพเช เชกเซเชเชพ เชชเซเชฐเชคเชฟเชเซเชคเชฟเช เชธเชซเชณเชคเชพเชจเซ เชชเซเชทเซเชเชฟ เชจ เชเชฐเซ เชคเซเชฏเชพเช เชธเซเชงเซ เชเซเชฒเชพเชฏเชจเซเช เชธเชซเชณ เชฒเซเชเชจ เชตเชฟเชถเซ เชชเซเชฐเชคเชฟเชธเชพเชฆ เชชเซเชฐเชพเชชเซเชค เชเชฐเชถเซ เชจเชนเซเช. CRUSH เชจเชเชถเชพเชฎเชพเช เชชเซเชฐเชคเชฟเชเซเชคเชฟเชเชจเซเช เชตเชฟเชคเชฐเชฃ เชเชฐเชตเชพเชจเชพ เชจเชฟเชฏเชฎเซ เชนเซเชธเซเช เชฆเซเช เชเช เชชเซเชฐเชคเชฟเชเซเชคเชฟ เชนเซเชตเชพเชฅเซ, เชจเซเชเชตเชฐเซเช เชนเชเชฎเซเชถเชพ เชเชชเชฏเซเชเชฎเชพเช เชฒเซเชตเชพเชคเซเช เชนเชคเซเช.
เชคเซเชฅเซ, เชชเซเชฐเชฅเชฎ เชตเชธเซเชคเซ เชเซ เชฎเซเช เชเชฐเชตเชพเชจเซเช เชจเชเซเชเซ เชเชฐเซเชฏเซเช เชคเซ เชตเชฐเซเชคเชฎเชพเชจ เชจเซเชเชตเชฐเซเชเชจเซ เชธเชนเซเช เชธเชฎเชพเชฏเซเชเชฟเชค เชเชฐเชตเชพเชจเซเช เชนเชคเซเช, เชธเชฎเชพเชเชคเชฐ เชฐเซเชคเซ เชฎเชจเซ เช เชฒเช เชจเซเชเชตเชฐเซเชเซเชธ เชชเชฐ เชเชตเชพ เชฎเชพเชเซ เชธเชฎเชเชพเชตเชตเชพเชจเซ เชชเซเชฐเชฏเชพเชธ เชเชฐเซเชฏเซ.
เชถเชฐเซ เชเชฐเชตเชพ เชฎเชพเชเซ, เชฎเซเช เชจเซเชเชตเชฐเซเช เชเชพเชฐเซเชก เชธเซเชเชฟเชเชเซเชธเชจเซ เชเซเชตเชฟเชธเซเช เชเชฐเซ. เชเชคเชพเชฐ เชธเซเช เชเชฐเซเชจเซ เชถเชฐเซ เชเชฐเซเชฏเซเช:
เชถเซเช เชฅเชฏเซเช:
ethtool -l ens1f1
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
root@ceph01:~# ethtool -g ens1f1
Ring parameters for ens1f1:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 256
RX Mini: 0
RX Jumbo: 0
TX: 256
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
เชคเซ เชเซเช เชถเชเชพเชฏ เชเซ เชเซ เชตเชฐเซเชคเชฎเชพเชจ เชชเชฐเชฟเชฎเชพเชฃเซ เชฎเชนเชคเซเชคเชฎเชฅเซ เชฆเซเชฐ เชเซ. เชตเชงเชพเชฐเซ:
root@ceph01:~#ethtool -G ens1f0 rx 4096
root@ceph01:~#ethtool -G ens1f0 tx 4096
root@ceph01:~#ethtool -L ens1f0 combined 63
เชเช เชเชคเซเชคเชฎ เชฒเซเช เชฆเซเชตเชพเชฐเชพ เชฎเชพเชฐเซเชเชฆเชฐเซเชถเชจ
เชฎเซเชเชฒเชตเชพเชจเซ เชเชคเชพเชฐเชจเซ เชฒเชเชฌเชพเช เชตเชงเชพเชฐเซ txqueuelen 1000 เชฅเซ 10 000 เชธเซเชงเซ
root@ceph01:~#ip link set ens1f0 txqueuelen 10000
เชตเซเชฒ, ceph เชจเชพ เชฆเชธเซเชคเชพเชตเซเชเซเชเชฐเชฃเชจเซ เช เชจเซเชธเชฐเซเชจเซ
เชตเชงเชพเชฐเซ เชเชฎเชเซเชฏเซ 9000 เชฅเซ.
root@ceph01:~#ip link set dev ens1f0 mtu 9000
/etc/network/interfaces เชฎเชพเช เชเชฎเซเชฐเชพเชฏเซเชฒ เชเซ เชเซเชฅเซ เชเชชเชฐเซเชเซเชค เชคเชฎเชพเชฎ เชธเซเชเชพเชฐเซเชเช เชช เชชเชฐ เชฒเซเชก เชฅเชพเชฏ
เชฌเชฟเชฒเชพเชกเซ / เชตเชเซเชฐเซ / เชจเซเชเชตเชฐเซเช / เชเชจเซเชเชฐเชซเซเชธเซ
root@ceph01:~# cat /etc/network/interfaces
auto lo
iface lo inet loopback
auto ens1f0
iface ens1f0 inet manual
post-up /sbin/ethtool -G ens1f0 rx 4096
post-up /sbin/ethtool -G ens1f0 tx 4096
post-up /sbin/ethtool -L ens1f0 combined 63
post-up /sbin/ip link set ens1f0 txqueuelen 10000
mtu 9000
auto ens1f1
iface ens1f1 inet manual
post-up /sbin/ethtool -G ens1f1 rx 4096
post-up /sbin/ethtool -G ens1f1 tx 4096
post-up /sbin/ethtool -L ens1f1 combined 63
post-up /sbin/ip link set ens1f1 txqueuelen 10000
mtu 9000
เชคเซ เชชเชเซ, เชคเซ เช เชฒเซเชเชจเซ เช เชจเซเชธเชฐเซเชจเซ, เชฎเซเช 4.15 เชเชฐเซเชจเชฒเชจเชพ เชนเซเชจเซเชกเชฒเซเชธเชจเซ เชตเชฟเชเชพเชฐเชชเซเชฐเซเชตเช เชเซเชตเชฟเชธเซเช เชเชฐเชตเชพเชจเซเช เชถเชฐเซ เชเชฐเซเชฏเซเช. เชเชชเซเชฒ เชเซ เชเซ เชจเซเชกเซเชธเชฎเชพเช 128G RAM เชเซ, เช เชฎเชจเซ เชคเซเชจเชพ เชฎเชพเชเซ เชเซเชเซเชเชธ เชฐเซเชชเชฐเซเชเชพเชเชเชจ เชซเชพเชเชฒ เชฎเชณเซ เชเซ sysctl
cat /etc/sysctl.d/50-ceph.conf
net.core.rmem_max = 56623104
#ะะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ ะฟัะธะตะผะฐ ะดะฐะฝะฝัั
ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
net.core.wmem_max = 56623104
#ะะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ ะฟะตัะตะดะฐัะธ ะดะฐะฝะฝัั
ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
net.core.rmem_default = 56623104
#ะ ะฐะทะผะตั ะฑััะตัะฐ ะฟัะธะตะผะฐ ะดะฐะฝะฝัั
ะฟะพ ัะผะพะปัะฐะฝะธั ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน. 54M
net.core.wmem_default = 56623104
#ะ ะฐะทะผะตั ะฑััะตัะฐ ะฟะตัะตะดะฐัะธ ะดะฐะฝะฝัั
ะฟะพ ัะผะพะปัะฐะฝะธั ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
# ะฝะฐ ะบะฐะถะดัะน ัะพะบะตั
net.ipv4.tcp_rmem = 4096 87380 56623104
#ะะตะบัะพัะฝะฐั (ะผะธะฝะธะผัะผ, ะฟะพ ัะผะพะปัะฐะฝะธั, ะผะฐะบัะธะผัะผ) ะฟะตัะตะผะตะฝะฝะฐั ะฒ ัะฐะนะปะต tcp_rmem
# ัะพะดะตัะถะธั 3 ัะตะปัั
ัะธัะปะฐ, ะพะฟัะตะดะตะปัััะธั
ัะฐะทะผะตั ะฟัะธะตะผะฝะพะณะพ ะฑััะตัะฐ ัะพะบะตัะพะฒ TCP.
# ะะธะฝะธะผัะผ: ะบะฐะถะดัะน ัะพะบะตั TCP ะธะผะตะตั ะฟัะฐะฒะพ ะธัะฟะพะปัะทะพะฒะฐัั ััั ะฟะฐะผััั ะฟะพ
# ัะฐะบัั ัะฒะพะตะณะพ ัะพะทะดะฐะฝะธั. ะะพะทะผะพะถะฝะพััั ะธัะฟะพะปัะทะพะฒะฐะฝะธั ัะฐะบะพะณะพ ะฑััะตัะฐ
# ะณะฐัะฐะฝัะธััะตััั ะดะฐะถะต ะฟัะธ ะดะพััะธะถะตะฝะธะธ ะฟะพัะพะณะฐ ะพะณัะฐะฝะธัะตะฝะธั (moderate memory pressure).
# ะ ะฐะทะผะตั ะผะธะฝะธะผะฐะปัะฝะพะณะพ ะฑััะตัะฐ ะฟะพ ัะผะพะปัะฐะฝะธั ัะพััะฐะฒะปัะตั 8 ะะฑะฐะนั (8192).
#ะะฝะฐัะตะฝะธะต ะฟะพ ัะผะพะปัะฐะฝะธั: ะบะพะปะธัะตััะฒะพ ะฟะฐะผััะธ, ะดะพะฟัััะธะผะพะต ะดะปั ะฑััะตัะฐ
# ะฟะตัะตะดะฐัะธ ัะพะบะตัะฐ TCP ะฟะพ ัะผะพะปัะฐะฝะธั. ะญัะพ ะทะฝะฐัะตะฝะธะต ะฟัะธะผะตะฝัะตััั ะฒะทะฐะผะตะฝ
# ะฟะฐัะฐะผะตััะฐ /proc/sys/net/core/rmem_default, ะธัะฟะพะปัะทัะตะผะพะณะพ ะดััะณะธะผะธ ะฟัะพัะพะบะพะปะฐะผะธ.
# ะะฝะฐัะตะฝะธะต ะธัะฟะพะปัะทัะตะผะพะณะพ ะฟะพ ัะผะพะปัะฐะฝะธั ะฑััะตัะฐ ะพะฑััะฝะพ (ะฟะพ ัะผะพะปัะฐะฝะธั)
# ัะพััะฐะฒะปัะตั 87830 ะฑะฐะนั. ะญัะพ ะพะฟัะตะดะตะปัะตั ัะฐะทะผะตั ะพะบะฝะฐ 65535 ั
# ะทะฐะดะฐะฝะฝัะผ ะฟะพ ัะผะพะปัะฐะฝะธั ะทะฝะฐัะตะฝะธะตะผ tcp_adv_win_scale ะธ tcp_app_win = 0,
# ะฝะตัะบะพะปัะบะพ ะผะตะฝััะธะน, ะฝะตะถะตะปะธ ะพะฟัะตะดะตะปัะตั ะฟัะธะฝััะพะต ะฟะพ ัะผะพะปัะฐะฝะธั ะทะฝะฐัะตะฝะธะต tcp_app_win.
# ะะฐะบัะธะผัะผ: ะผะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ, ะบะพัะพััะน ะผะพะถะตั ะฑััั ะฐะฒัะพะผะฐัะธัะตัะบะธ
# ะฒัะดะตะปะตะฝ ะดะปั ะฟัะธะตะผะฐ ัะพะบะตัั TCP. ะญัะพ ะทะฝะฐัะตะฝะธะต ะฝะต ะพัะผะตะฝัะตั ะผะฐะบัะธะผัะผะฐ,
# ะทะฐะดะฐะฝะฝะพะณะพ ะฒ ัะฐะนะปะต /proc/sys/net/core/rmem_max. ะัะธ ยซััะฐัะธัะตัะบะพะผยป
# ะฒัะดะตะปะตะฝะธะธ ะฟะฐะผััะธ ั ะฟะพะผะพััั SO_RCVBUF ััะพั ะฟะฐัะฐะผะตัั ะฝะต ะธะผะตะตั ะทะฝะฐัะตะฝะธั.
net.ipv4.tcp_wmem = 4096 65536 56623104
net.core.somaxconn = 5000
# ะะฐะบัะธะผะฐะปัะฝะพะต ัะธัะปะพ ะพัะบััััั
ัะพะบะตัะพะฒ, ะถะดััะธั
ัะพะตะดะธะฝะตะฝะธั.
net.ipv4.tcp_timestamps=1
# ะ ะฐะทัะตัะฐะตั ะธัะฟะพะปัะทะพะฒะฐะฝะธะต ะฒัะตะผะตะฝะฝัั
ะผะตัะพะบ (timestamps), ะฒ ัะพะพัะฒะตัััะฒะธะธ ั RFC 1323.
net.ipv4.tcp_sack=1
# ะ ะฐะทัะตัะธัั ะฒัะฑะพัะพัะฝัะต ะฟะพะดัะฒะตัะถะดะตะฝะธั ะฟัะพัะพะบะพะปะฐ TCP
net.core.netdev_max_backlog=5000 (ะดะตัะพะปั 1000)
# ะผะฐะบัะธะผะฐะปัะฝะพะต ะบะพะปะธัะตััะฒะพ ะฟะฐะบะตัะพะฒ ะฒ ะพัะตัะตะดะธ ะฝะฐ ะพะฑัะฐะฑะพัะบั, ะตัะปะธ
# ะธะฝัะตััะตะนั ะฟะพะปััะฐะตั ะฟะฐะบะตัั ะฑััััะตะต, ัะตะผ ัะดัะพ ะผะพะถะตั ะธั
ะพะฑัะฐะฑะพัะฐัั.
net.ipv4.tcp_max_tw_buckets=262144
# ะะฐะบัะธะผะฐะปัะฝะพะต ัะธัะปะพ ัะพะบะตัะพะฒ, ะฝะฐั
ะพะดััะธั
ัั ะฒ ัะพััะพัะฝะธะธ TIME-WAIT ะพะดะฝะพะฒัะตะผะตะฝะฝะพ.
# ะัะธ ะฟัะตะฒััะตะฝะธะธ ััะพะณะพ ะฟะพัะพะณะฐ โ ยซะปะธัะฝะธะนยป ัะพะบะตั ัะฐะทัััะฐะตััั ะธ ะฟะธัะตััั
# ัะพะพะฑัะตะฝะธะต ะฒ ัะธััะตะผะฝัะน ะถััะฝะฐะป.
net.ipv4.tcp_tw_reuse=1
#ะ ะฐะทัะตัะฐะตะผ ะฟะพะฒัะพัะฝะพะต ะธัะฟะพะปัะทะพะฒะฐะฝะธะต TIME-WAIT ัะพะบะตัะพะฒ ะฒ ัะปััะฐัั
,
# ะตัะปะธ ะฟัะพัะพะบะพะป ััะธัะฐะตั ััะพ ะฑะตะทะพะฟะฐัะฝัะผ.
net.core.optmem_max=4194304
#ะฃะฒะตะปะธัะธัั ะผะฐะบัะธะผะฐะปัะฝัะน ะพะฑัะธะน ะฑััะตั-ะบะพัะผะธัะตัะบะพะน ALLOCATABLE
#ะธะทะผะตััะตััั ะฒ ะตะดะธะฝะธัะฐั
ัััะฐะฝะธั (4096 ะฑะฐะนั)
net.ipv4.tcp_low_latency=1
#ะ ะฐะทัะตัะฐะตั ััะตะบั TCP/IP ะพัะดะฐะฒะฐัั ะฟัะตะดะฟะพััะตะฝะธะต ะฝะธะทะบะพะผั ะฒัะตะผะตะฝะธ ะพะถะธะดะฐะฝะธั
# ะฟะตัะตะด ะฑะพะปะตะต ะฒััะพะบะพะน ะฟัะพะฟััะบะฝะพะน ัะฟะพัะพะฑะฝะพัััั.
net.ipv4.tcp_adv_win_scale=1
# ะญัะฐ ะฟะตัะตะผะตะฝะฝะฐั ะฒะปะธัะตั ะฝะฐ ะฒััะธัะปะตะฝะธะต ะพะฑัะตะผะฐ ะฟะฐะผััะธ ะฒ ะฑััะตัะต ัะพะบะตัะฐ,
# ะฒัะดะตะปัะตะผะพะน ะฟะพะด ัะฐะทะผะตั TCP-ะพะบะฝะฐ ะธ ะฟะพะด ะฑััะตั ะฟัะธะปะพะถะตะฝะธั.
# ะัะปะธ ะฒะตะปะธัะธะฝะฐ tcp_adv_win_scale ะพััะธัะฐัะตะปัะฝะฐั, ัะพ ะดะปั ะฒััะธัะปะตะฝะธั ัะฐะทะผะตัะฐ
# ะธัะฟะพะปัะทัะตััั ัะปะตะดัััะตะต ะฒััะฐะถะตะฝะธะต:
# Bytes- bytes2ะฒ ััะตะฟะตะฝะธ -tcp_adv_win_scale
# ะะดะต bytes โ ััะพ ัะฐะทะผะตั ะพะบะฝะฐ ะฒ ะฑะฐะนัะฐั
. ะัะปะธ ะฒะตะปะธัะธะฝะฐ tcp_adv_win_scale
# ะฟะพะปะพะถะธัะตะปัะฝะฐั, ัะพ ะดะปั ะพะฟัะตะดะตะปะตะฝะธั ัะฐะทะผะตัะฐ ะธัะฟะพะปัะทัะตััั ัะปะตะดัััะตะต ะฒััะฐะถะตะฝะธะต:
# Bytes- bytes2ะฒ ััะตะฟะตะฝะธ tcp_adv_win_scale
# ะะตัะตะผะตะฝะฝะฐั ะฟัะธะฝะธะผะฐะตั ัะตะปะพะต ะทะฝะฐัะตะฝะธะต. ะะฝะฐัะตะฝะธะต ะฟะพ-ัะผะพะปัะฐะฝะธั โ 2,
# ั.ะต. ะฟะพะด ะฑััะตั ะฟัะธะปะพะถะตะฝะธั ะพัะฒะพะดะธััั ยผ ัะฐััั ะพะฑัะตะผะฐ, ะพะฟัะตะดะตะปัะตะผะพะณะพ ะฟะตัะตะผะตะฝะฝะพะน
# tcp_rmem.
net.ipv4.tcp_slow_start_after_idle=0
# ะผะตั
ะฐะฝะธะทะผ ะฟะตัะตะทะฐะฟััะบะฐ ะผะตะดะปะตะฝะฝะพะณะพ ััะฐััะฐ, ะบะพัะพััะน ัะฑัะฐััะฒะฐะตั ะทะฝะฐัะตะฝะธะต ะพะบะฝะฐ
# ะฟะตัะตะณััะทะบะธ, ะตัะปะธ ัะพะตะดะธะฝะตะฝะธะต ะฝะต ะธัะฟะพะปัะทะพะฒะฐะปะพัั ะทะฐะดะฐะฝะฝัะน ะฟะตัะธะพะด ะฒัะตะผะตะฝะธ.
# ะัััะต ะพัะบะปััะธัั SSR ะฝะฐ ัะตัะฒะตัะต, ััะพะฑั ัะปัััะธัั ะฟัะพะธะทะฒะพะดะธัะตะปัะฝะพััั
# ะดะพะปะณะพะถะธะฒััะธั
ัะพะตะดะธะฝะตะฝะธะน.
net.ipv4.tcp_no_metrics_save=1
#ะะต ัะพั
ัะฐะฝััั ัะตะทัะปััะฐัั ะธะทะผะตัะตะฝะธะน TCP ัะพะตะดะธะฝะตะฝะธั ะฒ ะบะตัะต ะฟัะธ ะตะณะพ ะทะฐะบัััะธะธ.
net.ipv4.tcp_syncookies=0
#ะัะบะปััะธัั ะผะตั
ะฐะฝะธะทะผ ะพัะฟัะฐะฒะบะธ syncookie
net.ipv4.tcp_ecn=0
#Explicit Congestion Notification (ะฏะฒะฝะพะต ะฃะฒะตะดะพะผะปะตะฝะธะต ะพ ะะตัะตะณััะถะตะฝะฝะพััะธ) ะฒ
# TCP-ัะพะตะดะธะฝะตะฝะธัั
. ะัะฟะพะปัะทัะตััั ะดะปั ัะฒะตะดะพะผะปะตะฝะธั ะพ ะฒะพะทะฝะธะบะฝะพะฒะตะฝะธะธ ยซะทะฐัะพัะฐยป
# ะฝะฐ ะผะฐัััััะต ะบ ะทะฐะดะฐะฝะฝะพะผั ั
ะพััั ะธะปะธ ัะตัะธ. ะะพะถะตั ะธัะฟะพะปัะทะพะฒะฐัััั ะดะปั ะธะทะฒะตัะตะฝะธั
# ั
ะพััะฐ-ะพัะฟัะฐะฒะธัะตะปั ะพ ะฝะตะพะฑั
ะพะดะธะผะพััะธ ัะฝะธะทะธัั ัะบะพัะพััั ะฟะตัะตะดะฐัะธ ะฟะฐะบะตัะพะฒ ัะตัะตะท
# ะบะพะฝะบัะตัะฝัะน ะผะฐัััััะธะทะฐัะพั ะธะปะธ ะฑัะฐะฝะดะผะฐััั.
net.ipv4.conf.all.send_redirects=0
# ะฒัะบะปััะฐะตั ะฒัะดะฐัั ICMP Redirect โฆ ะดััะณะธะผ ั
ะพััะฐะผ. ะญัะฐ ะพะฟัะธั ะพะฑัะทะฐัะตะปัะฝะพ
# ะดะพะปะถะฝะฐ ะฑััั ะฒะบะปััะตะฝะฐ, ะตัะปะธ ั
ะพัั ะฒััััะฟะฐะตั ะฒ ัะพะปะธ ะผะฐัััััะธะทะฐัะพัะฐ ะปัะฑะพะณะพ ัะพะดะฐ.
# ะฃ ะฝะฐั ะฝะตั ะผะฐัััััะธะทะฐัะธะธ.
net.ipv4.ip_forward=0
#ะกะพะฟัะฝะพ ะพัะบะปััะตะฝะธะต ัะพัะฒะฐัะดะธะฝะณะฐ. ะั ะฝะต ัะปัะท, ะดะพะบะตั ะฝะฐ ะผะฐัะธะฝะฐั
ะฝะต ะฟะพะดะฝัั,
# ะฝะฐะผ ััะพ ะฝะต ะฝัะถะฝะพ.
net.ipv4.icmp_echo_ignore_broadcasts=1
#ะะต ะพัะฒะตัะฐะตะผ ะฝะฐ ICMP ECHO ะทะฐะฟัะพัั, ะฟะตัะตะดะฐะฝะฝัะต ัะธัะพะบะพะฒะตัะฐัะตะปัะฝัะผะธ ะฟะฐะบะตัะฐะผะธ
net.ipv4.tcp_fin_timeout=10
#ะพะฟัะตะดะตะปัะตั ะฒัะตะผั ัะพั
ัะฐะฝะตะฝะธั ัะพะบะตัะฐ ะฒ ัะพััะพัะฝะธะธ FIN-WAIT-2 ะฟะพัะปะต ะตะณะพ
# ะทะฐะบัััะธั ะปะพะบะฐะปัะฝะพะน ััะพัะพะฝะพะน. ะะตัะพะปั 60
net.core.netdev_budget=600 # (ะดะตัะพะปั 300)
# ะัะปะธ ะฒัะฟะพะปะฝะตะฝะธะต ะฟัะพะณัะฐะผะผะฝัั
ะฟัะตััะฒะฐะฝะธะน ะฝะต ะฒัะฟะพะปะฝััััั ะดะพััะฐัะพัะฝะพ ะดะพะปะณะพ,
# ัะพ ัะตะผะฟ ัะพััะฐ ะฒั
ะพะดััะธั
ะดะฐะฝะฝัั
ะผะพะถะตั ะฟัะตะฒััะธัั ะฒะพะทะผะพะถะฝะพััั ัะดัะฐ
# ะพะฟัััะพัะธัั ะฑััะตั. ะ ัะตะทัะปััะฐัะต ะฑััะตัั NIC ะฟะตัะตะฟะพะปะฝัััั, ะธ ััะฐัะธะบ ะฑัะดะตั ะฟะพัะตััะฝ.
# ะะฝะพะณะดะฐ, ะฝะตะพะฑั
ะพะดะธะผะพ ัะฒะตะปะธัะธัั ะดะปะธัะตะปัะฝะพััั ัะฐะฑะพัั SoftIRQs
# (ะฟัะพะณัะฐะผะผะฝัั
ะฟัะตััะฒะฐะฝะธะน) ั CPU. ะะฐ ััะพ ะพัะฒะตัะฐะตั netdev_budget.
# ะะฝะฐัะตะฝะธะต ะฟะพ ัะผะพะปัะฐะฝะธั 300. ะะฐัะฐะผะตัั ะทะฐััะฐะฒะธั ะฟัะพัะตัั SoftIRQ ะพะฑัะฐะฑะพัะฐัั
# 300 ะฟะฐะบะตัะพะฒ ะพั NIC ะฟะตัะตะด ัะตะผ ะบะฐะบ ะพัะฟัััะธัั CPU
net.ipv4.tcp_fastopen=3
# TFO TCP Fast Open
# ะตัะปะธ ะธ ะบะปะธะตะฝั ะธ ัะตัะฒะตั ะธะผะตัั ะฟะพะดะดะตัะถะบั TFO, ะพ ะบะพัะพัะพะน ัะพะพะฑัะฐัั ะทะฐ ััะตั
# ัะฟะตัะธะฐะปัะฝะพะณะพ ัะปะฐะณะฐ ะฒ TCP ะฟะฐะบะตัะต. ะ ะฝะฐัะตะผ ัะปััะฐะต ัะฒะปัะตััั ะฟะปะฐัะตะฑะพ, ะฟัะพััะพ
# ะฒัะณะปัะดะธั ะบัะฐัะธะฒะพ)
ะกเชเชฎเช เชจเซเชเชตเชฐเซเช เช เชฒเช เชซเซเชฒเซเช เชจเซเชเชตเชฐเซเชเชฎเชพเช เช เชฒเช 10Gbps เชจเซเชเชตเชฐเซเช เชเชจเซเชเชฐเชซเซเชธ เชชเชฐ เชซเชพเชณเชตเชตเชพเชฎเชพเช เชเชตเซเชฏเซเช เชนเชคเซเช. เชฆเชฐเซเช เชฎเชถเซเชจเชจเซ เชฌเซ-เชชเซเชฐเซเช เชจเซเชเชตเชฐเซเช เชเชพเชฐเซเชกเซเชธ เชชเซเชฐเชพ เชชเชพเชกเชตเชพเชฎเชพเช เชเชตเซเชฏเชพ เชนเชคเชพ เชฎเซเชฒเชพเชจเซเชเซเชธ 10/25 Gbps เชฌเซ เช เชฒเช 10Gbps เชธเซเชตเซเชเซเชฎเชพเช เชชเซเชฒเช เชฅเชฏเซเชฒ เชเซ. OSPF เชจเซ เชเชชเชฏเซเช เชเชฐเซเชจเซ เชเชเชคเซเชฐเซเชเชฐเชฃ เชนเชพเชฅ เชงเชฐเชตเชพเชฎเชพเช เชเชตเซเชฏเซเช เชนเชคเซเช, เชเชพเชฐเชฃ เชเซ เช เชฎเซเช เชเชพเชฐเชฃเซเชธเชฐ lacp เชธเชพเชฅเซ เชฌเชเชงเชจ เช เชฎเชนเชคเซเชคเชฎ 16 Gbps เชจเซ เชเซเชฒ เชฅเซเชฐเซเชชเซเช เชฆเชฐเซเชถเชพเชตเซ เชเซ, เชเซเชฏเชพเชฐเซ ospf เช เชฆเชฐเซเช เชฎเชถเซเชจ เชชเชฐ เชฌเชเชจเซ เชกเชเชจเชจเซ เชธเชเชชเซเชฐเซเชฃ เชฐเซเชคเซ เชธเชซเชณเชคเชพเชชเซเชฐเซเชตเช เชเชชเชฏเซเช เชเชฐเซเชฏเซ เชนเชคเซ. เชฒเซเชเชจเซเชธเซ เชเชเชพเชกเชตเชพ เชฎเชพเชเซ เช เชฎเซเชฒเชพเชจเซเชเซเชธ เชชเชฐ ROCE เชจเซ เชเชชเชฏเซเช เชเชฐเชตเชพเชจเซ เชตเชงเซ เชฏเซเชเชจเชพเช เชนเชคเซ. เชจเซเชเชตเชฐเซเชเชจเซ เช เชญเชพเช เชเซเชตเซ เชฐเซเชคเซ เชเซเช เชตเซเชฏเซ เชนเชคเซ:
- เชฎเชถเซเชจเซ เชชเซเชคเซ BGP เชชเชฐ เชฌเชพเชนเซเชฏ IP เชงเชฐเชพเชตเซ เชเซ, เช
เชฎเชจเซ เชธเซเชซเซเชเชตเซเชฐเชจเซ เชเชฐเซเชฐ เชเซ - (เช
เชฅเชตเชพ เชฌเชฆเชฒเซ, เชฒเซเชเชจ เชธเชฎเชฏเซ, เชคเซ เชนเชคเซเช
frr=6.0-1 ) เชชเชนเซเชฒเซเชฅเซ เช เชเชญเซ เชนเชคเซ. - เชเซเชฒ เชฎเชณเซเชจเซ, เชฎเชถเซเชจเซเชฎเชพเช เชฌเซ เชจเซเชเชตเชฐเซเช เชเชจเซเชเชฐเชซเซเชธ เชนเชคเชพ, เชฆเชฐเซเชเชฎเชพเช เชฌเซ เชเชจเซเชเชฐเชซเซเชธ - เชเซเชฒ 4 เชชเซเชฐเซเช. เชเช เชจเซเชเชตเชฐเซเช เชเชพเชฐเซเชก เชซเซเชเซเชเชฐเซเชจเซ เชฌเซ เชชเซเชฐเซเช เชธเชพเชฅเซ เชเซเชคเซเช เชนเชคเซเช เช เชจเซ เชคเซเชจเชพ เชชเชฐ BGP เชฐเซเชชเชฐเซเชเชพเชเชเชฟเชค เชนเชคเซเช, เชฌเซเชเชพเช เชฌเซ เชชเซเชฐเซเช เชธเชพเชฅเซเชจเชพ เชฌเซ เช เชฒเช-เช เชฒเช เชธเซเชตเชฟเช เชชเชฐ เชเซเชฏเซเช เช เชจเซ เชคเซเชจเชพ เชชเชฐ OSPF เชธเซเช เชเชฐเชตเชพเชฎเชพเช เชเชตเซเชฏเซเช เชนเชคเซเช.
OSPF เชธเซเชฏเซเชเชฟเชค เชเชฐเชตเชพ เชชเชฐ เชตเชงเซ: เชฎเซเชเซเชฏ เชเชพเชฐเซเชฏ เชฌเซ เชฒเชฟเชเชเซเชธเชจเซ เชเชเซเชเซเชค เชเชฐเชตเชพเชจเซเช เชเซ เช
เชจเซ เชเชพเชฎเซ เชธเชนเชจเชถเซเชฒเชคเชพ เชงเชฐเชพเชตเซ เชเซ.
เชฌเซ เชธเชฐเชณ เชซเซเชฒเซเช เชจเซเชเชตเชฐเซเชเซเชธเชฎเชพเช เชเซเช เชตเซเชฒเชพ เชฌเซ เชจเซเชเชตเชฐเซเช เชเชจเซเชเชฐเชซเซเชธ - 10.10.10.0/24 เช
เชจเซ 10.10.20.0/24
1: ens1f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.10.2/24 brd 10.10.10.255 scope global ens1f0
2: ens1f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.20.2/24 brd 10.10.20.255 scope global ens1f1
เชเซเชจเชพ เชฆเซเชตเชพเชฐเชพ เชเชพเชฐ เชเชเชฌเซเชเชพเชจเซ เชเซเช เชเซ.
เชกเชฟเชธเซเช
เชเชเชณเชจเซเช เชชเชเชฒเซเช เชกเชฟเชธเซเช เชชเซเชฐเชฆเชฐเซเชถเชจเชจเซ เชเชชเซเชเชฟเชฎเชพเชเช เชเชฐเชตเชพเชจเซเช เชนเชคเซเช. SSD เชฎเชพเชเซ, เชฎเซเช เชถเซเชกเซเชฏเซเชฒเชฐเชจเซ เชเชฎเชพเช เชฌเชฆเชฒเซเชฏเซเช เชจเซเชช, HDD เชฎเชพเชเซ - เช
เชจเซเชคเชฟเชฎ เชฐเซเชเชพ. เชเซ เชคเซ เชเชฐเชฌเชเชกเซ เชนเซเชฏ, เชคเซ NOOP เช เชธเชฟเชฆเซเชงเชพเชเชค เชชเชฐ เชเชพเชฎ เชเชฐเซ เชเซ "เชเซเชฃ เชชเชนเซเชฒเชพ เชเช เซ เชเซ - เชคเซ เชเชชเซเชชเชฒ เชเซ", เชเซ เช
เชเชเซเชฐเซเชเซเชฎเชพเช "FIFO (เชซเชฐเซเชธเซเช เชเชจ, เชซเชฐเซเชธเซเช เชเชเช)" เชเซเชตเซ เชฒเชพเชเซ เชเซ. เชเซเชฎ เชเซเชฎ เชคเซเช เชเชตเซ เชเซ เชคเซเชฎ เชตเชฟเชจเชเชคเซเช เชเชคเชพเชฐเชฎเชพเช เชนเซเชฏ เชเซ. DEADLINE เชตเชงเซ เชตเชพเชเชเชตเชพ-เชฎเซเชคเซเชฐเซเชชเซเชฐเซเชฃ เชเซ, เชเชชเชฐเชพเชเชค เชเชคเชพเชฐเชฎเชพเชเชฅเซ เชชเซเชฐเชเซเชฐเชฟเชฏเชพเชจเซ เชเชชเชฐเซเชถเชจ เชธเชฎเชฏเซ เชกเชฟเชธเซเชเชจเซ เชฒเชเชญเช เชตเชฟเชถเชฟเชทเซเช เชเชเซเชธเซเชธ เชฎเชณเซ เชเซ. เช
เชฎเชพเชฐเซ เชธเชฟเชธเซเชเชฎ เชฎเชพเชเซ, เช เชธเชฐเชธ เชเซ - เชเซเชตเชเซ, เชฆเชฐเซเช เชกเชฟเชธเซเช เชธเชพเชฅเซ เชฎเชพเชคเซเชฐ เชเช เช เชชเซเชฐเชเซเชฐเชฟเชฏเชพ เชเชพเชฎ เชเชฐเซ เชเซ - OSD เชกเชฟเชฎเชจ.
(เชเซเช I / O เชถเซเชกเซเชฏเซเชฒเชฐเชฎเชพเช เชกเชพเชเชต เชเชฐเชตเชพ เชฎเชพเชเชเซ เชเซ เชคเซเช เชคเซเชจเชพ เชตเชฟเชถเซ เช
เชนเซเช เชตเชพเชเชเซ เชถเชเซ เชเซ:
เชเซเช เชฐเชถเชฟเชฏเชจเชฎเชพเช เชตเชพเชเชเชตเชพเชจเซเช เชชเชธเชเชฆ เชเชฐเซ เชเซ:
Linux เชจเซ เชเซเชฏเซเชจ เชเชฐเชตเชพ เชฎเชพเชเซเชจเซ เชญเชฒเชพเชฎเชฃเซเชฎเชพเช, nr_request เชจเซ เชตเชงเชพเชฐเชตเชพเชจเซ เชชเชฃ เชธเชฒเชพเชน เชเชชเชตเชพเชฎเชพเช เชเชตเซ เชเซ
nr_requests
nr_requests เชจเซ เชเชฟเชเชฎเชค I/O เชตเชฟเชจเชเชคเซเชเชจเซ เชธเชเชเซเชฏเชพ เชจเชเซเชเซ เชเชฐเซ เชเซ เชเซ เชเซ I/O เชถเซเชกเซเชฏเซเชฒเชฐ เชฌเซเชฒเซเช เชเชชเชเชฐเชฃเชจเซ เชกเซเชเชพ เชฎเซเชเชฒเซ / เชฎเซเชณเชตเซ เชคเซ เชชเชนเซเชฒเชพเช เชฌเชซเชฐ เชฅเชพเชฏ เชเซ, เชเซ เชคเชฎเซ RAID เชเชพเชฐเซเชก / เชฌเซเชฒเซเช เชเชชเชเชฐเชฃเชจเซ เชเชชเชฏเซเช เชเชฐเซ เชฐเชนเซเชฏเชพเช เชเซ เชเซ I เชเชฐเชคเชพเช เชฎเซเชเซ เชเชคเชพเชฐเชจเซ เชนเซเชจเซเชกเชฒ เชเชฐเซ เชถเชเซ เชเซ. /O เชถเซเชกเซเชฏเซเชฒเชฐ เชชเชฐ เชธเซเช เชเซ, เชเซเชฏเชพเชฐเซ เชธเชฐเซเชตเชฐ เชชเชฐ เชฎเซเชเซ เชฎเชพเชคเซเชฐเชพเชฎเชพเช I/O เชเชตเซ เชเซ เชคเซเชฏเชพเชฐเซ nr_requestsเชจเซเช เชฎเซเชฒเซเชฏ เชตเชงเชพเชฐเชตเชพเชฅเซ เชธเชฐเซเชตเชฐ เชฒเซเชกเชจเซ เชธเซเชงเชพเชฐเชตเชพเชฎเชพเช เช เชจเซ เชเชเชพเชกเชตเชพเชฎเชพเช เชฎเชฆเชฆ เชฎเชณเซ เชถเชเซ เชเซ. เชเซ เชคเชฎเซ เชธเชฎเชฏเชฎเชฐเซเชฏเชพเชฆเชพ เช เชฅเชตเชพ CFQ เชจเซ เชถเซเชกเซเชฏเซเชฒเชฐ เชคเชฐเซเชเซ เชเชชเชฏเซเช เชเชฐเซ เชฐเชนเซเชฏเชพเช เชเซ, เชคเซ เชเชตเซเช เชธเซเชเชจ เชเชฐเชตเชพเชฎเชพเช เชเชตเซ เชเซ เชเซ เชคเชฎเชพเชฐเซ nr_request เชฎเซเชฒเซเชฏเชจเซ เชเชคเชพเชฐเชจเซ เชเชเชกเชพเชเชจเชพ เชฎเซเชฒเซเชฏเชจเชพ 2 เชเชฃเชพ เชชเชฐ เชธเซเช เชเชฐเชตเซเช เชเซเชเช.
เชชเชฐเชเชคเซ! เชจเชพเชเชฐเชฟเชเซ เชชเซเชคเซ, CEPH เชจเชพ เชตเชฟเชเชพเชธเชเชฐเซเชคเชพเช, เช เชฎเชจเซ เชเชพเชคเชฐเซ เชเชชเซ เชเซ เชเซ เชคเซเชฎเชจเซ เชชเซเชฐเชพเชฅเชฎเชฟเชเชคเชพเชเชจเซ เชธเชฟเชธเซเชเชฎ เชตเชงเซ เชธเชพเชฐเซ เชฐเซเชคเซ เชเชพเชฐเซเชฏ เชเชฐเซ เชเซ.
WBTrottle เช เชจเซ/เช เชฅเชตเชพ nr_requests
WBTrottle เช เชจเซ/เช เชฅเชตเชพ nr_requests
เชซเชพเชเชฒ เชธเซเชเซเชฐเซเช เชฒเชเชตเชพ เชฎเชพเชเซ เชฌเชซเชฐ เชเชฐเซเชฒ I/O เชจเซ เชเชชเชฏเซเช เชเชฐเซ เชเซ; เชเซ เชซเชพเชเชฒ เชธเซเชเซเชฐเซเช เชฒเซเช เชเชกเชชเซ เชฎเซเชกเชฟเชฏเชพ เชชเชฐ เชนเซเชฏ เชคเซ เช เชเชฃเชพ เชฒเชพเชญเซ เชฒเชพเชตเซ เชเซ. เชฒเซเชเชฎเชพเช เชกเซเชเชพ เชฒเชเชตเชพเชฎเชพเช เชเชตเซ เชเซ เชคเชฐเชค เช เชเซเชฒเชพเชฏเชจเซเชเชจเซ เชตเชฟเชจเชเชคเซเชเชจเซ เชธเซเชเชฟเชค เชเชฐเชตเชพเชฎเชพเช เชเชตเซ เชเซ, เช เชจเซ เชชเชเซ เชชเซเชฐเชฎเชพเชฃเชญเซเชค Linux เชเชพเชฐเซเชฏเชเซเชทเชฎเชคเชพเชจเซ เชเชชเชฏเซเช เชเชฐเซเชจเซ เชชเชเซเชจเชพ เชธเชฎเชฏเซ เชกเซเชเชพ เชกเชฟเชธเซเช เชชเชฐ เชซเซเชฒเชถ เชเชฐเชตเชพเชฎเชพเช เชเชตเซ เชเซ. เชเชจเชพเชฅเซ OSD เชธเซเชชเชฟเชจเซเชกเชฒ เชกเซเชฐเชพเชเชตเซ เชเซเชฏเชพเชฐเซ เชจเชพเชจเชพ เชตเชฟเชธเซเชซเซเชเซเชฎเชพเช เชฒเชเซ เชเซ เชคเซเชฏเชพเชฐเซ SSD เชเซเชตเซ เช เชฐเชพเชเช เชฒเซเชเชจเซเชธเซ เชชเซเชฐเชฆเชพเชจ เชเชฐเชตเชพเชจเซเช เชถเชเซเชฏ เชฌเชจเชพเชตเซ เชเซ. เช เชตเชฟเชฒเชเชฌเชฟเชค เชฐเชพเชเช-เชฌเซเช เชเชฐเซเชจเชฒเชจเซ เชกเชฟเชธเซเช เชชเชฐ I/O เชตเชฟเชจเชเชคเซเชเชจเซ เชซเชฐเซเชฅเซ เชเซเช เชตเชตเชพเชจเซ เชชเชฃ เชชเชฐเชตเชพเชจเชเซ เชเชชเซ เชเซ, เชเชพเช เชคเซ เชคเซเชฎเชจเซ เชเชเชธเชพเชฅเซ เชฎเชฐเซเช เชเชฐเชตเชพเชจเซ เช เชฅเชตเชพ เชนเชพเชฒเชจเชพ เชกเชฟเชธเซเช เชนเซเชกเชจเซ เชคเซเชฎเชจเชพ เชชเซเชฒเซเชเชฐ เชชเชฐ เชตเชงเซ เชธเชพเชฐเซ เชฎเชพเชฐเซเช เชฒเซเชตเชพ เชฆเซเชตเชพเชจเซ เชเชถเชพ เชธเชพเชฅเซ. เช เชเชคเชฟเชฎ เช เชธเชฐ เช เชเซ เชเซ เชคเชฎเซ เชกเชพเชฏเชฐเซเชเซเช เช เชฅเชตเชพ เชธเชฟเชเชเซเชฐเชจเชธ I/O เชธเชพเชฅเซ เชถเชเซเชฏ เชนเซเชฏ เชคเซเชจเชพ เชเชฐเชคเชพเช เชฆเชฐเซเช เชกเชฟเชธเซเชเชฎเชพเชเชฅเซ เชธเชนเซเช เชตเชงเซ I/O เชธเซเชเซเชตเชฟเช เชเชฐเซ เชถเชเชถเซ.
เชเซ เชเซ, เชเซเชเซเชเชธ เชธเชฎเชธเซเชฏเชพ เชเชญเซ เชฅเชพเชฏ เชเซ เชเซ เชเชชเซเชฒ Ceph เชเซเชฒเชธเซเชเชฐ เชชเชฐ เชเชจเชเชฎเชฟเชเช เชฒเชเชตเชพเชจเซเช เชตเซเชฒเซเชฏเซเชฎ เช เชเชคเชฐเซเชเชค เชกเชฟเชธเซเชเชจเซ เชคเชฎเชพเชฎ เชเซเชทเชฎเชคเชพเช เชเชฐเชคเชพเช เชตเชงเซ เชเชพเชฏ. เชเชตเชพ เชธเชเชเซเชเซเชฎเชพเช, เชกเชฟเชธเซเช เชชเชฐ เชฒเชเชตเชพเชจเซ เชฐเชพเชน เชเซเช เชฐเชนเซเชฒเชพ เชฌเชพเชเซ I/O เชจเซ เชเซเชฒ เชธเชเชเซเชฏเชพ เช เชจเชฟเชฏเชเชคเซเชฐเชฟเชค เชฐเซเชคเซ เชตเชงเซ เชถเชเซ เชเซ เช เชจเซ เชชเชฐเชฟเชฃเชพเชฎเซ I/O เชเชคเชพเชฐเชฎเชพเช เชชเชฐเชฟเชฃเชฎเซ เชเซ เชเซ เชธเชฎเชเซเชฐ เชกเชฟเชธเซเช เช เชจเซ Ceph เชเชคเชพเชฐเซเชจเซ เชญเชฐเซ เชฆเซ เชเซ. เชตเชพเชเชเชตเชพเชจเซ เชตเชฟเชจเชเชคเซเช เชเชพเชธ เชเชฐเซเชจเซ เชเชฐเชพเชฌ เชเซ เชเชพเชฐเชฃ เชเซ เชคเซ เชฒเชเชตเชพเชจเซ เชตเชฟเชจเชเชคเซเช เชตเชเซเชเซ เช เชเชตเชพเช เชเชพเชฏ เชเซ, เชเซเชจเซ เชชเซเชฐเชพเชฅเชฎเชฟเช เชกเซเชฐเชพเชเชต เชชเชฐ เชซเซเชฒเชถ เชฅเชตเชพเชฎเชพเช เชเชฃเซ เชธเซเชเชจเซเชก เชฒเชพเชเซ เชถเชเซ เชเซ.
เช เชธเชฎเชธเซเชฏเชพเชจเซ เชฆเซเชฐ เชเชฐเชตเชพ เชฎเชพเชเซ, Ceph เชชเชพเชธเซ WBThrottle เชจเชพเชฎเชจเซ เชซเชพเชเชฒ เชธเซเชเซเชฐเซเชเชฎเชพเช เชฌเชจเซเชฒ เชฐเชพเชเชเชฌเซเช เชฅเซเชฐเซเชเชฒเชฟเชเช เชฎเชฟเชเซเชจเชฟเชเชฎ เชเซ. เชคเซ เชเชณเชธเซ เชฒเชเชพเชฃ I/O เชจเซ เชเซเชฒ เชฐเชเชฎเชจเซ เชฎเชฐเซเชฏเชพเชฆเชฟเชค เชเชฐเชตเชพ เชฎเชพเชเซ เชฐเชเชพเชฏเซเชฒ เชเซ เชเซ เชเชคเชพเชฐเชฎเชพเช เชเชญเชพ เชฅเช เชถเชเซ เชเซ เช เชจเซ เชคเซเชฎเชจเซ เชซเซเชฒเชถ เชชเซเชฐเชเซเชฐเชฟเชฏเชพเชจเซ เชธเชพเชฎเชพเชจเซเชฏ เชฐเซเชคเซ เชเชฐเซเชจเชฒ เชฆเซเชตเชพเชฐเชพ เช เชธเชเซเชทเชฎ เชเชฐเชตเชพเชฎเชพเช เชเชตเชถเซ เชคเซเชจเชพ เชเชฐเชคเชพ เชตเชนเซเชฒเชพ เชถเชฐเซ เชเชฐเซ เชถเชเซ เชเซ. เชเชฎเชจเชธเซเชฌเซ, เชชเชฐเซเชเซเชทเชฃ เชฌเชคเชพเชตเซ เชเซ เชเซ เชกเชฟเชซเซเชฒเซเชเซเชธ เชนเชเซ เชชเชฃ เชตเชฐเซเชคเชจเชจเซ เชเชตเชพ เชธเซเชคเชฐเซ เชเชเชพเชกเซ เชถเชเชถเซ เชจเชนเซเช เชเซ เชเซ เชตเชพเชเชเชตเชพเชฎเชพเช เชตเชฟเชฒเชเชฌเชฟเชคเชคเชพ เชชเชฐเชจเซ เช เช เชธเชฐเชจเซ เชเชเชพเชกเซ เชถเชเซ. เชเซเชตเซเชเซเชเช เช เชตเชฐเซเชคเชฃเซเชเชจเซ เชฌเชฆเชฒเซ เชถเชเซ เชเซ เช เชจเซ เชเชเชเชฆเชฐเซ เชฒเชเชตเชพเชจเซ เชเชคเชพเชฐเชจเซ เชฒเชเชฌเชพเช เชเชเชพเชกเซ เชถเชเซ เชเซ เช เชจเซ เช เชธเชฐเชจเซ เชเชเซ เชเชเชญเซเชฐ เชฌเชจเชพเชตเชตเชพเชจเซเช เชถเชเซเชฏ เชฌเชจเชพเชตเซ เชเซ. เชเซ เชเซ, เชคเซเชฏเชพเช เชเช เชเซเชฐเซเชก-เชเชซ เชเซ: เชเชคเชพเชฐเชฎเชพเช เชฐเชพเชเชตเชพ เชฎเชพเชเซ เชฎเชเชเซเชฐ เชฐเซเชเซเชฐเซเชกเซเชธเชจเซ เชเซเชฒ เชฎเชนเชคเซเชคเชฎ เชธเชเชเซเชฏเชพเชจเซ เชเชเชพเชกเซเชจเซ, เชคเชฎเซ เชเชตเชจเชพเชฐเซ เชตเชฟเชจเชเชคเซเชเชจเซ เชเชฐเซเชกเชฐ เชเชฐเชตเชพ เชฎเชพเชเซ เชเชฐเซเชจเชฒเชจเซ เชเชพเชฐเซเชฏเชเซเชทเชฎเชคเชพเชจเซ เชฎเชนเชคเซเชคเชฎ เชเชฐเชตเชพ เชฎเชพเชเซ เชคเซเชจเซ เชเซเชทเชฎเชคเชพเชจเซ เชเชเชพเชกเซ เชถเชเซ เชเซ. เชคเชฎเชพเชฐเซ เชตเชฟเชถเชฟเชทเซเช เชเชชเซเชฒเชฟเชเซเชถเชจ, เชตเชฐเซเชเชฒเซเชก เช เชจเซ เชฎเซเช เชฎเชพเชเซ เชเชกเชเชธเซเช เชเชฐเชตเชพ เชฎเชพเชเซ เชคเชฎเชพเชฐเซ เชตเชงเซ เชถเซเช เชเซเชเช เชเซ เชคเซ เชตเชฟเชถเซ เชฅเซเชกเซเช เชตเชฟเชเชพเชฐเชตเซเช เชฏเซเชเซเชฏ เชเซ.
เชเชตเซ เชฐเชพเชเช-เชฌเซเช เชเชคเชพเชฐเชจเซ เชเชเชกเชพเชเชจเซ เชจเชฟเชฏเชเชคเซเชฐเชฟเชค เชเชฐเชตเชพ เชฎเชพเชเซ, เชคเชฎเซ WBThrottle เชธเซเชเชฟเชเช เชฒเชพเชเซ เชเชฐเซเชจเซ I/Os เชจเชพ เชเซเชฒ เชฎเชนเชคเซเชคเชฎ เชฌเซเชเชฒเซเชเชจเซ เชเชเชพเชกเซ เชถเชเซ เชเซ เช
เชฅเชตเชพ เชคเชฎเชพเชฐเชพ เชเชฐเซเชจเชฒเชจเชพ เชธเซเชฅเซ เชฌเซเชฒเซเช เชธเซเชคเชฐเซ เชฌเซเชเชฒเซเช เชฎเชพเชเซ เชฎเชนเชคเซเชคเชฎ เชฎเซเชฒเซเชฏ เชเชเชพเชกเซ เชถเชเซ เชเซ. เชฌเชเชจเซ เชธเชฎเชพเชจ เชตเชฐเซเชคเชจเชจเซ เช
เชธเชฐเชเชพเชฐเช เชฐเซเชคเซ เชจเชฟเชฏเชเชคเซเชฐเชฟเชค เชเชฐเซ เชถเชเซ เชเซ, เช
เชจเซ เชคเซ เชคเชฎเชพเชฐเซ เชชเชธเชเชฆเชเซเช เชเซ เชเซ เช เชธเซเชเชฟเชเชเชจเซ เช
เชฎเชฒเชฎเชพเช เชฎเซเชเชตเชพ เชฎเชพเชเซเชจเซ เชเชงเชพเชฐ เชนเชถเซ.
เช เชชเชฃ เชจเซเชเชงเชตเซเช เชเซเชเช เชเซ Ceph เชจเซ เชเชชเชฐเซเชถเชจ เช
เชเซเชฐเชคเชพ เชธเชฟเชธเซเชเชฎ เชเซเชเชเซ เชกเชฟเชธเซเช-เชฒเซเชตเชฒ เชเซเชตเซเชฐเซเช เชฎเชพเชเซ เชตเชงเซ เชเชพเชฐเซเชฏเชเซเชทเชฎ เชเซ. เชเชชเซเชฒ เชกเชฟเชธเซเช เชชเชฐ เชเชเชเชฆเชฐ เชเชคเชพเชฐ เชเชเชพเชกเชคเซ เชตเชเชคเซ, เชฎเซเชเซเชฏ เชเชคเชพเชฐเชจเซเช เชธเซเชฅเชพเชจ Ceph เชชเชฐ เชเชธเซเชกเชตเชพเชฎเชพเช เชเชตเซ เชเซ, เชเซเชฏเชพเช เชคเซ I/O เชเชชเชฐเซเชถเชจเชจเซ เชชเซเชฐเชพเชฅเชฎเชฟเชเชคเชพ เชชเชฐ เชตเชงเซ เชจเชฟเชฏเชเชคเซเชฐเชฃ เชงเชฐเชพเชตเซ เชเซ. เชจเซเชเซเชจเชพ เชเชฆเชพเชนเชฐเชฃเชจเซ เชงเซเชฏเชพเชจเชฎเชพเช เชฒเซ:
echo 8 > /sys/block/sda/queue/nr_requests
เชMMเชฎเชจ
เช เชจเซ เชคเชฎเชพเชฐเซ เชเชพเชฐเชจเซ เชธเซเชซเซเช เช เชจเซ เชธเชฟเชฒเซเชเซ เชฌเชจเชพเชตเชตเชพ เชฎเชพเชเซ เชฅเซเชกเชพ เชตเชงเซ เชเชฐเซเชจเชฒ เชเซเชตเซเชเซเชธ เช เชจเซ เชเชฏเชฐเซเชจเชฎเชพเชเชฅเซ เชตเชงเซ เชชเชฐเชซเซเชฐเซเชฎเชจเซเชธ เชธเซเชเซเชตเชฟเช เชเชฐเชตเชพ เชฎเชพเชเซ
cat /etc/sysctl.d/60-ceph2.conf
kernel.pid_max = 4194303
#ะะธัะบะพะฒ ะฒ ะบะฐะถะดะพะน ะผะฐัะธะฝะต ะฟะพ 25, ะฟะพัะพะผั ัะฐัััะธััะฒะฐะปะธ ััะพ ะฟัะพัะตััะพะฒ ะฑัะดะตั ะผะฝะพะณะพ
kernel.threads-max=2097152
# ะขัะตะดะพะฒ, ะตััะตััะฝะพ, ัะพะถะต.
vm.max_map_count=524288
# ะฃะฒะตะปะธัะธะปะธ ะบะพะปะธัะตััะฒะพ ะพะฑะปะฐััะตะน ะบะฐััั ะฟะฐะผััะธ ะฟัะพัะตััะฐ.
# ะะฐะบ ัะปะตะดัะตั ะธะท ะดะพะบัะผะตะฝัะฐัะธะธ ะฟะพ ัะดะตัะฝัะผ ะฟะตัะตะผะตะฝะฝัะผ
# ะะฑะปะฐััะธ ะบะฐััั ะฟะฐะผััะธ ะธัะฟะพะปัะทัะตััั ะบะฐะบ ะฟะพะฑะพัะฝัะน ัััะตะบั ะฒัะทะพะฒะฐ
# malloc, ะฝะฐะฟััะผัั ั ะฟะพะผะพััั mmap, mprotect ะธ madvise, ะฐ ัะฐะบะถะต ะฟัะธ ะทะฐะณััะทะบะต
# ะพะฑัะธั
ะฑะธะฑะปะธะพัะตะบ.
fs.aio-max-nr=50000000
# ะะพะดััะฝะธะผ ะฟะฐัะฐะผะตััั input-output
# ะฏะดัะพ Linux ะฟัะตะดะพััะฐะฒะปัะตั ััะฝะบัะธั ะฐัะธะฝั
ัะพะฝะฝะพะณะพ ะฝะตะฑะปะพะบะธััััะตะณะพ ะฒะฒะพะดะฐ-ะฒัะฒะพะดะฐ (AIO),
# ะบะพัะพัะฐั ะฟะพะทะฒะพะปัะตั ะฟัะพัะตััั ะธะฝะธัะธะธัะพะฒะฐัั ะฝะตัะบะพะปัะบะพ ะพะฟะตัะฐัะธะน ะฒะฒะพะดะฐ-ะฒัะฒะพะดะฐ
# ะพะดะฝะพะฒัะตะผะตะฝะฝะพ, ะฝะต ะดะพะถะธะดะฐััั ะทะฐะฒะตััะตะฝะธั ะบะฐะบะพะน-ะปะธะฑะพ ะธะท ะฝะธั
.
# ะญัะพ ะฟะพะผะพะณะฐะตั ะฟะพะฒััะธัั ะฟัะพะธะทะฒะพะดะธัะตะปัะฝะพััั ะฟัะธะปะพะถะตะฝะธะน,
# ะบะพัะพััะต ะผะพะณัั ะฟะตัะตะบััะฒะฐัั ะพะฑัะฐะฑะพัะบั ะธ ะฒะฒะพะด-ะฒัะฒะพะด.
# ะะฐัะฐะผะตัั aio-max-nr ะพะฟัะตะดะตะปัะตั ะผะฐะบัะธะผะฐะปัะฝะพะต ะบะพะปะธัะตััะฒะพ ะดะพะฟัััะธะผัั
# ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะทะฐะฟัะพัะพะฒ.
vm.min_free_kbytes=1048576
# ะผะธะฝะธะผะฐะปัะฝัะน ัะฐะทะผะตั ัะฒะพะฑะพะดะฝะพะน ะฟะฐะผััะธ ะบะพัะพััะน ะฝะตะพะฑั
ะพะดะธะผะพ ะฟะพะดะดะตัะถะธะฒะฐัั.
# ะัััะฐะฒะปะตะฝ 1Gb, ัะตะณะพ ะฒะฟะพะปะฝะต ะดะพััะฐัะพัะฝะพ ะดะปั ัะฐะฑะพัั ะพะฟะตัะฐัะธะพะฝะฝะพะน ัะธััะตะผั,
# ะธ ะฟะพะทะฒะพะปัะตั ะธะทะฑะตะณะฐัั OOM Killer ะดะปั ะฟัะพัะตััะพะฒ OSD. ะฅะพัั ะฟะฐะผััะธ ะธ ัะฐะบ
# ะบะฐะบ ั ะดััะฐะบะฐ ัะฐะฝัะธะบะพะฒ, ะฝะพ ะทะฐะฟะฐั ะบะฐัะผะฐะฝ ะฝะต ััะฝะตั
vm.swappiness=10
# ะะพะฒะพัะธะผ ะธัะฟะพะปัะทะพะฒะฐัั ัะฒะพะฟ ะตัะปะธ ะพััะฐะปะพัั ัะฒะพะฑะพะดะฝัะผ 10% ะฟะฐะผััะธ.
# ะะฐ ะผะฐัะธะฝะฐั
128G ะพะฟะตัะฐัะธะฒั, ะธ 10% ััะพ 12 ะะธะณะพะฒ. ะะพะปะตะต ัะตะผ ะดะพััะฐัะพัะฝะพ ะดะปั ัะฐะฑะพัั.
# ะจัะฐัะฝัะน ะฟะฐัะฐะผะตัั ะฒ 60% ะทะฐััะฐะฒะปัะป ัะพัะผะพะทะธัั ัะธััะตะผั, ะทะฐะปะตะทะฐั ะฒ ัะฒะพะฟ,
# ะบะพะณะดะฐ ะตััั ะตัะต ะบััะฐ ัะฒะพะฑะพะดะฝะพะน ะฟะฐะผััะธ
vm.vfs_cache_pressure=1000
# ะฃะฒะตะปะธัะธะฒะฐะตะผ ัะพ ััะฐัะฝัั
100. ะะฐััะฐะฒะปัะตะผ ัะดัะพ ะฐะบัะธะฒะฝะตะต ะฒัะณััะถะฐัั
# ะฝะตะธัะฟะพะปัะทัะตะผัะต ัััะฐะฝะธัั ะฟะฐะผััะธ ะธะท ะบะตัะฐ.
vm.zone_reclaim_mode=0
# ะะพะทะฒะพะปัะตั ัััะฐะฝะฐะฒะปะธะฒะฐัั ะฑะพะปะตะต ะธะปะธ ะผะตะฝะตะต ะฐะณัะตััะธะฒะฝัะต ะฟะพะดั
ะพะดั ะบ
# ะฒะพัััะฐะฝะพะฒะปะตะฝะธั ะฟะฐะผััะธ, ะบะพะณะดะฐ ะฒ ะทะพะฝะต ะทะฐะบะฐะฝัะธะฒะฐะตััั ะฟะฐะผััั.
# ะัะปะธ ะพะฝ ัััะฐะฝะพะฒะปะตะฝ ะฝะฐ ะฝะพะปั, ัะพ ะฝะต ะฟัะพะธัั
ะพะดะธั ะฒะพัััะฐะฝะพะฒะปะตะฝะธะต ะทะพะฝั.
# ะะปั ัะฐะนะปะพะฒัั
ัะตัะฒะตัะพะฒ ะธะปะธ ัะฐะฑะพัะธั
ะฝะฐะณััะทะพะบ
# ะฒัะณะพะดะฝะพ, ะตัะปะธ ะธั
ะดะฐะฝะฝัะต ะบััะธัะพะฒะฐะฝั, zone_reclaim_mode
# ะพััะฐะฒะธัั ะพัะบะปััะตะฝะฝัะผ, ะฟะพัะบะพะปัะบั ัััะตะบั ะบััะธัะพะฒะฐะฝะธั,
# ะฒะตัะพััะฝะพ, ะฑัะดะตั ะฑะพะปะตะต ะฒะฐะถะฝัะผ, ัะตะผ ะผะตััะพะฝะฐั
ะพะถะดะตะฝะธะต ะดะฐะฝะฝัั
.
vm.dirty_ratio=20
# ะัะพัะตะฝั ะพะฟะตัะฐัะธะฒะฝะพะน ะฟะฐะผััะธ, ะบะพัะพััะน ะผะพะถะฝะพ ะฒัะดะตะปะธัั ะฟะพะด "ะณััะทะฝัะต" ัััะฐะฝะธัั
# ะััะธัะปัะปะธ ะธะท ะฟัะธะผะตัะฝะพะณะพ ัะฐััะตัะฐ:
# ะ ัะธััะตะผะฐ 128 ะณะธะณะพะฒ ะฟะฐะผััะธ.
# ะัะธะผะตัะฝะพ ะฟะพ 20 ะดะธัะบะพะฒ SSD, ั ะบะพัะพััั
ะฒ ะฝะฐัััะพะนะบะฐั
CEPH ัะบะฐะทะฐะฝะพ
# ะฒัะดะตะปััั ะฟะพะด ะบััะธัะพะฒะฐะฝะธะต ะฟะพ 3G ะพะฟะตัะฐัะธะฒั.
# ะัะธะผะตัะฝะพ ะฟะพ 40 ะดะธัะบะพะฒ HDD, ะดะปั ะบะพัะพััั
ััะพั ะฟะฐัะฐะผะตัั ัะฐะฒะตะฝ 1G
# 20% ะพั 128 ััะพ 25.6 ะณะธะณะพะฒ. ะัะพะณะพ, ะฒ ัะปััะฐะต ะผะฐะบัะธะผะฐะปัะฝะพะน ััะธะปะธะทะฐัะธะธ ะฟะฐะผััะธ,
# ะดะปั ัะธััะตะผั ะพััะฐะฝะตััั 2.4G ะฟะฐะผััะธ. ะงะตะณะพ ะตะน ะดะพะปะถะฝะพ ั
ะฒะฐัะธัั ััะพะฑ ะฒัะถะธัั ะธ ะดะพะถะดะฐัััั
# ัััะบะฐ ะบะพะฟัั ะบะฐะฒะฐะปะตัะธะธ - ัะพ ะตััั ะฟัะธัะตััะฒะธั DevOps ะบะพัะพััะน ะฒัะต ะฟะพัะธะฝะธั.
vm.dirty_background_ratio=3
# ะฟัะพัะตะฝั ัะธััะตะผะฝะพะน ะฟะฐะผััะธ, ะบะพัะพััะน ะผะพะถะฝะพ ะทะฐะฟะพะปะฝะธัั dirty pages ะดะพ ัะพะณะพ,
# ะบะฐะบ ัะพะฝะพะฒัะต ะฟัะพัะตััั pdflush/flush/kdmflush ะทะฐะฟะธััั ะธั
ะฝะฐ ะดะธัะบ
fs.file-max=524288
# ะั ะธ ะพัะบััััั
ัะฐะนะปะพะฒ ั ะฝะฐั,ะฒะตัะพััะฝะพ, ะฑัะดะตั ัะธะปัะฝะพ ะฑะพะปััะต, ัะตะผ ัะบะฐะทะฐะฝะพ ะฟะพ ะดะตัะพะปัั.
CEPH เชฎเชพเช เชจเชฟเชฎเชเซเชเชจ
เชธเซเชเชฟเชเชเซเชธ เชเซ เชเซเชจเชพ เชชเชฐ เชนเซเช เชตเชงเซ เชตเชฟเชเชคเชฎเชพเช เชฐเชนเซเชตเชพ เชฎเชพเชเชเซ เชเซเช:
cat /etc/ceph/ceph.conf
osd:
journal_aio: true # ะขัะธ ะฟะฐัะฐะผะตััะฐ, ะฒะบะปััะฐััะธะต
journal_block_align: true # ะฟััะผะพะน i/o
journal_dio: true # ะฝะฐ ะถััะฝะฐะป
journal_max_write_bytes: 1073714824 # ะะตะผะฝะพะณะพ ัะฐัััะฝะตะผ ะผะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั
# ัะฐะทะพะฒะพ ะทะฐะฟะธััะฒะฐะตะผะพะน ะพะฟะตัะฐัะธะธ ะฒ ะถััะฝะฐะป
journal_max_write_entries: 10000 # ะั ะธ ะบะพะปะธัะตััะฒะพ ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะทะฐะฟะธัะตะน
journal_queue_max_bytes: 10485760000
journal_queue_max_ops: 50000
rocksdb_separate_wal_dir: true # ะ ะตัะธะปะธ ะดะตะปะฐัั ะพัะดะตะปัะฝัะน wal
# ะะฐะถะต ะฟะพะฟััะฐะปะธัั ะฒัะฑะธัั ะฟะพะด ััะพ ะดะตะปะพ
# NVMe
bluestore_block_db_create: true # ะั ะธ ะฟะพะด ะถััะฝะฐะป ะพัะดะตะปัะฝะพะต ััััะพะนััะฒะพ
bluestore_block_db_size: '5368709120 #5G'
bluestore_block_wal_create: true
bluestore_block_wal_size: '1073741824 #1G'
bluestore_cache_size_hdd: '3221225472 # 3G'
# ะฑะพะปััะพะน ะพะฑัะตะผ ะพะฟะตัะฐัะธะฒั ะฟะพะทะฒะพะปัะตั
# ั
ัะฐะฝะธัั ะดะพััะฐัะพัะฝะพ ะฑะพะปััะธะต ะพะฑัะตะผั
bluestore_cache_size_ssd: '9663676416 # 9G'
keyring: /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap: '1073741824 #1G'
osd_disk_thread_ioprio_class: idle
osd_disk_thread_ioprio_priority: 7
osd_disk_threads: 2 # ะบะพะปะธัะตััะฒะพ ััะตะดะพะฒ ั ะดะตะผะพะฝะฐ ะฝะฐ ะพะดะธะฝ ะดะธัะบ
osd_failsafe_full_ratio: 0.95
osd_heartbeat_grace: 5
osd_heartbeat_interval: 3
osd_map_dedup: true
osd_max_backfills: 2 # ะบะพะปะธัะตััะฒะพ ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะพะฟะตัะฐัะธะน ะทะฐะฟะพะปะฝะตะฝะธั ะฝะฐ ะพะดะธะฝ ะะกะ.
osd_max_write_size: 256
osd_mon_heartbeat_interval: 5
osd_op_threads: 16
osd_op_num_threads_per_shard: 1
osd_op_num_threads_per_shard_hdd: 2
osd_op_num_threads_per_shard_ssd: 2
osd_pool_default_min_size: 1 # ะัะพะฑะตะฝะฝะพััะธ ะถะฐะดะฝะพััะธ. ะัะตะฝั ะฑััััะพ ััะฐะปะพ
osd_pool_default_size: 2 # ะฝะตั
ะฒะฐัะฐัั ะผะตััะฐ, ะฟะพัะพะผั ะบะฐะบ ะฒัะตะผะตะฝะฝะพะต
# ัะตัะตะฝะธะต ะฟัะธะฝัะปะธ ัะผะตะฝััะตะฝะธะต ะบะพะปะธัะตััะฒะพ
# ัะตะฟะปะธะบ ะดะฐะฝะฝัั
osd_recovery_delay_start: 10.000000
osd_recovery_max_active: 2
osd_recovery_max_chunk: 1048576
osd_recovery_max_single_start: 3
osd_recovery_op_priority: 1
osd_recovery_priority: 1 # ะฟะฐัะฐะผะตัั ัะตะณัะปะธััะตะผ ะฟะพ ะฝะตะพะฑั
ะพะดะธะผะพััะธ ะฝะฐ ั
ะพะดั
osd_recovery_sleep: 2
osd_scrub_chunk_max: 4
เชธเชเชธเซเชเชฐเชฃ 12.2.12 เชชเชฐ QA เชชเชฐ เชเชเชพเชธเชพเชฏเซเชฒ เชเซเชเชฒเชพเช เชชเชฐเชฟเชฎเชพเชฃเซ ceph 12.2.2 เชธเชเชธเซเชเชฐเชฃเชฎเชพเช เชเซเชเซ เชเซ, เชเชฆเชพเชนเชฐเชฃ เชคเชฐเซเชเซ osd_recovery_threads. เชคเซเชฅเซ, เชฏเซเชเชจเชพเชเชฎเชพเช เชชเซเชฐเซเชก เชชเชฐ เช เชชเชกเซเช 12.2.12 เชจเซ เชธเชฎเชพเชตเซเชถ เชฅเชพเชฏ เชเซ. เชชเซเชฐเซเชเซเชเชฟเชธเซ 12.2.2 เช เชจเซ 12.2.12 เชธเชเชธเซเชเชฐเชฃเซเชจเชพ เชเช เชเซเชฒเชธเซเชเชฐเชฎเชพเช เชธเซเชธเชเชเชคเชคเชพ เชฆเชฐเซเชถเชพเชตเซ เชเซ, เชเซ เชคเชฎเชจเซ เชฐเซเชฒเชฟเชเช เช เชชเชกเซเช เชเชฐเชตเชพเชจเซ เชฎเชเชเซเชฐเซ เชเชชเซ เชเซ.
เชเซเชธเซเช เชเซเชฒเชธเซเชเชฐ
เชธเซเชตเชพเชญเชพเชตเชฟเช เชฐเซเชคเซ, เชชเชฐเซเชเซเชทเชฃ เชฎเชพเชเซ เชฏเซเชฆเซเชงเชจเซ เชเซเชฎ เชธเชฎเชพเชจ เชธเชเชธเซเชเชฐเชฃ เชนเซเชตเซเช เชเชฐเซเชฐเซ เชนเชคเซเช, เชชเชฐเชเชคเซ เชเซเชฏเชพเชฐเซ เชฎเซเช เชเซเชฒเชธเซเชเชฐ เชธเชพเชฅเซ เชเชพเชฎ เชเชฐเชตเชพเชจเซเช เชถเชฐเซ เชเชฐเซเชฏเซเช, เชคเซเชฏเชพเชฐเซ เชฐเชฟเชชเซเชเซเชเชฐเซเชฎเชพเช เชซเชเซเชค เชเช เชจเชตเซเช เชนเชคเซเช. เชคเชฎเซ เชจเชพเชจเชพ เชธเชเชธเซเชเชฐเชฃเชฎเชพเช เชถเซเช เชเซเช เชถเชเซ เชเซ เชคเซ เชเซเชฏเชพ เชชเชเซ, เชคเซ เชเซเชฌ เชฎเซเชเซเช เชจเชฅเซ (1393 เชฐเซเชชเชฐเซเชเชพเชฎเชพเช เชฒเซเชเซเช เชธเชพเชฎเซ 1436 เชจเชตเชพ เชธเชเชธเซเชเชฐเชฃเชฎเชพเช), เช เชฎเซ เชจเชตเชพเชจเซเช เชชเชฐเซเชเซเชทเชฃ เชถเชฐเซ เชเชฐเชตเชพเชจเซเช เชจเชเซเชเซ เชเชฐเซเชฏเซเช (เชเซเชเชชเชฃ เชฐเซเชคเซ เช เชชเชกเซเช เชเชฐเซ, เชถเชพ เชฎเชพเชเซ เชเซเชจเซ เชธเชพเชฎเชเซเชฐเซ เชชเชฐ เชเชพเช)
เชเชเชฎเชพเชคเซเชฐ เชตเชธเซเชคเซ เชเซ เชเซ เชคเซเชเช เชเซเชจเชพ เชธเชเชธเซเชเชฐเชฃเชจเซ เชเซเชกเชตเชพเชจเซ เชชเซเชฐเชฏเชพเชธ เชเชฐเซเชฏเซ เชคเซ เชชเซเชเซเช เชเซ ceph- เชเชฎเชพเชตเช, เชเชพเชฐเชฃ เชเซ เชเซเชเชฒเซเช เชเชชเชฏเซเชเชฟเชคเชพเช (เช เชจเซ เชเซเชเชฒเชพเช เชเชฐเซเชฎเชเชพเชฐเซเช) เชคเซเชจเชพ เชตเชพเชเซเชฏเชฐเชเชจเชพ เช เชจเซเชธเชพเชฐ เชฌเชจเชพเชตเชตเชพเชฎเชพเช เชเชตเซ เชนเชคเซ. เชจเชตเซเช เชธเชเชธเซเชเชฐเชฃ เชคเชฆเซเชฆเชจ เช เชฒเช เชนเชคเซเช, เชชเชฐเชเชคเซ เชคเซ เชเซเชฒเชธเซเชเชฐเชจเซ เชเชพเชฎเชเซเชฐเซเชจเซ เช เชธเชฐ เชเชฐเชคเซเช เชจ เชนเชคเซเช, เช เชจเซ เชคเซ เชธเชเชธเซเชเชฐเชฃเซ เชฆเซเชตเชพเชฐเชพ เชเซเชกเซ เชฆเซเชตเชพเชฎเชพเช เชเชตเซเชฏเซเช เชนเชคเซเช. 1.5.39
ceph-disk เชเชฆเซเชถ เชธเซเชชเชทเซเชเชชเชฃเซ เชเชนเซ เชเซ เชเซ เชคเซ เชจเชพเชชเชธเชเชฆ เชเซ เช เชจเซ ceph-เชตเซเชฒเซเชฏเซเชฎ เชเชฆเซเชถเชจเซ เชเชชเชฏเซเช เชเชฐเซ, เชชเซเชฐเชฟเชฏเชเชจเซ - เช เชฎเซ เชเซเชจเชพ เชเชฆเซเชถ เชชเชฐ เชธเชฎเชฏ เชฌเชเชพเชกเซเชฏเชพ เชตเชฟเชจเชพ, เช เชเชฆเซเชถ เชธเชพเชฅเซ OSD เชฌเชจเชพเชตเชตเชพเชจเซเช เชถเชฐเซ เชเชฐเซเชฏเซเช.
เชฏเซเชเชจเชพ เชจเซเชเซ เชฎเซเชเชฌ เชนเชคเซ - เชฌเซ SSD เชกเชฟเชธเซเชเชจเซ เชฎเชฟเชฐเชฐ เชฌเชจเชพเชตเชตเชพ เชฎเชพเชเซ, เชเซเชจเชพ เชชเชฐ เช เชฎเซ OSD เชฒเซเชเซเชธ เชฎเซเชเซเชถเซเช, เชเซ เชฌเชฆเชฒเชพเชฎเชพเช, เชธเซเชชเชฟเชจเซเชกเชฒ SASs เชชเชฐ เชธเซเชฅเชฟเชค เชเซ. เชคเซเชฅเซ เชเซเชฏเชพเชฐเซ เชเชฐเซเชจเชฒ เชกเชฟเชธเซเช เชเซเชฐเซเชถ เชฅเชพเชฏ เชคเซเชฏเชพเชฐเซ เช เชฎเซ เชกเซเชเชพ เชธเชฎเชธเซเชฏเชพเช เชธเชพเชฎเซ เชตเซเชฎเซ เชฒเชเชถเซเช.
เชฆเชธเซเชคเชพเชตเซเชเซเชเชฐเชฃ เช เชจเซเชธเชพเชฐ เชธเซเชเซเชฒ เชเซเชฒเชธเซเชเชฐ เชฌเชจเชพเชตเซ
cat /etc/ceph/ceph.conf
root@ceph01-qa:~# cat /etc/ceph/ceph.conf # ะฟะพะปะพะถะธะปะธ ะทะฐัะฐะฝะตะต ะฟะพะดะณะพัะพะฒะปะตะฝะฝัะน ะบะพะฝัะธะณ
[client]
rbd_cache = true
rbd_cache_max_dirty = 50331648
rbd_cache_max_dirty_age = 2
rbd_cache_size = 67108864
rbd_cache_target_dirty = 33554432
rbd_cache_writethrough_until_flush = true
rbd_concurrent_management_ops = 10
rbd_default_format = 2
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster network = 10.10.10.0/24
debug_asok = 0/0
debug_auth = 0/0
debug_buffer = 0/0
debug_client = 0/0
debug_context = 0/0
debug_crush = 0/0
debug_filer = 0/0
debug_filestore = 0/0
debug_finisher = 0/0
debug_heartbeatmap = 0/0
debug_journal = 0/0
debug_journaler = 0/0
debug_lockdep = 0/0
debug_mon = 0/0
debug_monc = 0/0
debug_ms = 0/0
debug_objclass = 0/0
debug_objectcatcher = 0/0
debug_objecter = 0/0
debug_optracker = 0/0
debug_osd = 0/0
debug_paxos = 0/0
debug_perfcounter = 0/0
debug_rados = 0/0
debug_rbd = 0/0
debug_rgw = 0/0
debug_throttle = 0/0
debug_timer = 0/0
debug_tp = 0/0
fsid = d0000000d-4000-4b00-b00b-0123qwe123qwf9
mon_host = ceph01-q, ceph02-q, ceph03-q
mon_initial_members = ceph01-q, ceph02-q, ceph03-q
public network = 8.8.8.8/28 # ะฐะดัะตั ะธะทะผะตะฝะตะฝ, ะตััะตััะฒะตะฝะฝะพ ))
rgw_dns_name = s3-qa.mycompany.ru # ะธ ััะพั ะฐะดัะตั ะธะทะผะตะฝ
rgw_host = s3-qa.mycompany.ru # ะธ ััะพั ัะพะถะต
[mon]
mon allow pool delete = true
mon_max_pg_per_osd = 300 # ะฑะพะปััะต ััะตั
ัะพั ะฟะปะตะนัะผะตะฝั ะณััะฟะฟ
# ะฝะฐ ะดะธัะบ ะฝะต ัะตัะธะปะธัั
# ั
ะพัั ะฟะฐัะฐะผะตัั, ะตััะตััะฒะตะฝะฝะพ, ะทะฐะฒะธัะธั ะพั ะบะพะปะธัะตััะฒะฐ ะฟัะปะพะฒ,
# ะธั
ัะฐะทะผะตัะพะฒ ะธ ะบะพะปะธัะตััะฒะฐ OSD. ะะผะตัั ะผะฐะปะพ ะฝะพ ะทะดะพัะพะฒัั
PG
# ัะพะถะต ะฝะต ะปัััะธะน ะฒัะฑะพั - ัััะฐะดะฐะตั ัะพัะฝะพััั ะฑะฐะปะฐะฝัะธัะพะฒะบะธ
mon_osd_backfillfull_ratio = 0.9
mon_osd_down_out_interval = 5
mon_osd_full_ratio = 0.95 # ะฟะพะบะฐ ะดะปั SSD ะดะธัะบะพะฒ ะผะตััะพะผ ะดะปั ะธั
# ะถััะฝะฐะปะฐ ัะฒะปัะตััั ัะพั-ะถะต ะดะตะฒะฐะนั ััะพ ะธ ะดะปั ะะกะ
# ัะตัะธะปะธ ััะพ 5% ะพั ะดะธัะบะฐ (ะบะพัะพััะน ัะฐะผ ัะฐะทะผะตัะพะผ 1.2Tb)
# ะดะพะปะถะฝะพ ะฒะฟะพะปะฝะต ั
ะฒะฐัะธัั, ะธ ะบะพััะตะปะธััะตั ั ะฟะฐัะฐะผะตััะพะผ
# bluestore_block_db_size ะฟะปัั ะฒะฐัะธะฐัะธะฒะฝะพััั ะฝะฐ ะฑะพะปััะธะต
# ะฟะปะตะนัะผะตะฝั ะณััะฟะฟั
mon_osd_nearfull_ratio = 0.9
mon_pg_warn_max_per_osd = 520
[osd]
bluestore_block_db_create = true
bluestore_block_db_size = 5368709120 #5G
bluestore_block_wal_create = true
bluestore_block_wal_size = 1073741824 #1G
bluestore_cache_size_hdd = 3221225472 # 3G
bluestore_cache_size_ssd = 9663676416 # 9G
journal_aio = true
journal_block_align = true
journal_dio = true
journal_max_write_bytes = 1073714824
journal_max_write_entries = 10000
journal_queue_max_bytes = 10485760000
journal_queue_max_ops = 50000
keyring = /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap = 1073741824 #1G
osd_disk_thread_ioprio_class = idle
osd_disk_thread_ioprio_priority = 7
osd_disk_threads = 2
osd_failsafe_full_ratio = 0.95
osd_heartbeat_grace = 5
osd_heartbeat_interval = 3
osd_map_dedup = true
osd_max_backfills = 4
osd_max_write_size = 256
osd_mon_heartbeat_interval = 5
osd_op_num_threads_per_shard = 1
osd_op_num_threads_per_shard_hdd = 2
osd_op_num_threads_per_shard_ssd = 2
osd_op_threads = 16
osd_pool_default_min_size = 1
osd_pool_default_size = 2
osd_recovery_delay_start = 10.0
osd_recovery_max_active = 1
osd_recovery_max_chunk = 1048576
osd_recovery_max_single_start = 3
osd_recovery_op_priority = 1
osd_recovery_priority = 1
osd_recovery_sleep = 2
osd_scrub_chunk_max = 4
osd_scrub_chunk_min = 2
osd_scrub_sleep = 0.1
rocksdb_separate_wal_dir = true
# ัะพะทะดะฐะตะผ ะผะพะฝะธัะพัั
root@ceph01-qa:~#ceph-deploy mon create ceph01-q
# ะณะตะฝะตัะธััะตะผ ะบะปััะธ ะดะปั ะฐััะตะฝัะธัะธะบะฐัะธะธ ะฝะพะด ะฒ ะบะปะฐััะตัะต
root@ceph01-qa:~#ceph-deploy gatherkeys ceph01-q
# ะญัะพ ะตัะปะธ ะฟะพััััะฝะพ. ะัะปะธ ั ะฝะฐั ะฝะตัะบะพะปัะบะพ ะผะฐัะธะฝ ะดะพัััะฟะฝั - ัะต, ะบะพัะพััะต ะพะฟะธัะฐะฝั ะฒ ะบะพะฝัะธะณะต ะฒ ัะตะบัะธะธ
# mon_initial_members = ceph01-q, ceph02-q, ceph03-q
# ะผะพะถะฝะพ ะทะฐะฟัััะธัั ััะธ ะดะฒะต ะบะพะผะฐะฝะดั ะฒ ะฒะธะดะต ะพะดะฝะพะน
root@ceph01-qa:~#ceph-deploy mon create-initial
# ะะพะปะพะถะธะผ ะบะปััะธ ะฒ ัะบะฐะทะฐะฝะฝัะต ะฒ ะบะพะฝัะธะณะต ะผะตััะฐ
root@ceph01-qa:~#cat ceph.bootstrap-osd.keyring > /var/lib/ceph/bootstrap-osd/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-mgr.keyring > /var/lib/ceph/bootstrap-mgr/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-rgw.keyring > /var/lib/ceph/bootstrap-rgw/ceph.keyring
# ัะพะทะดะฐะดะธะผ ะบะปัั ะดะปั ัะฟัะฐะฒะปะตะฝะธั ะบะปะฐััะตัะพะผ
root@ceph01-qa:~#ceph-deploy admin ceph01-q
# ะธ ะผะตะฝะตะดะถะตั, ะฟะปะฐะณะธะฝะฐะผะธ ัะฟัะฐะฒะปััั
root@ceph01-qa:~#ceph-deploy mgr create ceph01-q
เชตเชฐเซเชเชจ 12.2.12 เชจเชพ เชเซเชฒเชธเซเชเชฐ เชธเชพเชฅเซ ceph-deploy เชจเชพ เช เชตเชฐเซเชเชจเชจเชพ เชเชพเชฎเชฎเชพเช เชฎเชจเซ เชชเชนเซเชฒเซ เชตเชธเซเชคเซ เชเซ เช เซเชเชฐ เชฒเชพเชเซ เชเซ เชคเซ เชธเซเชซเซเชเชตเซเชฐ เชฐเซเชเชก เชชเชฐ db เชธเชพเชฅเซ OSD เชฌเชจเชพเชตเชตเชพเชจเซ เชชเซเชฐเชฏเชพเชธ เชเชฐเชคเซ เชตเชเชคเซ เชญเซเชฒ เชเซ -
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
blkid could not detect a PARTUUID for device: /dev/md1
เชเชฐเซเชเชฐ, blkid PARTUUID เชฌเชคเชพเชตเชคเซเช เชจเชฅเซ, เชฎเชพเชฐเซ เชฎเซเชจเซเชฏเซเช เชฒเซ เชชเชพเชฐเซเชเซเชถเชจเซ เชฌเชจเชพเชตเชตเชพ เชนเชคเชพ:
root@ceph01-qa:~#parted /dev/md0 mklabel GPT
# ัะฐะทะดะตะปะพะฒ ะฑัะดะตั ะผะฝะพะณะพ,
# ะฑะตะท GPT ะธั
ัะพะทะดะฐัั ะฝะต ะฟะพะปััะธััั
# ัะฐะทะผะตั ัะฐะทะดะตะปะฐ ะผั ัะบะฐะทะฐะปะธ ะฒ ะบะพะฝัะธะณะต ะฒััะต = bluestore_block_db_size: '5368709120 #5G'
# ะะธัะบะพะฒ ั ะผะตะฝั 20 ะฟะพะด OSD, ััะบะฐะผะธ ัะพะทะดะฐะฒะฐัั ัะฐะทะดะตะปั ะปะตะฝั
# ะฟะพัะพะผั ัะดะตะปะฐะป ัะธะบะป
root@ceph01-qa:~#for i in {1..20}; do echo -e "nnnn+5Gnw" | fdisk /dev/md0; done
เชเชตเซเช เชฒเชพเชเซ เชเซ เชเซ เชฌเชงเซเช เชคเซเชฏเชพเชฐ เชเซ, เช เชฎเซ เชซเชฐเซเชฅเซ OSD เชฌเชจเชพเชตเชตเชพเชจเซ เชชเซเชฐเชฏเชพเชธ เชเชฐเซเช เชเซเช เช เชจเซ เชจเซเชเซเชจเซ เชญเซเชฒ เชฎเซเชณเชตเซเช เชเซเช (เชเซ, เชฎเชพเชฐเซเช เชฆเซเชตเชพเชฐเชพ, เชฏเซเชฆเซเชงเชฎเชพเช เชชเซเชจเชเชเชคเซเชชเชพเชฆเชฟเชค เชเชฐเชตเชพเชฎเชพเช เชเชตเซ เชจ เชนเชคเซ)
เชฌเซเชฒเซเชธเซเชเซเชฐ OSD เชฌเชจเชพเชตเชคเซ เชตเชเชคเซ WAL เชจเซ เชชเชพเชฅ เชธเซเชชเชทเซเช เชเชฐเซเชฏเชพ เชตเชฟเชจเชพ, เชชเชฐเชเชคเซ db เชจเซ เชเชฒเซเชฒเซเช เชเชฐเซเชฏเชพ เชตเชเชฐ
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
stderr: 2019-04-12 10:39:27.211242 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _read_fsid unparsable uuid
stderr: 2019-04-12 10:39:27.213185 7eff461b6e00 -1 bdev(0x55824c273680 /var/lib/ceph/osd/ceph-0//block.wal) open open got: (22) Invalid argument
stderr: 2019-04-12 10:39:27.213201 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _open_db add block device(/var/lib/ceph/osd/ceph-0//block.wal) returned: (22) Invalid argument
stderr: 2019-04-12 10:39:27.999039 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) mkfs failed, (22) Invalid argument
stderr: 2019-04-12 10:39:27.999057 7eff461b6e00 -1 OSD::mkfs: ObjectStore::mkfs failed with error (22) Invalid argument
stderr: 2019-04-12 10:39:27.999141 7eff461b6e00 -1 ** ERROR: error creating empty object store in /var/lib/ceph/osd/ceph-0/: (22) Invalid argumen
เชคเชฆเซเชชเชฐเชพเชเชค, เชเซ เช เช เช เชฐเซเชธเชพ เชชเชฐ (เช เชฅเชตเชพ เชฌเซเชเซ เชเชเซเชฏเชพเช, เชชเชธเชเชฆ เชเชฐเชตเชพ เชฎเชพเชเซ) WAL เชฎเชพเชเซ เชฌเซเชเซเช เชชเชพเชฐเซเชเซเชถเชจ เชฌเชจเชพเชตเซ เช เชจเซ OSD เชฌเชจเชพเชตเชคเซ เชตเชเชคเซ เชคเซเชจเซ เชเชฒเซเชฒเซเช เชเชฐเซ, เชคเซ เชฌเชงเซเช เช เชธเชฐเชณเชคเชพเชฅเซ เชเชพเชฒเชถเซ (เช เชฒเช WAL เชจเชพ เชฆเซเชเชพเชต เชธเชฟเชตเชพเชฏ, เชเซ เชคเชฎเชพเชฐเซ เชชเชพเชธเซ เชจ เชนเซเช เชถเชเซ. เชเซเชเชคเซเช เชนเชคเซเช).
เชชเชฐเชเชคเซ, WAL เชจเซ NVMe เชชเชฐ เชฒเชพเชตเชตเชพเชจเซ เชคเซ เชนเชเซ เชฆเซเชฐเชจเซ เชฏเซเชเชจเชพเชฎเชพเช เชนเซเชตเชพเชฅเซ, เชชเซเชฐเซเชเซเชเชฟเชธ เช เชจเชพเชตเชถเซเชฏเช เชจ เชนเชคเซ.
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sdf --block.wal /dev/md0p2 --block.db /dev/md1p2
เชฎเซเชจเชฟเชเชฐ, เชฎเซเชจเซเชเชฐ เช เชจเซ เชเชเชธเชกเซ เชฌเชจเชพเชตเซเชฏเชพ. เชนเชตเซ เชนเซเช เชคเซเชฎเชจเซ เช เชฒเช เช เชฒเช เชฐเซเชคเซ เชเซเชฅเชฌเชฆเซเชง เชเชฐเชตเชพ เชฎเชพเชเชเซ เชเซเช, เชเชพเชฐเชฃ เชเซ เชนเซเช เชตเชฟเชตเชฟเชง เชชเซเชฐเชเชพเชฐเชจเซ เชกเชฟเชธเซเช - SSD เชชเชฐ เชเชกเชชเซ เชชเซเชฒ เช เชจเซ เชฎเซเชเชพ, เชชเชฐเชเชคเซ SAS เชชเซเชจเชเซเช เชชเชฐ เชงเซเชฎเซ เชฐเชพเชเชตเชพเชจเซ เชฏเซเชเชจเชพ เชเชกเซ เชฐเชนเซเชฏเซ เชเซเช.
เช
เชฎเซ เชงเชพเชฐเซเชถเซเช เชเซ เชธเชฐเซเชตเชฐเซเชธ เชชเชฐ 20 เชกเชฟเชธเซเช เชเซ, เชชเซเชฐเชฅเชฎ เชฆเชธ เชเช เชชเซเชฐเชเชพเชฐ เชเซ, เชฌเซเชเซ เชฌเซเชเซ เชเซ.
เชกเชฟเชซเซเชฒเซเช เชจเชเชถเซ เชเชจเชพ เชเซเชตเซ เชฆเซเชเชพเชฏ เชเซ:
ceph osd เชตเซเชเซเชท
root@ceph01-q:~# ceph osd เชเซเชฐเซ
ID เชตเชฐเซเช เชตเชเชจ เชชเซเชฐเชเชพเชฐเชจเซเช เชจเชพเชฎ เชธเซเชเซเชเชธ เชฐเชฟเชตเซเชเช PRI-AFF
-1 14.54799 เชฐเซเช เชกเชฟเชซเซเชฒเซเช
-3 9.09200 เชนเซเชธเซเช ceph01-q
0 ssd 1.00000 osd.0 เช
เชช 1.00000 1.00000
1 ssd 1.00000 osd.1 เช
เชช 1.00000 1.00000
2 ssd 1.00000 osd.2 เช
เชช 1.00000 1.00000
3 ssd 1.00000 osd.3 เช
เชช 1.00000 1.00000
4 hdd 1.00000 osd.4 เช
เชช 1.00000 1.00000
5 hdd 0.27299 osd.5 เช
เชช 1.00000 1.00000
6 hdd 0.27299 osd.6 เช
เชช 1.00000 1.00000
7 hdd 0.27299 osd.7 เช
เชช 1.00000 1.00000
8 hdd 0.27299 osd.8 เช
เชช 1.00000 1.00000
9 hdd 0.27299 osd.9 เช
เชช 1.00000 1.00000
10 hdd 0.27299 osd.10 เช
เชช 1.00000 1.00000
11 hdd 0.27299 osd.11 เช
เชช 1.00000 1.00000
12 hdd 0.27299 osd.12 เช
เชช 1.00000 1.00000
13 hdd 0.27299 osd.13 เช
เชช 1.00000 1.00000
14 hdd 0.27299 osd.14 เช
เชช 1.00000 1.00000
15 hdd 0.27299 osd.15 เช
เชช 1.00000 1.00000
16 hdd 0.27299 osd.16 เช
เชช 1.00000 1.00000
17 hdd 0.27299 osd.17 เช
เชช 1.00000 1.00000
18 hdd 0.27299 osd.18 เช
เชช 1.00000 1.00000
19 hdd 0.27299 osd.19 เช
เชช 1.00000 1.00000
-5 5.45599 เชนเซเชธเซเช ceph02-q
20 ssd 0.27299 osd.20 เช
เชช 1.00000 1.00000
21 ssd 0.27299 osd.21 เช
เชช 1.00000 1.00000
22 ssd 0.27299 osd.22 เช
เชช 1.00000 1.00000
23 ssd 0.27299 osd.23 เช
เชช 1.00000 1.00000
24 hdd 0.27299 osd.24 เช
เชช 1.00000 1.00000
25 hdd 0.27299 osd.25 เช
เชช 1.00000 1.00000
26 hdd 0.27299 osd.26 เช
เชช 1.00000 1.00000
27 hdd 0.27299 osd.27 เช
เชช 1.00000 1.00000
28 hdd 0.27299 osd.28 เช
เชช 1.00000 1.00000
29 hdd 0.27299 osd.29 เช
เชช 1.00000 1.00000
30 hdd 0.27299 osd.30 เช
เชช 1.00000 1.00000
31 hdd 0.27299 osd.31 เช
เชช 1.00000 1.00000
32 hdd 0.27299 osd.32 เช
เชช 1.00000 1.00000
33 hdd 0.27299 osd.33 เช
เชช 1.00000 1.00000
34 hdd 0.27299 osd.34 เช
เชช 1.00000 1.00000
35 hdd 0.27299 osd.35 เช
เชช 1.00000 1.00000
36 hdd 0.27299 osd.36 เช
เชช 1.00000 1.00000
37 hdd 0.27299 osd.37 เช
เชช 1.00000 1.00000
38 hdd 0.27299 osd.38 เช
เชช 1.00000 1.00000
39 hdd 0.27299 osd.39 เช
เชช 1.00000 1.00000
-7 6.08690 เชนเซเชธเซเช ceph03-q
40 ssd 0.27299 osd.40 เช
เชช 1.00000 1.00000
41 ssd 0.27299 osd.41 เช
เชช 1.00000 1.00000
42 ssd 0.27299 osd.42 เช
เชช 1.00000 1.00000
43 ssd 0.27299 osd.43 เช
เชช 1.00000 1.00000
44 hdd 0.27299 osd.44 เช
เชช 1.00000 1.00000
45 hdd 0.27299 osd.45 เช
เชช 1.00000 1.00000
46 hdd 0.27299 osd.46 เช
เชช 1.00000 1.00000
47 hdd 0.27299 osd.47 เช
เชช 1.00000 1.00000
48 hdd 0.27299 osd.48 เช
เชช 1.00000 1.00000
49 hdd 0.27299 osd.49 เช
เชช 1.00000 1.00000
50 hdd 0.27299 osd.50 เช
เชช 1.00000 1.00000
51 hdd 0.27299 osd.51 เช
เชช 1.00000 1.00000
52 hdd 0.27299 osd.52 เช
เชช 1.00000 1.00000
53 hdd 0.27299 osd.53 เช
เชช 1.00000 1.00000
54 hdd 0.27299 osd.54 เช
เชช 1.00000 1.00000
55 hdd 0.27299 osd.55 เช
เชช 1.00000 1.00000
56 hdd 0.27299 osd.56 เช
เชช 1.00000 1.00000
57 hdd 0.27299 osd.57 เช
เชช 1.00000 1.00000
58 hdd 0.27299 osd.58 เช
เชช 1.00000 1.00000
59 hdd 0.89999 osd.59 เช
เชช 1.00000 1.00000
เชเชพเชฒเซ เชฌเซเชฒเซเชเชเซเช เช เชจเซ เช เชจเซเชฏ เชตเชธเซเชคเซเช เชธเชพเชฅเซ เชเชชเชฃเชพ เชชเซเชคเชพเชจเชพ เชตเชฐเซเชเซเชฏเซเช เชฒ เชฐเซเชเซเชธ เช เชจเซ เชธเชฐเซเชตเชฐเซเชธ เชฌเชจเชพเชตเซเช:
root@ceph01-q:~#ceph osd crush add-bucket rack01 root #ัะพะทะดะฐะปะธ ะฝะพะฒัะน root
root@ceph01-q:~#ceph osd crush add-bucket ceph01-q host #ัะพะทะดะฐะปะธ ะฝะพะฒัะน ั
ะพัั
root@ceph01-q:~#ceph osd crush move ceph01-q root=rack01 #ะฟะตัะตััะฐะฒะธะปะธ ัะตัะฒะตั ะฒ ะดััะณัั ััะพะนะบั
root@ceph01-q:~#osd crush add 28 1.0 host=ceph02-q # ะะพะฑะฐะฒะธะปะธ ะะกะ ะฒ ัะตัะฒะตั
# ะัะปะธ ะบัะธะฒะพ ัะพะทะดะฐะปะธ ัะพ ะผะพะถะฝะพ ัะดะฐะปะธัั
root@ceph01-q:~# ceph osd crush remove osd.4
root@ceph01-q:~# ceph osd crush remove rack01
เช เชฎเซ เชเซ เชธเชฎเชธเซเชฏเชพเชเชจเซ เชธเชพเชฎเชจเซ เชเชฐเซเชฏเซ เชฒเชกเชพเช เชเซเชฒเชธเซเชเชฐ, เชเซเชฏเชพเชฐเซ เชจเชตเซเช เชนเซเชธเซเช เชฌเชจเชพเชตเชตเชพเชจเซ เชชเซเชฐเชฏเชพเชธ เชเชฐเซ เชฐเชนเซเชฏเชพ เชนเซเชฏ เช เชจเซ เชคเซเชจเซ เชนเชพเชฒเชจเชพ เชฐเซเชเชฎเชพเช เชเชธเซเชกเซ - เชเชฆเซเชถ ceph osd crush move ceph01-host root=rack01 เช เชเชเซ เชเชฏเซ, เช เชจเซ เชฎเซเชจเชฟเชเชฐ เชเช เชชเชเซ เชเช เชชเชกเชตเชพ เชฒเชพเชเซเชฏเชพ. เชธเชฐเชณ CTRL+C เชตเชกเซ เชเชฆเซเชถเชจเซ เช เชตเชฐเซเชงเชตเชพเชฅเซ เชเซเชฒเชธเซเชเชฐ เชเซเชตเชเชค เชตเชฟเชถเซเชตเชฎเชพเช เชชเชพเชเซเช เชเชตเซเชฏเซเช.
เชถเซเชงเชฎเชพเช เชจเซเชเซเชจเซ เชธเชฎเชธเซเชฏเชพ เชเชตเซ:
เชเชเซเชฒ เช เชนเชคเซ เชเซ เชเซเชฐเชถเชฎเซเชชเชจเซ เชกเชฎเซเชช เชเชฐเซ เช เชจเซ เชคเซเชฏเชพเชเชฅเซ เชตเชฟเชญเชพเชเชจเซ เชฆเซเชฐ เชเชฐเซ เชจเชฟเชฏเชฎ replicated_ruleset
root@ceph01-prod:~#ceph osd getcrushmap -o crushmap.row #ะะฐะผะฟะธะผ ะบะฐััั ะฒ ัััะพะผ ะฒะธะดะต
root@ceph01-prod:~#crushtool -d crushmap.row -o crushmap.txt #ะฟะตัะตะฒะพะดะธะผ ะฒ ัะธัะฐะตะผัะน
root@ceph01-prod:~#vim crushmap.txt #ัะตะดะฐะบัะธััะตะผ, ัะดะฐะปัั rule replicated_ruleset
root@ceph01-prod:~#crushtool -c crushmap.txt -o new_crushmap.row #ะบะพะผะฟะธะปะธััะตะผ ะพะฑัะฐัะฝะพ
root@ceph01-prod:~#ceph osd setcrushmap -i new_crushmap.row #ะทะฐะณััะถะฐะตะผ ะฒ ะบะปะฐััะตั
เช เชเชคเซเชเช: เช เชเชพเชฎเชเซเชฐเซ OSDs เชตเชเซเชเซ เชชเซเชฒเซเชธเชฎเซเชจเซเช เชเซเชฅ เชชเซเชจเชเชธเชเชคเซเชฒเชจเชจเซเช เชเชพเชฐเชฃ เชฌเชจเซ เชถเชเซ เชเซ. เช เชฎเซ เชคเซเชจเซ เชเชพเชฐเชฃเซ เชเซ, เชชเชฐเชเชคเซ เชเซเชฌ เช เชจเชพเชจเชพ.
เช
เชจเซ เชเซเชธเซเช เชเซเชฒเชธเซเชเชฐเชฎเชพเช เช
เชฎเชจเซ เชเซ เชตเชฟเชเชฟเชคเซเชฐเชคเชพ เชฎเชณเซ เชคเซ เช เชเซ เชเซ OSD เชธเชฐเซเชตเชฐเชจเซ เชฐเซเชฌเซเช เชเชฐเซเชฏเชพ เชชเชเซ, เชคเซเช เชญเซเชฒเซ เชเชฏเชพ เชเซ เชคเซเช เชจเชตเชพ เชธเชฐเซเชตเชฐเซเชธ เช
เชจเซ เชฐเซเชเซเชธ เชชเชฐ เชเชธเซเชกเชตเชพเชฎเชพเช เชเชตเซเชฏเชพ เชเซ, เช
เชจเซ เชฎเซเชณ เชกเชฟเชซเซเชฒเซเช เชชเชฐ เชชเชพเชเชพ เชซเชฐเซเชฏเชพ เชเซ.
เชชเชฐเชฟเชฃเชพเชฎเซ, เช
เชเชคเชฟเชฎ เชฏเซเชเชจเชพเชจเซ เชเชธเซเชฎเซเชฌเชฒ เชเชฐเซเชฏเชพ เชชเชเซ, เชเซเชฎเชพเช เช
เชฎเซ ssd เชกเชฟเชธเซเช เชฎเชพเชเซ เช
เชจเซ เชธเซเชชเชฟเชจเซเชกเชฒ เชฎเชพเชเซ เช
เชฒเชเชฅเซ เชเช เช
เชฒเช เชฐเซเช เชฌเชจเชพเชตเซเชฏเซเช เชเซ, เช
เชฎเซ เชคเชฎเชพเชฎ OSD เชจเซ เชฐเซเชเซเชธ เชธเชพเชฅเซ เชเซเชเชเซ เชฒเซเชงเชพ เชเซ เช
เชจเซ เชกเชฟเชซเซเชฒเซเช เชฐเซเชเชจเซ เชเชพเชฒเซ เชเชพเชขเซ เชจเชพเชเซเชฏเชพ เชเซ. เชฐเซเชฌเซเช เชเชฐเซเชฏเชพ เชชเชเซ, OSD เชคเซเชฎเชจเชพ เชธเซเชฅเชพเชจเซ เชฐเชนเซเชตเชพ เชฒเชพเชเซเชฏเชพ.
เชชเชพเชเชณเชฅเซ เชกเซเชเซเชฏเซเชฎเซเชจเซเชเซเชถเชจเชฎเชพเช เชเชกเชฌเชก เชเชฐเชตเชพเชฅเซ เชเช เชชเชฐเชฟเชฎเชพเชฃ เชฎเชณเซเชฏเซเช เชเซ เช เชตเชฐเซเชคเชจ เชฎเชพเชเซ เชเชตเชพเชฌเชฆเชพเชฐ เชเซ. เชฌเซเชเชพ เชญเชพเชเชฎเชพเช เชคเซเชจเชพ เชตเชฟเชถเซ
เช เชฎเซ เชกเชฟเชธเซเชเชจเชพ เชชเซเชฐเชเชพเชฐเซ เชฆเซเชตเชพเชฐเชพ เชตเชฟเชตเชฟเชง เชเซเชฅเซ เชเซเชตเซ เชฐเซเชคเซ เชเชฐเซเชฏเชพ.
เชถเชฐเซ เชเชฐเชตเชพ เชฎเชพเชเซ, เช เชฎเซ เชฌเซ เชฎเซเชณ เชฌเชจเชพเชตเซเชฏเชพ เชเซ - ssd เช เชจเซ hdd เชฎเชพเชเซ
root@ceph01-q:~#ceph osd crush add-bucket ssd-root root
root@ceph01-q:~#ceph osd crush add-bucket hdd-root root
เชธเชฐเซเชตเชฐ เชญเซเชคเชฟเช เชฐเซเชคเซ เชตเชฟเชตเชฟเชง เชฐเซเชเซเชธเชฎเชพเช เชธเซเชฅเชฟเชค เชนเซเชตเชพเชฅเซ, เชธเชเชตเชก เชฎเชพเชเซ, เช เชฎเซ เชฐเซเชเซเชธ เชฌเชจเชพเชตเซเชฏเชพ เชเซ เช เชจเซ เชคเซเชฎเชพเช เชธเชฐเซเชตเชฐ เชชเชนเซเชฒเซเชฅเซ เช เชเซ
# ะกัะพะนะบะธ:
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack02 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack03 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
# ะกะตัะฒะตัะฐ
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph03-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
เช เชจเซ เช เชฒเช-เช เชฒเช เชธเชฐเซเชตเชฐเซเชธเชฎเชพเช เชคเซเชฎเชจเชพ เชชเซเชฐเชเชพเชฐเซ เช เชจเซเชธเชพเชฐ เชตเซเชฐเชตเชฟเชเซเชฐ เชกเชฟเชธเซเช
root@ceph01-q:~# ะะธัะบะธ ั 0 ะฟะพ 3 ััะพ SSD, ะฝะฐั
ะพะดัััั ะฒ ceph01-q, ััะฐะฒะธะผ ะธั
ะฒ ัะตัะฒะตั
root@ceph01-q:~# ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 0 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 1 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 2 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 3 1 host=ssd-ceph01-q
root-ceph01-q:~# ะฐะฝะฐะปะพะณะธัะฝะพ ั ะดััะณะธะผะธ ัะตัะฒะตัะฐะผะธ
ssd-root เช เชจเซ hdd-root เชฐเซเช เชชเชฐ เชกเชฟเชธเซเชเชจเซ เชตเซเชฐเชตเชฟเชเซเชฐ เชเชฐเซเชฏเชพ เชชเชเซ, เช เชฎเซ เชฐเซเช-เชกเชฟเชซเซเชฒเซเชเชจเซ เชเชพเชฒเซ เชเซเชกเซ เชฆเซเชงเซเช เชเซ, เชเซเชฅเซ เช เชฎเซ เชคเซเชจเซ เชเชพเชขเซ เชจเชพเชเซ เชถเชเซเช.
root-ceph01-q:~#ceph osd crush remove default
เชเชเชณ, เชเชชเชฃเซ เชตเชฟเชคเชฐเชฃเชจเชพ เชจเชฟเชฏเชฎเซ เชฌเชจเชพเชตเชตเชพเชจเซ เชเชฐเซเชฐ เชเซ เชเซ เชเซ เชเชชเชฃเซ เชฌเชจเชพเชตเซเชฒเชพ เชชเซเชฒ เชธเชพเชฅเซ เชเซเชกเชพเชเชถเซเช - เชจเชฟเชฏเชฎเซเชฎเชพเช เชเชชเชฃเซ เชธเซเชชเชทเซเช เชเชฐเซเชถเซเช เชเซ เชเชชเชฃเซ เชเชฏเชพ เชฐเซเชเชฎเชพเช เชเชชเชฃเซ เชชเซเชฒ เชกเซเชเชพ เช เชจเซ เชชเซเชฐเชคเชฟเชเซเชคเชฟเชจเซเช เชตเชฟเชถเชฟเชทเซเชเชคเชพ เชธเซเชคเชฐ เชฎเซเชเซ เชถเชเซเช - เชเชฆเชพเชนเชฐเชฃ เชคเชฐเซเชเซ, เชชเซเชฐเชคเชฟเชเซเชคเชฟเช เชตเชฟเชตเชฟเชง เชธเชฐเซเชตเชฐเซเชธ เชชเชฐ เชนเซเชตเซ เชเซเชเช, เช เชฅเชตเชพ เชตเชฟเชตเชฟเชง เชฐเซเชเซเชธเชฎเชพเช (เชเซ เช เชฎเชพเชฐเซ เชชเชพเชธเซ เชเชตเซเช เชตเชฟเชคเชฐเชฃ เชนเซเชฏ เชคเซ เชคเชฎเซ เชเซเชฆเชพ เชเซเชฆเชพ เชฐเซเชเชฎเชพเช เชชเชฃ เชเชฐเซ เชถเชเซ เชเซ)
เชชเซเชฐเชเชพเชฐ เชชเชธเชเชฆ เชเชฐเชคเชพ เชชเชนเซเชฒเชพ, เชฆเชธเซเชคเชพเชตเซเชเซ เชตเชพเชเชเชตเชพเชจเซเช เชตเชงเซ เชธเชพเชฐเซเช เชเซ:
root-ceph01-q:~#ceph osd crush rule create-simple rule-ssd ssd-root host firstn
root-ceph01-q:~#ceph osd crush rule create-simple rule-hdd hdd-root host firstn
root-ceph01-q:~# ะั ัะบะฐะทะฐะปะธ ะดะฒะฐ ะฟัะฐะฒะธะปะฐ, ะฒ ะบะพัะพััั
ะดะฐะฝะฝัะต ัะตะฟะปะธัะธัััััั
root-ceph01-q:~# ะผะตะถะดั ั
ะพััะฐะผะธ - ัะพ ะตััั ัะตะฟะปะธะบะฐ ะดะพะปะถะฝะฐ ะปะตะถะฐัั ะฝะฐ ะดััะณะพะผ ั
ะพััะต,
root-ceph01-q:~# ะดะฐะถะต ะตัะปะธ ะพะฝะธ ะฒ ะพะดะฝะพะน ััะพะนะบะต
root-ceph01-q:~# ะ ะฟัะพะดะฐะบัะตะฝะต, ะตัะปะธ ะตััั ะฒะพะทะผะพะถะฝะพััั, ะปัััะต ัะฐัะฟัะตะดะตะปะธัั ั
ะพััั
root-ceph01-q:~# ะฟะพ ััะพะนะบะฐะผ ะธ ัะบะฐะทะฐัั ัะฐัะฟัะตะดะตะปััั ัะตะฟะปะธะบะธ ะฟะพ ััะพะนะบะฐะผ:
root-ceph01-q:~# ##ceph osd crush rule create-simple rule-ssd ssd-root rack firstn
เช เซเช เชเซ, เช เชฎเซ เชชเซเชฒ เชฌเชจเชพเชตเซเช เชเซเช เชเซเชฎเชพเช เช เชฎเซ เชญเชตเชฟเชทเซเชฏเชฎเชพเช เช เชฎเชพเชฐเชพ เชตเชฐเซเชเซเชฏเซเช เชฒเชพเชเชเซเชถเชจเชจเซ เชกเชฟเชธเซเช เชเชฎเซเชเซ เชธเซเชเซเชฐ เชเชฐเชตเชพ เชฎเชพเชเชเซเช เชเซเช - PROXMOX:
root-ceph01-q:~# #ceph osd pool create {NAME} {pg_num} {pgp_num}
root-ceph01-q:~# ceph osd pool create ssd_pool 1024 1024
root-ceph01-q:~# ceph osd pool create hdd_pool 1024 1024
เช เชจเซ เช เชฎเซ เช เชชเซเชฒเชจเซ เชเชนเซเช เชเซเช เชเซ เชชเซเชฒเซเชธเชฎเซเชจเซเชเชจเชพ เชเชฏเชพ เชจเชฟเชฏเชฎเซเชจเซ เชเชชเชฏเซเช เชเชฐเชตเซ
root-ceph01-q:~#ceph osd crush rule ls # ัะผะพััะธะผ ัะฟะธัะพะบ ะฟัะฐะฒะธะป
root-ceph01-q:~#ceph osd crush rule dump rule-ssd | grep rule_id #ะฒัะฑะธัะฐะตะผ ID ะฝัะถะฝะพะณะพ
root-ceph01-q:~#ceph osd pool set ssd_pool crush_rule 2
เชชเซเชฒเซเชธเชฎเซเชจเซเช เชเซเชฅเซเชจเซ เชธเชเชเซเชฏเชพเชจเซ เชชเชธเชเชฆเชเซ เชฎเชพเชเซ เชคเชฎเชพเชฐเชพ เชเซเชฒเชธเซเชเชฐ เชฎเชพเชเซ เชชเซเชฐเซเชต-เช เชธเซเชคเชฟเชคเซเชตเชฎเชพเช เชฐเชนเซเชฒเชพ เชตเชฟเชเชจ เชธเชพเชฅเซ เชธเชเชชเชฐเซเช เชเชฐเชตเซ เชเซเชเช - เชคเซเชฏเชพเช เชเซเชเชฒเซ OSD เชนเชถเซ, เชเซเชเชฒเซ เชกเซเชเชพ (เชเซเชฒเชจเซ เชเชเชพเชตเชพเชฐเซ เชคเชฐเซเชเซ) เชชเซเชฒเชฎเชพเช เชนเชถเซ, เชเซเชฒ เชเซเชเชฒเซ เชกเซเชเชพ .
เชเซเชฒ เชฎเชณเซเชจเซ, เชกเชฟเชธเซเช เชฆเซเช 300 เชฅเซ เชตเชงเซ เชชเซเชฒเซเชธเชฎเซเชจเซเช เชเซเชฅเซ เชจ เชฐเชพเชเชตเชพ เชเชเซเชเชจเซเชฏ เชเซ, เช เชจเซ เชจเชพเชจเชพ เชชเซเชฒเซเชธเชฎเซเชจเซเช เชเซเชฅเซ เชธเชพเชฅเซ เชธเชเชคเซเชฒเชจ เชเชฐเชตเซเช เชธเชฐเชณ เชฐเชนเซเชถเซ - เชเชเชฒเซ เชเซ, เชเซ เชคเชฎเชพเชฐเซ เชเชเซ เชชเซเชฒ เชคเซเชฎเชพเช 10 Tb เช เชจเซ 10 PG เชงเชฐเชพเชตเซ เชเซ - เชคเซ เชคเซ เชธเชฎเชธเซเชฏเชพเชฐเซเชช เชฌเชจเชถเซ. เชเซเชฐเชพเชฌเชพเชเช เชเชเชเซ (pg) เชซเซเชเชเซเชจเซ เชธเชเชคเซเชฒเชฟเชค เชเชฐเชตเชพ - เชกเซเชฒเชฎเชพเช เชฐเซเชคเซเชจเชพ เชจเชพเชจเชพ เชฆเชพเชฃเชพ เชธเชพเชฅเซ เชฐเซเชคเซ เชฐเซเชกเชตเซ เชธเชฐเชณ เช เชจเซ เชธเชฐเชณ เชเซ).
เชชเชฐเชเชคเซ เชเชชเชฃเซ เชฏเชพเชฆ เชฐเชพเชเชตเซเช เชเซเชเช เชเซ เชชเซเชเซเชจเซ เชธเชเชเซเชฏเชพ เชเซเชเชฒเซ เชตเชงเชพเชฐเซ เชเซ - เชคเซเชฎเชจเชพ เชธเซเชฅเชพเชจเชจเซ เชเชฃเชคเชฐเซ เชเชฐเชตเชพ เชฎเชพเชเซ เชตเชงเซ เชธเชเชธเชพเชงเชจเซ เชเชฐเซเชเชตเชพเชฎเชพเช เชเชตเซ เชเซ - เชฎเซเชฎเชฐเซ เช เชจเซ เชธเซเชชเซเชฏเซเชจเซ เชเชชเชฏเซเช เชฅเชตเชพเชจเซเช เชถเชฐเซ เชฅเชพเชฏ เชเซ.
เช
เชเชฆเชพเชเชฟเชค เชธเชฎเชเชฃ เชเชฐเซ เชถเชเซ เชเซ
เชธเชพเชฎเชเซเชฐเซเชจเซ เชธเซเชเชฟ:
เชธเซเชฐเซเชธ: www.habr.com