CEPH เจฆเฉ เจเฉเจฃ เจเจฐ เจฐเจฟเจนเจพ เจนเฉเฅค เจญเจพเจ 1
เจธเจพเจกเฉ เจเฉเจฒ เจชเฉฐเจ เจฐเฉเจ, เจฆเจธ เจเจชเจเฉเจเจฒ เจธเจตเจฟเฉฑเจ, เจเฉเจเจซเจฟเจเจฐ เจเฉเจคเฉ BGP, เจฆเฉ เจฆเจฐเจเจจ SSD เจ เจคเฉ เจธเจพเจฐเฉ เจฐเฉฐเจเจพเจ เจ เจคเฉ เจเจเจพเจฐเจพเจ เจฆเฉเจเจ SAS เจกเจฟเจธเจเจพเจ เจฆเจพ เจเฉฑเจ เจธเจฎเฉเจน, เจจเจพเจฒ เจนเฉ เจชเฉเจฐเฉเจเจธเจฎเฉเจเจธ เจ เจคเฉ เจธเจพเจฐเฉ เจธเจฅเจฟเจฐ เจกเฉเจเจพ เจจเฉเฉฐ เจธเจพเจกเฉ เจเจชเจฃเฉ S3 เจธเจเฉเจฐเฉเจ เจตเจฟเฉฑเจ เจชเจพเจเจฃ เจฆเฉ เจเฉฑเจเจพ เจธเฉเฅค เจเจน เจจเจนเฉเจ เจเจฟ เจเจน เจธเจญ เจตเจฐเจเฉเจ เจฒเจพเจเจเฉเจธเจผเจจ เจฒเจ เจเจผเจฐเฉเจฐเฉ เจนเฉ, เจชเจฐ เจเฉฑเจ เจตเจพเจฐ เจเจฆเฉเจ เจคเฉเจธเฉเจ เจเจชเจจเจธเฉเจฐเจธ เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจจเจพ เจธเจผเฉเจฐเฉ เจเจฐ เจฆเจฟเฉฐเจฆเฉ เจนเฉ, เจคเจพเจ เจเจชเจฃเฉ เจธเจผเฉเจ เจจเฉเฉฐ เจ เฉฐเจค เจคเฉฑเจ เจชเจพเจฒเจฃเจพ เจเจฐเฉ. เจเจเฉ เจเฉเจเจผ เจเจฟเจธ เจจเฉ เจฎเฉเจจเฉเฉฐ เจชเจฐเฉเจธเจผเจพเจจ เจเฉเจคเจพ เจเจน เจธเฉ เจฌเฉ.เจเฉ.เจชเฉ. เจ เฉฐเจฆเจฐเฉเจจเฉ BGP เจฐเฉเจเจฟเฉฐเจ เจคเฉเจ เจตเฉฑเจง เจฒเจพเจเจพเจฐ, เจเฉเจฐ-เจเจผเจฟเฉฐเจฎเฉเจตเจพเจฐ เจ เจคเฉ เจ เจจเฉเจคเจฟเจ เจธเฉฐเจธเจพเจฐ เจตเจฟเฉฑเจ เจเฉเจ เจจเจนเฉเจ เจนเฉเฅค เจ เจคเฉ เจฎเฉเจจเฉเฉฐ เจชเจคเจพ เจธเฉ เจเจฟ เจฌเจนเฉเจค เจเจฒเจฆเฉ เจ เจธเฉเจ เจเจธ เจตเจฟเฉฑเจ เจกเฉเฉฑเจฌ เจเจพเจตเจพเจเจเฉเฅค
เจเฉฐเจฎ เจฎเจพเจฎเฉเจฒเฉ เจธเฉ - เจธเฉเจเจชเฉเจเจ เจธเฉ, เจชเจฐ เจเจน เจฌเจนเฉเจค เจตเจงเฉเจ เจเฉฐเจฎ เจจเจนเฉเจ เจเจฐเจฆเจพ เจธเฉเฅค "เจเฉฐเจเจพ" เจเจฐเจจเจพ เจเจผเจฐเฉเจฐเฉ เจธเฉเฅค
เจฎเฉเจจเฉเฉฐ เจชเฉเจฐเจพเจชเจค เจนเฉเจเจ เจเจฒเฉฑเจธเจเจฐ เจตเจฟเจญเจฟเฉฐเจจ เจธเฉ, เจเจฒเจฆเจฌเจพเจเจผเฉ เจตเจฟเฉฑเจ เจเจฟเจเจจ เจเฉเจคเจพ เจเจฟเจ เจธเฉ เจ
เจคเฉ เจ
เจฎเจฒเฉ เจคเฉเจฐ 'เจคเฉ เจเจฟเจเจจ เจจเจนเฉเจ เจเฉเจคเจพ เจเจฟเจ เจธเฉเฅค เจเจธ เจตเจฟเฉฑเจ เจตเฉฑเจ-เจตเฉฑเจ เจจเฉเจกเจพเจ เจฆเฉ เจฆเฉ เจธเจฎเฉเจน เจนเฉเฉฐเจฆเฉ เจนเจจ, เจเจฟเจธ เจตเจฟเฉฑเจ เจเฉฑเจ เจธเจพเจเจเจพ เจเจฐเจฟเฉฑเจก เจเฉฑเจ เจเจฒเฉฑเจธเจเจฐ เจ
เจคเฉ เจเฉฑเจ เจเจจเจคเจ เจจเฉเฉฑเจเจตเจฐเจ เจฆเฉเจตเจพเจ เจตเจเฉเจ เจเฉฐเจฎ เจเจฐเจฆเจพ เจนเฉเฅค เจจเฉเจก เจเจพเจฐ เจเจฟเจธเจฎเจพเจ เจฆเฉเจเจ เจกเจฟเจธเจเจพเจ เจจเจพเจฒ เจญเจฐเฉ เจนเฉเจ เจธเจจ - เจฆเฉ เจเจฟเจธเจฎ เจฆเฉ SSD, เจฆเฉ เจตเฉฑเจเจฐเฉ เจชเจฒเฉเจธเจฎเฉเจเจ เจจเจฟเจฏเจฎเจพเจ เจตเจฟเฉฑเจ เจเจเฉฑเจคเจฐ เจเฉเจคเฉ เจเจ, เจ
เจคเฉ เจตเฉฑเจเจฐเฉ เจเจเจพเจฐ เจฆเฉ เจฆเฉ เจเจฟเจธเจฎ เจฆเฉ HDD, เจเฉฑเจ เจคเฉเจเฉ เจธเจฎเฉเจน เจตเจฟเฉฑเจ เจเจเฉฑเจ เฉ เจเฉเจคเฉ เจเจเฅค เจตเฉฑเจ-เจตเฉฑเจ เจเจเจพเจฐเจพเจ เจตเจพเจฒเฉ เจธเจฎเฉฑเจธเจฟเจ เจจเฉเฉฐ เจตเฉฑเจ-เจตเฉฑเจ OSD เจตเจเจผเจจเจพเจ เจฆเฉเจเจฐเจพ เจนเฉฑเจฒ เจเฉเจคเจพ เจเจฟเจ เจธเฉเฅค
เจธเฉเฉฑเจเจ เฉฑเจช เจเจชเจฃเฉ เจเจช เจจเฉเฉฐ เจฆเฉ เจนเจฟเฉฑเจธเจฟเจเจ เจตเจฟเฉฑเจ เจตเฉฐเจกเจฟเจ เจเจฟเจ เจนเฉ - เจเจชเจฐเฉเจเจฟเฉฐเจ เจธเจฟเจธเจเจฎ เจเจฟเจเจจเจฟเฉฐเจ ะธ เจเฉเจฆ CEPH เจฆเฉ เจเจฟเจเจจเจฟเฉฐเจ เจ เจคเฉ เจเจธ เจฆเฉเจเจ เจธเฉเจเจฟเฉฐเจเจพเจเฅค
OS เจจเฉเฉฐ เจ เฉฑเจชเจเฉเจฐเฉเจก เจเฉเจคเจพ เจเจพ เจฐเจฟเจนเจพ เจนเฉ
เจจเฉเฉฑเจเจตเจฐเจ
เจเฉฑเจ เจฒเฉเจเฉเจเจธเฉ เจจเฉ เจฐเจฟเจเจพเจฐเจกเจฟเฉฐเจ เจ เจคเฉ เจธเฉฐเจคเฉเจฒเจจ เจฆเฉเจตเจพเจ เจจเฉเฉฐ เจชเฉเจฐเจญเจพเจตเจฟเจค เจเฉเจคเจพเฅค เจฐเจฟเจเจพเจฐเจกเจฟเฉฐเจ เจเจฐเจฆเฉ เจธเจฎเฉเจ - เจเจฟเจเจเจเจฟ เจเจฒเจพเจเฉฐเจ เจจเฉเฉฐ เจธเจซเจฒ เจฐเจฟเจเจพเจฐเจกเจฟเฉฐเจ เจฌเจพเจฐเฉ เจเฉเจ เจเจตเจพเจฌ เจจเจนเฉเจ เจฎเจฟเจฒเฉเจเจพ เจเจฆเฉเจ เจคเฉฑเจ เจฆเฉเจเฉ เจชเจฒเฉเจธเจฎเฉเจเจ เจธเจฎเฉเจนเจพเจ เจตเจฟเฉฑเจ เจกเจพเจเจพ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉเจเจ เจธเจซเจฒเจคเจพ เจฆเฉ เจชเฉเจธเจผเจเฉ เจจเจนเฉเจ เจเจฐเจฆเฉเจเจเฅค เจเจฟเจเจเจเจฟ CRUSH เจจเจเจธเจผเฉ เจตเจฟเฉฑเจ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉเจเจ เจจเฉเฉฐ เจตเฉฐเจกเจฃ เจฆเฉ เจจเจฟเจฏเจฎ เจชเฉเจฐเจคเฉ เจฎเฉเจเจผเจฌเจพเจจ เจฒเจ เจเฉฑเจ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจธเจจ, เจจเฉเจเจตเจฐเจ เจนเจฎเฉเจธเจผเจพ เจตเจฐเจคเจฟเจ เจเจพเจเจฆเจพ เจธเฉเฅค
เจเจธ เจฒเจ, เจธเจญ เจคเฉเจ เจชเจนเจฟเจฒเจพเจ เจเฉ เจฎเฉเจ เจเจฐเจจ เจฆเจพ เจซเฉเจธเจฒเจพ เจเฉเจคเจพ เจเจน เจฎเฉเจเฉเจฆเจพ เจจเฉเจเจตเจฐเจ เจจเฉเฉฐ เจฅเฉเฉเจพ เจเจฟเจนเจพ เจเจตเฉเจ เจเจฐเจจเจพ เจธเฉ, เจเจฆเฉเจ เจเจฟ เจเจธเฉ เจธเจฎเฉเจ เจฎเฉเจจเฉเฉฐ เจตเฉฑเจเจฐเฉ เจจเฉเจเจตเจฐเจเจธ เจคเฉ เจเจพเจฃ เจฒเจ เจฎเจจเจพเจเจฃ เจฆเฉ เจเฉเจธเจผเจฟเจธเจผ เจเฉเจคเฉ เจเจ เจธเฉ.
เจธเจผเฉเจฐเฉ เจเจฐเจจ เจฒเจ, เจฎเฉเจ เจจเฉเฉฑเจเจตเจฐเจ เจเจพเจฐเจกเจพเจ เจฆเฉเจเจ เจธเฉเจเจฟเฉฐเจเจพเจ เจจเฉเฉฐ เจเจตเฉเจ เจเฉเจคเจพ เจนเฉเฅค เจฎเฉเจ เจเจคเจพเจฐเจพเจ เจธเจฅเจพเจชเจค เจเจฐเจเฉ เจธเจผเฉเจฐเฉเจเจค เจเฉเจคเฉ:
เจเฉ เจนเฉเจเจ:
ethtool -l ens1f1
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
root@ceph01:~# ethtool -g ens1f1
Ring parameters for ens1f1:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 256
RX Mini: 0
RX Jumbo: 0
TX: 256
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
เจเจน เจฆเฉเจเจฟเจ เจเจพ เจธเจเจฆเจพ เจนเฉ เจเจฟ เจฎเฉเจเฉเจฆเจพ เจฎเจพเจชเจฆเฉฐเจก เจ เจงเจฟเจเจคเจฎ เจคเฉเจ เจฌเจนเฉเจค เจฆเฉเจฐ เจนเจจ. เจตเจงเจฟเจ:
root@ceph01:~#ethtool -G ens1f0 rx 4096
root@ceph01:~#ethtool -G ens1f0 tx 4096
root@ceph01:~#ethtool -L ens1f0 combined 63
เจเฉฑเจ เจธเจผเจพเจจเจฆเจพเจฐ เจฒเฉเจ เจฆเฉเจเจฐเจพ เจธเฉเจงเจฟเจค
เจญเฉเจเจฃ เจตเจพเจฒเฉ เจเจคเจพเจฐ เจฆเฉ เจฒเฉฐเจฌเจพเจ เจตเจงเจพ เจฆเจฟเฉฑเจคเฉ เจนเฉ txqueuelen 1000 เจคเฉเจ 10 เจคเฉฑเจ
root@ceph01:~#ip link set ens1f0 txqueuelen 10000
เจเฉเจฐ, เจเฉเจฆ ceph เจฆเฉ เจฆเจธเจคเจพเจตเฉเจเจผเจพเจ เจฆเฉ เจชเจพเจฒเจฃเจพ เจเจฐเจฆเฉ เจนเฉเจ
เจตเจงเจฟเจ MTU 9000 เจคเฉฑเจ
root@ceph01:~#ip link set dev ens1f0 mtu 9000
/etc/network/interfaces เจตเจฟเฉฑเจ เจเฉเฉเจฟเจ เจเจฟเจ เจนเฉ เจคเจพเจ เจเฉ เจเจชเจฐเฉเจเจค เจธเจพเจฐเฉ เจธเจเจพเจฐเจเจ เฉฑเจช เจคเฉ เจฒเฉเจก เจเฉเจคเฉ เจเจพ เจธเจเจฃ
เจฌเจฟเฉฑเจฒเฉ / เจเจฆเจฟ / เจจเฉเฉฑเจเจตเจฐเจ / เจเฉฐเจเจฐเจซเฉเจธ
root@ceph01:~# cat /etc/network/interfaces
auto lo
iface lo inet loopback
auto ens1f0
iface ens1f0 inet manual
post-up /sbin/ethtool -G ens1f0 rx 4096
post-up /sbin/ethtool -G ens1f0 tx 4096
post-up /sbin/ethtool -L ens1f0 combined 63
post-up /sbin/ip link set ens1f0 txqueuelen 10000
mtu 9000
auto ens1f1
iface ens1f1 inet manual
post-up /sbin/ethtool -G ens1f1 rx 4096
post-up /sbin/ethtool -G ens1f1 tx 4096
post-up /sbin/ethtool -L ens1f1 combined 63
post-up /sbin/ip link set ens1f1 txqueuelen 10000
mtu 9000
เจเจฟเจธ เจคเฉเจ เจฌเจพเจ เจฆ, เจเจธเฉ เจฒเฉเจ เจฆเฉ เจชเจพเจฒเจฃเจพ เจเจฐเจฆเฉ เจนเฉเจ, เจฎเฉเจ เจธเฉเจ-เจธเจฎเจ เจเฉ 4.15 เจเจฐเจจเจฒ เจฆเฉ เจนเฉเจเจกเจฒ เจจเฉเฉฐ เจฎเจฐเฉเฉเจจเจพ เจธเจผเฉเจฐเฉ เจเฉเจคเจพเฅค เจเจน เจงเจฟเจเจจ เจตเจฟเฉฑเจ เจฐเฉฑเจเจฆเฉ เจนเฉเจ เจเจฟ เจจเฉเจกเจพเจ เจตเจฟเฉฑเจ 128G RAM เจนเฉ, เจ เจธเฉเจ เจเจธ เจฒเจ เจเฉฑเจ เจเฉเจเจซเจฟเจเจฐเฉเจธเจผเจจ เจซเจพเจเจฒ เจฆเฉ เจจเจพเจฒ เจธเจฎเจพเจชเจค เจเฉเจคเจพ sysctl
cat /etc/sysctl.d/50-ceph.conf
net.core.rmem_max = 56623104
#ะะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ ะฟัะธะตะผะฐ ะดะฐะฝะฝัั
ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
net.core.wmem_max = 56623104
#ะะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ ะฟะตัะตะดะฐัะธ ะดะฐะฝะฝัั
ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
net.core.rmem_default = 56623104
#ะ ะฐะทะผะตั ะฑััะตัะฐ ะฟัะธะตะผะฐ ะดะฐะฝะฝัั
ะฟะพ ัะผะพะปัะฐะฝะธั ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน. 54M
net.core.wmem_default = 56623104
#ะ ะฐะทะผะตั ะฑััะตัะฐ ะฟะตัะตะดะฐัะธ ะดะฐะฝะฝัั
ะฟะพ ัะผะพะปัะฐะฝะธั ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
# ะฝะฐ ะบะฐะถะดัะน ัะพะบะตั
net.ipv4.tcp_rmem = 4096 87380 56623104
#ะะตะบัะพัะฝะฐั (ะผะธะฝะธะผัะผ, ะฟะพ ัะผะพะปัะฐะฝะธั, ะผะฐะบัะธะผัะผ) ะฟะตัะตะผะตะฝะฝะฐั ะฒ ัะฐะนะปะต tcp_rmem
# ัะพะดะตัะถะธั 3 ัะตะปัั
ัะธัะปะฐ, ะพะฟัะตะดะตะปัััะธั
ัะฐะทะผะตั ะฟัะธะตะผะฝะพะณะพ ะฑััะตัะฐ ัะพะบะตัะพะฒ TCP.
# ะะธะฝะธะผัะผ: ะบะฐะถะดัะน ัะพะบะตั TCP ะธะผะตะตั ะฟัะฐะฒะพ ะธัะฟะพะปัะทะพะฒะฐัั ััั ะฟะฐะผััั ะฟะพ
# ัะฐะบัั ัะฒะพะตะณะพ ัะพะทะดะฐะฝะธั. ะะพะทะผะพะถะฝะพััั ะธัะฟะพะปัะทะพะฒะฐะฝะธั ัะฐะบะพะณะพ ะฑััะตัะฐ
# ะณะฐัะฐะฝัะธััะตััั ะดะฐะถะต ะฟัะธ ะดะพััะธะถะตะฝะธะธ ะฟะพัะพะณะฐ ะพะณัะฐะฝะธัะตะฝะธั (moderate memory pressure).
# ะ ะฐะทะผะตั ะผะธะฝะธะผะฐะปัะฝะพะณะพ ะฑััะตัะฐ ะฟะพ ัะผะพะปัะฐะฝะธั ัะพััะฐะฒะปัะตั 8 ะะฑะฐะนั (8192).
#ะะฝะฐัะตะฝะธะต ะฟะพ ัะผะพะปัะฐะฝะธั: ะบะพะปะธัะตััะฒะพ ะฟะฐะผััะธ, ะดะพะฟัััะธะผะพะต ะดะปั ะฑััะตัะฐ
# ะฟะตัะตะดะฐัะธ ัะพะบะตัะฐ TCP ะฟะพ ัะผะพะปัะฐะฝะธั. ะญัะพ ะทะฝะฐัะตะฝะธะต ะฟัะธะผะตะฝัะตััั ะฒะทะฐะผะตะฝ
# ะฟะฐัะฐะผะตััะฐ /proc/sys/net/core/rmem_default, ะธัะฟะพะปัะทัะตะผะพะณะพ ะดััะณะธะผะธ ะฟัะพัะพะบะพะปะฐะผะธ.
# ะะฝะฐัะตะฝะธะต ะธัะฟะพะปัะทัะตะผะพะณะพ ะฟะพ ัะผะพะปัะฐะฝะธั ะฑััะตัะฐ ะพะฑััะฝะพ (ะฟะพ ัะผะพะปัะฐะฝะธั)
# ัะพััะฐะฒะปัะตั 87830 ะฑะฐะนั. ะญัะพ ะพะฟัะตะดะตะปัะตั ัะฐะทะผะตั ะพะบะฝะฐ 65535 ั
# ะทะฐะดะฐะฝะฝัะผ ะฟะพ ัะผะพะปัะฐะฝะธั ะทะฝะฐัะตะฝะธะตะผ tcp_adv_win_scale ะธ tcp_app_win = 0,
# ะฝะตัะบะพะปัะบะพ ะผะตะฝััะธะน, ะฝะตะถะตะปะธ ะพะฟัะตะดะตะปัะตั ะฟัะธะฝััะพะต ะฟะพ ัะผะพะปัะฐะฝะธั ะทะฝะฐัะตะฝะธะต tcp_app_win.
# ะะฐะบัะธะผัะผ: ะผะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ, ะบะพัะพััะน ะผะพะถะตั ะฑััั ะฐะฒัะพะผะฐัะธัะตัะบะธ
# ะฒัะดะตะปะตะฝ ะดะปั ะฟัะธะตะผะฐ ัะพะบะตัั TCP. ะญัะพ ะทะฝะฐัะตะฝะธะต ะฝะต ะพัะผะตะฝัะตั ะผะฐะบัะธะผัะผะฐ,
# ะทะฐะดะฐะฝะฝะพะณะพ ะฒ ัะฐะนะปะต /proc/sys/net/core/rmem_max. ะัะธ ยซััะฐัะธัะตัะบะพะผยป
# ะฒัะดะตะปะตะฝะธะธ ะฟะฐะผััะธ ั ะฟะพะผะพััั SO_RCVBUF ััะพั ะฟะฐัะฐะผะตัั ะฝะต ะธะผะตะตั ะทะฝะฐัะตะฝะธั.
net.ipv4.tcp_wmem = 4096 65536 56623104
net.core.somaxconn = 5000
# ะะฐะบัะธะผะฐะปัะฝะพะต ัะธัะปะพ ะพัะบััััั
ัะพะบะตัะพะฒ, ะถะดััะธั
ัะพะตะดะธะฝะตะฝะธั.
net.ipv4.tcp_timestamps=1
# ะ ะฐะทัะตัะฐะตั ะธัะฟะพะปัะทะพะฒะฐะฝะธะต ะฒัะตะผะตะฝะฝัั
ะผะตัะพะบ (timestamps), ะฒ ัะพะพัะฒะตัััะฒะธะธ ั RFC 1323.
net.ipv4.tcp_sack=1
# ะ ะฐะทัะตัะธัั ะฒัะฑะพัะพัะฝัะต ะฟะพะดัะฒะตัะถะดะตะฝะธั ะฟัะพัะพะบะพะปะฐ TCP
net.core.netdev_max_backlog=5000 (ะดะตัะพะปั 1000)
# ะผะฐะบัะธะผะฐะปัะฝะพะต ะบะพะปะธัะตััะฒะพ ะฟะฐะบะตัะพะฒ ะฒ ะพัะตัะตะดะธ ะฝะฐ ะพะฑัะฐะฑะพัะบั, ะตัะปะธ
# ะธะฝัะตััะตะนั ะฟะพะปััะฐะตั ะฟะฐะบะตัั ะฑััััะตะต, ัะตะผ ัะดัะพ ะผะพะถะตั ะธั
ะพะฑัะฐะฑะพัะฐัั.
net.ipv4.tcp_max_tw_buckets=262144
# ะะฐะบัะธะผะฐะปัะฝะพะต ัะธัะปะพ ัะพะบะตัะพะฒ, ะฝะฐั
ะพะดััะธั
ัั ะฒ ัะพััะพัะฝะธะธ TIME-WAIT ะพะดะฝะพะฒัะตะผะตะฝะฝะพ.
# ะัะธ ะฟัะตะฒััะตะฝะธะธ ััะพะณะพ ะฟะพัะพะณะฐ โ ยซะปะธัะฝะธะนยป ัะพะบะตั ัะฐะทัััะฐะตััั ะธ ะฟะธัะตััั
# ัะพะพะฑัะตะฝะธะต ะฒ ัะธััะตะผะฝัะน ะถััะฝะฐะป.
net.ipv4.tcp_tw_reuse=1
#ะ ะฐะทัะตัะฐะตะผ ะฟะพะฒัะพัะฝะพะต ะธัะฟะพะปัะทะพะฒะฐะฝะธะต TIME-WAIT ัะพะบะตัะพะฒ ะฒ ัะปััะฐัั
,
# ะตัะปะธ ะฟัะพัะพะบะพะป ััะธัะฐะตั ััะพ ะฑะตะทะพะฟะฐัะฝัะผ.
net.core.optmem_max=4194304
#ะฃะฒะตะปะธัะธัั ะผะฐะบัะธะผะฐะปัะฝัะน ะพะฑัะธะน ะฑััะตั-ะบะพัะผะธัะตัะบะพะน ALLOCATABLE
#ะธะทะผะตััะตััั ะฒ ะตะดะธะฝะธัะฐั
ัััะฐะฝะธั (4096 ะฑะฐะนั)
net.ipv4.tcp_low_latency=1
#ะ ะฐะทัะตัะฐะตั ััะตะบั TCP/IP ะพัะดะฐะฒะฐัั ะฟัะตะดะฟะพััะตะฝะธะต ะฝะธะทะบะพะผั ะฒัะตะผะตะฝะธ ะพะถะธะดะฐะฝะธั
# ะฟะตัะตะด ะฑะพะปะตะต ะฒััะพะบะพะน ะฟัะพะฟััะบะฝะพะน ัะฟะพัะพะฑะฝะพัััั.
net.ipv4.tcp_adv_win_scale=1
# ะญัะฐ ะฟะตัะตะผะตะฝะฝะฐั ะฒะปะธัะตั ะฝะฐ ะฒััะธัะปะตะฝะธะต ะพะฑัะตะผะฐ ะฟะฐะผััะธ ะฒ ะฑััะตัะต ัะพะบะตัะฐ,
# ะฒัะดะตะปัะตะผะพะน ะฟะพะด ัะฐะทะผะตั TCP-ะพะบะฝะฐ ะธ ะฟะพะด ะฑััะตั ะฟัะธะปะพะถะตะฝะธั.
# ะัะปะธ ะฒะตะปะธัะธะฝะฐ tcp_adv_win_scale ะพััะธัะฐัะตะปัะฝะฐั, ัะพ ะดะปั ะฒััะธัะปะตะฝะธั ัะฐะทะผะตัะฐ
# ะธัะฟะพะปัะทัะตััั ัะปะตะดัััะตะต ะฒััะฐะถะตะฝะธะต:
# Bytes- bytes2ะฒ ััะตะฟะตะฝะธ -tcp_adv_win_scale
# ะะดะต bytes โ ััะพ ัะฐะทะผะตั ะพะบะฝะฐ ะฒ ะฑะฐะนัะฐั
. ะัะปะธ ะฒะตะปะธัะธะฝะฐ tcp_adv_win_scale
# ะฟะพะปะพะถะธัะตะปัะฝะฐั, ัะพ ะดะปั ะพะฟัะตะดะตะปะตะฝะธั ัะฐะทะผะตัะฐ ะธัะฟะพะปัะทัะตััั ัะปะตะดัััะตะต ะฒััะฐะถะตะฝะธะต:
# Bytes- bytes2ะฒ ััะตะฟะตะฝะธ tcp_adv_win_scale
# ะะตัะตะผะตะฝะฝะฐั ะฟัะธะฝะธะผะฐะตั ัะตะปะพะต ะทะฝะฐัะตะฝะธะต. ะะฝะฐัะตะฝะธะต ะฟะพ-ัะผะพะปัะฐะฝะธั โ 2,
# ั.ะต. ะฟะพะด ะฑััะตั ะฟัะธะปะพะถะตะฝะธั ะพัะฒะพะดะธััั ยผ ัะฐััั ะพะฑัะตะผะฐ, ะพะฟัะตะดะตะปัะตะผะพะณะพ ะฟะตัะตะผะตะฝะฝะพะน
# tcp_rmem.
net.ipv4.tcp_slow_start_after_idle=0
# ะผะตั
ะฐะฝะธะทะผ ะฟะตัะตะทะฐะฟััะบะฐ ะผะตะดะปะตะฝะฝะพะณะพ ััะฐััะฐ, ะบะพัะพััะน ัะฑัะฐััะฒะฐะตั ะทะฝะฐัะตะฝะธะต ะพะบะฝะฐ
# ะฟะตัะตะณััะทะบะธ, ะตัะปะธ ัะพะตะดะธะฝะตะฝะธะต ะฝะต ะธัะฟะพะปัะทะพะฒะฐะปะพัั ะทะฐะดะฐะฝะฝัะน ะฟะตัะธะพะด ะฒัะตะผะตะฝะธ.
# ะัััะต ะพัะบะปััะธัั SSR ะฝะฐ ัะตัะฒะตัะต, ััะพะฑั ัะปัััะธัั ะฟัะพะธะทะฒะพะดะธัะตะปัะฝะพััั
# ะดะพะปะณะพะถะธะฒััะธั
ัะพะตะดะธะฝะตะฝะธะน.
net.ipv4.tcp_no_metrics_save=1
#ะะต ัะพั
ัะฐะฝััั ัะตะทัะปััะฐัั ะธะทะผะตัะตะฝะธะน TCP ัะพะตะดะธะฝะตะฝะธั ะฒ ะบะตัะต ะฟัะธ ะตะณะพ ะทะฐะบัััะธะธ.
net.ipv4.tcp_syncookies=0
#ะัะบะปััะธัั ะผะตั
ะฐะฝะธะทะผ ะพัะฟัะฐะฒะบะธ syncookie
net.ipv4.tcp_ecn=0
#Explicit Congestion Notification (ะฏะฒะฝะพะต ะฃะฒะตะดะพะผะปะตะฝะธะต ะพ ะะตัะตะณััะถะตะฝะฝะพััะธ) ะฒ
# TCP-ัะพะตะดะธะฝะตะฝะธัั
. ะัะฟะพะปัะทัะตััั ะดะปั ัะฒะตะดะพะผะปะตะฝะธั ะพ ะฒะพะทะฝะธะบะฝะพะฒะตะฝะธะธ ยซะทะฐัะพัะฐยป
# ะฝะฐ ะผะฐัััััะต ะบ ะทะฐะดะฐะฝะฝะพะผั ั
ะพััั ะธะปะธ ัะตัะธ. ะะพะถะตั ะธัะฟะพะปัะทะพะฒะฐัััั ะดะปั ะธะทะฒะตัะตะฝะธั
# ั
ะพััะฐ-ะพัะฟัะฐะฒะธัะตะปั ะพ ะฝะตะพะฑั
ะพะดะธะผะพััะธ ัะฝะธะทะธัั ัะบะพัะพััั ะฟะตัะตะดะฐัะธ ะฟะฐะบะตัะพะฒ ัะตัะตะท
# ะบะพะฝะบัะตัะฝัะน ะผะฐัััััะธะทะฐัะพั ะธะปะธ ะฑัะฐะฝะดะผะฐััั.
net.ipv4.conf.all.send_redirects=0
# ะฒัะบะปััะฐะตั ะฒัะดะฐัั ICMP Redirect โฆ ะดััะณะธะผ ั
ะพััะฐะผ. ะญัะฐ ะพะฟัะธั ะพะฑัะทะฐัะตะปัะฝะพ
# ะดะพะปะถะฝะฐ ะฑััั ะฒะบะปััะตะฝะฐ, ะตัะปะธ ั
ะพัั ะฒััััะฟะฐะตั ะฒ ัะพะปะธ ะผะฐัััััะธะทะฐัะพัะฐ ะปัะฑะพะณะพ ัะพะดะฐ.
# ะฃ ะฝะฐั ะฝะตั ะผะฐัััััะธะทะฐัะธะธ.
net.ipv4.ip_forward=0
#ะกะพะฟัะฝะพ ะพัะบะปััะตะฝะธะต ัะพัะฒะฐัะดะธะฝะณะฐ. ะั ะฝะต ัะปัะท, ะดะพะบะตั ะฝะฐ ะผะฐัะธะฝะฐั
ะฝะต ะฟะพะดะฝัั,
# ะฝะฐะผ ััะพ ะฝะต ะฝัะถะฝะพ.
net.ipv4.icmp_echo_ignore_broadcasts=1
#ะะต ะพัะฒะตัะฐะตะผ ะฝะฐ ICMP ECHO ะทะฐะฟัะพัั, ะฟะตัะตะดะฐะฝะฝัะต ัะธัะพะบะพะฒะตัะฐัะตะปัะฝัะผะธ ะฟะฐะบะตัะฐะผะธ
net.ipv4.tcp_fin_timeout=10
#ะพะฟัะตะดะตะปัะตั ะฒัะตะผั ัะพั
ัะฐะฝะตะฝะธั ัะพะบะตัะฐ ะฒ ัะพััะพัะฝะธะธ FIN-WAIT-2 ะฟะพัะปะต ะตะณะพ
# ะทะฐะบัััะธั ะปะพะบะฐะปัะฝะพะน ััะพัะพะฝะพะน. ะะตัะพะปั 60
net.core.netdev_budget=600 # (ะดะตัะพะปั 300)
# ะัะปะธ ะฒัะฟะพะปะฝะตะฝะธะต ะฟัะพะณัะฐะผะผะฝัั
ะฟัะตััะฒะฐะฝะธะน ะฝะต ะฒัะฟะพะปะฝััััั ะดะพััะฐัะพัะฝะพ ะดะพะปะณะพ,
# ัะพ ัะตะผะฟ ัะพััะฐ ะฒั
ะพะดััะธั
ะดะฐะฝะฝัั
ะผะพะถะตั ะฟัะตะฒััะธัั ะฒะพะทะผะพะถะฝะพััั ัะดัะฐ
# ะพะฟัััะพัะธัั ะฑััะตั. ะ ัะตะทัะปััะฐัะต ะฑััะตัั NIC ะฟะตัะตะฟะพะปะฝัััั, ะธ ััะฐัะธะบ ะฑัะดะตั ะฟะพัะตััะฝ.
# ะะฝะพะณะดะฐ, ะฝะตะพะฑั
ะพะดะธะผะพ ัะฒะตะปะธัะธัั ะดะปะธัะตะปัะฝะพััั ัะฐะฑะพัั SoftIRQs
# (ะฟัะพะณัะฐะผะผะฝัั
ะฟัะตััะฒะฐะฝะธะน) ั CPU. ะะฐ ััะพ ะพัะฒะตัะฐะตั netdev_budget.
# ะะฝะฐัะตะฝะธะต ะฟะพ ัะผะพะปัะฐะฝะธั 300. ะะฐัะฐะผะตัั ะทะฐััะฐะฒะธั ะฟัะพัะตัั SoftIRQ ะพะฑัะฐะฑะพัะฐัั
# 300 ะฟะฐะบะตัะพะฒ ะพั NIC ะฟะตัะตะด ัะตะผ ะบะฐะบ ะพัะฟัััะธัั CPU
net.ipv4.tcp_fastopen=3
# TFO TCP Fast Open
# ะตัะปะธ ะธ ะบะปะธะตะฝั ะธ ัะตัะฒะตั ะธะผะตัั ะฟะพะดะดะตัะถะบั TFO, ะพ ะบะพัะพัะพะน ัะพะพะฑัะฐัั ะทะฐ ััะตั
# ัะฟะตัะธะฐะปัะฝะพะณะพ ัะปะฐะณะฐ ะฒ TCP ะฟะฐะบะตัะต. ะ ะฝะฐัะตะผ ัะปััะฐะต ัะฒะปัะตััั ะฟะปะฐัะตะฑะพ, ะฟัะพััะพ
# ะฒัะณะปัะดะธั ะบัะฐัะธะฒะพ)
ะกเจเจฎเจเจฆเจพเจฐ เจจเฉเฉฑเจเจตเจฐเจ เจตเฉฑเจเจฐเฉ เจซเจฒเฉเจ เจจเฉเฉฑเจเจตเจฐเจ เจตเจฟเฉฑเจ เจตเฉฑเจเจฐเฉ 10Gbps เจจเฉเฉฑเจเจตเจฐเจ เจเฉฐเจเจฐเจซเฉเจธเจพเจ 'เจคเฉ เจจเจฟเจฐเจงเจพเจฐเจค เจเฉเจคเจพ เจเจฟเจ เจธเฉเฅค เจนเจฐ เจฎเจธเจผเฉเจจ เจฆเฉเจนเจฐเฉ-เจชเฉเจฐเจ เจจเฉเฉฑเจเจตเจฐเจ เจเจพเจฐเจกเจพเจ เจจเจพเจฒ เจฒเฉเจธ เจธเฉ mellanox 10/25 Gbps, เจฆเฉ เจตเฉฑเจเจฐเฉ 10Gbps เจธเจตเจฟเฉฑเจเจพเจ เจตเจฟเฉฑเจ เจชเจฒเฉฑเจ เจเฉเจคเจพ เจเจฟเจเฅค เจเจเจฐเฉเจเฉเจธเจผเจจ OSPF เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจเฉ เจเฉเจคเจพ เจเจฟเจ เจธเฉ, เจเจฟเจเจเจเจฟ เจเจฟเจธเฉ เจเจพเจฐเจจ เจเจฐเจเฉ lacp เจจเจพเจฒ เจฌเฉฐเจงเจจ เจจเฉ เจตเฉฑเจง เจคเฉเจ เจตเฉฑเจง 16 Gbps เจฆเจพ เจเฉเฉฑเจฒ เจฅเฉเจฐเฉเจชเฉเฉฑเจ เจฆเจฟเจเจพเจเจ, เจเจฆเฉเจ เจเจฟ ospf เจจเฉ เจนเจฐเฉเจ เจฎเจธเจผเฉเจจ 'เจคเฉ เจฆเฉเจจเจพเจ เจเฉเจจเจพเจ เจฆเฉ เจธเจซเจฒเจคเจพเจชเฉเจฐเจตเจ เจตเจฐเจคเฉเจ เจเฉเจคเฉเฅค เจญเจตเจฟเฉฑเจ เจฆเฉเจเจ เจฏเฉเจเจจเจพเจตเจพเจ เจฒเฉเจเฉเจเจธเฉ เจจเฉเฉฐ เจเจเจพเจเจฃ เจฒเจ เจเจนเจจเจพเจ เจฎเฉเจฒเจพเจจเฉเจเจธเจพเจ 'เจคเฉ ROCE เจฆเจพ เจฒเจพเจญ เจฒเฉเจฃ เจฒเจ เจธเจจเฅค เจจเฉเฉฑเจเจตเจฐเจ เจฆเฉ เจเจธ เจนเจฟเฉฑเจธเฉ เจจเฉเฉฐ เจเจฟเจตเฉเจ เจธเฉเจ เจ เจช เจเจฐเจจเจพ เจนเฉ:
- เจเจฟเจเจเจเจฟ เจฎเจธเจผเฉเจจเจพเจ เจฆเฉ เจเฉเจฆ BGP 'เจคเฉ เจฌเจพเจนเจฐเฉ IP เจชเจคเฉ เจนเจจ, เจธเจพเจจเฉเฉฐ เจธเจพเจซเจเจตเฉเจ
เจฐ เจฆเฉ เจฒเฉเฉ เจนเฉ - (เจตเจงเฉเจฐเฉ เจธเจชเฉฑเจธเจผเจ เจคเฉเจฐ 'เจคเฉ, เจเจธ เจฒเฉเจ เจจเฉเฉฐ เจฒเจฟเจเจฃ เจฆเฉ เจธเจฎเฉเจ เจเจน เจธเฉ
frr=6.0-1 ) เจชเจนเจฟเจฒเจพเจ เจนเฉ เจเฉเฉเจนเจพ เจธเฉเฅค - เจเฉเฉฑเจฒ เจฎเจฟเจฒเจพ เจเฉ, เจฎเจธเจผเฉเจจเจพเจ เจฆเฉ เจฆเฉ เจจเฉเฉฑเจเจตเจฐเจ เจเฉฐเจเจฐเจซเฉเจธ เจธเจจ, เจนเจฐเฉเจ เจตเจฟเฉฑเจ เจฆเฉ เจเฉฐเจเจฐเจซเฉเจธ เจธเจจ - เจเฉเฉฑเจฒ 4 เจชเฉเจฐเจเจพเจเฅค เจเฉฑเจ เจจเฉเจเจตเจฐเจ เจเจพเจฐเจก เจซเฉเจเจเจฐเฉ เจจเฉเฉฐ เจฆเฉ เจชเฉเจฐเจเจพเจ เจฆเฉ เจจเจพเจฒ เจตเฉเจเจฆเจพ เจนเฉ เจ เจคเฉ เจเจธ 'เจคเฉ BGP เจธเฉฐเจฐเจเจฟเจค เจเฉเจคเจพ เจเจฟเจ เจธเฉ, เจฆเฉเจเจพ เจเฉฑเจ เจฆเฉ เจชเฉเจฐเจเจพเจ เจตเจพเจฒเฉ เจฆเฉ เจตเฉฑเจ-เจตเฉฑเจ เจธเจตเจฟเฉฑเจเจพเจ เจจเฉเฉฐ เจตเฉเจเจฆเจพ เจนเฉ เจ เจคเฉ เจเจธ 'เจคเฉ OSPF เจธเฉเฉฑเจ เจเฉเจคเจพ เจเจฟเจ เจธเฉเฅค
OSPF เจธเจฅเจพเจชเจค เจเจฐเจจ เจฌเจพเจฐเฉ เจนเฉเจฐ เจตเฉเจฐเจตเฉ: เจฎเฉเฉฑเจ เจเฉฐเจฎ เจฆเฉ เจฒเจฟเฉฐเจเจพเจ เจจเฉเฉฐ เจเจเฉฑเจ เจพ เจเจฐเจจเจพ เจ
เจคเฉ เจจเฉเจเจธ เจธเจนเจฟเจฃเจธเจผเฉเจฒเจคเจพ เจนเฉเฅค
เจฆเฉ เจจเฉเฉฑเจเจตเจฐเจ เจเฉฐเจเจฐเจซเฉเจธเจพเจ เจจเฉเฉฐ เจฆเฉ เจธเจงเจพเจฐเจจ เจซเจฒเฉเจ เจจเฉเฉฑเจเจตเจฐเจเจพเจ เจตเจฟเฉฑเจ เจธเฉฐเจฐเจเจฟเจค เจเฉเจคเจพ เจเจฟเจ เจนเฉ - 10.10.10.0/24 เจ
เจคเฉ 10.10.20.0/24
1: ens1f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.10.2/24 brd 10.10.10.255 scope global ens1f0
2: ens1f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.20.2/24 brd 10.10.20.255 scope global ens1f1
เจเจฟเจธ เจฆเฉเจเจฐเจพ เจเจพเจฐเจพเจ เจเฉฑเจ เจฆเฉเจเฉ เจจเฉเฉฐ เจตเฉเจเจฆเฉเจเจ เจนเจจเฅค
เจกเจฟเจธเจ
เจ
เจเจฒเจพ เจเจฆเจฎ เจกเจฟเจธเจเจพเจ เจจเฉเฉฐ เจ
เจจเฉเจเฉเจฒ เจฌเจฃเจพเจเจฃเจพ เจธเฉเฅค SSD เจฒเจ เจฎเฉเจ เจธเจผเจกเจฟเจเจฒเจฐ เจจเฉเฉฐ เจเจธ เจตเจฟเฉฑเจ เจฌเจฆเจฒ เจฆเจฟเฉฑเจคเจพ เจนเฉ noop, HDD เจฒเจ - เจกเฉเฉฑเจกเจฒเจพเจเจจ. เจเจธ เจจเฉเฉฐ เจธเจชเจธเจผเจ เจคเฉเจฐ 'เจคเฉ เจเจนเจฟเจฃ เจฒเจ, NOOP "เจซเจธเจ เจเจจ, เจซเจธเจ เจเจเจ" เจฆเฉ เจธเจฟเจงเจพเจเจค 'เจคเฉ เจเฉฐเจฎ เจเจฐเจฆเจพ เจนเฉ, เจเฉ เจ
เฉฐเจเจฐเฉเจเจผเฉ เจตเจฟเฉฑเจ "FIFO (เจซเจธเจ เจเจจ, เจซเจธเจ เจเจเจ)" เจตเจฐเจเจพ เจนเฉเฅค เจฌเฉเจจเจคเฉเจเจ เจเจเจฃ เจฆเฉ เจจเจพเจฒ เจนเฉ เจเจคเจพเจฐ เจตเจฟเฉฑเจ เจนเจจเฅค DEADLINE เจตเจงเฉเจฐเฉ เจชเฉเฉเจนเจจ-เจ
เจงเจพเจฐเจฟเจค เจนเฉ, เจจเจพเจฒ เจนเฉ เจเจคเจพเจฐเจฌเฉฑเจง เจชเฉเจฐเจเจฟเจฐเจฟเจ เจจเฉเฉฐ เจเจพเจฐเจตเจพเจ เจฆเฉ เจธเจฎเฉเจ เจกเจฟเจธเจ เจคเฉฑเจ เจฒเจเจญเจ เจตเจฟเจธเจผเฉเจธเจผ เจชเจนเฉเฉฐเจ เจชเฉเจฐเจพเจชเจค เจนเฉเฉฐเจฆเฉ เจนเฉเฅค เจเจน เจธเจพเจกเฉ เจธเจฟเจธเจเจฎ เจฒเจ เจธเฉฐเจชเฉเจฐเจจ เจนเฉ - เจเจเจผเจฐเจเจพเจฐ, เจนเจฐเฉเจ เจกเจฟเจธเจ เจจเจพเจฒ เจธเจฟเจฐเจซเจผ เจเฉฑเจ เจชเฉเจฐเจเจฟเจฐเจฟเจ เจเฉฐเจฎ เจเจฐเจฆเฉ เจนเฉ - OSD เจกเฉเจฎเจจเฅค
(เจเฉ เจฒเฉเจ I/O เจธเจผเจกเจฟเจเจฒเจฐ เจตเจฟเฉฑเจ เจกเฉเจฌเจเฉ เจฒเจเจพเจเจฃเจพ เจเจพเจนเฉเฉฐเจฆเฉ เจนเจจ เจเจน เจเจธ เจฌเจพเจฐเฉ เจเฉฑเจฅเฉ เจชเฉเฉเจน เจธเจเจฆเฉ เจนเจจ:
เจเจน เจเจฟเจนเฉเฉ เจฐเฉเจธเฉ เจตเจฟเฉฑเจ เจชเฉเฉเจนเจจเจพ เจชเจธเฉฐเจฆ เจเจฐเจฆเฉ เจนเจจ:
เจฒเฉเจจเจเจธ เจจเฉเฉฐ เจเจฟเจเจจ เจเจฐเจจ เจฒเจ เจธเจฟเจซเจผเจพเจฐเจธเจผเจพเจ เจตเจฟเฉฑเจ, nr_request เจจเฉเฉฐ เจตเจงเจพเจเจฃ เจฆเฉ เจตเฉ เจธเจฟเจซเจผเจพเจฐเจธเจผ เจเฉเจคเฉ เจเจพเจเจฆเฉ เจนเฉ
nr_requests
nr_requests เจฆเจพ เจฎเฉเฉฑเจฒ I/O เจฌเฉเจจเจคเฉเจเจ เจฆเฉ เจฎเจพเจคเจฐเจพ เจจเฉเฉฐ เจจเจฟเจฐเจงเจพเจฐเจค เจเจฐเจฆเจพ เจนเฉ เจเฉ I/O เจธเจผเจกเจฟเจเจฒเจฐ เจฆเฉเจเจฐเจพ เจฌเจฒเจพเจ เจกเจฟเจตเจพเจเจธ เจจเฉเฉฐ เจกเฉเจเจพ เจญเฉเจเจฃ / เจชเฉเจฐเจพเจชเจค เจเจฐเจจ เจคเฉเจ เจชเจนเจฟเจฒเจพเจ เจฌเจซเจฐ เจนเฉ เจเจพเจเจฆเจพ เจนเฉ, เจเฉเจเจฐ เจคเฉเจธเฉเจ เจเฉฑเจ RAID เจเจพเจฐเจก / เจฌเจฒเจพเจ เจกเจฟเจตเจพเจเจธ เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐ เจฐเจนเฉ เจนเฉ เจเฉ I เจคเฉเจ เจตเฉฑเจกเฉ เจเจคเจพเจฐ เจจเฉเฉฐ เจธเฉฐเจญเจพเจฒ เจธเจเจฆเจพ เจนเฉเฅค /O เจธเจผเจกเจฟเจเจฒเจฐ เจจเฉเฉฐ เจธเฉเฉฑเจ เจเฉเจคเจพ เจเจฟเจ เจนเฉ, nr_requests เจฆเฉ เจฎเฉเฉฑเจฒ เจจเฉเฉฐ เจตเจงเจพเจเจฃเจพ เจธเจฐเจตเจฐ 'เจคเฉ เจตเฉฑเจกเฉ เจฎเจพเจคเจฐเจพ เจตเจฟเฉฑเจ I/O เจนเฉเจฃ 'เจคเฉ เจธเจฐเจตเจฐ เจฒเฉเจก เจจเฉเฉฐ เจธเฉเจงเจพเจฐเจจ เจ เจคเฉ เจเจเจพเจเจฃ เจตเจฟเฉฑเจ เจฎเจฆเจฆ เจเจฐ เจธเจเจฆเจพ เจนเฉเฅค เจเฉเจเจฐ เจคเฉเจธเฉเจ เจธเจฎเจพเจ-เจธเฉเจฎเจพ เจเจพเจ CFQ เจจเฉเฉฐ เจธเจผเจกเจฟเจเจฒเจฐ เจตเจเฉเจ เจตเจฐเจค เจฐเจนเฉ เจนเฉ, เจคเจพเจ เจเจน เจธเฉเจเจพเจ เจฆเจฟเฉฑเจคเจพ เจเจพเจเจฆเจพ เจนเฉ เจเจฟ เจคเฉเจนเจพเจจเฉเฉฐ เจเจคเจพเจฐ เจฆเฉ เจกเฉเฉฐเจเจพเจ เจฆเฉ เจฎเฉเฉฑเจฒ เจคเฉเจ 2 เจเฉเจฃเจพ nr_request เจฎเฉเฉฑเจฒ เจธเฉเฉฑเจ เจเจฐเจจเจพ เจเจพเจนเฉเจฆเจพ เจนเฉเฅค
เจชเจฐ! เจจเจพเจเจฐเจฟเจ เจเฉเจฆ, CEPH เจฆเฉ เจตเจฟเจเจพเจธเจเจพเจฐ, เจธเจพเจจเฉเฉฐ เจฏเจเฉเจจ เจฆเจฟเจตเจพเจเจเจฆเฉ เจนเจจ เจเจฟ เจเจจเฉเจนเจพเจ เจฆเฉ เจคเจฐเจเฉเจนเจพเจ เจฆเฉ เจชเฉเจฐเจฃเจพเจฒเฉ เจฌเจฟเจนเจคเจฐ เจเฉฐเจฎ เจเจฐเจฆเฉ เจนเฉ
WBThrottle เจ เจคเฉ/เจเจพเจ nr_requests
WBThrottle เจ เจคเฉ/เจเจพเจ nr_requests
เจซเจพเจเจฒ เจธเจเฉเจฐเฉเจ เจฒเจฟเจเจฃ เจฒเจ เจฌเจซเจฐเจก I/O เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจฆเฉ เจนเฉ; เจเจน เจฌเจนเฉเจค เจธเจพเจฐเฉ เจซเจพเจเจฆเฉ เจฒเจฟเจเจเจเจฆเจพ เจนเฉ เจเฉเจเจฐ เจซเจพเจเจฒ เจธเจเฉเจฐเฉเจเจผ เจฒเฉเจ เจคเฉเจเจผ เจฎเฉเจกเฉเจ 'เจคเฉ เจนเฉเฅค เจเจฟเจตเฉเจ เจนเฉ เจฒเฉเจ เจตเจฟเฉฑเจ เจกเฉเจเจพ เจฒเจฟเจเจฟเจ เจเจพเจเจฆเจพ เจนเฉ, เจเจฒเจพเจเฉฐเจ เจฌเฉเจจเจคเฉเจเจ เจจเฉเฉฐ เจธเฉเจเจฟเจค เจเฉเจคเจพ เจเจพเจเจฆเจพ เจนเฉ, เจ เจคเฉ เจซเจฟเจฐ เจธเจเฉเจเจกเจฐเจก เจฒเฉเจจเจเจธ เจเจพเจฐเจเจเฉเจธเจผเจฒเจคเจพ เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจเฉ เจฌเจพเจ เจฆ เจตเจฟเฉฑเจ เจกเฉเจเจพ เจกเจฟเจธเจ เจตเจฟเฉฑเจ เจซเจฒเฉฑเจธเจผ เจเฉเจคเจพ เจเจพเจเจฆเจพ เจนเฉเฅค เจเจน เจธเจชเจฟเฉฐเจกเจฒ OSDs เจฒเจ SSDs เจฆเฉ เจธเจฎเจพเจจ เจฐเจพเจเจ เจฒเฉเจเฉเจเจธเฉ เจชเฉเจฐเจฆเจพเจจ เจเจฐเจจเจพ เจธเฉฐเจญเจต เจฌเจฃเจพเจเจเจฆเจพ เจนเฉ เจเจฆเฉเจ เจเฉเจเฉ เจฌเจฐเจธเจเจพเจ เจตเจฟเฉฑเจ เจฒเจฟเจเจฃเจพ เจนเฉเฉฐเจฆเจพ เจนเฉเฅค เจเจน เจฆเฉเจฐเฉ เจจเจพเจฒ เจฒเจฟเจเจฃเจพ เจตเจพเจชเจธ เจตเฉ เจเจฐเจจเจฒ เจจเฉเฉฐ เจกเจฟเจธเจ I/O เจฌเฉเจจเจคเฉเจเจ เจจเฉเฉฐ เจฎเฉเฉ เจธเฉฐเจเจ เจฟเจค เจเจฐเจจ เจฆเฉ เจเจเจพเจเจผเจค เจฆเจฟเฉฐเจฆเจพ เจนเฉ, เจเจพเจ เจคเจพเจ เจเจนเจจเจพเจ เจจเฉเฉฐ เจเจเฉฑเจ เฉ เจฎเจฟเจฒเจพเจเจฃ เจฆเฉ เจเจฎเฉเจฆ เจจเจพเจฒ เจเจพเจ เจฎเฉเจเฉเจฆเจพ เจกเจฟเจธเจ เจนเฉเฉฑเจกเจพเจ เจจเฉเฉฐ เจเจนเจจเจพเจ เจฆเฉ เจชเจฒเฉเจเจฐเจพเจ เจเฉฑเจคเฉ เจเฉเจ เจนเฉเจฐ เจ เจจเฉเจเฉเจฒ เจฎเจพเจฐเจ เจเฉเจฃเจจ เจฆเฉ เจเจเจพเจเจผเจค เจฆเจฟเฉฐเจฆเจพ เจนเฉเฅค เจธเจผเฉเฉฑเจง เจชเฉเจฐเจญเจพเจต เจเจน เจนเฉ เจเจฟ เจคเฉเจธเฉเจ เจธเจฟเฉฑเจงเฉ เจเจพเจ เจธเจฎเจเจพเจฒเฉ I/O เจจเจพเจฒ เจธเฉฐเจญเจต เจนเฉเจฃ เจจเจพเจฒเฉเจ เจนเจฐเฉเจ เจกเจฟเจธเจ เจคเฉเจ เจฅเฉเฉเฉเจนเจพ เจนเฉเจฐ I/O เจจเจฟเจเฉเฉ เจธเจเจฆเฉ เจนเฉเฅค
เจนเจพเจฒเจพเจเจเจฟ, เจเฉฑเจ เจเจพเจธ เจธเจฎเฉฑเจธเจฟเจ เจชเฉเจฆเจพ เจนเฉเฉฐเจฆเฉ เจนเฉ เจเฉเจเจฐ เจเฉฑเจ เจฆเจฟเฉฑเจคเฉ Ceph เจเจฒเฉฑเจธเจเจฐ เจตเจฟเฉฑเจ เจเจเจฃ เจตเจพเจฒเฉ เจฐเจฟเจเจพเจฐเจกเจพเจ เจฆเฉ เจฎเจพเจคเจฐเจพ เจ เฉฐเจกเจฐเจฒเจพเจเฉฐเจ เจกเจฟเจธเจเจพเจ เจฆเฉเจเจ เจธเจพเจฐเฉเจเจ เจธเจฎเจฐเฉฑเจฅเจพเจตเจพเจ เจคเฉเจ เจตเฉฑเจง เจเจพเจเจฆเฉ เจนเฉเฅค เจเจธ เจฆเฉเจฐเจฟเจธเจผเจเฉเจเฉเจฃ เจตเจฟเฉฑเจ, เจกเจฟเจธเจ เจเฉฑเจคเฉ เจฒเจฟเจเฉ เจเจพเจฃ เจฆเฉ เจเจกเฉเจ เจตเจฟเฉฑเจ เจฒเฉฐเจฌเจฟเจค I/O เจเจชเจฐเฉเจธเจผเจจเจพเจ เจฆเฉ เจเฉเฉฑเจฒ เจเจฟเจฃเจคเฉ เจฌเฉเจเจพเจฌเฉ เจนเฉ เจธเจเจฆเฉ เจนเฉ เจ เจคเฉ เจจเจคเฉเจเฉ เจตเจเฉเจ I/O เจเจคเจพเจฐเจพเจ เจชเฉเจฐเฉ เจกเจฟเจธเจ เจ เจคเฉ Ceph เจเจคเจพเจฐเจพเจ เจจเฉเฉฐ เจญเจฐ เจธเจเจฆเฉเจเจ เจนเจจเฅค เจฐเฉเจก เจฌเฉเจจเจคเฉเจเจ เจเจพเจธ เจคเฉเจฐ 'เจคเฉ เจชเฉเจฐเจญเจพเจตเจฟเจค เจนเฉเฉฐเจฆเฉเจเจ เจนเจจ เจเจฟเจเจเจเจฟ เจเจน เจฒเจฟเจเจฃ เจฆเฉเจเจ เจฌเฉเจจเจคเฉเจเจ เจตเจฟเจเจเจพเจฐ เจซเจธ เจเจพเจเจฆเฉเจเจ เจนเจจ, เจเฉ เจชเฉเจฐเจพเจเจฎเจฐเฉ เจกเจฟเจธเจ เจจเฉเฉฐ เจซเจฒเฉฑเจธเจผ เจเจฐเจจ เจฒเจ เจเจ เจธเจเจฟเฉฐเจ เจฒเฉ เจธเจเจฆเฉเจเจ เจนเจจเฅค
เจเจธ เจธเจฎเฉฑเจธเจฟเจ เจจเฉเฉฐ เจฆเฉเจฐ เจเจฐเจจ เจฒเจ, Ceph เจเฉเจฒ WBThrottle เจจเจพเจฎเจ เจซเจพเจเจฒ เจธเจเฉเจฐเฉเจ เจตเจฟเฉฑเจ เจเฉฑเจ เจฐเจพเจเจเจฌเฉเจ เจฅเฉเจฐเฉเจเจฒเจฟเฉฐเจ เจตเจฟเจงเฉ เจนเฉเฅค เจเจน เจเจฒเจธเฉ เจฐเจพเจเจ I/O เจฆเฉ เจธเจฎเฉเฉฑเจเฉ เจฎเจพเจคเจฐเจพ เจจเฉเฉฐ เจธเฉเจฎเจค เจเจฐเจจ เจฒเจ เจคเจฟเจเจฐ เจเฉเจคเจพ เจเจฟเจ เจนเฉ เจเฉ เจเจฟ เจเจคเจพเจฐ เจฌเจฃเจพ เจธเจเจฆเจพ เจนเฉ เจ เจคเฉ เจเจธเจฆเฉ เจซเจฒเฉฑเจธเจผ เจชเฉเจฐเจเจฟเจฐเจฟเจ เจจเฉเฉฐ เจเฉเจฆเจฐเจคเฉ เจคเฉเจฐ 'เจคเฉ เจเจฐเจจเจฒ เจฆเฉเจเจฐเจพ เจฏเฉเจ เจเฉเจคเฉ เจเจพเจฃ เจคเฉเจ เจชเจนเจฟเจฒเจพเจ เจธเจผเฉเจฐเฉ เจเจฐ เจธเจเจฆเจพ เจนเฉเฅค เจฌเจฆเจเจฟเจธเจฎเจคเฉ เจจเจพเจฒ, เจเฉเจธเจเจฟเฉฐเจ เจฆเจฐเจธเจพเจเจเจฆเฉ เจนเฉ เจเจฟ เจกเจฟเจซเฉเจฒเจ เจฎเฉเฉฑเจฒ เจ เจเฉ เจตเฉ เจฎเฉเจเฉเจฆเจพ เจตเจฟเจตเจนเจพเจฐ เจจเฉเฉฐ เจเฉฑเจ เจชเฉฑเจงเจฐ เจคเฉฑเจ เจจเจนเฉเจ เจเจเจพ เจธเจเจฆเฉ เจนเจจ เจเฉ เจชเฉเฉเจนเจจ เจฆเฉ เจฒเฉเจเฉเจเจธเฉ 'เจคเฉ เจเจธ เจชเฉเจฐเจญเจพเจต เจจเฉเฉฐ เจเจเจพ เจธเจเจฆเจพ เจนเฉเฅค เจธเจฎเจพเจฏเฉเจเจจ เจเจธ เจตเจฟเจตเจนเจพเจฐ เจจเฉเฉฐ เจฌเจฆเจฒ เจธเจเจฆเฉ เจนเจจ เจ เจคเฉ เจธเจฎเฉเฉฑเจเฉ เจฒเจฟเจเจค เจเจคเจพเจฐ เจฆเฉ เจฒเฉฐเจฌเจพเจ เจจเฉเฉฐ เจเจเจพ เจธเจเจฆเฉ เจนเจจ เจ เจคเฉ เจเจธ เจชเฉเจฐเจญเจพเจต เจจเฉเฉฐ เจเฉฑเจ เจเฉฐเจญเฉเจฐ เจฌเจฃเจพ เจธเจเจฆเฉ เจนเจจเฅค เจนเจพเจฒเจพเจเจเจฟ, เจเฉฑเจ เจเฉเจฐเฉเจก-เจเจซ เจนเฉ: เจเจคเจพเจฐ เจตเจฟเฉฑเจ เจนเฉเจฃ เจฆเฉ เจเจเจพเจเจผเจค เจตเจพเจฒเฉเจเจ เจเจเจเจฐเฉเจเจ เจฆเฉ เจธเจฎเฉเฉฑเจเฉ เจตเฉฑเจง เจคเฉเจ เจตเฉฑเจง เจเจฟเจฃเจคเฉ เจจเฉเฉฐ เจเจเจพ เจเฉ, เจคเฉเจธเฉเจ เจเจเจฃ เจตเจพเจฒเฉเจเจ เจฌเฉเจจเจคเฉเจเจ เจจเฉเฉฐ เจเจฐเจกเจฐ เจเจฐเจจ เจตเจฟเฉฑเจ เจเจชเจฃเฉ เจเฉเจธเจผเจฒเจคเจพ เจจเฉเฉฐ เจตเฉฑเจง เจคเฉเจ เจตเฉฑเจง เจเจฐเจจ เจฒเจ เจเจฐเจจเจฒ เจฆเฉ เจฏเฉเจเจคเจพ เจจเฉเฉฐ เจเจเจพ เจธเจเจฆเฉ เจนเฉเฅค เจคเฉเจนเจพเจกเฉ เจเจพเจธ เจตเจฐเจคเฉเจ เจฆเฉ เจเฉเจธ, เจตเจฐเจเจฒเฉเจก เจ เจคเฉ เจเจนเจจเจพเจ เจฆเฉ เจ เจจเฉเจเฉเจฒ เจนเฉเจฃ เจฒเจ เจคเฉเจนเจพเจจเฉเฉฐ เจนเฉเจฐ เจเฉ เจเจพเจนเฉเจฆเจพ เจนเฉ เจเจธ เจฌเจพเจฐเฉ เจฅเฉเฉเจพ เจธเฉเจเจฃเจพ เจฎเจนเฉฑเจคเจตเจชเฉเจฐเจฃ เจนเฉเฅค
เจ
เจเจฟเจนเฉ เจฐเจพเจเจ-เจฌเฉเจเจฒเจพเจ เจเจคเจพเจฐ เจฆเฉ เจกเฉเฉฐเจเจพเจ เจจเฉเฉฐ เจจเจฟเจฏเฉฐเจคเจฐเจฟเจค เจเจฐเจจ เจฒเจ, เจคเฉเจธเฉเจ เจเจพเจ เจคเจพเจ WBThrottle เจธเฉเจเจฟเฉฐเจเจพเจ เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจเฉ เจฌเจเจพเจเจ I/O เจเจชเจฐเฉเจธเจผเจจเจพเจ เจฆเฉ เจธเจฎเฉเฉฑเจเฉ เจตเฉฑเจง เจคเฉเจ เจตเฉฑเจง เจธเฉฐเจเจฟเจ เจจเฉเฉฐ เจเจเจพ เจธเจเจฆเฉ เจนเฉ, เจเจพเจ เจคเฉเจธเฉเจ เจเจชเจฃเฉ เจเจฐเจจเจฒ เจฆเฉ เจฌเจฒเจพเจ เจชเฉฑเจงเจฐ 'เจคเฉ เจฌเจเจพเจเจ เจเจชเจฐเฉเจธเจผเจจเจพเจ เจฒเจ เจ
เจงเจฟเจเจคเจฎ เจฎเฉเฉฑเจฒ เจจเฉเฉฐ เจเจเจพ เจธเจเจฆเฉ เจนเฉเฅค เจฆเฉเจตเฉเจ เจเฉฑเจเฉ เจตเจฟเจตเจนเจพเจฐ เจจเฉเฉฐ เจชเฉเจฐเจญเจพเจตเจธเจผเจพเจฒเฉ เจขเฉฐเจ เจจเจพเจฒ เจจเจฟเจฏเฉฐเจคเจฐเจฟเจค เจเจฐ เจธเจเจฆเฉ เจนเจจ, เจ
เจคเฉ เจคเฉเจนเจพเจกเฉเจเจ เจคเจฐเจเฉเจนเจพเจ เจเจธ เจธเฉเจเจฟเฉฐเจ เจจเฉเฉฐ เจฒเจพเจเฉ เจเจฐเจจ เจฒเจ เจเจงเจพเจฐ เจนเฉเจฃเจเฉเจเจเฅค
เจเจน เจตเฉ เจจเฉเจ เจเฉเจคเจพ เจเจพเจฃเจพ เจเจพเจนเฉเจฆเจพ เจนเฉ เจเจฟ Ceph เจฆเฉ เจธเฉฐเจเจพเจฒเจจ เจคเจฐเจเฉเจน เจชเฉเจฐเจฃเจพเจฒเฉ เจกเจฟเจธเจ เจชเฉฑเจงเจฐ 'เจคเฉ เจเฉเจเฉเจเจ เจชเฉเฉฑเจเจเจฟเฉฑเจเจพเจ เจฒเจ เจตเจงเฉเจฐเฉ เจเฉเจธเจผเจฒ เจนเฉ. เจธเจฎเฉเฉฑเจเฉ เจเจคเจพเจฐ เจจเฉเฉฐ เจเฉฑเจ เจฆเจฟเฉฑเจคเฉ เจกเจฟเจธเจ เจคเฉ เจธเฉเฉฐเจเฉเจจ เจจเจพเจฒ, เจเจคเจพเจฐ เจฆเจพ เจชเฉเจฐเจพเจเจฎเจฐเฉ เจเจฟเจเจพเจฃเจพ Ceph เจตเฉฑเจฒ เจเจพเจเจฆเจพ เจนเฉ, เจเจฟเฉฑเจฅเฉ I/O เจเจชเจฐเฉเจธเจผเจจ เจฆเฉ เจเจฟเจนเฉเฉ เจคเจฐเจเฉเจน เจนเฉ เจเจธ 'เจคเฉ เจเจธเจฆเจพ เจตเจงเฉเจฐเฉ เจจเจฟเจฏเฉฐเจคเจฐเจฃ เจนเฉเฉฐเจฆเจพ เจนเฉเฅค เจนเฉเจ เจฆเจฟเฉฑเจคเฉ เจเจฆเจพเจนเจฐเจจ 'เจคเฉ เจเฉเจฐ เจเจฐเฉ:
echo 8 > /sys/block/sda/queue/nr_requests
เจเจฎเจฟMMเจจ
เจ เจคเฉ เจคเฉเจนเจพเจกเฉ เจเจพเจฐ เจจเฉเฉฐ เจจเจฐเจฎ เจ เจคเฉ เจฐเฉเจธเจผเจฎเฉ เจฌเจฃเจพเจเจฃ เจฒเจ เจเฉเจ เจนเฉเจฐ เจเจฐเจจเจฒ เจเจตเฉเจเจธ เจ เจคเฉ เจนเจพเจฐเจกเจตเฉเจ เจฐ เจฆเฉ เจฌเจพเจนเจฐ เจฅเฉเฉเจพ เจนเฉเจฐ เจชเฉเจฐเจฆเจฐเจธเจผเจจ
cat /etc/sysctl.d/60-ceph2.conf
kernel.pid_max = 4194303
#ะะธัะบะพะฒ ะฒ ะบะฐะถะดะพะน ะผะฐัะธะฝะต ะฟะพ 25, ะฟะพัะพะผั ัะฐัััะธััะฒะฐะปะธ ััะพ ะฟัะพัะตััะพะฒ ะฑัะดะตั ะผะฝะพะณะพ
kernel.threads-max=2097152
# ะขัะตะดะพะฒ, ะตััะตััะฝะพ, ัะพะถะต.
vm.max_map_count=524288
# ะฃะฒะตะปะธัะธะปะธ ะบะพะปะธัะตััะฒะพ ะพะฑะปะฐััะตะน ะบะฐััั ะฟะฐะผััะธ ะฟัะพัะตััะฐ.
# ะะฐะบ ัะปะตะดัะตั ะธะท ะดะพะบัะผะตะฝัะฐัะธะธ ะฟะพ ัะดะตัะฝัะผ ะฟะตัะตะผะตะฝะฝัะผ
# ะะฑะปะฐััะธ ะบะฐััั ะฟะฐะผััะธ ะธัะฟะพะปัะทัะตััั ะบะฐะบ ะฟะพะฑะพัะฝัะน ัััะตะบั ะฒัะทะพะฒะฐ
# malloc, ะฝะฐะฟััะผัั ั ะฟะพะผะพััั mmap, mprotect ะธ madvise, ะฐ ัะฐะบะถะต ะฟัะธ ะทะฐะณััะทะบะต
# ะพะฑัะธั
ะฑะธะฑะปะธะพัะตะบ.
fs.aio-max-nr=50000000
# ะะพะดััะฝะธะผ ะฟะฐัะฐะผะตััั input-output
# ะฏะดัะพ Linux ะฟัะตะดะพััะฐะฒะปัะตั ััะฝะบัะธั ะฐัะธะฝั
ัะพะฝะฝะพะณะพ ะฝะตะฑะปะพะบะธััััะตะณะพ ะฒะฒะพะดะฐ-ะฒัะฒะพะดะฐ (AIO),
# ะบะพัะพัะฐั ะฟะพะทะฒะพะปัะตั ะฟัะพัะตััั ะธะฝะธัะธะธัะพะฒะฐัั ะฝะตัะบะพะปัะบะพ ะพะฟะตัะฐัะธะน ะฒะฒะพะดะฐ-ะฒัะฒะพะดะฐ
# ะพะดะฝะพะฒัะตะผะตะฝะฝะพ, ะฝะต ะดะพะถะธะดะฐััั ะทะฐะฒะตััะตะฝะธั ะบะฐะบะพะน-ะปะธะฑะพ ะธะท ะฝะธั
.
# ะญัะพ ะฟะพะผะพะณะฐะตั ะฟะพะฒััะธัั ะฟัะพะธะทะฒะพะดะธัะตะปัะฝะพััั ะฟัะธะปะพะถะตะฝะธะน,
# ะบะพัะพััะต ะผะพะณัั ะฟะตัะตะบััะฒะฐัั ะพะฑัะฐะฑะพัะบั ะธ ะฒะฒะพะด-ะฒัะฒะพะด.
# ะะฐัะฐะผะตัั aio-max-nr ะพะฟัะตะดะตะปัะตั ะผะฐะบัะธะผะฐะปัะฝะพะต ะบะพะปะธัะตััะฒะพ ะดะพะฟัััะธะผัั
# ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะทะฐะฟัะพัะพะฒ.
vm.min_free_kbytes=1048576
# ะผะธะฝะธะผะฐะปัะฝัะน ัะฐะทะผะตั ัะฒะพะฑะพะดะฝะพะน ะฟะฐะผััะธ ะบะพัะพััะน ะฝะตะพะฑั
ะพะดะธะผะพ ะฟะพะดะดะตัะถะธะฒะฐัั.
# ะัััะฐะฒะปะตะฝ 1Gb, ัะตะณะพ ะฒะฟะพะปะฝะต ะดะพััะฐัะพัะฝะพ ะดะปั ัะฐะฑะพัั ะพะฟะตัะฐัะธะพะฝะฝะพะน ัะธััะตะผั,
# ะธ ะฟะพะทะฒะพะปัะตั ะธะทะฑะตะณะฐัั OOM Killer ะดะปั ะฟัะพัะตััะพะฒ OSD. ะฅะพัั ะฟะฐะผััะธ ะธ ัะฐะบ
# ะบะฐะบ ั ะดััะฐะบะฐ ัะฐะฝัะธะบะพะฒ, ะฝะพ ะทะฐะฟะฐั ะบะฐัะผะฐะฝ ะฝะต ััะฝะตั
vm.swappiness=10
# ะะพะฒะพัะธะผ ะธัะฟะพะปัะทะพะฒะฐัั ัะฒะพะฟ ะตัะปะธ ะพััะฐะปะพัั ัะฒะพะฑะพะดะฝัะผ 10% ะฟะฐะผััะธ.
# ะะฐ ะผะฐัะธะฝะฐั
128G ะพะฟะตัะฐัะธะฒั, ะธ 10% ััะพ 12 ะะธะณะพะฒ. ะะพะปะตะต ัะตะผ ะดะพััะฐัะพัะฝะพ ะดะปั ัะฐะฑะพัั.
# ะจัะฐัะฝัะน ะฟะฐัะฐะผะตัั ะฒ 60% ะทะฐััะฐะฒะปัะป ัะพัะผะพะทะธัั ัะธััะตะผั, ะทะฐะปะตะทะฐั ะฒ ัะฒะพะฟ,
# ะบะพะณะดะฐ ะตััั ะตัะต ะบััะฐ ัะฒะพะฑะพะดะฝะพะน ะฟะฐะผััะธ
vm.vfs_cache_pressure=1000
# ะฃะฒะตะปะธัะธะฒะฐะตะผ ัะพ ััะฐัะฝัั
100. ะะฐััะฐะฒะปัะตะผ ัะดัะพ ะฐะบัะธะฒะฝะตะต ะฒัะณััะถะฐัั
# ะฝะตะธัะฟะพะปัะทัะตะผัะต ัััะฐะฝะธัั ะฟะฐะผััะธ ะธะท ะบะตัะฐ.
vm.zone_reclaim_mode=0
# ะะพะทะฒะพะปัะตั ัััะฐะฝะฐะฒะปะธะฒะฐัั ะฑะพะปะตะต ะธะปะธ ะผะตะฝะตะต ะฐะณัะตััะธะฒะฝัะต ะฟะพะดั
ะพะดั ะบ
# ะฒะพัััะฐะฝะพะฒะปะตะฝะธั ะฟะฐะผััะธ, ะบะพะณะดะฐ ะฒ ะทะพะฝะต ะทะฐะบะฐะฝัะธะฒะฐะตััั ะฟะฐะผััั.
# ะัะปะธ ะพะฝ ัััะฐะฝะพะฒะปะตะฝ ะฝะฐ ะฝะพะปั, ัะพ ะฝะต ะฟัะพะธัั
ะพะดะธั ะฒะพัััะฐะฝะพะฒะปะตะฝะธะต ะทะพะฝั.
# ะะปั ัะฐะนะปะพะฒัั
ัะตัะฒะตัะพะฒ ะธะปะธ ัะฐะฑะพัะธั
ะฝะฐะณััะทะพะบ
# ะฒัะณะพะดะฝะพ, ะตัะปะธ ะธั
ะดะฐะฝะฝัะต ะบััะธัะพะฒะฐะฝั, zone_reclaim_mode
# ะพััะฐะฒะธัั ะพัะบะปััะตะฝะฝัะผ, ะฟะพัะบะพะปัะบั ัััะตะบั ะบััะธัะพะฒะฐะฝะธั,
# ะฒะตัะพััะฝะพ, ะฑัะดะตั ะฑะพะปะตะต ะฒะฐะถะฝัะผ, ัะตะผ ะผะตััะพะฝะฐั
ะพะถะดะตะฝะธะต ะดะฐะฝะฝัั
.
vm.dirty_ratio=20
# ะัะพัะตะฝั ะพะฟะตัะฐัะธะฒะฝะพะน ะฟะฐะผััะธ, ะบะพัะพััะน ะผะพะถะฝะพ ะฒัะดะตะปะธัั ะฟะพะด "ะณััะทะฝัะต" ัััะฐะฝะธัั
# ะััะธัะปัะปะธ ะธะท ะฟัะธะผะตัะฝะพะณะพ ัะฐััะตัะฐ:
# ะ ัะธััะตะผะฐ 128 ะณะธะณะพะฒ ะฟะฐะผััะธ.
# ะัะธะผะตัะฝะพ ะฟะพ 20 ะดะธัะบะพะฒ SSD, ั ะบะพัะพััั
ะฒ ะฝะฐัััะพะนะบะฐั
CEPH ัะบะฐะทะฐะฝะพ
# ะฒัะดะตะปััั ะฟะพะด ะบััะธัะพะฒะฐะฝะธะต ะฟะพ 3G ะพะฟะตัะฐัะธะฒั.
# ะัะธะผะตัะฝะพ ะฟะพ 40 ะดะธัะบะพะฒ HDD, ะดะปั ะบะพัะพััั
ััะพั ะฟะฐัะฐะผะตัั ัะฐะฒะตะฝ 1G
# 20% ะพั 128 ััะพ 25.6 ะณะธะณะพะฒ. ะัะพะณะพ, ะฒ ัะปััะฐะต ะผะฐะบัะธะผะฐะปัะฝะพะน ััะธะปะธะทะฐัะธะธ ะฟะฐะผััะธ,
# ะดะปั ัะธััะตะผั ะพััะฐะฝะตััั 2.4G ะฟะฐะผััะธ. ะงะตะณะพ ะตะน ะดะพะปะถะฝะพ ั
ะฒะฐัะธัั ััะพะฑ ะฒัะถะธัั ะธ ะดะพะถะดะฐัััั
# ัััะบะฐ ะบะพะฟัั ะบะฐะฒะฐะปะตัะธะธ - ัะพ ะตััั ะฟัะธัะตััะฒะธั DevOps ะบะพัะพััะน ะฒัะต ะฟะพัะธะฝะธั.
vm.dirty_background_ratio=3
# ะฟัะพัะตะฝั ัะธััะตะผะฝะพะน ะฟะฐะผััะธ, ะบะพัะพััะน ะผะพะถะฝะพ ะทะฐะฟะพะปะฝะธัั dirty pages ะดะพ ัะพะณะพ,
# ะบะฐะบ ัะพะฝะพะฒัะต ะฟัะพัะตััั pdflush/flush/kdmflush ะทะฐะฟะธััั ะธั
ะฝะฐ ะดะธัะบ
fs.file-max=524288
# ะั ะธ ะพัะบััััั
ัะฐะนะปะพะฒ ั ะฝะฐั,ะฒะตัะพััะฝะพ, ะฑัะดะตั ัะธะปัะฝะพ ะฑะพะปััะต, ัะตะผ ัะบะฐะทะฐะฝะพ ะฟะพ ะดะตัะพะปัั.
CEPH เจตเจฟเฉฑเจ เจกเฉเฉฑเจฌเจฃเจพ
เจเจน เจธเฉเจเจฟเฉฐเจเจพเจ เจเจฟเจจเฉเจนเจพเจ 'เจคเฉ เจฎเฉเจ เจนเฉเจฐ เจตเฉเจฐเจตเฉ เจจเจพเจฒ เจฐเจนเจฟเจฃเจพ เจเจพเจนเจพเจเจเจพ:
cat /etc/ceph/ceph.conf
osd:
journal_aio: true # ะขัะธ ะฟะฐัะฐะผะตััะฐ, ะฒะบะปััะฐััะธะต
journal_block_align: true # ะฟััะผะพะน i/o
journal_dio: true # ะฝะฐ ะถััะฝะฐะป
journal_max_write_bytes: 1073714824 # ะะตะผะฝะพะณะพ ัะฐัััะฝะตะผ ะผะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั
# ัะฐะทะพะฒะพ ะทะฐะฟะธััะฒะฐะตะผะพะน ะพะฟะตัะฐัะธะธ ะฒ ะถััะฝะฐะป
journal_max_write_entries: 10000 # ะั ะธ ะบะพะปะธัะตััะฒะพ ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะทะฐะฟะธัะตะน
journal_queue_max_bytes: 10485760000
journal_queue_max_ops: 50000
rocksdb_separate_wal_dir: true # ะ ะตัะธะปะธ ะดะตะปะฐัั ะพัะดะตะปัะฝัะน wal
# ะะฐะถะต ะฟะพะฟััะฐะปะธัั ะฒัะฑะธัั ะฟะพะด ััะพ ะดะตะปะพ
# NVMe
bluestore_block_db_create: true # ะั ะธ ะฟะพะด ะถััะฝะฐะป ะพัะดะตะปัะฝะพะต ััััะพะนััะฒะพ
bluestore_block_db_size: '5368709120 #5G'
bluestore_block_wal_create: true
bluestore_block_wal_size: '1073741824 #1G'
bluestore_cache_size_hdd: '3221225472 # 3G'
# ะฑะพะปััะพะน ะพะฑัะตะผ ะพะฟะตัะฐัะธะฒั ะฟะพะทะฒะพะปัะตั
# ั
ัะฐะฝะธัั ะดะพััะฐัะพัะฝะพ ะฑะพะปััะธะต ะพะฑัะตะผั
bluestore_cache_size_ssd: '9663676416 # 9G'
keyring: /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap: '1073741824 #1G'
osd_disk_thread_ioprio_class: idle
osd_disk_thread_ioprio_priority: 7
osd_disk_threads: 2 # ะบะพะปะธัะตััะฒะพ ััะตะดะพะฒ ั ะดะตะผะพะฝะฐ ะฝะฐ ะพะดะธะฝ ะดะธัะบ
osd_failsafe_full_ratio: 0.95
osd_heartbeat_grace: 5
osd_heartbeat_interval: 3
osd_map_dedup: true
osd_max_backfills: 2 # ะบะพะปะธัะตััะฒะพ ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะพะฟะตัะฐัะธะน ะทะฐะฟะพะปะฝะตะฝะธั ะฝะฐ ะพะดะธะฝ ะะกะ.
osd_max_write_size: 256
osd_mon_heartbeat_interval: 5
osd_op_threads: 16
osd_op_num_threads_per_shard: 1
osd_op_num_threads_per_shard_hdd: 2
osd_op_num_threads_per_shard_ssd: 2
osd_pool_default_min_size: 1 # ะัะพะฑะตะฝะฝะพััะธ ะถะฐะดะฝะพััะธ. ะัะตะฝั ะฑััััะพ ััะฐะปะพ
osd_pool_default_size: 2 # ะฝะตั
ะฒะฐัะฐัั ะผะตััะฐ, ะฟะพัะพะผั ะบะฐะบ ะฒัะตะผะตะฝะฝะพะต
# ัะตัะตะฝะธะต ะฟัะธะฝัะปะธ ัะผะตะฝััะตะฝะธะต ะบะพะปะธัะตััะฒะพ
# ัะตะฟะปะธะบ ะดะฐะฝะฝัั
osd_recovery_delay_start: 10.000000
osd_recovery_max_active: 2
osd_recovery_max_chunk: 1048576
osd_recovery_max_single_start: 3
osd_recovery_op_priority: 1
osd_recovery_priority: 1 # ะฟะฐัะฐะผะตัั ัะตะณัะปะธััะตะผ ะฟะพ ะฝะตะพะฑั
ะพะดะธะผะพััะธ ะฝะฐ ั
ะพะดั
osd_recovery_sleep: 2
osd_scrub_chunk_max: 4
เจตเจฐเจเจจ 12.2.12 'เจคเฉ QA เจฒเจ เจเฉเจธเจ เจเฉเจคเฉ เจเจ เจเฉเจ เจฎเจพเจชเจฆเฉฐเจก ceph เจธเฉฐเจธเจเจฐเจฃ 12.2.2 เจตเจฟเฉฑเจ เจเฉเฉฐเจฎ เจนเจจ, เจเจฆเจพเจนเจฐเจจ เจฒเจ osd_recovery_threads. เจเจธ เจฒเจ, เจฏเฉเจเจจเจพเจตเจพเจ เจตเจฟเฉฑเจ 12.2.12 เจคเฉฑเจ เจเจคเจชเจพเจฆเจจ 'เจคเฉ เจเฉฑเจ เจ เฉฑเจชเจกเฉเจ เจธเจผเจพเจฎเจฒ เจนเฉเฅค เจ เจญเจฟเจเจธ เจจเฉ เจเฉฑเจ เจเจฒเฉฑเจธเจเจฐ เจตเจฟเฉฑเจ เจธเฉฐเจธเจเจฐเจฃ 12.2.2 เจ เจคเฉ 12.2.12 เจตเจฟเจเจเจพเจฐ เจ เจจเฉเจเฉเจฒเจคเจพ เจฆเจฟเจเจพเจ เจนเฉ, เจเฉ เจฐเฉเจฒเจฟเฉฐเจ เจ เฉฑเจชเจกเฉเจ เจฆเฉ เจเจเจฟเจ เจฆเจฟเฉฐเจฆเฉ เจนเฉเฅค
เจเฉเจธเจ เจเจฒเฉฑเจธเจเจฐ
เจเฉเจฆเจฐเจคเฉ เจคเฉเจฐ 'เจคเฉ, เจเฉเจธเจเจฟเฉฐเจ เจฒเจ เจฒเฉเจพเจ เจฆเฉ เจธเจฎเจพเจจ เจธเฉฐเจธเจเจฐเจฃ เจนเฉเจฃเจพ เจเจผเจฐเฉเจฐเฉ เจธเฉ, เจชเจฐ เจเจฆเฉเจ เจฎเฉเจ เจเจฒเฉฑเจธเจเจฐ เจจเจพเจฒ เจเฉฐเจฎ เจเจฐเจจเจพ เจธเจผเฉเจฐเฉ เจเฉเจคเจพ, เจคเจพเจ เจฐเจฟเจชเฉเจเจผเจเจฐเฉ เจตเจฟเฉฑเจ เจธเจฟเจฐเจซ เจจเจตเจพเจ เจเจชเจฒเจฌเจง เจธเฉ. เจฆเฉเจเจฃ เจคเฉเจ เจฌเจพเจ เจฆ, เจเฉ เจคเฉเจธเฉเจ เจเฉเจเฉ เจธเฉฐเจธเจเจฐเจฃ เจตเจฟเฉฑเจ เจธเจฎเจ เจธเจเจฆเฉ เจนเฉ เจเจน เจฌเจนเฉเจค เจตเฉฑเจกเจพ เจจเจนเฉเจ เจนเฉ (1393 เจฆเฉ เจตเจฟเจฐเฉเฉฑเจง เจธเฉฐเจฐเจเจจเจพ เจตเจฟเฉฑเจ เจฒเจพเจเจจ 1436 เจจเจตเฉเจ เจธเฉฐเจธเจเจฐเจฃ เจตเจฟเฉฑเจ), เจ เจธเฉเจ เจจเจตเฉเจ เจธเฉฐเจธเจเจฐเจฃ เจฆเฉ เจเจพเจเจ เจธเจผเฉเจฐเฉ เจเจฐเจจ เจฆเจพ เจซเฉเจธเจฒเจพ เจเฉเจคเจพ เจนเฉ (เจซเจฟเจฐ เจตเฉ เจ เฉฑเจชเจกเฉเจ เจเจฐเจจเจพ, เจชเฉเจฐเจพเจฃเฉ เจเฉฐเจ เจจเจพเจฒ เจเจฟเจเจ เจเจพเจฃเจพ)
เจเจเฉ เจเฉเจเจผ เจเฉ เจ เจธเฉเจ เจชเฉเจฐเจพเจฃเฉ เจธเฉฐเจธเจเจฐเจฃ เจจเฉเฉฐ เจชเจฟเฉฑเจเฉ เจเฉฑเจกเจฃ เจฆเฉ เจเฉเจธเจผเจฟเจธเจผ เจเฉเจคเฉ เจเจน เจนเฉ เจชเฉเจเฉเจ ceph-เจคเฉเจจเจพเจค เจเจฟเจเจเจเจฟ เจเฉเจ เจเจชเจฏเฉเจเจคเจพเจตเจพเจ (เจ เจคเฉ เจเฉเจ เจเจฐเจฎเจเจพเจฐเฉ) เจเจธเจฆเฉ เจธเฉฐเจเฉเจเจธ เจฒเจ เจคเจฟเจเจฐ เจเฉเจคเฉเจเจ เจเจเจเจ เจธเจจเฅค เจจเจตเจพเจ เจธเฉฐเจธเจเจฐเจฃ เจเจพเจซเจผเฉ เจตเฉฑเจเจฐเจพ เจธเฉ, เจชเจฐ เจเจฒเฉฑเจธเจเจฐ เจฆเฉ เจเจชเจฐเฉเจธเจผเจจ เจจเฉเฉฐ เจชเฉเจฐเจญเจพเจตเจฟเจค เจจเจนเฉเจ เจเจฐเจฆเจพ เจธเฉ, เจ เจคเฉ เจเจธเจจเฉเฉฐ เจธเฉฐเจธเจเจฐเจฃ เจตเจฟเฉฑเจ เจเฉฑเจก เจฆเจฟเฉฑเจคเจพ เจเจฟเจ เจธเฉ 1.5.39
เจเจฟเจเจเจเจฟ ceph-disk เจเจฎเจพเจเจก เจธเจชเฉฑเจธเจผเจ เจคเฉเจฐ 'เจคเฉ เจเจนเจฟเฉฐเจฆเฉ เจนเฉ เจเจฟ เจเจน เจฌเจฐเจคเจฐเจซเจผ เจนเฉ เจ เจคเฉ ceph-volume เจเจฎเจพเจเจก เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเฉ, เจชเจฟเจเจฐเฉ, เจ เจธเฉเจ เจชเฉเจฐเจพเจฃเฉเจเจ 'เจคเฉ เจธเจฎเจพเจ เจฌเจฐเจฌเจพเจฆ เจเฉเจคเฉ เจฌเจฟเจจเจพเจ, เจเจธ เจเจฎเจพเจเจก เจจเจพเจฒ OSD เจฌเจฃเจพเจเจฃเจพ เจธเจผเฉเจฐเฉ เจเจฐ เจฆเจฟเฉฑเจคเจพ เจนเฉเฅค
เจฏเฉเจเจจเจพ เจฆเฉ SSD เจกเจฐเจพเจเจตเจพเจ เจฆเจพ เจเฉฑเจ เจธเจผเฉเจธเจผเจพ เจฌเจฃเจพเจเจฃ เจฆเฉ เจธเฉ เจเจฟเจธ 'เจคเฉ เจ เจธเฉเจ OSD เจฒเฉเจ เจฒเจเจพเจตเจพเจเจเฉ, เจเฉ เจฌเจฆเจฒเฉ เจตเจฟเฉฑเจ, เจธเจชเจฟเฉฐเจกเจฒ SASs 'เจคเฉ เจธเจฅเจฟเจค เจนเจจเฅค เจเจธ เจคเจฐเฉเจนเจพเจ เจ เจธเฉเจ เจเจชเจฃเฉ เจเจช เจจเฉเฉฐ เจกเฉเจเจพ เจฆเฉเจเจ เจธเจฎเฉฑเจธเจฟเจเจตเจพเจ เจคเฉเจ เจฌเจเจพ เจธเจเจฆเฉ เจนเจพเจ เจเฉเจเจฐ เจฒเฉเจ เจตเจพเจฒเฉ เจกเจฟเจธเจ เจกเจฟเฉฑเจ เจเจพเจเจฆเฉ เจนเฉเฅค
เจ เจธเฉเจ เจฆเจธเจคเจพเจตเฉเจเจผเจพเจ เจฆเฉ เจ เจจเฉเจธเจพเจฐ เจเฉฑเจ เจเจฒเฉฑเจธเจเจฐ เจฌเจฃเจพเจเจฃเจพ เจธเจผเฉเจฐเฉ เจเฉเจคเจพ
cat /etc/ceph/ceph.conf
root@ceph01-qa:~# cat /etc/ceph/ceph.conf # ะฟะพะปะพะถะธะปะธ ะทะฐัะฐะฝะตะต ะฟะพะดะณะพัะพะฒะปะตะฝะฝัะน ะบะพะฝัะธะณ
[client]
rbd_cache = true
rbd_cache_max_dirty = 50331648
rbd_cache_max_dirty_age = 2
rbd_cache_size = 67108864
rbd_cache_target_dirty = 33554432
rbd_cache_writethrough_until_flush = true
rbd_concurrent_management_ops = 10
rbd_default_format = 2
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster network = 10.10.10.0/24
debug_asok = 0/0
debug_auth = 0/0
debug_buffer = 0/0
debug_client = 0/0
debug_context = 0/0
debug_crush = 0/0
debug_filer = 0/0
debug_filestore = 0/0
debug_finisher = 0/0
debug_heartbeatmap = 0/0
debug_journal = 0/0
debug_journaler = 0/0
debug_lockdep = 0/0
debug_mon = 0/0
debug_monc = 0/0
debug_ms = 0/0
debug_objclass = 0/0
debug_objectcatcher = 0/0
debug_objecter = 0/0
debug_optracker = 0/0
debug_osd = 0/0
debug_paxos = 0/0
debug_perfcounter = 0/0
debug_rados = 0/0
debug_rbd = 0/0
debug_rgw = 0/0
debug_throttle = 0/0
debug_timer = 0/0
debug_tp = 0/0
fsid = d0000000d-4000-4b00-b00b-0123qwe123qwf9
mon_host = ceph01-q, ceph02-q, ceph03-q
mon_initial_members = ceph01-q, ceph02-q, ceph03-q
public network = 8.8.8.8/28 # ะฐะดัะตั ะธะทะผะตะฝะตะฝ, ะตััะตััะฒะตะฝะฝะพ ))
rgw_dns_name = s3-qa.mycompany.ru # ะธ ััะพั ะฐะดัะตั ะธะทะผะตะฝ
rgw_host = s3-qa.mycompany.ru # ะธ ััะพั ัะพะถะต
[mon]
mon allow pool delete = true
mon_max_pg_per_osd = 300 # ะฑะพะปััะต ััะตั
ัะพั ะฟะปะตะนัะผะตะฝั ะณััะฟะฟ
# ะฝะฐ ะดะธัะบ ะฝะต ัะตัะธะปะธัั
# ั
ะพัั ะฟะฐัะฐะผะตัั, ะตััะตััะฒะตะฝะฝะพ, ะทะฐะฒะธัะธั ะพั ะบะพะปะธัะตััะฒะฐ ะฟัะปะพะฒ,
# ะธั
ัะฐะทะผะตัะพะฒ ะธ ะบะพะปะธัะตััะฒะฐ OSD. ะะผะตัั ะผะฐะปะพ ะฝะพ ะทะดะพัะพะฒัั
PG
# ัะพะถะต ะฝะต ะปัััะธะน ะฒัะฑะพั - ัััะฐะดะฐะตั ัะพัะฝะพััั ะฑะฐะปะฐะฝัะธัะพะฒะบะธ
mon_osd_backfillfull_ratio = 0.9
mon_osd_down_out_interval = 5
mon_osd_full_ratio = 0.95 # ะฟะพะบะฐ ะดะปั SSD ะดะธัะบะพะฒ ะผะตััะพะผ ะดะปั ะธั
# ะถััะฝะฐะปะฐ ัะฒะปัะตััั ัะพั-ะถะต ะดะตะฒะฐะนั ััะพ ะธ ะดะปั ะะกะ
# ัะตัะธะปะธ ััะพ 5% ะพั ะดะธัะบะฐ (ะบะพัะพััะน ัะฐะผ ัะฐะทะผะตัะพะผ 1.2Tb)
# ะดะพะปะถะฝะพ ะฒะฟะพะปะฝะต ั
ะฒะฐัะธัั, ะธ ะบะพััะตะปะธััะตั ั ะฟะฐัะฐะผะตััะพะผ
# bluestore_block_db_size ะฟะปัั ะฒะฐัะธะฐัะธะฒะฝะพััั ะฝะฐ ะฑะพะปััะธะต
# ะฟะปะตะนัะผะตะฝั ะณััะฟะฟั
mon_osd_nearfull_ratio = 0.9
mon_pg_warn_max_per_osd = 520
[osd]
bluestore_block_db_create = true
bluestore_block_db_size = 5368709120 #5G
bluestore_block_wal_create = true
bluestore_block_wal_size = 1073741824 #1G
bluestore_cache_size_hdd = 3221225472 # 3G
bluestore_cache_size_ssd = 9663676416 # 9G
journal_aio = true
journal_block_align = true
journal_dio = true
journal_max_write_bytes = 1073714824
journal_max_write_entries = 10000
journal_queue_max_bytes = 10485760000
journal_queue_max_ops = 50000
keyring = /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap = 1073741824 #1G
osd_disk_thread_ioprio_class = idle
osd_disk_thread_ioprio_priority = 7
osd_disk_threads = 2
osd_failsafe_full_ratio = 0.95
osd_heartbeat_grace = 5
osd_heartbeat_interval = 3
osd_map_dedup = true
osd_max_backfills = 4
osd_max_write_size = 256
osd_mon_heartbeat_interval = 5
osd_op_num_threads_per_shard = 1
osd_op_num_threads_per_shard_hdd = 2
osd_op_num_threads_per_shard_ssd = 2
osd_op_threads = 16
osd_pool_default_min_size = 1
osd_pool_default_size = 2
osd_recovery_delay_start = 10.0
osd_recovery_max_active = 1
osd_recovery_max_chunk = 1048576
osd_recovery_max_single_start = 3
osd_recovery_op_priority = 1
osd_recovery_priority = 1
osd_recovery_sleep = 2
osd_scrub_chunk_max = 4
osd_scrub_chunk_min = 2
osd_scrub_sleep = 0.1
rocksdb_separate_wal_dir = true
# ัะพะทะดะฐะตะผ ะผะพะฝะธัะพัั
root@ceph01-qa:~#ceph-deploy mon create ceph01-q
# ะณะตะฝะตัะธััะตะผ ะบะปััะธ ะดะปั ะฐััะตะฝัะธัะธะบะฐัะธะธ ะฝะพะด ะฒ ะบะปะฐััะตัะต
root@ceph01-qa:~#ceph-deploy gatherkeys ceph01-q
# ะญัะพ ะตัะปะธ ะฟะพััััะฝะพ. ะัะปะธ ั ะฝะฐั ะฝะตัะบะพะปัะบะพ ะผะฐัะธะฝ ะดะพัััะฟะฝั - ัะต, ะบะพัะพััะต ะพะฟะธัะฐะฝั ะฒ ะบะพะฝัะธะณะต ะฒ ัะตะบัะธะธ
# mon_initial_members = ceph01-q, ceph02-q, ceph03-q
# ะผะพะถะฝะพ ะทะฐะฟัััะธัั ััะธ ะดะฒะต ะบะพะผะฐะฝะดั ะฒ ะฒะธะดะต ะพะดะฝะพะน
root@ceph01-qa:~#ceph-deploy mon create-initial
# ะะพะปะพะถะธะผ ะบะปััะธ ะฒ ัะบะฐะทะฐะฝะฝัะต ะฒ ะบะพะฝัะธะณะต ะผะตััะฐ
root@ceph01-qa:~#cat ceph.bootstrap-osd.keyring > /var/lib/ceph/bootstrap-osd/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-mgr.keyring > /var/lib/ceph/bootstrap-mgr/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-rgw.keyring > /var/lib/ceph/bootstrap-rgw/ceph.keyring
# ัะพะทะดะฐะดะธะผ ะบะปัั ะดะปั ัะฟัะฐะฒะปะตะฝะธั ะบะปะฐััะตัะพะผ
root@ceph01-qa:~#ceph-deploy admin ceph01-q
# ะธ ะผะตะฝะตะดะถะตั, ะฟะปะฐะณะธะฝะฐะผะธ ัะฟัะฐะฒะปััั
root@ceph01-qa:~#ceph-deploy mgr create ceph01-q
เจเฉฑเจ เจเจฒเฉฑเจธเจเจฐ เจธเฉฐเจธเจเจฐเจฃ 12.2.12 เจฆเฉ เจจเจพเจฒ ceph-deploy เจฆเฉ เจเจธ เจธเฉฐเจธเจเจฐเจฃ เจฆเฉ เจจเจพเจฒ เจเฉฐเจฎ เจเจฐเจฆเฉ เจธเจฎเฉเจ เจธเจญ เจคเฉเจ เจชเจนเจฟเจฒเจพเจ เจฎเฉเจจเฉเฉฐ เจ เฉเจเจฐ เจฒเฉฑเจเฉ เจเฉฑเจ เจธเฉเจซเจเจตเฉเจ เจฐ เจฐเฉเจก เจคเฉ db เจจเจพเจฒ เจเฉฑเจ OSD เจฌเจฃเจพเจเจฃ เจฆเฉ เจเฉเจธเจผเจฟเจธเจผ เจเจฐเจฆเฉ เจธเจฎเฉเจ เจเฉฑเจ เจเจฒเจคเฉ เจธเฉ -
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
blkid could not detect a PARTUUID for device: /dev/md1
เจฆเจฐเจ เจธเจฒ, blkid PARTUUID เจจเจนเฉเจ เจเจพเจชเจฆเจพ, เจเจธ เจฒเจ เจฎเฉเจจเฉเฉฐ เจนเฉฑเจฅเฉเจ เจญเจพเจ เจฌเจฃเจพเจเจฃเฉ เจชเจ:
root@ceph01-qa:~#parted /dev/md0 mklabel GPT
# ัะฐะทะดะตะปะพะฒ ะฑัะดะตั ะผะฝะพะณะพ,
# ะฑะตะท GPT ะธั
ัะพะทะดะฐัั ะฝะต ะฟะพะปััะธััั
# ัะฐะทะผะตั ัะฐะทะดะตะปะฐ ะผั ัะบะฐะทะฐะปะธ ะฒ ะบะพะฝัะธะณะต ะฒััะต = bluestore_block_db_size: '5368709120 #5G'
# ะะธัะบะพะฒ ั ะผะตะฝั 20 ะฟะพะด OSD, ััะบะฐะผะธ ัะพะทะดะฐะฒะฐัั ัะฐะทะดะตะปั ะปะตะฝั
# ะฟะพัะพะผั ัะดะตะปะฐะป ัะธะบะป
root@ceph01-qa:~#for i in {1..20}; do echo -e "nnnn+5Gnw" | fdisk /dev/md0; done
เจธเจญ เจเฉเจ เจคเจฟเจเจฐ เจเจพเจชเจฆเจพ เจนเฉ, เจ เจธเฉเจ เจเจเจธเจกเฉ เจจเฉเฉฐ เจฆเฉเจฌเจพเจฐเจพ เจฌเจฃเจพเจเจฃ เจฆเฉ เจเฉเจธเจผเจฟเจธเจผ เจเจฐเจฆเฉ เจนเจพเจ เจ เจคเฉ เจนเฉเจ เจฒเจฟเจเฉ เจเจฒเจคเฉ เจชเฉเจฐเจพเจชเจค เจเจฐเจฆเฉ เจนเจพเจ (เจเฉ, เจคเจฐเฉเจเฉ เจจเจพเจฒ, เจฒเฉเจพเจ เจตเจฟเฉฑเจ เจฆเฉเจฌเจพเจฐเจพ เจจเจนเฉเจ เจชเฉเจฆเจพ เจเฉเจคเจพ เจเจฟเจ เจธเฉ)
เจเจฆเฉเจ WAL เจฆเจพ เจฎเจพเจฐเจ เจจเจฟเจฐเจงเจพเจฐเจฟเจค เจเฉเจคเฉ เจฌเจฟเจจเจพเจ เจฌเจฒเฉเจธเจเฉเจฐ เจเจฟเจธเจฎ เจฆเจพ เจเฉฑเจ OSD เจฌเจฃเจพเจเจเจฆเฉ เจนเฉ, เจชเจฐ db เจจเจฟเจฐเจงเจพเจฐเจค เจเจฐเจฆเฉ เจนเฉ
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
stderr: 2019-04-12 10:39:27.211242 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _read_fsid unparsable uuid
stderr: 2019-04-12 10:39:27.213185 7eff461b6e00 -1 bdev(0x55824c273680 /var/lib/ceph/osd/ceph-0//block.wal) open open got: (22) Invalid argument
stderr: 2019-04-12 10:39:27.213201 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _open_db add block device(/var/lib/ceph/osd/ceph-0//block.wal) returned: (22) Invalid argument
stderr: 2019-04-12 10:39:27.999039 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) mkfs failed, (22) Invalid argument
stderr: 2019-04-12 10:39:27.999057 7eff461b6e00 -1 OSD::mkfs: ObjectStore::mkfs failed with error (22) Invalid argument
stderr: 2019-04-12 10:39:27.999141 7eff461b6e00 -1 ** ERROR: error creating empty object store in /var/lib/ceph/osd/ceph-0/: (22) Invalid argumen
เจเจธ เจคเฉเจ เจเจฒเจพเจตเจพ, เจเฉเจเจฐ เจเจธเฉ เจธเจผเฉเจธเจผเฉ 'เจคเฉ (เจเจพเจ เจเจฟเจธเฉ เจนเฉเจฐ เจฅเจพเจ 'เจคเฉ, เจคเฉเจนเจพเจกเฉ เจชเจธเฉฐเจฆ เจฆเฉ) เจคเฉเจธเฉเจ WAL เจฒเจ เจเฉฑเจ เจนเฉเจฐ เจญเจพเจ เจฌเจฃเจพเจเจเจฆเฉ เจนเฉ เจ เจคเฉ เจเจธเจจเฉเฉฐ OSD เจฌเจฃเจพเจเจฃ เจตเฉเจฒเฉ เจจเจฟเจฐเจงเจพเจฐเจค เจเจฐเจฆเฉ เจนเฉ, เจคเจพเจ เจธเจญ เจเฉเจ เจธเฉเจเจพเจฐเฉ เจขเฉฐเจ เจจเจพเจฒ เจเฉฑเจฒเฉเจเจพ (เจเฉฑเจ เจตเฉฑเจเจฐเฉ WAL เจฆเฉ เจฆเจฟเฉฑเจ เจจเฉเฉฐ เจเฉฑเจก เจเฉ, เจเฉ เจคเฉเจธเฉเจ เจจเจนเฉเจ เจเจฐ เจธเจเจฆเฉ เจนเฉเฅค เจเจพเจนเฉเฉฐเจฆเจพ เจธเฉ).
เจชเจฐ, เจเจฟเจเจเจเจฟ เจเจน เจ เจเฉ เจตเฉ WAL เจจเฉเฉฐ NVMe เจตเจฟเฉฑเจ เจคเจฌเจฆเฉเจฒ เจเจฐเจจ เจฆเฉ เจฆเฉเจฐ เจฆเฉเจเจ เจฏเฉเจเจจเจพเจตเจพเจ เจตเจฟเฉฑเจ เจธเฉ, เจ เจญเจฟเจเจธ เจฌเฉเจฒเฉเฉเจพ เจจเจนเฉเจ เจจเจฟเจเจฒเจฟเจเฅค
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sdf --block.wal /dev/md0p2 --block.db /dev/md1p2
เจฎเจพเจจเฉเจเจฐ, เจฎเฉเจจเฉเจเจฐ เจ เจคเฉ เจ.เจเจธ.เจกเฉ. เจนเฉเจฃ เจฎเฉเจ เจเจนเจจเจพเจ เจจเฉเฉฐ เจตเฉฑเจเจฐเฉ เจคเฉเจฐ 'เจคเฉ เจธเจฎเฉเจน เจเจฐเจจเจพ เจเจพเจนเจพเจเจเจพ, เจเจฟเจเจเจเจฟ เจฎเฉเจ เจตเฉฑเจ-เจตเฉฑเจ เจเจฟเจธเจฎเจพเจ เจฆเฉเจเจ เจกเจฟเจธเจเจพเจ เจฆเฉ เจฏเฉเจเจจเจพ เจฌเจฃเจพ เจฐเจฟเจนเจพ เจนเจพเจ - SSD 'เจคเฉ เจคเฉเจเจผ เจชเฉเจฒ เจ เจคเฉ SAS เจชเฉเจจเจเฉเจ 'เจคเฉ เจตเฉฑเจกเฉ, เจชเจฐ เจนเฉเจฒเฉ เจชเฉเจฒ.
เจฎเฉฐเจจ เจฒเจ เจเจฟ เจธเจฐเจตเจฐเจพเจ เจเฉเจฒ 20 เจกเจฟเจธเจเจพเจ เจนเจจ, เจชเจนเจฟเจฒเฉเจเจ เจฆเจธ เจเฉฑเจ เจเจฟเจธเจฎ เจฆเฉเจเจ เจนเจจ, เจฆเฉเจเฉเจเจ เจฆเฉเจเฉเจเจ เจนเจจเฅค
เจธเจผเฉเจฐเฉเจเจคเฉ, เจกเจฟเจซเฉเจฒเจ, เจเจพเจฐเจก เจเจธ เจคเจฐเฉเจนเจพเจ เจฆเจฟเจเจฆเจพ เจนเฉ:
ceph osd เจฐเฉเฉฑเจ
root@ceph01-q:~# ceph osd เจเฉเจฐเฉ
เจเจเจกเฉ เจเจฒเจพเจธ เจตเจเจผเจจ เจเจฟเจธเจฎ เจฆเจพ เจจเจพเจฎ เจธเจฅเจฟเจคเฉ เจฐเฉเจตเฉเจ PRI-AFF
-1 14.54799 เจฐเฉเจ เจกเจฟเจซเฉเจฒเจ
-3 9.09200 เจนเฉเจธเจ ceph01-q
0 ssd 1.00000 osd.0 เจ
เฉฑเจช 1.00000 1.00000
1 ssd 1.00000 osd.1 เจ
เฉฑเจช 1.00000 1.00000
2 ssd 1.00000 osd.2 เจ
เฉฑเจช 1.00000 1.00000
3 ssd 1.00000 osd.3 เจ
เฉฑเจช 1.00000 1.00000
4 hdd 1.00000 osd. 4 เจ
เฉฑเจช 1.00000 1.00000
5 hdd 0.27299 osd. 5 เจ
เฉฑเจช 1.00000 1.00000
6 hdd 0.27299 osd. 6 เจ
เฉฑเจช 1.00000 1.00000
7 hdd 0.27299 osd. 7 เจ
เฉฑเจช 1.00000 1.00000
8 hdd 0.27299 osd. 8 เจ
เฉฑเจช 1.00000 1.00000
9 hdd 0.27299 osd. 9 เจ
เฉฑเจช 1.00000 1.00000
10 hdd 0.27299 osd. 10 เจ
เฉฑเจช 1.00000 1.00000
11 hdd 0.27299 osd. 11 เจ
เฉฑเจช 1.00000 1.00000
12 hdd 0.27299 osd. 12 เจ
เฉฑเจช 1.00000 1.00000
13 hdd 0.27299 osd. 13 เจ
เฉฑเจช 1.00000 1.00000
14 hdd 0.27299 osd. 14 เจ
เฉฑเจช 1.00000 1.00000
15 hdd 0.27299 osd. 15 เจ
เฉฑเจช 1.00000 1.00000
16 hdd 0.27299 osd. 16 เจ
เฉฑเจช 1.00000 1.00000
17 hdd 0.27299 osd. 17 เจ
เฉฑเจช 1.00000 1.00000
18 hdd 0.27299 osd. 18 เจ
เฉฑเจช 1.00000 1.00000
19 hdd 0.27299 osd. 19 เจ
เฉฑเจช 1.00000 1.00000
-5 5.45599 เจนเฉเจธเจ ceph02-q
20 ssd 0.27299 osd.20 เจ
เฉฑเจช 1.00000 1.00000
21 ssd 0.27299 osd.21 เจ
เฉฑเจช 1.00000 1.00000
22 ssd 0.27299 osd.22 เจ
เฉฑเจช 1.00000 1.00000
23 ssd 0.27299 osd.23 เจ
เฉฑเจช 1.00000 1.00000
24 hdd 0.27299 osd. 24 เจ
เฉฑเจช 1.00000 1.00000
25 hdd 0.27299 osd. 25 เจ
เฉฑเจช 1.00000 1.00000
26 hdd 0.27299 osd. 26 เจ
เฉฑเจช 1.00000 1.00000
27 hdd 0.27299 osd. 27 เจ
เฉฑเจช 1.00000 1.00000
28 hdd 0.27299 osd. 28 เจ
เฉฑเจช 1.00000 1.00000
29 hdd 0.27299 osd. 29 เจ
เฉฑเจช 1.00000 1.00000
30 hdd 0.27299 osd. 30 เจ
เฉฑเจช 1.00000 1.00000
31 hdd 0.27299 osd. 31 เจ
เฉฑเจช 1.00000 1.00000
32 hdd 0.27299 osd. 32 เจ
เฉฑเจช 1.00000 1.00000
33 hdd 0.27299 osd. 33 เจ
เฉฑเจช 1.00000 1.00000
34 hdd 0.27299 osd. 34 เจ
เฉฑเจช 1.00000 1.00000
35 hdd 0.27299 osd. 35 เจ
เฉฑเจช 1.00000 1.00000
36 hdd 0.27299 osd. 36 เจ
เฉฑเจช 1.00000 1.00000
37 hdd 0.27299 osd. 37 เจ
เฉฑเจช 1.00000 1.00000
38 hdd 0.27299 osd. 38 เจ
เฉฑเจช 1.00000 1.00000
39 hdd 0.27299 osd. 39 เจ
เฉฑเจช 1.00000 1.00000
-7 6.08690 เจนเฉเจธเจ ceph03-q
40 ssd 0.27299 osd.40 เจ
เฉฑเจช 1.00000 1.00000
41 ssd 0.27299 osd.41 เจ
เฉฑเจช 1.00000 1.00000
42 ssd 0.27299 osd.42 เจ
เฉฑเจช 1.00000 1.00000
43 ssd 0.27299 osd.43 เจ
เฉฑเจช 1.00000 1.00000
44 hdd 0.27299 osd. 44 เจ
เฉฑเจช 1.00000 1.00000
45 hdd 0.27299 osd. 45 เจ
เฉฑเจช 1.00000 1.00000
46 hdd 0.27299 osd. 46 เจ
เฉฑเจช 1.00000 1.00000
47 hdd 0.27299 osd. 47 เจ
เฉฑเจช 1.00000 1.00000
48 hdd 0.27299 osd. 48 เจ
เฉฑเจช 1.00000 1.00000
49 hdd 0.27299 osd. 49 เจ
เฉฑเจช 1.00000 1.00000
50 hdd 0.27299 osd. 50 เจ
เฉฑเจช 1.00000 1.00000
51 hdd 0.27299 osd. 51 เจ
เฉฑเจช 1.00000 1.00000
52 hdd 0.27299 osd. 52 เจ
เฉฑเจช 1.00000 1.00000
53 hdd 0.27299 osd. 53 เจ
เฉฑเจช 1.00000 1.00000
54 hdd 0.27299 osd. 54 เจ
เฉฑเจช 1.00000 1.00000
55 hdd 0.27299 osd. 55 เจ
เฉฑเจช 1.00000 1.00000
56 hdd 0.27299 osd. 56 เจ
เฉฑเจช 1.00000 1.00000
57 hdd 0.27299 osd. 57 เจ
เฉฑเจช 1.00000 1.00000
58 hdd 0.27299 osd. 58 เจ
เฉฑเจช 1.00000 1.00000
59 hdd 0.89999 osd. 59 เจ
เฉฑเจช 1.00000 1.00000
เจเจ เจฌเจฒเฉเจเจเฉเจ เจ เจคเฉ เจนเฉเจฐ เจเฉเจเจผเจพเจ เจจเจพเจฒ เจธเจพเจกเฉ เจเจชเจฃเฉ เจตเจฐเจเฉเจ เจฒ เจฐเฉเจ เจ เจคเฉ เจธเจฐเจตเจฐ เจฌเจฃเจพเจเจ:
root@ceph01-q:~#ceph osd crush add-bucket rack01 root #ัะพะทะดะฐะปะธ ะฝะพะฒัะน root
root@ceph01-q:~#ceph osd crush add-bucket ceph01-q host #ัะพะทะดะฐะปะธ ะฝะพะฒัะน ั
ะพัั
root@ceph01-q:~#ceph osd crush move ceph01-q root=rack01 #ะฟะตัะตััะฐะฒะธะปะธ ัะตัะฒะตั ะฒ ะดััะณัั ััะพะนะบั
root@ceph01-q:~#osd crush add 28 1.0 host=ceph02-q # ะะพะฑะฐะฒะธะปะธ ะะกะ ะฒ ัะตัะฒะตั
# ะัะปะธ ะบัะธะฒะพ ัะพะทะดะฐะปะธ ัะพ ะผะพะถะฝะพ ัะดะฐะปะธัั
root@ceph01-q:~# ceph osd crush remove osd.4
root@ceph01-q:~# ceph osd crush remove rack01
เจเจฟเจจเฉเจนเจพเจ เจธเจฎเฉฑเจธเจฟเจเจตเจพเจ เจฆเจพ เจธเจพเจจเฉเฉฐ เจธเจพเจนเจฎเจฃเจพ เจเจฐเจจเจพ เจชเจฟเจ เจฒเฉเจพเจ เจเจฒเฉฑเจธเจเจฐ, เจเจฆเฉเจ เจเฉฑเจ เจจเจตเจพเจ เจนเฉเจธเจ เจฌเจฃเจพเจเจฃ เจฆเฉ เจเฉเจธเจผเจฟเจธเจผ เจเจฐ เจฐเจฟเจนเจพ เจนเฉ เจ เจคเฉ เจเจธเจจเฉเฉฐ เจฎเฉเจเฉเจฆเจพ เจฐเฉเจ-เจเจฎเจพเจเจก เจตเจฟเฉฑเจ เจญเฉเจเจฆเจพ เจนเฉ ceph osd crush เจฎเฉเจต ceph01-เจนเฉเจธเจ เจฐเฉเจ=เจฐเฉเจ01 เจเฉฐเจฎ เจเจฟเจ, เจ เจคเฉ เจฎเจพเจจเฉเจเจฐ เจเฉฑเจ-เจเฉฑเจ เจเจฐเจเฉ เจกเจฟเฉฑเจเจฃ เจฒเฉฑเจเฉเฅค เจเฉฑเจ เจธเจงเจพเจฐเจจ CTRL+C เจจเจพเจฒ เจเจฎเจพเจเจก เจจเฉเฉฐ เจฐเฉฑเจฆ เจเจฐเจจ เจจเจพเจฒ เจเจฒเฉฑเจธเจเจฐ เจจเฉเฉฐ เจเฉเจตเจค เจธเฉฐเจธเจพเจฐ เจตเจฟเฉฑเจ เจตเจพเจชเจธ เจเจฐ เจฆเจฟเฉฑเจคเจพ เจเจฟเจเฅค
เจเฉฑเจ เจเฉเจ เจจเฉ เจเจน เจธเจฎเฉฑเจธเจฟเจ เจฆเจฟเจเจพเจ:
เจนเฉฑเจฒ เจเจน เจจเจฟเจเจฒเจฟเจ เจเจฟ เจเจฐเจธเจผเจฎเฉเจช เจจเฉเฉฐ เจกเฉฐเจช เจเจฐเจจเจพ เจ เจคเฉ เจเฉฑเจฅเฉเจ เจธเฉเจเจธเจผเจจ เจจเฉเฉฐ เจนเจเจพเจเจฃเจพ เจจเจฟเจฏเจฎ replicated_ruleset
root@ceph01-prod:~#ceph osd getcrushmap -o crushmap.row #ะะฐะผะฟะธะผ ะบะฐััั ะฒ ัััะพะผ ะฒะธะดะต
root@ceph01-prod:~#crushtool -d crushmap.row -o crushmap.txt #ะฟะตัะตะฒะพะดะธะผ ะฒ ัะธัะฐะตะผัะน
root@ceph01-prod:~#vim crushmap.txt #ัะตะดะฐะบัะธััะตะผ, ัะดะฐะปัั rule replicated_ruleset
root@ceph01-prod:~#crushtool -c crushmap.txt -o new_crushmap.row #ะบะพะผะฟะธะปะธััะตะผ ะพะฑัะฐัะฝะพ
root@ceph01-prod:~#ceph osd setcrushmap -i new_crushmap.row #ะทะฐะณััะถะฐะตะผ ะฒ ะบะปะฐััะตั
เจ เจเจคเฉเฉฐเจ: เจเจน เจเจชเจฐเฉเจธเจผเจจ OSDs เจตเจฟเจเจเจพเจฐ เจชเจฒเฉเจธเจฎเฉเจเจ เจเจฐเฉเฉฑเจช เจฆเฉ เจฎเฉเฉ เจธเฉฐเจคเฉเจฒเจจ เจฆเจพ เจเจพเจฐเจจ เจฌเจฃ เจธเจเจฆเจพ เจนเฉเฅค เจเจน เจธเจพเจกเฉ เจฒเจ เจเจธ เจฆเจพ เจเจพเจฐเจจ เจฌเจฃเจฟเจ, เจชเจฐ เจฌเจนเฉเจค เจเฉฑเจ.
เจ
เจคเฉ เจเฉเจธเจ เจเจฒเฉฑเจธเจเจฐ เจตเจฟเฉฑเจ เจธเจพเจจเฉเฉฐ เจเฉ เจ
เจเฉเจฌ เจเฉฑเจฒ เจฆเจพ เจธเจพเจนเจฎเจฃเจพ เจเจฐเจจเจพ เจชเจฟเจ เจเจน เจเจน เจธเฉ เจเจฟ OSD เจธเจฐเจตเจฐ เจจเฉเฉฐ เจฐเฉเจฌเฉเจ เจเจฐเจจ เจคเฉเจ เจฌเจพเจ
เจฆ, เจเจน เจญเฉเฉฑเจฒ เจเจ เจเจฟ เจเจนเจจเจพเจ เจจเฉเฉฐ เจจเจตเฉเจ เจธเจฐเจตเจฐเจพเจ เจ
เจคเฉ เจฐเฉเจเจพเจ เจตเจฟเฉฑเจ เจญเฉเจเจฟเจ เจเจฟเจ เจธเฉ, เจ
เจคเฉ เจฐเฉเจ เจกเจฟเจซเฉเจฒเจ เจคเฉ เจตเจพเจชเจธ เจ เจเจ เจธเจจเฅค
เจจเจคเฉเจเฉ เจตเจเฉเจ, เจ
เฉฐเจคเจฎ เจธเจเฉเจฎ เจจเฉเฉฐ เจเจเฉฑเจ เจพ เจเจฐเจจ เจคเฉเจ เจฌเจพเจ
เจฆ, เจเจฟเจธ เจตเจฟเฉฑเจ เจ
เจธเฉเจ ssd เจกเจฐเจพเจเจตเจพเจ เจฒเจ เจเฉฑเจ เจตเฉฑเจเจฐเจพ เจฐเฉเจ เจ
เจคเฉ เจธเจชเจฟเฉฐเจกเจฒ เจกเจฐเจพเจเจตเจพเจ เจฒเจ เจเฉฑเจ เจตเฉฑเจเจฐเจพ เจฐเฉเจ เจฌเจฃเจพเจเจ เจนเฉ, เจ
เจธเฉเจ เจธเจพเจฐเฉ OSDs เจจเฉเฉฐ เจฐเฉเจ เจตเจฟเฉฑเจ เจฒเฉ เจฒเจฟเจ เจนเฉ เจ
เจคเฉ เจธเจฟเจฐเจซเจผ เจกเจฟเจซเจพเจฒเจ เจฐเฉเจ เจจเฉเฉฐ เจฎเจฟเจเจพ เจฆเจฟเฉฑเจคเจพ เจนเฉเฅค เจฐเฉเจฌเฉเจ เจนเฉเจฃ เจคเฉเจ เจฌเจพเจ
เจฆ, เจ.เจเจธ.เจกเฉ.
เจฌเจพเจ
เจฆ เจตเจฟเฉฑเจ เจฆเจธเจคเจพเจตเฉเจเจผเจพเจ เจฆเฉ เจเฉเจฆเจพเจ เจเจฐเจจ เจคเฉเจ เจฌเจพเจ
เจฆ, เจธเจพเจจเฉเฉฐ เจเฉฑเจ เจชเฉเจฐเจพเจฎเฉเจเจฐ เจฎเจฟเจฒเจฟเจ เจเฉ เจเจธ เจตเจฟเจตเจนเจพเจฐ เจฒเจ เจเจผเจฟเฉฐเจฎเฉเจตเจพเจฐ เจนเฉเฅค เจฆเฉเจเฉ เจญเจพเจ เจตเจฟเฉฑเจ เจเจธ เจฌเจพเจฐเฉ
เจ เจธเฉเจ เจกเจฟเจธเจ เจเจฟเจธเจฎ เจฆเฉเจเจฐเจพ เจตเฉฑเจ-เจตเฉฑเจ เจเจฐเฉเฉฑเจช เจเจฟเจตเฉเจ เจฌเจฃเจพเจเฅค
เจธเจผเฉเจฐเฉ เจเจฐเจจ เจฒเจ, เจ เจธเฉเจ เจฆเฉ เจฐเฉเจ เจฌเจฃเจพเจ - ssd เจ เจคเฉ hdd เจฒเจ
root@ceph01-q:~#ceph osd crush add-bucket ssd-root root
root@ceph01-q:~#ceph osd crush add-bucket hdd-root root
เจเจฟเจเจเจเจฟ เจธเจฐเจตเจฐ เจญเฉเจคเจฟเจ เจคเฉเจฐ 'เจคเฉ เจตเฉฑเจ-เจตเฉฑเจ เจฐเฉเจเจพเจ เจตเจฟเฉฑเจ เจธเจฅเจฟเจค เจนเจจ, เจธเฉเจตเจฟเจงเจพ เจฒเจ เจ เจธเฉเจ เจเจนเจจเจพเจ เจตเจฟเฉฑเจ เจธเจฐเจตเจฐเจพเจ เจฆเฉ เจจเจพเจฒ เจฐเฉเจ เจฌเจฃเจพเจ เจนเจจ
# ะกัะพะนะบะธ:
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack02 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack03 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
# ะกะตัะฒะตัะฐ
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph03-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
เจ เจคเฉ เจกเจฟเจธเจเจพเจ เจจเฉเฉฐ เจเจนเจจเจพเจ เจฆเฉเจเจ เจเจฟเจธเจฎเจพเจ เจ เจจเฉเจธเจพเจฐ เจตเฉฑเจ-เจตเฉฑเจ เจธเจฐเจตเจฐเจพเจ เจตเจฟเฉฑเจ เจตเฉฐเจกเจฟเจ
root@ceph01-q:~# ะะธัะบะธ ั 0 ะฟะพ 3 ััะพ SSD, ะฝะฐั
ะพะดัััั ะฒ ceph01-q, ััะฐะฒะธะผ ะธั
ะฒ ัะตัะฒะตั
root@ceph01-q:~# ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 0 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 1 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 2 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 3 1 host=ssd-ceph01-q
root-ceph01-q:~# ะฐะฝะฐะปะพะณะธัะฝะพ ั ะดััะณะธะผะธ ัะตัะฒะตัะฐะผะธ
ssd-root เจ เจคเฉ hdd-root เจฐเฉเจเจพเจ เจตเจฟเฉฑเจ เจกเจฟเจธเจเจพเจ เจจเฉเฉฐ เจเจฟเฉฐเจกเจพเจเจฃ เจคเฉเจ เจฌเจพเจ เจฆ, เจ เจธเฉเจ เจฐเฉเจ-เจกเจฟเจซเจพเจฒเจ เจจเฉเฉฐ เจเจพเจฒเฉ เจเฉฑเจก เจฆเจฟเฉฑเจคเจพ เจนเฉ, เจเจธ เจฒเจ เจ เจธเฉเจ เจเจธเจจเฉเฉฐ เจฎเจฟเจเจพ เจธเจเจฆเฉ เจนเจพเจเฅค
root-ceph01-q:~#ceph osd crush remove default
เจ เฉฑเจเฉ, เจธเจพเจจเฉเฉฐ เจกเจฟเจธเจเฉเจฐเฉเจฌเจฟเจเจธเจผเจจ เจจเจฟเจฏเจฎ เจฌเจฃเจพเจเจฃ เจฆเฉ เจเจผเจฐเฉเจฐเจค เจนเฉ เจเฉ เจ เจธเฉเจ เจฌเจฃเจพเจ เจเจพ เจฐเจนเฉ เจชเฉเจฒ เจจเจพเจฒ เจฌเฉฐเจจเฉเจนเจพเจเจเฉ - เจจเจฟเจฏเจฎเจพเจ เจตเจฟเฉฑเจ เจ เจธเฉเจ เจเจน เจฆเจฐเจธเจพเจตเจพเจเจเฉ เจเจฟ เจเจฟเจนเฉเฉเจเจ เจเฉเฉเจนเจพเจ เจธเจพเจกเฉ เจชเฉเจฒ เจกเฉเจเจพ เจ เจคเฉ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจฆเฉ เจตเจฟเจฒเฉฑเจเจฃเจคเจพ เจฆเฉ เจชเฉฑเจงเจฐ เจจเฉเฉฐ เจฐเฉฑเจ เจธเจเจฆเฉเจเจ เจนเจจ - เจเจฆเจพเจนเจฐเจจ เจฒเจ, เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉเจเจ เจตเฉฑเจ-เจตเฉฑเจ เจธเจฐเจตเจฐเจพเจ 'เจคเฉ เจนเฉเจฃเฉเจเจ เจเจพเจนเฉเจฆเฉเจเจ เจนเจจ, เจเจพเจ เจตเฉฑเจ-เจตเฉฑเจ เจฐเฉเจเจพเจ เจตเจฟเฉฑเจ (เจคเฉเจธเฉเจ เจตเฉฑเจ-เจตเฉฑเจ เจเฉเฉเจนเจพเจ เจตเจฟเฉฑเจ เจตเฉ เจเจฐ เจธเจเจฆเฉ เจนเฉ, เจเฉเจเจฐ เจธเจพเจกเฉ เจเฉเจฒ เจ เจเจฟเจนเฉ เจตเฉฐเจก เจนเฉ)
เจเฉฑเจ เจเจฟเจธเจฎ เจฆเฉ เจเฉเจฃ เจเจฐเจจ เจคเฉเจ เจชเจนเจฟเจฒเจพเจ, เจฆเจธเจคเจพเจตเฉเจเจผเจพเจ เจจเฉเฉฐ เจชเฉเฉเจนเจจเจพ เจฌเจฟเจนเจคเจฐ เจนเฉ:
root-ceph01-q:~#ceph osd crush rule create-simple rule-ssd ssd-root host firstn
root-ceph01-q:~#ceph osd crush rule create-simple rule-hdd hdd-root host firstn
root-ceph01-q:~# ะั ัะบะฐะทะฐะปะธ ะดะฒะฐ ะฟัะฐะฒะธะปะฐ, ะฒ ะบะพัะพััั
ะดะฐะฝะฝัะต ัะตะฟะปะธัะธัััััั
root-ceph01-q:~# ะผะตะถะดั ั
ะพััะฐะผะธ - ัะพ ะตััั ัะตะฟะปะธะบะฐ ะดะพะปะถะฝะฐ ะปะตะถะฐัั ะฝะฐ ะดััะณะพะผ ั
ะพััะต,
root-ceph01-q:~# ะดะฐะถะต ะตัะปะธ ะพะฝะธ ะฒ ะพะดะฝะพะน ััะพะนะบะต
root-ceph01-q:~# ะ ะฟัะพะดะฐะบัะตะฝะต, ะตัะปะธ ะตััั ะฒะพะทะผะพะถะฝะพััั, ะปัััะต ัะฐัะฟัะตะดะตะปะธัั ั
ะพััั
root-ceph01-q:~# ะฟะพ ััะพะนะบะฐะผ ะธ ัะบะฐะทะฐัั ัะฐัะฟัะตะดะตะปััั ัะตะฟะปะธะบะธ ะฟะพ ััะพะนะบะฐะผ:
root-ceph01-q:~# ##ceph osd crush rule create-simple rule-ssd ssd-root rack firstn
เจเฉเจฐ, เจ เจธเฉเจ เจชเฉเจฒ เจฌเจฃเจพเจเจเจฆเฉ เจนเจพเจ เจเจฟเจธ เจตเจฟเฉฑเจ เจ เจธเฉเจ เจญเจตเจฟเฉฑเจ เจตเจฟเฉฑเจ เจธเจพเจกเฉ เจตเจฐเจเฉเจ เจฒเจพเจเจเฉเจธเจผเจจ เจฆเฉเจเจ เจกเจฟเจธเจ เจเจฟเฉฑเจคเจฐเจพเจ เจจเฉเฉฐ เจธเจเฉเจฐ เจเจฐเจจเจพ เจเจพเจนเฉเฉฐเจฆเฉ เจนเจพเจ - PROXMOX:
root-ceph01-q:~# #ceph osd pool create {NAME} {pg_num} {pgp_num}
root-ceph01-q:~# ceph osd pool create ssd_pool 1024 1024
root-ceph01-q:~# ceph osd pool create hdd_pool 1024 1024
เจ เจคเฉ เจ เจธเฉเจ เจเจนเจจเจพเจ เจชเฉเจฒ เจจเฉเฉฐ เจฆเฉฑเจธเจฆเฉ เจนเจพเจ เจเจฟ เจชเจฒเฉเจธเจฎเฉเจเจ เจฆเฉ เจเจฟเจนเฉเฉ เจจเจฟเจฏเจฎเจพเจ เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจจเฉ เจนเฉ
root-ceph01-q:~#ceph osd crush rule ls # ัะผะพััะธะผ ัะฟะธัะพะบ ะฟัะฐะฒะธะป
root-ceph01-q:~#ceph osd crush rule dump rule-ssd | grep rule_id #ะฒัะฑะธัะฐะตะผ ID ะฝัะถะฝะพะณะพ
root-ceph01-q:~#ceph osd pool set ssd_pool crush_rule 2
เจชเจฒเฉเจธเจฎเฉเจเจ เจธเจฎเฉเจนเจพเจ เจฆเฉ เจเจฟเจฃเจคเฉ เจฆเฉ เจเฉเจฃ เจจเฉเฉฐ เจคเฉเจนเจพเจกเฉ เจเจฒเฉฑเจธเจเจฐ เจฒเจ เจชเจนเจฟเจฒเจพเจ เจคเฉเจ เจฎเฉเจเฉเจฆ เจฆเฉเจฐเจฟเจธเจผเจเฉเจเฉเจฃ เจจเจพเจฒ เจธเฉฐเจชเจฐเจ เจเฉเจคเจพ เจเจพเจฃเจพ เจเจพเจนเฉเจฆเจพ เจนเฉ - เจฒเจเจญเจ เจเจฟเฉฐเจจเฉ เจเจเจธเจกเฉ เจนเฉเจฃเจเฉ, เจชเฉเจฒ เจตเจฟเฉฑเจ เจกเฉเจเจพ เจฆเฉ เจเจฟเฉฐเจจเฉ เจฎเจพเจคเจฐเจพ (เจเฉเฉฑเจฒ เจตเฉเจฒเจฏเฉเจฎ เจฆเฉ เจชเฉเจฐเจคเฉเจธเจผเจค เจตเจเฉเจ) เจนเฉเจตเฉเจเฉ, เจเฉ เจนเฉ เจกเจพเจเจพ เจฆเฉ เจเฉเฉฑเจฒ เจฎเจพเจคเจฐเจพ.
เจเฉเฉฑเจฒ เจฎเจฟเจฒเจพ เจเฉ, เจกเจฟเจธเจ 'เจคเฉ 300 เจคเฉเจ เจตเฉฑเจง เจชเจฒเฉเจธเจฎเฉเจเจ เจเจฐเฉเฉฑเจช เจจเจพ เจนเฉเจฃ เจฆเฉ เจธเจฒเจพเจน เจฆเจฟเฉฑเจคเฉ เจเจพเจเจฆเฉ เจนเฉ, เจ เจคเฉ เจเฉเจเฉ เจชเจฒเฉเจธเจฎเฉเจเจ เจเจฐเฉเฉฑเจชเจพเจ เจจเจพเจฒ เจธเฉฐเจคเฉเจฒเจจ เจฌเจฃเจพเจเจฃเจพ เจเจธเจพเจจ เจนเฉเจตเฉเจเจพ - เจญเจพเจต, เจเฉเจเจฐ เจคเฉเจนเจพเจกเจพ เจชเฉเจฐเจพ เจชเฉเจฒ 10 เจเฉเจฌเฉ เจฒเฉเจเจฆเจพ เจนเฉ เจ เจคเฉ เจเจธ เจตเจฟเฉฑเจ 10 เจชเฉเจเฉ เจนเฉ - เจคเจพเจ เจธเฉฐเจคเฉเจฒเจจ เจเฉเจฐเจพเจฌเจพเจเจ เจเฉฑเจเจพเจ (เจชเฉเจเฉ) เจธเฉเฉฑเจเจฃ เจจเจพเจฒ เจธเจฎเฉฑเจธเจฟเจ เจนเฉเจตเฉเจเฉ - เจฐเฉเจค เจฆเฉ เจเฉเจเฉ เจเจเจพเจฐ เจฆเฉ เจฆเจพเจฃเจฟเจเจ เจจเจพเจฒ เจฌเจพเจฒเจเฉเจเจ เจตเจฟเฉฑเจ เจเจธเจพเจจเฉ เจจเจพเจฒ เจ เจคเฉ เจตเจงเฉเจฐเฉ เจธเจฎเจพเจจ เจฐเฉเจช เจตเจฟเฉฑเจ เจกเฉเจฒเฉเจน เจฆเจฟเจ)เฅค
เจชเจฐ เจธเจพเจจเฉเฉฐ เจฏเจพเจฆ เจฐเฉฑเจเจฃเจพ เจเจพเจนเฉเจฆเจพ เจนเฉ เจเจฟ PGs เจฆเฉ เจเจฟเจฃเจคเฉ เจเจฟเฉฐเจจเฉ เจเจผเจฟเจเจฆเจพ เจนเฉเจตเฉเจเฉ, เจเจนเจจเจพเจ เจฆเฉ เจธเจฅเจพเจจ เจฆเฉ เจเจฃเจจเจพ เจเจฐเจจ 'เจคเฉ เจตเจงเฉเจฐเฉ เจธเจฐเฉเจค เจเจฐเจเฉ เจเจพเจเจฆเฉ เจนเจจ - เจฎเฉเจฎเฉเจฐเฉ เจ เจคเฉ CPU เจฆเฉ เจตเจฐเจคเฉเจ เจธเจผเฉเจฐเฉ เจนเฉเฉฐเจฆเฉ เจนเฉเฅค
เจเฉฑเจ เจฎเฉเจเจพ เจธเจฎเจ เจนเฉ เจธเจเจฆเจพ เจนเฉ
เจธเจฎเฉฑเจเจฐเฉ เจฆเฉ เจธเฉเจเฉ:
เจธเจฐเฉเจค: www.habr.com