เปเบฅเบทเบญเบ CEPH. เบเบฒเบเบเบต 1
เบเบงเบเปเบฎเบปเบฒเบกเบตเบซเปเบฒ racks, เบชเบดเบเบชเบฐเบซเบผเบฑเบ optical, configured BGP, เบชเบญเบเบชเบฒเบกเบญเบฒเบเปเบเบฑเบช SSDs เปเบฅเบฐเบเปเปเบเบญเบเปเบเปเบ SAS เบเบธเบเบชเบตเปเบฅเบฐเบเบฐเบซเบเบฒเบ, เปเบเบฑเปเบเบเบฝเบงเบเบฑเบเบเบฑเบ proxmox เปเบฅเบฐเบเบงเบฒเบกเบเบฒเบเบฐเบซเบเบฒเบเบตเปเบเบฐเปเบญเบปเบฒเบเปเปเบกเบนเบเบชเบฐเบเบดเบเบเบฑเบเบซเบกเบปเบเปเบเบปเปเบฒเปเบเปเบเบเบฒเบเปเบเบฑเบเบฎเบฑเบเบชเบฒ S3 เบเบญเบเบเบงเบเปเบฎเบปเบฒเปเบญเบ. เบเปเปเปเบกเปเบเบงเปเบฒเบชเบดเปเบเบเบฑเบเบซเบกเบปเบเบเบตเปเปเบกเปเบเบเปเบฒเปเบเบฑเบเบชเปเบฒเบฅเบฑเบเบเบฒเบ virtualization, เปเบเปเปเบกเบทเปเบญเบเปเบฒเบเปเบฅเบตเปเบกเบเบปเปเบเปเบเป opensource, เบซเบผเบฑเบเบเบฒเบเบเบฑเปเบเบเบฐเบเบดเบเบฑเบเบเบฒเบก hobby เบเบญเบเบเปเบฒเบเบเบปเบเปเบเบดเบเบเบตเปเบชเบธเบ. เบชเบดเปเบเบเบฝเบงเบเบตเปเบฅเบปเบเบเบงเบเบเปเบญเบเปเบกเปเบ BGP. เบเปเปเบกเบตเบเบนเปเปเบเปเบเปเบฅเบเบเบตเปเบชเบดเปเบเบซเบงเบฑเบ, เบเปเปเบกเบตเบเบงเบฒเบกเบฎเบฑเบเบเบดเบเบเบญเบ เปเบฅเบฐเบเบฒเบเบชเบดเบเบเบณเบซเบผเบฒเบเบเบงเปเบฒเบเบฒเบเบเบณเบเบปเบเปเบชเบฑเปเบเบเบฒเบ BGP เบเบฒเบเปเบ. เปเบฅเบฐเบเปเบญเบเบฎเบนเปเบงเปเบฒเปเบเปเบงเปเบเบตเปเบเบงเบเปเบฎเบปเบฒเบเบฐเปเบเบปเปเบฒเปเบเปเบเบกเบฑเบ.
เบงเบฝเบเบเบฒเบเปเบกเปเบเปเบเบฑเบเปเบฅเบทเปเบญเบเปเบฅเบฑเบเปเบเปเบญเบเป - เบกเบต CEPH, เปเบเปเบกเบฑเบเบเปเปเปเบเปเบเบปเบเบเบตเบซเบผเบฒเบ. เบกเบฑเบเปเบเบฑเบเบชเบดเปเบเบเปเบฒเปเบเบฑเบเบเบตเปเบเบฐเปเบฎเบฑเบ "เบเบต".
เบเบธเปเบกเบเบตเปเบเปเบญเบเปเบเปเบฎเบฑเบเปเบกเปเบเบกเบตเบเบงเบฒเบกเบซเบผเบฒเบเบซเบผเบฒเบ, เปเบฅเบฑเปเบเบเบฒเบเบเบเบฑ เปเบฅเบฐ เบเบปเบงเบเบดเบเปเบฅเปเบงเบเปเปเปเบเปเบเบฑเบ. เบกเบฑเบเบเบฐเบเบญเบเบเปเบงเบเบชเบญเบเบเบธเปเบกเบเบญเบ nodes เบเบตเปเปเบเบเบเปเบฒเบเบเบฑเบ, เบกเบตเบเบฒเบเปเบฒเบเปเบเบเปเบฒเบเบปเปเบงเปเบเบซเบเบถเปเบเปเบฎเบฑเบเบซเบเปเบฒเบเบตเปเปเบเบฑเบเบเบฑเบ cluster เปเบฅเบฐเปเบเบทเบญเบเปเบฒเบเบชเบฒเบเบฒเบฅเบฐเบเบฐ. nodes เปเบเปเปเบเบฑเบกเปเบเบเปเบงเบเบชเบตเปเบเบฐเปเบเบเบเบญเบเปเบเปเบ - เบชเบญเบเบเบฐเปเบเบเบเบญเบ SSD, เปเบเบฑเบเบเปเบฒเบขเบนเปเปเบเบชเบญเบเบเบปเบเบฅเบฐเบเบฝเบเบเบฒเบเบเบฑเบเบงเบฒเบเปเบเบเบเปเบฒเบเบซเบฒเบ, เปเบฅเบฐเบชเบญเบเบเบฐเปเบเบเบเบญเบ HDD เบเบญเบเบเบฐเบซเบเบฒเบเบเบตเปเปเบเบเบเปเบฒเบเบเบฑเบ, เปเบเบฑเบเบเปเบฒเบขเบนเปเปเบเบเบธเปเบกเบเบตเบชเบฒเบก. เบเบฑเบเบซเบฒเบเบตเปเบกเบตเบเบฐเบซเบเบฒเบเบเบตเปเปเบเบเบเปเบฒเบเบเบฑเบเปเบเปเบเบทเบเปเบเปเปเบเปเบเบเบเปเปเบฒเบซเบเบฑเบ OSD เบเบตเปเปเบเบเบเปเบฒเบเบเบฑเบ.
เบเบฒเบโเบเบฑเปเบโเบเปเบฒโเบเบปเบงโเบกเบฑเบโเปเบญเบโเปเบเปโเบเบทเบโเปเบเปเบโเบญเบญเบโเปเบเบฑเบโเบชเบญเบโเบเบฒเบโเบชเปเบงเบ - เบเบฒเบโเบเบฑเบโเบฅเบฐโเบเบปเบโเบเบฐโเบเบดโเบเบฑเบโเบเบฒเบโ ะธ เบเบฒเบเบเบฑเบเปเบเปเบ CEPH เบเบปเบงเบเบญเบเบกเบฑเบเปเบญเบ เปเบฅเบฐเบเบฒเบเบเบฑเปเบเบเปเบฒเบเบญเบเบกเบฑเบ.
เบเบณเบฅเบฑเบเบญเบฑเบเปเบเบฃเบ OS
เปเบเบทเบญเบเปเบฒเบ
latency เบชเบนเบเบชเบปเปเบเบเบปเบเบเบฐเบเบปเบเบเปเปเบเบฒเบเบเบฑเบเบเบถเบเปเบฅเบฐเบเบฒเบเบเบธเปเบเบเปเบฝเบ. เปเบกเบทเปเบญเบเบฑเบเบเบถเบ - เปเบเบทเปเบญเบเบเบฒเบเบงเปเบฒเบฅเบนเบเบเปเบฒเบเบฐเบเปเปเปเบเปเบฎเบฑเบเบเบฒเบเบเบญเบเบชเบฐเบซเบเบญเบเบเปเบฝเบงเบเบฑเบเบเบฒเบเบเบฑเบเบเบถเบเบเบตเปเบเบฐเบชเบปเบเบเบปเบเบชเปเบฒเปเบฅเบฑเบเบเบปเบเบเปเบงเบฒเบเบฒเบเบเปเบฒเบฅเบญเบเบเปเปเบกเบนเบเปเบเบเบธเปเบกเบเบฒเบเบเบฑเบเบเปเบฒเปเบซเบเปเบเบญเบทเปเบเปเบขเบทเบเบขเบฑเบเบเบปเบเบชเปเบฒเปเบฅเบฑเบ. เปเบเบทเปเบญเบเบเบฒเบเบเบปเบเบฅเบฐเบเบฝเบเบเบฒเบเปเบเบเบขเบฒเบ replicas เปเบเปเบเบเบเบตเป CRUSH เปเบกเปเบเบซเบเบถเปเบ replicas เบเปเป host, เปเบเบทเบญเบเปเบฒเบเบเบทเบเบเปเบฒเปเบเปเบชเบฐเปเบซเบกเบต.
เบเบฑเปเบเบเบฑเปเบ, เบชเบดเปเบเบเปเบฒเบญเบดเบเบเบตเปเบเปเบฒเบเบฐเปเบเบปเปเบฒเบเบฑเบเบชเบดเบเปเบเปเบฎเบฑเบเปเบกเปเบ tweak เปเบฅเบฑเบเบเปเบญเบเบเบญเบเปเบเบทเบญเบเปเบฒเบเปเบเบเบฐเบเบธเบเบฑเบ, เปเบเบเบฐเบเบฐเบเบตเปเบเบฐเบเบฒเบเบฒเบกเบเบฑเบเบเบงเบเปเบซเปเบเปเบญเบเบเปเบฒเบเปเบเปเบเบทเบญเบเปเบฒเบเปเบเบเบเปเบฒเบเบซเบฒเบ.
เปเบเบทเปเบญเปเบฅเบตเปเบกเบเบปเปเบเบเปเบงเบ, เบเปเบฒเบเบฐเปเบเบปเปเบฒเปเบเปเบเบฑเบเบเบฒเบเบเบฑเปเบเบเปเบฒเบเบญเบเบเบฑเบเปเบเบทเบญเบเปเบฒเบ. เบเปเบญเบเปเบฅเบตเปเบกเบเบปเปเบเบเปเบงเบเบเบฒเบเบเบฑเปเบเบเปเบฒเบเบดเบง:
เปเบเบตเบโเบซเบเบฑเบโเบเบถเปเบ:
ethtool -l ens1f1
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
root@ceph01:~# ethtool -g ens1f1
Ring parameters for ens1f1:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 256
RX Mini: 0
RX Jumbo: 0
TX: 256
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
เบกเบฑเบเบชเบฒเบกเบฒเบเปเบซเบฑเบเปเบเปเบงเปเบฒเบเบปเบงเบเปเบฒเบเบปเบเบเบฒเบเปเบเบเบฐเบเบธเบเบฑเบเปเบกเปเบเบขเบนเปเปเบเบเบฒเบเบเบธเบเบชเบนเบเบชเบธเบ. เปเบเบตเปเบกเบเบถเปเบ:
root@ceph01:~#ethtool -G ens1f0 rx 4096
root@ceph01:~#ethtool -G ens1f0 tx 4096
root@ceph01:~#ethtool -L ens1f0 combined 63
เปเบเบฐเบเบณเปเบเบเบเบปเบเบเบงเบฒเบกเบเบตเปเบเบตเปเบฅเบตเบ
เปเบเบตเปเบกเบเบงเบฒเบกเบเบฒเบงเบเบญเบเปเบเบงเบชเบปเปเบ txqueuelen เบเบฒเบ 1000 เบซเบฒ 10
root@ceph01:~#ip link set ens1f0 txqueuelen 10000
เบเบต, เบเบฐเบเบดเบเบฑเบเบเบฒเบกเปเบญเบเบฐเบชเบฒเบเบเบญเบ ceph เบเบปเบงเบเบญเบเบกเบฑเบเปเบญเบ
เปเบเบตเปเบกเบเบถเปเบ เบเบธเบเบเบปเบ เปเบเบดเบ 9000.
root@ceph01:~#ip link set dev ens1f0 mtu 9000
เปเบเบตเปเบกเปเบชเป /etc/network/interfaces เปเบเบทเปเบญเปเบซเปเบเบฑเบเปเบปเบเบเปเบฒเบเปเบเบดเบเบเบฑเปเบเบเบทเบเปเบซเบฅเบเปเบเบเบญเบเปเบฅเบตเปเบกเบเบปเปเบ
cat / etc / เปเบเบทเบญเบเปเบฒเบ / เบญเบดเบเปเบเบตเปเบเบ
root@ceph01:~# cat /etc/network/interfaces
auto lo
iface lo inet loopback
auto ens1f0
iface ens1f0 inet manual
post-up /sbin/ethtool -G ens1f0 rx 4096
post-up /sbin/ethtool -G ens1f0 tx 4096
post-up /sbin/ethtool -L ens1f0 combined 63
post-up /sbin/ip link set ens1f0 txqueuelen 10000
mtu 9000
auto ens1f1
iface ens1f1 inet manual
post-up /sbin/ethtool -G ens1f1 rx 4096
post-up /sbin/ethtool -G ens1f1 tx 4096
post-up /sbin/ethtool -L ens1f1 combined 63
post-up /sbin/ip link set ens1f1 txqueuelen 10000
mtu 9000
เบซเบผเบฑเบเบเบฒเบเบเบฑเปเบ, เบเบฐเบเบดเบเบฑเบเบเบฒเบกเบเบปเบเบเบงเบฒเบกเบเบฝเบงเบเบฑเบ, เบเปเบฒเบเบฐเปเบเบปเปเบฒเปเบเปเปเบฅเบตเปเบกเบเบดเบเบเบดเบ handles เบเบญเบ 4.15 kernel. เบเบดเบเบฒเบฅเบฐเบเบฒเบงเปเบฒ nodes เบกเบต 128G RAM, เบเบงเบเปเบฎเบปเบฒเบชเบดเปเบเบชเบธเบเบฅเบปเบเบเปเบงเบเปเบเบฅเปเบเบฒเบเบเบฑเปเบเบเปเบฒเบชเปเบฒเบฅเบฑเบ sysctl
cat /etc/sysctl.d/50-ceph.conf
net.core.rmem_max = 56623104
#ะะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ ะฟัะธะตะผะฐ ะดะฐะฝะฝัั
ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
net.core.wmem_max = 56623104
#ะะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ ะฟะตัะตะดะฐัะธ ะดะฐะฝะฝัั
ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
net.core.rmem_default = 56623104
#ะ ะฐะทะผะตั ะฑััะตัะฐ ะฟัะธะตะผะฐ ะดะฐะฝะฝัั
ะฟะพ ัะผะพะปัะฐะฝะธั ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน. 54M
net.core.wmem_default = 56623104
#ะ ะฐะทะผะตั ะฑััะตัะฐ ะฟะตัะตะดะฐัะธ ะดะฐะฝะฝัั
ะฟะพ ัะผะพะปัะฐะฝะธั ะดะปั ะฒัะตั
ัะพะตะดะธะฝะตะฝะธะน 54M
# ะฝะฐ ะบะฐะถะดัะน ัะพะบะตั
net.ipv4.tcp_rmem = 4096 87380 56623104
#ะะตะบัะพัะฝะฐั (ะผะธะฝะธะผัะผ, ะฟะพ ัะผะพะปัะฐะฝะธั, ะผะฐะบัะธะผัะผ) ะฟะตัะตะผะตะฝะฝะฐั ะฒ ัะฐะนะปะต tcp_rmem
# ัะพะดะตัะถะธั 3 ัะตะปัั
ัะธัะปะฐ, ะพะฟัะตะดะตะปัััะธั
ัะฐะทะผะตั ะฟัะธะตะผะฝะพะณะพ ะฑััะตัะฐ ัะพะบะตัะพะฒ TCP.
# ะะธะฝะธะผัะผ: ะบะฐะถะดัะน ัะพะบะตั TCP ะธะผะตะตั ะฟัะฐะฒะพ ะธัะฟะพะปัะทะพะฒะฐัั ััั ะฟะฐะผััั ะฟะพ
# ัะฐะบัั ัะฒะพะตะณะพ ัะพะทะดะฐะฝะธั. ะะพะทะผะพะถะฝะพััั ะธัะฟะพะปัะทะพะฒะฐะฝะธั ัะฐะบะพะณะพ ะฑััะตัะฐ
# ะณะฐัะฐะฝัะธััะตััั ะดะฐะถะต ะฟัะธ ะดะพััะธะถะตะฝะธะธ ะฟะพัะพะณะฐ ะพะณัะฐะฝะธัะตะฝะธั (moderate memory pressure).
# ะ ะฐะทะผะตั ะผะธะฝะธะผะฐะปัะฝะพะณะพ ะฑััะตัะฐ ะฟะพ ัะผะพะปัะฐะฝะธั ัะพััะฐะฒะปัะตั 8 ะะฑะฐะนั (8192).
#ะะฝะฐัะตะฝะธะต ะฟะพ ัะผะพะปัะฐะฝะธั: ะบะพะปะธัะตััะฒะพ ะฟะฐะผััะธ, ะดะพะฟัััะธะผะพะต ะดะปั ะฑััะตัะฐ
# ะฟะตัะตะดะฐัะธ ัะพะบะตัะฐ TCP ะฟะพ ัะผะพะปัะฐะฝะธั. ะญัะพ ะทะฝะฐัะตะฝะธะต ะฟัะธะผะตะฝัะตััั ะฒะทะฐะผะตะฝ
# ะฟะฐัะฐะผะตััะฐ /proc/sys/net/core/rmem_default, ะธัะฟะพะปัะทัะตะผะพะณะพ ะดััะณะธะผะธ ะฟัะพัะพะบะพะปะฐะผะธ.
# ะะฝะฐัะตะฝะธะต ะธัะฟะพะปัะทัะตะผะพะณะพ ะฟะพ ัะผะพะปัะฐะฝะธั ะฑััะตัะฐ ะพะฑััะฝะพ (ะฟะพ ัะผะพะปัะฐะฝะธั)
# ัะพััะฐะฒะปัะตั 87830 ะฑะฐะนั. ะญัะพ ะพะฟัะตะดะตะปัะตั ัะฐะทะผะตั ะพะบะฝะฐ 65535 ั
# ะทะฐะดะฐะฝะฝัะผ ะฟะพ ัะผะพะปัะฐะฝะธั ะทะฝะฐัะตะฝะธะตะผ tcp_adv_win_scale ะธ tcp_app_win = 0,
# ะฝะตัะบะพะปัะบะพ ะผะตะฝััะธะน, ะฝะตะถะตะปะธ ะพะฟัะตะดะตะปัะตั ะฟัะธะฝััะพะต ะฟะพ ัะผะพะปัะฐะฝะธั ะทะฝะฐัะตะฝะธะต tcp_app_win.
# ะะฐะบัะธะผัะผ: ะผะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั ะฑััะตัะฐ, ะบะพัะพััะน ะผะพะถะตั ะฑััั ะฐะฒัะพะผะฐัะธัะตัะบะธ
# ะฒัะดะตะปะตะฝ ะดะปั ะฟัะธะตะผะฐ ัะพะบะตัั TCP. ะญัะพ ะทะฝะฐัะตะฝะธะต ะฝะต ะพัะผะตะฝัะตั ะผะฐะบัะธะผัะผะฐ,
# ะทะฐะดะฐะฝะฝะพะณะพ ะฒ ัะฐะนะปะต /proc/sys/net/core/rmem_max. ะัะธ ยซััะฐัะธัะตัะบะพะผยป
# ะฒัะดะตะปะตะฝะธะธ ะฟะฐะผััะธ ั ะฟะพะผะพััั SO_RCVBUF ััะพั ะฟะฐัะฐะผะตัั ะฝะต ะธะผะตะตั ะทะฝะฐัะตะฝะธั.
net.ipv4.tcp_wmem = 4096 65536 56623104
net.core.somaxconn = 5000
# ะะฐะบัะธะผะฐะปัะฝะพะต ัะธัะปะพ ะพัะบััััั
ัะพะบะตัะพะฒ, ะถะดััะธั
ัะพะตะดะธะฝะตะฝะธั.
net.ipv4.tcp_timestamps=1
# ะ ะฐะทัะตัะฐะตั ะธัะฟะพะปัะทะพะฒะฐะฝะธะต ะฒัะตะผะตะฝะฝัั
ะผะตัะพะบ (timestamps), ะฒ ัะพะพัะฒะตัััะฒะธะธ ั RFC 1323.
net.ipv4.tcp_sack=1
# ะ ะฐะทัะตัะธัั ะฒัะฑะพัะพัะฝัะต ะฟะพะดัะฒะตัะถะดะตะฝะธั ะฟัะพัะพะบะพะปะฐ TCP
net.core.netdev_max_backlog=5000 (ะดะตัะพะปั 1000)
# ะผะฐะบัะธะผะฐะปัะฝะพะต ะบะพะปะธัะตััะฒะพ ะฟะฐะบะตัะพะฒ ะฒ ะพัะตัะตะดะธ ะฝะฐ ะพะฑัะฐะฑะพัะบั, ะตัะปะธ
# ะธะฝัะตััะตะนั ะฟะพะปััะฐะตั ะฟะฐะบะตัั ะฑััััะตะต, ัะตะผ ัะดัะพ ะผะพะถะตั ะธั
ะพะฑัะฐะฑะพัะฐัั.
net.ipv4.tcp_max_tw_buckets=262144
# ะะฐะบัะธะผะฐะปัะฝะพะต ัะธัะปะพ ัะพะบะตัะพะฒ, ะฝะฐั
ะพะดััะธั
ัั ะฒ ัะพััะพัะฝะธะธ TIME-WAIT ะพะดะฝะพะฒัะตะผะตะฝะฝะพ.
# ะัะธ ะฟัะตะฒััะตะฝะธะธ ััะพะณะพ ะฟะพัะพะณะฐ โ ยซะปะธัะฝะธะนยป ัะพะบะตั ัะฐะทัััะฐะตััั ะธ ะฟะธัะตััั
# ัะพะพะฑัะตะฝะธะต ะฒ ัะธััะตะผะฝัะน ะถััะฝะฐะป.
net.ipv4.tcp_tw_reuse=1
#ะ ะฐะทัะตัะฐะตะผ ะฟะพะฒัะพัะฝะพะต ะธัะฟะพะปัะทะพะฒะฐะฝะธะต TIME-WAIT ัะพะบะตัะพะฒ ะฒ ัะปััะฐัั
,
# ะตัะปะธ ะฟัะพัะพะบะพะป ััะธัะฐะตั ััะพ ะฑะตะทะพะฟะฐัะฝัะผ.
net.core.optmem_max=4194304
#ะฃะฒะตะปะธัะธัั ะผะฐะบัะธะผะฐะปัะฝัะน ะพะฑัะธะน ะฑััะตั-ะบะพัะผะธัะตัะบะพะน ALLOCATABLE
#ะธะทะผะตััะตััั ะฒ ะตะดะธะฝะธัะฐั
ัััะฐะฝะธั (4096 ะฑะฐะนั)
net.ipv4.tcp_low_latency=1
#ะ ะฐะทัะตัะฐะตั ััะตะบั TCP/IP ะพัะดะฐะฒะฐัั ะฟัะตะดะฟะพััะตะฝะธะต ะฝะธะทะบะพะผั ะฒัะตะผะตะฝะธ ะพะถะธะดะฐะฝะธั
# ะฟะตัะตะด ะฑะพะปะตะต ะฒััะพะบะพะน ะฟัะพะฟััะบะฝะพะน ัะฟะพัะพะฑะฝะพัััั.
net.ipv4.tcp_adv_win_scale=1
# ะญัะฐ ะฟะตัะตะผะตะฝะฝะฐั ะฒะปะธัะตั ะฝะฐ ะฒััะธัะปะตะฝะธะต ะพะฑัะตะผะฐ ะฟะฐะผััะธ ะฒ ะฑััะตัะต ัะพะบะตัะฐ,
# ะฒัะดะตะปัะตะผะพะน ะฟะพะด ัะฐะทะผะตั TCP-ะพะบะฝะฐ ะธ ะฟะพะด ะฑััะตั ะฟัะธะปะพะถะตะฝะธั.
# ะัะปะธ ะฒะตะปะธัะธะฝะฐ tcp_adv_win_scale ะพััะธัะฐัะตะปัะฝะฐั, ัะพ ะดะปั ะฒััะธัะปะตะฝะธั ัะฐะทะผะตัะฐ
# ะธัะฟะพะปัะทัะตััั ัะปะตะดัััะตะต ะฒััะฐะถะตะฝะธะต:
# Bytes- bytes2ะฒ ััะตะฟะตะฝะธ -tcp_adv_win_scale
# ะะดะต bytes โ ััะพ ัะฐะทะผะตั ะพะบะฝะฐ ะฒ ะฑะฐะนัะฐั
. ะัะปะธ ะฒะตะปะธัะธะฝะฐ tcp_adv_win_scale
# ะฟะพะปะพะถะธัะตะปัะฝะฐั, ัะพ ะดะปั ะพะฟัะตะดะตะปะตะฝะธั ัะฐะทะผะตัะฐ ะธัะฟะพะปัะทัะตััั ัะปะตะดัััะตะต ะฒััะฐะถะตะฝะธะต:
# Bytes- bytes2ะฒ ััะตะฟะตะฝะธ tcp_adv_win_scale
# ะะตัะตะผะตะฝะฝะฐั ะฟัะธะฝะธะผะฐะตั ัะตะปะพะต ะทะฝะฐัะตะฝะธะต. ะะฝะฐัะตะฝะธะต ะฟะพ-ัะผะพะปัะฐะฝะธั โ 2,
# ั.ะต. ะฟะพะด ะฑััะตั ะฟัะธะปะพะถะตะฝะธั ะพัะฒะพะดะธััั ยผ ัะฐััั ะพะฑัะตะผะฐ, ะพะฟัะตะดะตะปัะตะผะพะณะพ ะฟะตัะตะผะตะฝะฝะพะน
# tcp_rmem.
net.ipv4.tcp_slow_start_after_idle=0
# ะผะตั
ะฐะฝะธะทะผ ะฟะตัะตะทะฐะฟััะบะฐ ะผะตะดะปะตะฝะฝะพะณะพ ััะฐััะฐ, ะบะพัะพััะน ัะฑัะฐััะฒะฐะตั ะทะฝะฐัะตะฝะธะต ะพะบะฝะฐ
# ะฟะตัะตะณััะทะบะธ, ะตัะปะธ ัะพะตะดะธะฝะตะฝะธะต ะฝะต ะธัะฟะพะปัะทะพะฒะฐะปะพัั ะทะฐะดะฐะฝะฝัะน ะฟะตัะธะพะด ะฒัะตะผะตะฝะธ.
# ะัััะต ะพัะบะปััะธัั SSR ะฝะฐ ัะตัะฒะตัะต, ััะพะฑั ัะปัััะธัั ะฟัะพะธะทะฒะพะดะธัะตะปัะฝะพััั
# ะดะพะปะณะพะถะธะฒััะธั
ัะพะตะดะธะฝะตะฝะธะน.
net.ipv4.tcp_no_metrics_save=1
#ะะต ัะพั
ัะฐะฝััั ัะตะทัะปััะฐัั ะธะทะผะตัะตะฝะธะน TCP ัะพะตะดะธะฝะตะฝะธั ะฒ ะบะตัะต ะฟัะธ ะตะณะพ ะทะฐะบัััะธะธ.
net.ipv4.tcp_syncookies=0
#ะัะบะปััะธัั ะผะตั
ะฐะฝะธะทะผ ะพัะฟัะฐะฒะบะธ syncookie
net.ipv4.tcp_ecn=0
#Explicit Congestion Notification (ะฏะฒะฝะพะต ะฃะฒะตะดะพะผะปะตะฝะธะต ะพ ะะตัะตะณััะถะตะฝะฝะพััะธ) ะฒ
# TCP-ัะพะตะดะธะฝะตะฝะธัั
. ะัะฟะพะปัะทัะตััั ะดะปั ัะฒะตะดะพะผะปะตะฝะธั ะพ ะฒะพะทะฝะธะบะฝะพะฒะตะฝะธะธ ยซะทะฐัะพัะฐยป
# ะฝะฐ ะผะฐัััััะต ะบ ะทะฐะดะฐะฝะฝะพะผั ั
ะพััั ะธะปะธ ัะตัะธ. ะะพะถะตั ะธัะฟะพะปัะทะพะฒะฐัััั ะดะปั ะธะทะฒะตัะตะฝะธั
# ั
ะพััะฐ-ะพัะฟัะฐะฒะธัะตะปั ะพ ะฝะตะพะฑั
ะพะดะธะผะพััะธ ัะฝะธะทะธัั ัะบะพัะพััั ะฟะตัะตะดะฐัะธ ะฟะฐะบะตัะพะฒ ัะตัะตะท
# ะบะพะฝะบัะตัะฝัะน ะผะฐัััััะธะทะฐัะพั ะธะปะธ ะฑัะฐะฝะดะผะฐััั.
net.ipv4.conf.all.send_redirects=0
# ะฒัะบะปััะฐะตั ะฒัะดะฐัั ICMP Redirect โฆ ะดััะณะธะผ ั
ะพััะฐะผ. ะญัะฐ ะพะฟัะธั ะพะฑัะทะฐัะตะปัะฝะพ
# ะดะพะปะถะฝะฐ ะฑััั ะฒะบะปััะตะฝะฐ, ะตัะปะธ ั
ะพัั ะฒััััะฟะฐะตั ะฒ ัะพะปะธ ะผะฐัััััะธะทะฐัะพัะฐ ะปัะฑะพะณะพ ัะพะดะฐ.
# ะฃ ะฝะฐั ะฝะตั ะผะฐัััััะธะทะฐัะธะธ.
net.ipv4.ip_forward=0
#ะกะพะฟัะฝะพ ะพัะบะปััะตะฝะธะต ัะพัะฒะฐัะดะธะฝะณะฐ. ะั ะฝะต ัะปัะท, ะดะพะบะตั ะฝะฐ ะผะฐัะธะฝะฐั
ะฝะต ะฟะพะดะฝัั,
# ะฝะฐะผ ััะพ ะฝะต ะฝัะถะฝะพ.
net.ipv4.icmp_echo_ignore_broadcasts=1
#ะะต ะพัะฒะตัะฐะตะผ ะฝะฐ ICMP ECHO ะทะฐะฟัะพัั, ะฟะตัะตะดะฐะฝะฝัะต ัะธัะพะบะพะฒะตัะฐัะตะปัะฝัะผะธ ะฟะฐะบะตัะฐะผะธ
net.ipv4.tcp_fin_timeout=10
#ะพะฟัะตะดะตะปัะตั ะฒัะตะผั ัะพั
ัะฐะฝะตะฝะธั ัะพะบะตัะฐ ะฒ ัะพััะพัะฝะธะธ FIN-WAIT-2 ะฟะพัะปะต ะตะณะพ
# ะทะฐะบัััะธั ะปะพะบะฐะปัะฝะพะน ััะพัะพะฝะพะน. ะะตัะพะปั 60
net.core.netdev_budget=600 # (ะดะตัะพะปั 300)
# ะัะปะธ ะฒัะฟะพะปะฝะตะฝะธะต ะฟัะพะณัะฐะผะผะฝัั
ะฟัะตััะฒะฐะฝะธะน ะฝะต ะฒัะฟะพะปะฝััััั ะดะพััะฐัะพัะฝะพ ะดะพะปะณะพ,
# ัะพ ัะตะผะฟ ัะพััะฐ ะฒั
ะพะดััะธั
ะดะฐะฝะฝัั
ะผะพะถะตั ะฟัะตะฒััะธัั ะฒะพะทะผะพะถะฝะพััั ัะดัะฐ
# ะพะฟัััะพัะธัั ะฑััะตั. ะ ัะตะทัะปััะฐัะต ะฑััะตัั NIC ะฟะตัะตะฟะพะปะฝัััั, ะธ ััะฐัะธะบ ะฑัะดะตั ะฟะพัะตััะฝ.
# ะะฝะพะณะดะฐ, ะฝะตะพะฑั
ะพะดะธะผะพ ัะฒะตะปะธัะธัั ะดะปะธัะตะปัะฝะพััั ัะฐะฑะพัั SoftIRQs
# (ะฟัะพะณัะฐะผะผะฝัั
ะฟัะตััะฒะฐะฝะธะน) ั CPU. ะะฐ ััะพ ะพัะฒะตัะฐะตั netdev_budget.
# ะะฝะฐัะตะฝะธะต ะฟะพ ัะผะพะปัะฐะฝะธั 300. ะะฐัะฐะผะตัั ะทะฐััะฐะฒะธั ะฟัะพัะตัั SoftIRQ ะพะฑัะฐะฑะพัะฐัั
# 300 ะฟะฐะบะตัะพะฒ ะพั NIC ะฟะตัะตะด ัะตะผ ะบะฐะบ ะพัะฟัััะธัั CPU
net.ipv4.tcp_fastopen=3
# TFO TCP Fast Open
# ะตัะปะธ ะธ ะบะปะธะตะฝั ะธ ัะตัะฒะตั ะธะผะตัั ะฟะพะดะดะตัะถะบั TFO, ะพ ะบะพัะพัะพะน ัะพะพะฑัะฐัั ะทะฐ ััะตั
# ัะฟะตัะธะฐะปัะฝะพะณะพ ัะปะฐะณะฐ ะฒ TCP ะฟะฐะบะตัะต. ะ ะฝะฐัะตะผ ัะปััะฐะต ัะฒะปัะตััั ะฟะปะฐัะตะฑะพ, ะฟัะพััะพ
# ะฒัะณะปัะดะธั ะบัะฐัะธะฒะพ)
ะกเปเบเบทเบญโเบเปเบฒเบ lusterโ เปเบเปเบเบทเบเบเบฑเบเบชเบฑเบเบขเบนเปเปเบเบเบฒเบเปเบเปเบเบญเบเปเบเบทเบญเบเปเบฒเบ 10Gbps เปเบเบเบเปเบฒเบเบซเบฒเบเปเบเบปเปเบฒเปเบเปเบเปเบเบทเบญเบเปเบฒเบเบฎเบฒเบเบเบฝเบเปเบเบเบเปเบฒเบเบซเบฒเบ. เปเบเปเบฅเบฐเปเบเบทเปเบญเบเปเบเปเบเบทเบเบเบดเบเบเบฑเปเบเบเปเบงเบเบเบฑเบเปเบเบทเบญเบเปเบฒเบเบชเบญเบเบเบญเบ mellanox 10/25 Gbps, เบชเบฝเบเปเบชเปเบชเบญเบเบเบธเปเบก 10Gbps เปเบเบเบเปเบฒเบเบซเบฒเบ. เบเบฒเบเบฅเบงเบเบฅเบงเบกเปเบเปเบเบทเบเบเบฐเบเบดเบเบฑเบเปเบเบเปเบเป OSPF, เบเบฑเบเบเบฑเปเบเปเบเปเบเบฒเบเบเบนเบเบกเบฑเบเบเบฑเบ lacp เบเปเบงเบเปเบซเบเบเบปเบเบเบฒเบเบขเปเบฒเบเบชเบฐเปเบเบเปเบซเปเปเบซเบฑเบเปเบเบดเบเบเบฒเบเบชเบปเปเบเบเปเบฒเบเบชเบนเบเบชเบธเบเบเบญเบ 16 Gbps, เปเบเบเบฐเบเบฐเบเบตเป ospf เบเบฐเบชเบปเบเบเบปเบเบชเปเบฒเปเบฅเบฑเบเปเบเบเบฒเบเบเปเบฒเปเบเปเบเบฑเบเบชเบญเบเบชเบดเบเปเบเปเบเปเบฅเบฐเปเบเบทเปเบญเบเบเบฑเบ. เปเบเบเบเบฒเบเปเบเบญเบฐเบเบฒเบเบปเบเปเบกเปเบเปเบเบทเปเบญเปเบเปเบเบฐเปเบซเบเบเบเบฒเบ ROCE เปเบ melanoxes เปเบซเบผเบปเปเบฒเบเบตเปเปเบเบทเปเบญเบซเบผเบธเบเบเปเบญเบเบเบงเบฒเบกเบฅเปเบฒเบเปเบฒ. เบงเบดเบเบตเบเบฒเบเบเบฑเปเบเบชเปเบงเบเบเบตเปเบเบญเบเปเบเบทเบญเบเปเบฒเบ:
- เปเบเบทเปเบญเบเบเบฒเบเปเบเบทเปเบญเบเบเบฑเบเบเบปเบงเปเบญเบเบกเบตเบเบตเปเบขเบนเป IP เบเบฒเบเบเบญเบเบขเบนเปเปเบ BGP, เบเบงเบเปเบฎเบปเบฒเบเปเบญเบเบเบฒเบเบเบญเบเปเบง - (เบซเบผเบฒเบเบเบตเปเบเบฑเบเปเบเบ, เปเบเปเบงเบฅเบฒเบเบตเปเบเบฝเบเบเบปเบเบเบงเบฒเบกเบเบตเปเบกเบฑเบเปเบกเปเบ
frr=6.0-1 ) เปเบเปเบขเบทเบเบขเบนเปเปเบฅเปเบง. - เปเบเบเปเบฒเบเบงเบเบเบฑเบเบซเบกเบปเบ, เปเบเบทเปเบญเบเบเบฑเบเบกเบตเบชเบญเบเบเบฒเบเปเบเปเบเบญเบเปเบเบทเบญเบเปเบฒเบ, เปเบเปเบฅเบฐเบเบปเบเบกเบตเบชเบญเบเบเบฒเบเปเบเปเบเบญเบ - เบเบฑเบเบซเบกเบปเบ 4 เบเบญเบ. เบเบฑเบเปเบเบทเบญเบเปเบฒเบเบซเบเบถเปเบเปเบเบดเปเบเบขเบนเปเปเบเปเบฎเบเบเบฒเบเบเบตเปเบกเบตเบชเบญเบเบเบญเบเปเบฅเบฐ BGP เบเบทเบเบเบฑเปเบเบเปเบฒเปเบชเปเบกเบฑเบ, เบญเบฑเบเบเบตเบชเบญเบเปเบเบดเปเบเบชเบญเบเบชเบฐเบซเบผเบฑเบเบเบตเปเปเบเบเบเปเบฒเบเบเบฑเบเบเบตเปเบกเบตเบชเบญเบเบเบญเบเปเบฅเบฐ OSPF เปเบเปเบเบทเบเบเบฑเปเบเบขเบนเปเปเบเบดเบเบกเบฑเบ.
เบฅเบฒเบเบฅเบฐเบญเบฝเบเปเบเบตเปเบกเปเบเบตเบกเบเปเบฝเบงเบเบฑเบเบเบฒเบเบเบฑเปเบเบเปเบฒ OSPF: เบงเบฝเบเบเบฒเบเบเบปเปเบเบเปเปเบกเปเบเบเบฒเบเบฅเบงเบเบฅเบงเบกเบชเบญเบเปเบเบทเปเบญเบกเบเปเปเปเบฅเบฐเบกเบตเบเบงเบฒเบกเบเบปเบเบเบฒเบเบเปเปเบเบงเบฒเบกเบเบดเบ.
เบชเบญเบเบเบปเบงเปเบเบทเปเบญเบกเบเปเปเปเบเบทเบญเบเปเบฒเบเบเบทเบเบเบฑเปเบเบเปเบฒเปเบเบฑเบเบชเบญเบเปเบเบทเบญเบเปเบฒเบเบฎเบฒเบเบเบฝเบเบเปเบฒเบเบเบฒเบ - 10.10.10.0/24 เปเบฅเบฐ 10.10.20.0/24
1: ens1f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.10.2/24 brd 10.10.10.255 scope global ens1f0
2: ens1f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.20.2/24 brd 10.10.20.255 scope global ens1f1
เปเบเบเบเบตเปเบฅเบปเบเปเบเบดเปเบเบเบฑเบเปเบฅเบฐเบเบฑเบ.
เบเบฒเบ
เบเบฑเปเบเบเบญเบเบเปเปเปเบเปเบกเปเบเบเบฒเบเปเบเบตเปเบกเบเบฐเบชเบดเบเบเบดเบเบฒเบเบเบญเบเปเบเปเบ. เบชเปเบฒเบฅเบฑเบ SSD เบเปเบญเบเปเบเปเบเปเบฝเบเบเบปเบงเบเปเบฒเบเบปเบเปเบงเบฅเบฒเปเบเบฑเบ เบเปเบงเบ, เบชเปเบฒเบฅเบฑเบ HDD - เบเปเบฒเบเบปเบเปเบงเบฅเบฒ. เปเบงเบปเปเบฒเบขเปเบฒเบเบเบปเบเปเบเบเบปเบเบกเบฒ, NOOP เปเบฎเบฑเบเบงเบฝเบเบขเบนเปเปเบเบซเบผเบฑเบเบเบฒเบ "เบเปเบฒเบญเบดเบเปเบ, เบญเบญเบเบเปเบญเบ", เปเบเบดเปเบเปเบเบเบฒเบชเบฒเบญเบฑเบเบเบดเบเบเบฑเบเบเบท "FIFO (First In, First Out). เบเบฒเบเบฎเปเบญเบเบเปเปเบกเปเบเบขเบนเปเปเบเบเบดเบงเปเบกเบทเปเบญเบเบงเบเปเบเบปเบฒเบกเบฒเบฎเบญเบ. DEADLINE เปเบกเปเบเบเบฒเบเบญเปเบฒเบเปเบเบเบฎเบฑเบเบเบธเบกเบซเบผเบฒเบ, เบเบงเบเบเบฑเบเบเบฐเบเบงเบเบเบฒเบเบเบตเปเบเบฑเบเบเบดเบงเปเบเปเบฎเบฑเบเบเบฒเบเปเบเบปเปเบฒเปเบเบดเบเปเบเบทเบญเบเบชเบฐเปเบเบฒเบฐเบเบฑเบเบเบดเบชเบเปเปเบเปเบงเบฅเบฒเบเปเบฒเปเบเบตเบเบเบฒเบ. เบเบตเปเปเบกเปเบเบเบตเปเบฅเบตเบเบชเปเบฒเบฅเบฑเบเบฅเบฐเบเบปเบเบเบญเบเบเบงเบเปเบฎเบปเบฒ - เบซเบผเบฑเบเบเบฒเบเบเบตเปเบเบฑเบเบซเบกเบปเบ, เบเบฝเบเปเบเปเบเบฐเบเบงเบเบเบฒเบเบเบฝเบงเปเบฎเบฑเบเบงเบฝเบเบเบฑเบเปเบเปเบฅเบฐเปเบเปเบ - OSD daemon.
(เบเบนเปโเบเบตเปโเบเปเบญเบโเบเบฒเบโเปเบเบปเปเบฒโเปเบโเปเบโเบเปเบฒโเบเบปเบโเปเบงโเบฅเบฒ I/O เบชเบฒโเบกเบฒเบโเบญเปเบฒเบโเบเปเบฝเบงโเบเบฑเบโเบกเบฑเบโเบเบตเปโเบเบตเปโ:
เบเบนเปเบเบตเปเบกเบฑเบเบญเปเบฒเบเบเบฒเบชเบฒเบฅเบฑเบเปเบเบ:
เปเบเบเปเบฒเปเบเบฐเบเปเบฒเบชเปเบฒเบฅเบฑเบเบเบฒเบเบเบฑเบ Linux, เบกเบฑเบเบเบฑเบเปเบเบฐเบเปเบฒเปเบซเปเปเบเบตเปเบก nr_request
nr_requests
เบกเบนเบเบเปเบฒเบเบญเบ nr_requests เบเปเบฒเบเบปเบเบเปเบฒเบเบงเบเบเปเบฒเบฎเปเบญเบเบเป I/O เบเบตเปเปเบเปเบฎเบฑเบ buffed เบเปเบญเบเบเบตเป I/O เบเปเบฒเบเบปเบเปเบงเบฅเบฒเบชเบปเปเบ / เบฎเบฑเบเบเปเปเบกเบนเบเปเบเบเบฑเบเบญเบธเบเบฐเบเบญเบเบเบฑเบ, เบเปเบฒเบซเบฒเบเบงเปเบฒเบเปเบฒเบเบเปเบฒเบฅเบฑเบเปเบเปเบเบฑเบ RAID / เบญเบธเบเบฐเบเบญเบเบเบฅเบฑเบญเบเบเบตเปเบชเบฒเบกเบฒเบเบเบฑเบเบเบฒเบเบเบดเบงเบเบฐเบซเบเบฒเบเปเบซเบเปเบเปเบงเบฒเบชเบดเปเบเบเบตเปเบเปเบฒเบเบฐเปเบเบปเปเบฒ. เบเบปเบงเบเปเบฒเบเบปเบเปเบงเบฅเบฒ /O เบเบทเบเบเปเบฒเบเบปเบเปเบงเป, เบเบฒเบเปเบเบตเปเบกเบกเบนเบเบเปเบฒเบเบญเบ nr_requests เบญเบฒเบเบเบฐเบเปเบงเบเบเบฑเบเบเบธเบเบเบฐเบซเบผเบญเบเปเบฅเบฐเบซเบผเบธเบเบเปเบญเบเบเบฒเบเปเบซเบผเบเบเบญเบเปเบเบทเปเบญเบเปเบกเปเบเปเบฒเบเปเบกเบทเปเบญ I/O เบเปเบฒเบเบงเบเบซเบฅเบฒเบเปเบเบตเบเบเบทเปเบเปเบเปเบเบทเปเบญเบเปเบกเปเบเปเบฒเบ. เบเปเบฒเบเปเบฒเบเบเปเบฒเบฅเบฑเบเปเบเป Deadline เบซเบผเบท CFQ เปเบเบฑเบเบเบปเบงเบเปเบฒเบเบปเบเปเบงเบฅเบฒ, เบกเบฑเบเปเบเบฐเบเปเบฒเบงเปเบฒเบเปเบฒเบเบเบงเบเบเปเบฒเบเบปเบเบเปเบฒ nr_request เปเบเบฑเบ 2 เปเบเบปเปเบฒเบเบญเบเบเปเบฒเบเบงเบฒเบกเปเบฅเบดเบเบเบญเบเปเบเบง.
เปเบเป! เบเบปเบเบฅเบฐเปเบกเบทเบญเบเบเบปเบเปเบญเบ, เบเบนเปเบเบฑเบเบเบฐเบเบฒ CEPH, เบเบฑเบเบเบงเบเบเบงเบเปเบฎเบปเบฒเบงเปเบฒเบฅเบฐเบเบปเบเบเบนเบฅเบดเบกเบฐเบชเบดเบเบเบญเบเบเบงเบเปเบเบปเบฒเปเบฎเบฑเบเบงเบฝเบเบเบตเบเบถเปเบ
WBThrottle เปเบฅเบฐ/เบซเบผเบท nr_requests
WBThrottle เปเบฅเบฐ/เบซเบผเบท nr_requests
เบเบฒเบเปเบเบฑเบเบฎเบฑเบเบชเบฒเปเบเบฅเปเปเบเป buffered I/O เบชเปเบฒเบฅเบฑเบเบเบฒเบเบเบฝเบ; เบเบตเปเบเปเบฒเปเบญเบปเบฒเบเบปเบเบเบฐเปเบซเบเบเบเปเบฒเบเบงเบเบซเบเบถเปเบเบเปเบฒเบเบฑเบเบเบถเบเบเบฒเบเปเบเบฑเบเบฎเบฑเบเบชเบฒเปเบเบฅเปเบขเบนเปเปเบเบชเบทเปเบเบตเปเปเบงเบเบถเปเบ. เบเบฒเบเบฎเปเบญเบเบเปเบเบญเบเบฅเบนเบเบเปเบฒเปเบเปเบเบทเบเปเบเปเบเบเบฑเบเบเบตเบเบตเปเบเปเปเบกเบนเบเบเบทเบเบเบฝเบเปเบชเปเบเบฑเบเบเบถเบ, เปเบฅเบฐเบเบฒเบเบเบฑเปเบเบเบทเบ flushed เปเบเบปเปเบฒเปเบเปเบเปเบเปเบเบเปเปเบกเบนเบเบเบญเบเบกเบฑเบเปเบญเบเปเบเปเบงเบฅเบฒเบเปเปเบกเบฒเปเบเบเปเบเปเบซเบเปเบฒเบเบตเปเบกเบฒเบเบเบฐเบเบฒเบ Linux. เบเบตเปเปเบฎเบฑเบเปเบซเปเบกเบฑเบเปเบเบฑเบเปเบเปเบเปเบชเปเบฒเบฅเบฑเบ OSDs spindle เบเบตเปเบเบฐเบชเบฐเบซเบเบญเบเบเบฒเบเบเบฝเบ latency เบเปเบฒเบเบเบทเบเบฑเบเบเบฑเบ SSDs เปเบเปเบงเบฅเบฒเบเบตเปเบเบฝเบเปเบเบฑเบเบฅเบฐเปเบเบตเบเบเบฐเบซเบเบฒเบเบเปเบญเบ. เบเบฒเบเบเบฝเบเบเบทเบเบเบตเปเบเบฑเบเบเปเบฒเบเบตเปเบเบฑเบเบเปเบงเบเปเบซเป kernel เบเบปเบงเบกเบฑเบเปเบญเบเบเบฑเบเบฅเบฐเบเบฝเบเบเปเบฒเบฎเปเบญเบเบเป I/O เปเบเปเบเปเบซเบกเป, เบเปเบงเบเบเบงเบฒเบกเบซเบงเบฑเบเบเบตเปเบเบฐเบฅเบงเบกเบเบงเบเบกเบฑเบเปเบเบปเปเบฒเบเบฑเบเบซเบผเบทเบญเบฐเบเบธเบเบฒเบเปเบซเปเบซเบปเบงเบซเบเปเบฒเปเบเปเบเบเบตเปเบกเบตเบขเบนเปเปเบฅเบทเบญเบเปเบชเบฑเปเบเบเบฒเบเบเบตเปเปเบซเบกเบฒเบฐเบชเบปเบกเบเบงเปเบฒเปเบเปเบเปเบเบเบญเบเบเบงเบเปเบเบปเบฒ. เบเบปเบโเบเบฐโเบเบปเบโเบชเบธเบโเบเบดโเปเบกเปเบโเบงเปเบฒโเบเปเบฒเบโเบชเบฒโเบกเบฒเบโเบเบตเบ I/O เบญเบญเบโเบเบฒเบโเปเบเปโเบฅเบฐโเปเบเปเบโเปเบฅเบฑเบโเบเปเบญเบโเบซเบผเบฒเบโเบโเปโเบงเบฒโเบเบตเปโเบเบฐโเปเบเบฑเบโเปเบโเปเบเปโเปเบเบโเบเบปเบโเบซเบผเบท synchronous I/Oโ.
เบขเปเบฒเบเปเบเบเปเบเบฒเบก, เบเบฑเบเบซเบฒเบเบตเปเปเบเปเบเบญเบเปเบเบตเบเบเบทเปเบเบเปเบฒเบเบฐเบฅเบดเบกเบฒเบเบเบญเบเบเบฑเบเบเบถเบเบเบตเปเปเบเบปเปเบฒเบกเบฒเปเบเบเบธเปเบก Ceph เบเบตเปเบกเบญเบเปเบซเปเปเบเบตเบเบเบงเบฒเบกเบชเบฒเบกเบฒเบเบเบฑเบเบซเบกเบปเบเบเบญเบเปเบเปเบเบเบตเปเบเบดเบเบเบฑเบ. เปเบเบชเบฐเบเบฒเบเบฐเบเบฒเบเบเบตเป, เบเปเบฒเบเบงเบเบเบฒเบเบเปเบฒเปเบเบตเบเบเบฒเบ I/O เบเบฑเบเบซเบกเบปเบเบเบตเปเบเบฑเบเบเปเบฒเบเบขเบนเปเบฅเปเบเปเบฒเบเบทเบเบเบฝเบเบฅเบปเบเปเบเปเบเปเบเบชเบฒเบกเบฒเบเปเบเบตเบเปเบเบขเปเบฒเบเบเปเปเบชเบฒเบกเบฒเบเบเบงเบเบเบธเบกเปเบเปเปเบฅเบฐเบชเบปเปเบเบเบปเบเปเบซเปเบเบดเบง I/O เบเบทเปเบกเบเปเปเบกเบนเบเปเบชเปเบเบฑเบเบเบดเบงเบเบดเบชเบเปเปเบฅเบฐ Ceph. เบเบฒเบเบฎเปเบญเบเบเปเบเบฒเบเบญเปเบฒเบเปเบกเปเบเปเบเปเบฎเบฑเบเบเบปเบเบเบฐเบเบปเบเปเบเบเบชเบฐเปเบเบฒเบฐเบเปเบญเบเบงเปเบฒเบเบงเบเบกเบฑเบเบเบดเบเบขเบนเปเบฅเบฐเบซเบงเปเบฒเบเบเปเบฒเบฎเปเบญเบเบเปเบเบฒเบเบเบฝเบ, เปเบเบดเปเบเบชเบฒเบกเบฒเบเปเบเปเปเบงเบฅเบฒเบซเบผเบฒเบเบงเบดเบเบฒเบเบตเปเบเบทเปเบญ flush เปเบเบซเบฒเปเบเปเบเบเบปเปเบเบเป.
เปเบเบทเปเบญเปเบญเบปเบฒเบเบฐเบเบฐเบเบฑเบเบซเบฒเบเบตเป, Ceph เบกเบตเบเบปเบเปเบ throttling writeback เบเบตเปเบชเปเบฒเบเบเบถเปเบเปเบเบเบฒเบเปเบเบฑเบเบฎเบฑเบเบชเบฒเปเบเบฅเปเบเบตเปเปเบญเบตเปเบเบงเปเบฒ WBThrottle. เบกเบฑเบเบเบทเบเบญเบญเบเปเบเบเบกเบฒเปเบเบทเปเบญเบเบณเบเบฑเบเบเบณเบเบงเบเบเบฑเบเปเบปเบเบเบญเบ I/O write lazy เบเบตเปเบชเบฒเบกเบฒเบเบเบฑเบเบเบดเบงเบเบถเปเบ เปเบฅเบฐเปเบฅเบตเปเบกเบเบฐเบเบงเบเบเบฒเบ flush เบเบญเบเบกเบฑเบเปเบเปเปเบงเบเบงเปเบฒเบเบตเปเบเบฐเปเบเบตเบเบเบถเปเบเบเบฒเบกเบเบณเบกเบฐเบเบฒเบ เปเบเบทเปเบญเบเบเบฒเบเบเบทเบเปเบเบตเบเปเบเปเบเบฒเบเปเบเบ kernel เปเบญเบ. เปเบเปเบซเบเปเบฒเปเบชเบเบเบฒเบ, เบเบฒเบเบเบปเบเบชเบญเบเบชเบฐเปเบเบเปเบซเปเปเบซเบฑเบเบงเปเบฒเบเปเบฒเปเบฅเบตเปเบกเบเบปเปเบเบญเบฒเบเบเบฐเบเปเปเบซเบผเบธเบเบฅเบปเบเบเบถเบเบเบดเบเปเบฒเบเบตเปเบกเบตเบขเบนเปเปเบฅเปเบงเปเบเบฅเบฐเบเบฑเบเบเบตเปเบชเบฒเบกเบฒเบเบซเบผเบธเบเบเปเบญเบเบเบปเบเบเบฐเบเบปเบเบเบตเปเบเปเปเบเบฒเบเบญเปเบฒเบ latency. เบเบฒเบเบเบฑเบเบเบปเบงเบชเบฒเบกเบฒเบเบเปเบฝเบเปเบเบเบเบถเบเบเบดเบเปเบฒเบเบตเปเปเบฅเบฐเบซเบผเบธเบเบเปเบญเบเบเบงเบฒเบกเบเบฒเบงเบเบญเบเปเบเบงเบเบฒเบเบเบฝเบเปเบเบเบฅเบงเบกเปเบฅเบฐเปเบฎเบฑเบเปเบซเปเบเบปเบเบเบฐเบเบปเบเบเบตเปเบฎเบธเบเปเบฎเบเบซเบเปเบญเบเบฅเบปเบ. เบกเบตเบเบฒเบเบเบทเปเบเบฒเบ, เบขเปเบฒเบเปเบเบเปเบเบฒเบก: เปเบเบเบเบฒเบเบซเบผเบธเบเบเปเบญเบเบเปเบฒเบเบงเบเบชเบนเบเบชเบธเบเปเบเบเบฅเบงเบกเบเบญเบเบฅเบฒเบเบเบฒเบเบเบตเปเบญเบฐเบเบธเบเบฒเบเปเบซเปเบเบฑเบเบเบดเบง, เบเปเบฒเบเบชเบฒเบกเบฒเบเบซเบผเบธเบเบเปเบญเบเบเบงเบฒเบกเบชเบฒเบกเบฒเบเบเบญเบ kernel เบเบปเบงเบเบญเบเบกเบฑเบเปเบญเบเปเบเบทเปเบญเปเบเบตเปเบกเบเบฐเบชเบดเบเบเบดเบเบฒเบเบชเบนเบเบชเบธเบเปเบเบเปเบฒเบชเบฑเปเบเบเบญเบเบเปเบฒเบฎเปเบญเบเบเปเบเบตเปเปเบเบปเปเบฒเบกเบฒ. เบกเบฑเบเบเบธเปเบกเบเปเบฒเบเบตเปเบเบฐเบเบดเบเปเบฅเบฑเบเบเปเบญเบเบเปเบฝเบงเบเบฑเบเบชเบดเปเบเบเบตเปเบเปเบฒเบเบเปเบญเบเบเบฒเบเปเบเบตเปเบกเปเบเบตเบกเบชเปเบฒเบฅเบฑเบเบเปเบฅเบฐเบเบตเบเบฒเบเบเปเบฒเปเบเปเบชเบฐเปเบเบฒเบฐเบเบญเบเบเปเบฒเบ, เบงเบฝเบเบเบฒเบเปเบฅเบฐเบเบฒเบเบเบฑเบเบเบปเบงเปเบซเปเปเบซเบกเบฒเบฐเบชเบปเบกเบเบฑเบเบเบงเบเบกเบฑเบ.
เปเบเบทเปเบญเบเบงเบเบเบธเบกเบเบงเบฒเบกเปเบฅเบดเบเบเบญเบเปเบเบงเบเบฒเบเบเบฝเบ backlog เบเบฑเปเบเบเปเบฒเบง, เบเปเบฒเบเบชเบฒเบกเบฒเบเบซเบผเบธเบเบเปเบญเบเบเปเบฒเบเบงเบเบเบฒเบเบเปเบฒเปเบเบตเบเบเบฒเบ I/O เบชเบนเบเบชเบธเบเปเบเบเบฅเบงเบกเปเบเบเปเบเปเบเบฒเบเบเบฑเปเบเบเปเบฒ WBThrottle, เบซเบผเบทเบเปเบฒเบเบชเบฒเบกเบฒเบเบซเบผเบธเบเบเปเบญเบเบเปเบฒเบชเบนเบเบชเบธเบเบชเปเบฒเบฅเบฑเบเบเบฒเบเบเปเบฒเปเบเบตเบเบเบฒเบเบเบตเปเบเบฑเบเบเปเบฒเบเบเบฒเบขเบนเปเปเบเบฅเบฐเบเบฑเบเบเบฑเบเบเบญเบเปเบเปเบเบเบญเบเบเปเบฒเบเปเบญเบ. เบเบฑเบเบชเบญเบเบชเบฒเบกเบฒเบเบเบงเบเบเบธเบกเบเบถเบเบเบดเบเปเบฒเบเบฝเบงเบเบฑเบเบขเปเบฒเบเบกเบตเบเบฐเบชเบดเบเบเบดเบเบฒเบ, เปเบฅเบฐเบเบงเบฒเบกเบกเบฑเบเบเบญเบเปเบเบปเปเบฒเบเบฐเปเบเบฑเบเบเบทเปเบเบเบฒเบเบชเปเบฒเบฅเบฑเบเบเบฒเบเบเบฐเบเบดเบเบฑเบเบเบฒเบเบเบฑเปเบเบเปเบฒเบเบตเป.
เบกเบฑเบเบเบงเบเบเบฐเบชเบฑเบเปเบเบเปเบซเบฑเบเบงเปเบฒเบฅเบฐเบเบปเบเบเบนเบฅเบดเบกเบฐเบชเบดเบเบเบฒเบเบเปเบฒเปเบเบตเบเบเบฒเบเบเบญเบ Ceph เปเบกเปเบเบกเบตเบเบฐเบชเบดเบเบเบดเบเบฒเบเบซเบผเบฒเบเบเบถเปเบเบชเปเบฒเบฅเบฑเบเบเบฒเบเบชเบญเบเบเบฒเบกเบเบตเปเบชเบฑเปเบเบเบงเปเบฒเปเบเบฅเบฐเบเบฑเบเปเบเปเบ. เบเปเบงเบเบเบฒเบเบซเบเปเปเบเบดเบงเบเบฑเบเปเบปเบเบฅเบปเบเปเบชเปเปเบเปเบเบเบตเปเบเบณเบเบปเบเปเบงเป, เบชเบฐเบเบฒเบเบเบตเปเบซเบผเบฑเบเบเบญเบเบเบดเบงเบเบฐเบเปเบฒเบเปเบเบเบตเป Ceph, เบเปเบญเบเบเบตเปเบกเบฑเบเบกเบตเบเบฒเบเบเบงเบเบเบธเบกเบซเบผเบฒเบเบเบงเปเบฒเบชเบดเปเบเบเบตเปเบเบนเบฅเบดเบกเบฐเบชเบดเบเบเบญเบเบเบฒเบเบเบฐเบเบดเบเบฑเบเบเบฒเบ I/O เบกเบต. เบเบดเบเบฒเบฅเบฐเบเบฒเบเบปเบงเบขเปเบฒเบเบเปเปเปเบเบเบตเป:
echo 8 > /sys/block/sda/queue/nr_requests
COMMON
เปเบฅเบฐเบเบฒเบเบเบฑเบเบเปเบฝเบ kernel เบญเบตเบเบชเบญเบเบชเบฒเบกเบญเบฑเบเปเบเบทเปเบญเปเบฎเบฑเบเปเบซเปเบฅเบปเบเบเบญเบเบเปเบฒเบเบญเปเบญเบเบเบธเปเบก เปเบฅเบฐเบฅเบฝเบเบเบฝเบ เปเบฅเบฐเบเบตเบเบญเบฑเบเบเบฐเบชเบดเบเบเบดเบเบฒเบเบญเบญเบเบเบฒเบเบฎเบฒเบเปเบงเปเบฅเบฑเบเบเปเบญเบ.
cat /etc/sysctl.d/60-ceph2.conf
kernel.pid_max = 4194303
#ะะธัะบะพะฒ ะฒ ะบะฐะถะดะพะน ะผะฐัะธะฝะต ะฟะพ 25, ะฟะพัะพะผั ัะฐัััะธััะฒะฐะปะธ ััะพ ะฟัะพัะตััะพะฒ ะฑัะดะตั ะผะฝะพะณะพ
kernel.threads-max=2097152
# ะขัะตะดะพะฒ, ะตััะตััะฝะพ, ัะพะถะต.
vm.max_map_count=524288
# ะฃะฒะตะปะธัะธะปะธ ะบะพะปะธัะตััะฒะพ ะพะฑะปะฐััะตะน ะบะฐััั ะฟะฐะผััะธ ะฟัะพัะตััะฐ.
# ะะฐะบ ัะปะตะดัะตั ะธะท ะดะพะบัะผะตะฝัะฐัะธะธ ะฟะพ ัะดะตัะฝัะผ ะฟะตัะตะผะตะฝะฝัะผ
# ะะฑะปะฐััะธ ะบะฐััั ะฟะฐะผััะธ ะธัะฟะพะปัะทัะตััั ะบะฐะบ ะฟะพะฑะพัะฝัะน ัััะตะบั ะฒัะทะพะฒะฐ
# malloc, ะฝะฐะฟััะผัั ั ะฟะพะผะพััั mmap, mprotect ะธ madvise, ะฐ ัะฐะบะถะต ะฟัะธ ะทะฐะณััะทะบะต
# ะพะฑัะธั
ะฑะธะฑะปะธะพัะตะบ.
fs.aio-max-nr=50000000
# ะะพะดััะฝะธะผ ะฟะฐัะฐะผะตััั input-output
# ะฏะดัะพ Linux ะฟัะตะดะพััะฐะฒะปัะตั ััะฝะบัะธั ะฐัะธะฝั
ัะพะฝะฝะพะณะพ ะฝะตะฑะปะพะบะธััััะตะณะพ ะฒะฒะพะดะฐ-ะฒัะฒะพะดะฐ (AIO),
# ะบะพัะพัะฐั ะฟะพะทะฒะพะปัะตั ะฟัะพัะตััั ะธะฝะธัะธะธัะพะฒะฐัั ะฝะตัะบะพะปัะบะพ ะพะฟะตัะฐัะธะน ะฒะฒะพะดะฐ-ะฒัะฒะพะดะฐ
# ะพะดะฝะพะฒัะตะผะตะฝะฝะพ, ะฝะต ะดะพะถะธะดะฐััั ะทะฐะฒะตััะตะฝะธั ะบะฐะบะพะน-ะปะธะฑะพ ะธะท ะฝะธั
.
# ะญัะพ ะฟะพะผะพะณะฐะตั ะฟะพะฒััะธัั ะฟัะพะธะทะฒะพะดะธัะตะปัะฝะพััั ะฟัะธะปะพะถะตะฝะธะน,
# ะบะพัะพััะต ะผะพะณัั ะฟะตัะตะบััะฒะฐัั ะพะฑัะฐะฑะพัะบั ะธ ะฒะฒะพะด-ะฒัะฒะพะด.
# ะะฐัะฐะผะตัั aio-max-nr ะพะฟัะตะดะตะปัะตั ะผะฐะบัะธะผะฐะปัะฝะพะต ะบะพะปะธัะตััะฒะพ ะดะพะฟัััะธะผัั
# ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะทะฐะฟัะพัะพะฒ.
vm.min_free_kbytes=1048576
# ะผะธะฝะธะผะฐะปัะฝัะน ัะฐะทะผะตั ัะฒะพะฑะพะดะฝะพะน ะฟะฐะผััะธ ะบะพัะพััะน ะฝะตะพะฑั
ะพะดะธะผะพ ะฟะพะดะดะตัะถะธะฒะฐัั.
# ะัััะฐะฒะปะตะฝ 1Gb, ัะตะณะพ ะฒะฟะพะปะฝะต ะดะพััะฐัะพัะฝะพ ะดะปั ัะฐะฑะพัั ะพะฟะตัะฐัะธะพะฝะฝะพะน ัะธััะตะผั,
# ะธ ะฟะพะทะฒะพะปัะตั ะธะทะฑะตะณะฐัั OOM Killer ะดะปั ะฟัะพัะตััะพะฒ OSD. ะฅะพัั ะฟะฐะผััะธ ะธ ัะฐะบ
# ะบะฐะบ ั ะดััะฐะบะฐ ัะฐะฝัะธะบะพะฒ, ะฝะพ ะทะฐะฟะฐั ะบะฐัะผะฐะฝ ะฝะต ััะฝะตั
vm.swappiness=10
# ะะพะฒะพัะธะผ ะธัะฟะพะปัะทะพะฒะฐัั ัะฒะพะฟ ะตัะปะธ ะพััะฐะปะพัั ัะฒะพะฑะพะดะฝัะผ 10% ะฟะฐะผััะธ.
# ะะฐ ะผะฐัะธะฝะฐั
128G ะพะฟะตัะฐัะธะฒั, ะธ 10% ััะพ 12 ะะธะณะพะฒ. ะะพะปะตะต ัะตะผ ะดะพััะฐัะพัะฝะพ ะดะปั ัะฐะฑะพัั.
# ะจัะฐัะฝัะน ะฟะฐัะฐะผะตัั ะฒ 60% ะทะฐััะฐะฒะปัะป ัะพัะผะพะทะธัั ัะธััะตะผั, ะทะฐะปะตะทะฐั ะฒ ัะฒะพะฟ,
# ะบะพะณะดะฐ ะตััั ะตัะต ะบััะฐ ัะฒะพะฑะพะดะฝะพะน ะฟะฐะผััะธ
vm.vfs_cache_pressure=1000
# ะฃะฒะตะปะธัะธะฒะฐะตะผ ัะพ ััะฐัะฝัั
100. ะะฐััะฐะฒะปัะตะผ ัะดัะพ ะฐะบัะธะฒะฝะตะต ะฒัะณััะถะฐัั
# ะฝะตะธัะฟะพะปัะทัะตะผัะต ัััะฐะฝะธัั ะฟะฐะผััะธ ะธะท ะบะตัะฐ.
vm.zone_reclaim_mode=0
# ะะพะทะฒะพะปัะตั ัััะฐะฝะฐะฒะปะธะฒะฐัั ะฑะพะปะตะต ะธะปะธ ะผะตะฝะตะต ะฐะณัะตััะธะฒะฝัะต ะฟะพะดั
ะพะดั ะบ
# ะฒะพัััะฐะฝะพะฒะปะตะฝะธั ะฟะฐะผััะธ, ะบะพะณะดะฐ ะฒ ะทะพะฝะต ะทะฐะบะฐะฝัะธะฒะฐะตััั ะฟะฐะผััั.
# ะัะปะธ ะพะฝ ัััะฐะฝะพะฒะปะตะฝ ะฝะฐ ะฝะพะปั, ัะพ ะฝะต ะฟัะพะธัั
ะพะดะธั ะฒะพัััะฐะฝะพะฒะปะตะฝะธะต ะทะพะฝั.
# ะะปั ัะฐะนะปะพะฒัั
ัะตัะฒะตัะพะฒ ะธะปะธ ัะฐะฑะพัะธั
ะฝะฐะณััะทะพะบ
# ะฒัะณะพะดะฝะพ, ะตัะปะธ ะธั
ะดะฐะฝะฝัะต ะบััะธัะพะฒะฐะฝั, zone_reclaim_mode
# ะพััะฐะฒะธัั ะพัะบะปััะตะฝะฝัะผ, ะฟะพัะบะพะปัะบั ัััะตะบั ะบััะธัะพะฒะฐะฝะธั,
# ะฒะตัะพััะฝะพ, ะฑัะดะตั ะฑะพะปะตะต ะฒะฐะถะฝัะผ, ัะตะผ ะผะตััะพะฝะฐั
ะพะถะดะตะฝะธะต ะดะฐะฝะฝัั
.
vm.dirty_ratio=20
# ะัะพัะตะฝั ะพะฟะตัะฐัะธะฒะฝะพะน ะฟะฐะผััะธ, ะบะพัะพััะน ะผะพะถะฝะพ ะฒัะดะตะปะธัั ะฟะพะด "ะณััะทะฝัะต" ัััะฐะฝะธัั
# ะััะธัะปัะปะธ ะธะท ะฟัะธะผะตัะฝะพะณะพ ัะฐััะตัะฐ:
# ะ ัะธััะตะผะฐ 128 ะณะธะณะพะฒ ะฟะฐะผััะธ.
# ะัะธะผะตัะฝะพ ะฟะพ 20 ะดะธัะบะพะฒ SSD, ั ะบะพัะพััั
ะฒ ะฝะฐัััะพะนะบะฐั
CEPH ัะบะฐะทะฐะฝะพ
# ะฒัะดะตะปััั ะฟะพะด ะบััะธัะพะฒะฐะฝะธะต ะฟะพ 3G ะพะฟะตัะฐัะธะฒั.
# ะัะธะผะตัะฝะพ ะฟะพ 40 ะดะธัะบะพะฒ HDD, ะดะปั ะบะพัะพััั
ััะพั ะฟะฐัะฐะผะตัั ัะฐะฒะตะฝ 1G
# 20% ะพั 128 ััะพ 25.6 ะณะธะณะพะฒ. ะัะพะณะพ, ะฒ ัะปััะฐะต ะผะฐะบัะธะผะฐะปัะฝะพะน ััะธะปะธะทะฐัะธะธ ะฟะฐะผััะธ,
# ะดะปั ัะธััะตะผั ะพััะฐะฝะตััั 2.4G ะฟะฐะผััะธ. ะงะตะณะพ ะตะน ะดะพะปะถะฝะพ ั
ะฒะฐัะธัั ััะพะฑ ะฒัะถะธัั ะธ ะดะพะถะดะฐัััั
# ัััะบะฐ ะบะพะฟัั ะบะฐะฒะฐะปะตัะธะธ - ัะพ ะตััั ะฟัะธัะตััะฒะธั DevOps ะบะพัะพััะน ะฒัะต ะฟะพัะธะฝะธั.
vm.dirty_background_ratio=3
# ะฟัะพัะตะฝั ัะธััะตะผะฝะพะน ะฟะฐะผััะธ, ะบะพัะพััะน ะผะพะถะฝะพ ะทะฐะฟะพะปะฝะธัั dirty pages ะดะพ ัะพะณะพ,
# ะบะฐะบ ัะพะฝะพะฒัะต ะฟัะพัะตััั pdflush/flush/kdmflush ะทะฐะฟะธััั ะธั
ะฝะฐ ะดะธัะบ
fs.file-max=524288
# ะั ะธ ะพัะบััััั
ัะฐะนะปะพะฒ ั ะฝะฐั,ะฒะตัะพััะฝะพ, ะฑัะดะตั ัะธะปัะฝะพ ะฑะพะปััะต, ัะตะผ ัะบะฐะทะฐะฝะพ ะฟะพ ะดะตัะพะปัั.
immersion เปเบ CEPH
เบเบฒเบเบเบฑเปเบเบเปเบฒเบเบตเปเบเปเบญเบเบขเบฒเบเบเบฐเบขเบนเปเปเบเบฅเบฒเบเบฅเบฐเบญเบฝเบเปเบเบตเปเบกเปเบเบตเบก:
cat /etc/ceph/ceph.conf
osd:
journal_aio: true # ะขัะธ ะฟะฐัะฐะผะตััะฐ, ะฒะบะปััะฐััะธะต
journal_block_align: true # ะฟััะผะพะน i/o
journal_dio: true # ะฝะฐ ะถััะฝะฐะป
journal_max_write_bytes: 1073714824 # ะะตะผะฝะพะณะพ ัะฐัััะฝะตะผ ะผะฐะบัะธะผะฐะปัะฝัะน ัะฐะทะผะตั
# ัะฐะทะพะฒะพ ะทะฐะฟะธััะฒะฐะตะผะพะน ะพะฟะตัะฐัะธะธ ะฒ ะถััะฝะฐะป
journal_max_write_entries: 10000 # ะั ะธ ะบะพะปะธัะตััะฒะพ ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะทะฐะฟะธัะตะน
journal_queue_max_bytes: 10485760000
journal_queue_max_ops: 50000
rocksdb_separate_wal_dir: true # ะ ะตัะธะปะธ ะดะตะปะฐัั ะพัะดะตะปัะฝัะน wal
# ะะฐะถะต ะฟะพะฟััะฐะปะธัั ะฒัะฑะธัั ะฟะพะด ััะพ ะดะตะปะพ
# NVMe
bluestore_block_db_create: true # ะั ะธ ะฟะพะด ะถััะฝะฐะป ะพัะดะตะปัะฝะพะต ััััะพะนััะฒะพ
bluestore_block_db_size: '5368709120 #5G'
bluestore_block_wal_create: true
bluestore_block_wal_size: '1073741824 #1G'
bluestore_cache_size_hdd: '3221225472 # 3G'
# ะฑะพะปััะพะน ะพะฑัะตะผ ะพะฟะตัะฐัะธะฒั ะฟะพะทะฒะพะปัะตั
# ั
ัะฐะฝะธัั ะดะพััะฐัะพัะฝะพ ะฑะพะปััะธะต ะพะฑัะตะผั
bluestore_cache_size_ssd: '9663676416 # 9G'
keyring: /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap: '1073741824 #1G'
osd_disk_thread_ioprio_class: idle
osd_disk_thread_ioprio_priority: 7
osd_disk_threads: 2 # ะบะพะปะธัะตััะฒะพ ััะตะดะพะฒ ั ะดะตะผะพะฝะฐ ะฝะฐ ะพะดะธะฝ ะดะธัะบ
osd_failsafe_full_ratio: 0.95
osd_heartbeat_grace: 5
osd_heartbeat_interval: 3
osd_map_dedup: true
osd_max_backfills: 2 # ะบะพะปะธัะตััะฒะพ ะพะดะฝะพะฒัะตะผะตะฝะฝัั
ะพะฟะตัะฐัะธะน ะทะฐะฟะพะปะฝะตะฝะธั ะฝะฐ ะพะดะธะฝ ะะกะ.
osd_max_write_size: 256
osd_mon_heartbeat_interval: 5
osd_op_threads: 16
osd_op_num_threads_per_shard: 1
osd_op_num_threads_per_shard_hdd: 2
osd_op_num_threads_per_shard_ssd: 2
osd_pool_default_min_size: 1 # ะัะพะฑะตะฝะฝะพััะธ ะถะฐะดะฝะพััะธ. ะัะตะฝั ะฑััััะพ ััะฐะปะพ
osd_pool_default_size: 2 # ะฝะตั
ะฒะฐัะฐัั ะผะตััะฐ, ะฟะพัะพะผั ะบะฐะบ ะฒัะตะผะตะฝะฝะพะต
# ัะตัะตะฝะธะต ะฟัะธะฝัะปะธ ัะผะตะฝััะตะฝะธะต ะบะพะปะธัะตััะฒะพ
# ัะตะฟะปะธะบ ะดะฐะฝะฝัั
osd_recovery_delay_start: 10.000000
osd_recovery_max_active: 2
osd_recovery_max_chunk: 1048576
osd_recovery_max_single_start: 3
osd_recovery_op_priority: 1
osd_recovery_priority: 1 # ะฟะฐัะฐะผะตัั ัะตะณัะปะธััะตะผ ะฟะพ ะฝะตะพะฑั
ะพะดะธะผะพััะธ ะฝะฐ ั
ะพะดั
osd_recovery_sleep: 2
osd_scrub_chunk_max: 4
เบเบฒเบเบเบปเบงเบเปเบฒเบเบปเบเบเบตเปเบเบทเบเบเบปเบเบชเบญเบเบชเปเบฒเบฅเบฑเบ QA เปเบเบฎเบธเปเบ 12.2.12 เปเบกเปเบเบซเบฒเบเปเบเปเบ ceph เบฎเบธเปเบ 12.2.2, เบชเปเบฒเบฅเบฑเบเบเบฒเบเบเบปเบเบเบปเบงเบขเปเบฒเบ. osd_recovery_threads. เบเบฑเปเบเบเบฑเปเบ, เปเบเบเบเบฒเบเบเบฑเปเบเบเปเบฒเบงเปเบเปเบฅเบงเบกเปเบญเบปเบฒเบเบฒเบเบเบฑเบเบเบธเบเบเบฒเบเบเบฐเบฅเบดเบเปเบเบฑเบ 12.2.12. เบเบฒเบเบเบฐเบเบดเบเบฑเบเปเบเปเบชเบฐเปเบเบเปเบซเปเปเบซเบฑเบเบเบงเบฒเบกเปเบเบปเปเบฒเบเบฑเบเปเบเปเบฅเบฐเบซเบงเปเบฒเบเบฎเบธเปเบ 12.2.2 เปเบฅเบฐ 12.2.12 เปเบเบเบธเปเบกเบเบฝเบง, เปเบเบดเปเบเบญเบฐเบเบธเบเบฒเบเปเบซเปเบกเบตเบเบฒเบเบเบฑเบเบเบธเบเปเบเบเบกเปเบงเบ.
เบเบธเปเบกเบเบปเบเบชเบญเบ
เบเบฒเบกเบเปเบฒเบกเบฐเบเบฒเบ, เบชเปเบฒเบฅเบฑเบเบเบฒเบเบเบปเบเบชเบญเบเบกเบฑเบเบเปเบฒเปเบเบฑเบเบเปเบญเบเบกเบตเบฎเบธเปเบเบเบฝเบงเบเบฑเบเบเบฑเบเบเบฒเบเบชเบนเปเบฎเบปเบ, เปเบเปเปเบเปเบงเบฅเบฒเบเบตเปเบเปเบญเบเปเบฅเบตเปเบกเปเบฎเบฑเบเบงเบฝเบเบเบฑเบเบเบธเปเบก, เบเบฝเบเปเบเปเบกเบตเบฎเบธเปเบเปเบซเบกเปเบเบงเปเบฒเบเบตเปเบกเบตเบขเบนเปเปเบ repository. เปเบเบโเปเบเปโเปเบเบดเปเบโ, เบชเบดเปเบโเบเบตเปโเบเปเบฒเบโเบชเบฒโเบกเบฒเบโเบเบดโเบเบฒโเบฅเบฐโเบเบฒโเปเบโเบชเบฐโเบเบฑเบโเปเบฅเบฑเบโเบเปเบญเบโเปเบกเปเบโเบเปเปโเบกเบตโเบเบฐโเบซเบเบฒเบโเปเบซเบเปโเบซเบผเบฒเบ (1393 เบชเบฒเบเปเบ config เบเปเบฒเบ 1436 เปเบโเบชเบฐโเบเบฑเบโเปเบซเบกเปโ)โ, เบเบงเบโเปเบฎเบปเบฒโเปเบเปโเบเบฑเบโเบชเบดเบโเปเบโเบเบตเปโเบเบฐโเปเบฅเบตเปเบกโเบเบปเปเบโเบเบฒเบโเบเบปเบโเบชเบญเบโเปเบซเบกเป (เบเบฒเบโเบเบฑเบโเบเบธเบโเบขเปเบฒเบโเปเบโเบเปโเบเบฒเบกโ, เปเบเบฑเบโเบซเบเบฑเบโเปเบโเบเบฑเบ junk เปเบเบปเปเบฒโ)
เบชเบดเปเบเบเบฝเบงเบเบตเปเบเบงเบเปเบฎเบปเบฒเบเบฐเบเบฒเบเบฒเบกเบญเบญเบเบเบฒเบเบชเบฐเบเบฑเบเปเบเบปเปเบฒเปเบกเปเบเบเบธเบ ceph-deploy เปเบเบทเปเบญเบเบเบฒเบเบงเปเบฒเบเบฒเบเบชเบดเปเบเบญเปเบฒเบเบงเบเบเบงเบฒเบกเบชเบฐเบเบงเบ (เปเบฅเบฐเบเบฐเบเบฑเบเบเบฒเบเบเบฒเบเบเบปเบ) เปเบเปเบเบทเบเบเบฑเบเปเบซเปเปเบซเบกเบฒเบฐเบชเบปเบกเบเบฑเบ syntax เบเบญเบเบกเบฑเบ. เบฎเบธเปเบเปเบซเบกเปเปเบกเปเบเบเปเบญเบเบเปเบฒเบเปเบเบเบเปเบฒเบเบเบฑเบ, เปเบเปเบเปเปเบกเบตเบเบปเบเบเปเปเบเบฒเบเปเบฎเบฑเบเบงเบฝเบเบเบญเบเบเบธเปเบกเบเบปเบงเบกเบฑเบเปเบญเบ, เปเบฅเบฐเบกเบฑเบเบเบทเบเบเบฐเปเบงเปเบขเบนเปเปเบเบชเบฐเบเบฑเบ 1.5.39
เปเบเบทเปเบญเบเบเบฒเบเบเปเบฒเบชเบฑเปเบ ceph-disk เปเบงเบปเปเบฒเบขเปเบฒเบเบเบฑเบเปเบเบเบงเปเบฒเบกเบฑเบเบเบทเบเบเบปเบเปเบฅเบตเบเปเบฅเบฐเปเบเปเบเปเบฒเบชเบฑเปเบ ceph-volume, เบเบตเปเบฎเบฑเบเปเบเบ, เบเบงเบเปเบฎเบปเบฒเปเบฅเบตเปเบกเบชเปเบฒเบ OSDs เบเปเบงเบเบเปเบฒเบชเบฑเปเบเบเบตเป, เปเบเบเบเปเปเบเปเบญเบเปเบชเบเปเบงเบฅเบฒเบเบฑเบเบชเบดเปเบเบเบตเปเบฅเปเบฒเบชเบฐเปเบซเบก.
เปเบเบเบเบฒเบเปเบกเปเบเปเบเบทเปเบญเบชเปเบฒเบเบเปเบญเบเปเบฅเบเบเปเบฝเบเบเบงเบฒเบกเบเบญเบเบชเบญเบ SSD drive เบเบตเปเบเบงเบเปเบฎเบปเบฒเบเบฐเบงเบฒเบเบเบฑเบเบเบถเบ OSD, เปเบเบดเปเบ, เปเบเบเบฒเบเบเบฑเบเบเบฑเบ, เบเบฑเปเบเบขเบนเป spindle SASs. เบงเบดเบเบตเบเบตเปเบเบงเบเปเบฎเบปเบฒเบชเบฒเบกเบฒเบเบเปเบญเบเบเบฑเบเบเบปเบงเปเบญเบเบเบฒเบเบเบฑเบเบซเบฒเบเบฑเบเบเปเปเบกเบนเบเบเปเบฒเปเบเปเบเบเบตเปเบกเบตเบเบฑเบเบเบถเบเบเบปเบเบฅเบปเบ.
เบเบงเบเปเบฎเบปเบฒเปเบฅเบตเปเบกเบชเปเบฒเบเบเบธเปเบกเบเบฒเบกเปเบญเบเบฐเบชเบฒเบ
cat /etc/ceph/ceph.conf
root@ceph01-qa:~# cat /etc/ceph/ceph.conf # ะฟะพะปะพะถะธะปะธ ะทะฐัะฐะฝะตะต ะฟะพะดะณะพัะพะฒะปะตะฝะฝัะน ะบะพะฝัะธะณ
[client]
rbd_cache = true
rbd_cache_max_dirty = 50331648
rbd_cache_max_dirty_age = 2
rbd_cache_size = 67108864
rbd_cache_target_dirty = 33554432
rbd_cache_writethrough_until_flush = true
rbd_concurrent_management_ops = 10
rbd_default_format = 2
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster network = 10.10.10.0/24
debug_asok = 0/0
debug_auth = 0/0
debug_buffer = 0/0
debug_client = 0/0
debug_context = 0/0
debug_crush = 0/0
debug_filer = 0/0
debug_filestore = 0/0
debug_finisher = 0/0
debug_heartbeatmap = 0/0
debug_journal = 0/0
debug_journaler = 0/0
debug_lockdep = 0/0
debug_mon = 0/0
debug_monc = 0/0
debug_ms = 0/0
debug_objclass = 0/0
debug_objectcatcher = 0/0
debug_objecter = 0/0
debug_optracker = 0/0
debug_osd = 0/0
debug_paxos = 0/0
debug_perfcounter = 0/0
debug_rados = 0/0
debug_rbd = 0/0
debug_rgw = 0/0
debug_throttle = 0/0
debug_timer = 0/0
debug_tp = 0/0
fsid = d0000000d-4000-4b00-b00b-0123qwe123qwf9
mon_host = ceph01-q, ceph02-q, ceph03-q
mon_initial_members = ceph01-q, ceph02-q, ceph03-q
public network = 8.8.8.8/28 # ะฐะดัะตั ะธะทะผะตะฝะตะฝ, ะตััะตััะฒะตะฝะฝะพ ))
rgw_dns_name = s3-qa.mycompany.ru # ะธ ััะพั ะฐะดัะตั ะธะทะผะตะฝ
rgw_host = s3-qa.mycompany.ru # ะธ ััะพั ัะพะถะต
[mon]
mon allow pool delete = true
mon_max_pg_per_osd = 300 # ะฑะพะปััะต ััะตั
ัะพั ะฟะปะตะนัะผะตะฝั ะณััะฟะฟ
# ะฝะฐ ะดะธัะบ ะฝะต ัะตัะธะปะธัั
# ั
ะพัั ะฟะฐัะฐะผะตัั, ะตััะตััะฒะตะฝะฝะพ, ะทะฐะฒะธัะธั ะพั ะบะพะปะธัะตััะฒะฐ ะฟัะปะพะฒ,
# ะธั
ัะฐะทะผะตัะพะฒ ะธ ะบะพะปะธัะตััะฒะฐ OSD. ะะผะตัั ะผะฐะปะพ ะฝะพ ะทะดะพัะพะฒัั
PG
# ัะพะถะต ะฝะต ะปัััะธะน ะฒัะฑะพั - ัััะฐะดะฐะตั ัะพัะฝะพััั ะฑะฐะปะฐะฝัะธัะพะฒะบะธ
mon_osd_backfillfull_ratio = 0.9
mon_osd_down_out_interval = 5
mon_osd_full_ratio = 0.95 # ะฟะพะบะฐ ะดะปั SSD ะดะธัะบะพะฒ ะผะตััะพะผ ะดะปั ะธั
# ะถััะฝะฐะปะฐ ัะฒะปัะตััั ัะพั-ะถะต ะดะตะฒะฐะนั ััะพ ะธ ะดะปั ะะกะ
# ัะตัะธะปะธ ััะพ 5% ะพั ะดะธัะบะฐ (ะบะพัะพััะน ัะฐะผ ัะฐะทะผะตัะพะผ 1.2Tb)
# ะดะพะปะถะฝะพ ะฒะฟะพะปะฝะต ั
ะฒะฐัะธัั, ะธ ะบะพััะตะปะธััะตั ั ะฟะฐัะฐะผะตััะพะผ
# bluestore_block_db_size ะฟะปัั ะฒะฐัะธะฐัะธะฒะฝะพััั ะฝะฐ ะฑะพะปััะธะต
# ะฟะปะตะนัะผะตะฝั ะณััะฟะฟั
mon_osd_nearfull_ratio = 0.9
mon_pg_warn_max_per_osd = 520
[osd]
bluestore_block_db_create = true
bluestore_block_db_size = 5368709120 #5G
bluestore_block_wal_create = true
bluestore_block_wal_size = 1073741824 #1G
bluestore_cache_size_hdd = 3221225472 # 3G
bluestore_cache_size_ssd = 9663676416 # 9G
journal_aio = true
journal_block_align = true
journal_dio = true
journal_max_write_bytes = 1073714824
journal_max_write_entries = 10000
journal_queue_max_bytes = 10485760000
journal_queue_max_ops = 50000
keyring = /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap = 1073741824 #1G
osd_disk_thread_ioprio_class = idle
osd_disk_thread_ioprio_priority = 7
osd_disk_threads = 2
osd_failsafe_full_ratio = 0.95
osd_heartbeat_grace = 5
osd_heartbeat_interval = 3
osd_map_dedup = true
osd_max_backfills = 4
osd_max_write_size = 256
osd_mon_heartbeat_interval = 5
osd_op_num_threads_per_shard = 1
osd_op_num_threads_per_shard_hdd = 2
osd_op_num_threads_per_shard_ssd = 2
osd_op_threads = 16
osd_pool_default_min_size = 1
osd_pool_default_size = 2
osd_recovery_delay_start = 10.0
osd_recovery_max_active = 1
osd_recovery_max_chunk = 1048576
osd_recovery_max_single_start = 3
osd_recovery_op_priority = 1
osd_recovery_priority = 1
osd_recovery_sleep = 2
osd_scrub_chunk_max = 4
osd_scrub_chunk_min = 2
osd_scrub_sleep = 0.1
rocksdb_separate_wal_dir = true
# ัะพะทะดะฐะตะผ ะผะพะฝะธัะพัั
root@ceph01-qa:~#ceph-deploy mon create ceph01-q
# ะณะตะฝะตัะธััะตะผ ะบะปััะธ ะดะปั ะฐััะตะฝัะธัะธะบะฐัะธะธ ะฝะพะด ะฒ ะบะปะฐััะตัะต
root@ceph01-qa:~#ceph-deploy gatherkeys ceph01-q
# ะญัะพ ะตัะปะธ ะฟะพััััะฝะพ. ะัะปะธ ั ะฝะฐั ะฝะตัะบะพะปัะบะพ ะผะฐัะธะฝ ะดะพัััะฟะฝั - ัะต, ะบะพัะพััะต ะพะฟะธัะฐะฝั ะฒ ะบะพะฝัะธะณะต ะฒ ัะตะบัะธะธ
# mon_initial_members = ceph01-q, ceph02-q, ceph03-q
# ะผะพะถะฝะพ ะทะฐะฟัััะธัั ััะธ ะดะฒะต ะบะพะผะฐะฝะดั ะฒ ะฒะธะดะต ะพะดะฝะพะน
root@ceph01-qa:~#ceph-deploy mon create-initial
# ะะพะปะพะถะธะผ ะบะปััะธ ะฒ ัะบะฐะทะฐะฝะฝัะต ะฒ ะบะพะฝัะธะณะต ะผะตััะฐ
root@ceph01-qa:~#cat ceph.bootstrap-osd.keyring > /var/lib/ceph/bootstrap-osd/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-mgr.keyring > /var/lib/ceph/bootstrap-mgr/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-rgw.keyring > /var/lib/ceph/bootstrap-rgw/ceph.keyring
# ัะพะทะดะฐะดะธะผ ะบะปัั ะดะปั ัะฟัะฐะฒะปะตะฝะธั ะบะปะฐััะตัะพะผ
root@ceph01-qa:~#ceph-deploy admin ceph01-q
# ะธ ะผะตะฝะตะดะถะตั, ะฟะปะฐะณะธะฝะฐะผะธ ัะฟัะฐะฒะปััั
root@ceph01-qa:~#ceph-deploy mgr create ceph01-q
เบชเบดเปเบเบเปเบฒเบญเบดเบเบเบตเปเบเปเบญเบ stumbled เปเบกเบทเปเบญเปเบฎเบฑเบเบงเบฝเบเบเบฑเบ ceph-deploy เบฎเบธเปเบเบเบตเปเบเบฑเบ cluster version 12.2.12 เปเบกเปเบเบเบงเบฒเบกเบเบดเบเบเบฒเบเปเบเปเบงเบฅเบฒเบเบตเปเบเบฐเบเบฒเบเบฒเบกเบชเปเบฒเบ OSD เบเบฑเบ db เปเบเบเบฒเบเปเบเบกเบเบตเบเบญเบเปเบง -
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
blkid could not detect a PARTUUID for device: /dev/md1
เปเบเปเบเบดเบเปเบฅเปเบง, blkid เปเบเบดเปเบเบเบทเบงเปเบฒเบเปเปเปเบกเปเบ PARTUUID, เบชเบฐเบเบฑเปเบเบเปเบญเบเบเปเบญเบเบชเปเบฒเบเบเบฒเบเบดเบเบฑเบเบเปเบงเบเบเบปเบเปเบญเบ:
root@ceph01-qa:~#parted /dev/md0 mklabel GPT
# ัะฐะทะดะตะปะพะฒ ะฑัะดะตั ะผะฝะพะณะพ,
# ะฑะตะท GPT ะธั
ัะพะทะดะฐัั ะฝะต ะฟะพะปััะธััั
# ัะฐะทะผะตั ัะฐะทะดะตะปะฐ ะผั ัะบะฐะทะฐะปะธ ะฒ ะบะพะฝัะธะณะต ะฒััะต = bluestore_block_db_size: '5368709120 #5G'
# ะะธัะบะพะฒ ั ะผะตะฝั 20 ะฟะพะด OSD, ััะบะฐะผะธ ัะพะทะดะฐะฒะฐัั ัะฐะทะดะตะปั ะปะตะฝั
# ะฟะพัะพะผั ัะดะตะปะฐะป ัะธะบะป
root@ceph01-qa:~#for i in {1..20}; do echo -e "nnnn+5Gnw" | fdisk /dev/md0; done
เบเบธเบเบขเปเบฒเบเปเบเบดเปเบเบเบทเบงเปเบฒเบเปเบญเบกเปเบฅเปเบง, เบเบงเบเปเบฎเบปเบฒเบเบฐเบเบฒเบเบฒเบกเบชเปเบฒเบ OSD เบญเบตเบเปเบเบทเปเบญเบซเบเบถเปเบเปเบฅเบฐเปเบเปเบฎเบฑเบเบเปเปเบเบดเบเบเบฒเบเบเปเปเปเบเบเบตเป (เปเบเบดเปเบ, เปเบเบเบงเบดเบเบตเบเบฒเบเบเบฒเบ, เบเปเปเปเบเปเบเบฐเบฅเบดเบเบเบทเบเปเบซเบกเปเปเบเบเบฒเบเบเปเปเบชเบนเป)
เปเบกเบทเปเบญเบชเปเบฒเบ OSD เบเบฐเปเบเบ bluestore เปเบเบเบเปเปเบฅเบฐเบเบธเปเบชเบฑเปเบเบเบฒเบเปเบเบซเบฒ WAL, เปเบเปเบฅเบฐเบเบธ db
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
stderr: 2019-04-12 10:39:27.211242 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _read_fsid unparsable uuid
stderr: 2019-04-12 10:39:27.213185 7eff461b6e00 -1 bdev(0x55824c273680 /var/lib/ceph/osd/ceph-0//block.wal) open open got: (22) Invalid argument
stderr: 2019-04-12 10:39:27.213201 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _open_db add block device(/var/lib/ceph/osd/ceph-0//block.wal) returned: (22) Invalid argument
stderr: 2019-04-12 10:39:27.999039 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) mkfs failed, (22) Invalid argument
stderr: 2019-04-12 10:39:27.999057 7eff461b6e00 -1 OSD::mkfs: ObjectStore::mkfs failed with error (22) Invalid argument
stderr: 2019-04-12 10:39:27.999141 7eff461b6e00 -1 ** ERROR: error creating empty object store in /var/lib/ceph/osd/ceph-0/: (22) Invalid argumen
เบเบดเปเบเปเบเบเบงเปเบฒเบเบฑเปเบ, เบเปเบฒเบขเบนเปเปเบเบเบฐเบเบปเบเบเบฝเบงเบเบฑเบ (เบซเบผเบทเบเปเบญเบเบญเบทเปเบ, เบเบฒเบเปเบฅเบทเบญเบเบเบญเบเปเบเบปเปเบฒ) เปเบเบปเปเบฒเบชเปเบฒเบเบเบฒเบเบดเบเบฑเบเบญเบทเปเบเบชเปเบฒเบฅเบฑเบ WAL เปเบฅเบฐเบฅเบฐเบเบธเบกเบฑเบเปเบเปเบงเบฅเบฒเบชเปเบฒเบ OSD, เบซเบผเบฑเบเบเบฒเบเบเบฑเปเบเบเบธเบเบชเบดเปเบเบเบธเบเบขเปเบฒเบเบเบฐเปเบเบขเปเบฒเบเบฅเบฝเบเบเปเบฒเบ (เบเบปเบเปเบงเบฑเปเบเบฎเบนเบเบฅเบฑเบเบชเบฐเบเบฐเบเบญเบ WAL เปเบเบเบเปเบฒเบเบซเบฒเบ, เบเบตเปเปเบเบปเปเบฒเบญเบฒเบเบเบฐเบเปเปเปเบเป. เบเปเบญเบเบเบฒเบ).
เปเบเป, เปเบเบทเปเบญเบเบเบฒเบเบงเปเบฒเบกเบฑเบเบเบฑเบเบขเบนเปเปเบเปเบเบเบเบฒเบเบเบตเปเบซเปเบฒเบเปเบเบเบตเปเบเบฐเบเปเบฒเบ WAL เปเบ NVMe, เบเบฒเบเบเบฐเบเบดเบเบฑเบเบเปเปเปเบเปเบเบฒเบเบกเบฒเปเบเบฑเบเบเบงเบฒเบกเบซเบเบฒเบเบเบฒเบ.
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sdf --block.wal /dev/md0p2 --block.db /dev/md1p2
เบชเปเบฒเบเบเบนเปเบเบดเบเบเบฒเบก, เบเบนเปเบเบฑเบเบเบฒเบเปเบฅเบฐ OSD. เบเบญเบเบเบตเปเบเปเบญเบเบขเบฒเบเบเบฑเบเบเบธเปเบกเปเบซเปเบเบงเบเปเบเบปเบฒเปเบเบเบเปเบฒเบเบเบฑเบ, เปเบเบฒเบฐเบงเปเบฒเบเปเบญเบเบงเบฒเบเปเบเบเบเบตเปเบเบฐเบกเบตเปเบเปเบเบเบฐเปเบเบเบเปเบฒเบเป - fast pools on SSD เปเบฅเบฐเบเบฐเบซเบเบฒเบเปเบซเบเป, เปเบเปเบชเบฐเบเบธเบเปเบเบตเบเปเบฒเปเบ SAS pancakes.
เปเบซเปเบชเบปเบกเบกเบธเบเบงเปเบฒเปเบเบทเปเบญเบเปเบกเปเบเปเบฒเบเบกเบต 20 เปเบเปเบ, เบชเบดเบเบญเบฑเบเบเปเบฒเบญเบดเบเปเบกเปเบเบเบฐเปเบเบเบซเบเบถเปเบ, เบเบตเบชเบญเบเปเบกเปเบเบญเบตเบ.
เบเบฑเบเปเบฅเบตเปเบกเบเบปเปเบ, เบเปเบฒเปเบฅเบตเปเบกเบเบปเปเบ, เปเบเบดเปเบเบเบทเบงเปเบฒเบเบตเป:
ceph osd เบเบปเปเบเปเบกเป
root@ceph01-q:~# ceph osd tree
ID CLASS WEIGHT TYPE STATUS REWEIGHT PRI-AFF
-1 14.54799 เบเปเบฒเปเบฅเบตเปเบกเบเบปเปเบเบเบญเบเบฎเบฒเบ
-3 9.09200 เปเบเบปเปเบฒเบเบฒเบ ceph01-q
0 ssd 1.00000 osd.0 เบเบถเปเบ 1.00000 1.00000
1 ssd 1.00000 osd.1 เบเบถเปเบ 1.00000 1.00000
2 ssd 1.00000 osd.2 เบเบถเปเบ 1.00000 1.00000
3 ssd 1.00000 osd.3 เบเบถเปเบ 1.00000 1.00000
4 hdd 1.00000 osd.4 เบเบถเปเบ 1.00000 1.00000
5 hdd 0.27299 osd.5 เบเบถเปเบ 1.00000 1.00000
6 hdd 0.27299 osd.6 เบเบถเปเบ 1.00000 1.00000
7 hdd 0.27299 osd.7 เบเบถเปเบ 1.00000 1.00000
8 hdd 0.27299 osd.8 เบเบถเปเบ 1.00000 1.00000
9 hdd 0.27299 osd.9 เบเบถเปเบ 1.00000 1.00000
10 hdd 0.27299 osd.10 เบเบถเปเบ 1.00000 1.00000
11 hdd 0.27299 osd.11 เบเบถเปเบ 1.00000 1.00000
12 hdd 0.27299 osd.12 เบเบถเปเบ 1.00000 1.00000
13 hdd 0.27299 osd.13 เบเบถเปเบ 1.00000 1.00000
14 hdd 0.27299 osd.14 เบเบถเปเบ 1.00000 1.00000
15 hdd 0.27299 osd.15 เบเบถเปเบ 1.00000 1.00000
16 hdd 0.27299 osd.16 เบเบถเปเบ 1.00000 1.00000
17 hdd 0.27299 osd.17 เบเบถเปเบ 1.00000 1.00000
18 hdd 0.27299 osd.18 เบเบถเปเบ 1.00000 1.00000
19 hdd 0.27299 osd.19 เบเบถเปเบ 1.00000 1.00000
-5 5.45599 เปเบเบปเปเบฒเบเบฒเบ ceph02-q
20 ssd 0.27299 osd.20 เบเบถเปเบ 1.00000 1.00000
21 ssd 0.27299 osd.21 เบเบถเปเบ 1.00000 1.00000
22 ssd 0.27299 osd.22 เบเบถเปเบ 1.00000 1.00000
23 ssd 0.27299 osd.23 เบเบถเปเบ 1.00000 1.00000
24 hdd 0.27299 osd.24 เบเบถเปเบ 1.00000 1.00000
25 hdd 0.27299 osd.25 เบเบถเปเบ 1.00000 1.00000
26 hdd 0.27299 osd.26 เบเบถเปเบ 1.00000 1.00000
27 hdd 0.27299 osd.27 เบเบถเปเบ 1.00000 1.00000
28 hdd 0.27299 osd.28 เบเบถเปเบ 1.00000 1.00000
29 hdd 0.27299 osd.29 เบเบถเปเบ 1.00000 1.00000
30 hdd 0.27299 osd.30 เบเบถเปเบ 1.00000 1.00000
31 hdd 0.27299 osd.31 เบเบถเปเบ 1.00000 1.00000
32 hdd 0.27299 osd.32 เบเบถเปเบ 1.00000 1.00000
33 hdd 0.27299 osd.33 เบเบถเปเบ 1.00000 1.00000
34 hdd 0.27299 osd.34 เบเบถเปเบ 1.00000 1.00000
35 hdd 0.27299 osd.35 เบเบถเปเบ 1.00000 1.00000
36 hdd 0.27299 osd.36 เบเบถเปเบ 1.00000 1.00000
37 hdd 0.27299 osd.37 เบเบถเปเบ 1.00000 1.00000
38 hdd 0.27299 osd.38 เบเบถเปเบ 1.00000 1.00000
39 hdd 0.27299 osd.39 เบเบถเปเบ 1.00000 1.00000
-7 6.08690 เปเบเบปเปเบฒเบเบฒเบ ceph03-q
40 ssd 0.27299 osd.40 เบเบถเปเบ 1.00000 1.00000
41 ssd 0.27299 osd.41 เบเบถเปเบ 1.00000 1.00000
42 ssd 0.27299 osd.42 เบเบถเปเบ 1.00000 1.00000
43 ssd 0.27299 osd.43 เบเบถเปเบ 1.00000 1.00000
44 hdd 0.27299 osd.44 เบเบถเปเบ 1.00000 1.00000
45 hdd 0.27299 osd.45 เบเบถเปเบ 1.00000 1.00000
46 hdd 0.27299 osd.46 เบเบถเปเบ 1.00000 1.00000
47 hdd 0.27299 osd.47 เบเบถเปเบ 1.00000 1.00000
48 hdd 0.27299 osd.48 เบเบถเปเบ 1.00000 1.00000
49 hdd 0.27299 osd.49 เบเบถเปเบ 1.00000 1.00000
50 hdd 0.27299 osd.50 เบเบถเปเบ 1.00000 1.00000
51 hdd 0.27299 osd.51 เบเบถเปเบ 1.00000 1.00000
52 hdd 0.27299 osd.52 เบเบถเปเบ 1.00000 1.00000
53 hdd 0.27299 osd.53 เบเบถเปเบ 1.00000 1.00000
54 hdd 0.27299 osd.54 เบเบถเปเบ 1.00000 1.00000
55 hdd 0.27299 osd.55 เบเบถเปเบ 1.00000 1.00000
56 hdd 0.27299 osd.56 เบเบถเปเบ 1.00000 1.00000
57 hdd 0.27299 osd.57 เบเบถเปเบ 1.00000 1.00000
58 hdd 0.27299 osd.58 เบเบถเปเบ 1.00000 1.00000
59 hdd 0.89999 osd.59 เบเบถเปเบ 1.00000 1.00000
เบกเบฒเบชเปเบฒเบ racks เปเบฅเบฐเปเบเบตเบเปเบงเบต virtual เบเบญเบเบเบงเบเปเบฎเบปเบฒเบเปเบงเบ blackjack เปเบฅเบฐเบชเบดเปเบเบญเบทเปเบเป:
root@ceph01-q:~#ceph osd crush add-bucket rack01 root #ัะพะทะดะฐะปะธ ะฝะพะฒัะน root
root@ceph01-q:~#ceph osd crush add-bucket ceph01-q host #ัะพะทะดะฐะปะธ ะฝะพะฒัะน ั
ะพัั
root@ceph01-q:~#ceph osd crush move ceph01-q root=rack01 #ะฟะตัะตััะฐะฒะธะปะธ ัะตัะฒะตั ะฒ ะดััะณัั ััะพะนะบั
root@ceph01-q:~#osd crush add 28 1.0 host=ceph02-q # ะะพะฑะฐะฒะธะปะธ ะะกะ ะฒ ัะตัะฒะตั
# ะัะปะธ ะบัะธะฒะพ ัะพะทะดะฐะปะธ ัะพ ะผะพะถะฝะพ ัะดะฐะปะธัั
root@ceph01-q:~# ceph osd crush remove osd.4
root@ceph01-q:~# ceph osd crush remove rack01
เบเบฑเบเบซเบฒเบเบตเปเบเบงเบเปเบฎเบปเบฒเบเบปเบเปเบ เบเบฒเบเบเปเปเบชเบนเป cluster, เปเบเปเบงเบฅเบฒเบเบตเปเบเบฐเบเบฒเบเบฒเบกเบชเปเบฒเบเปเบเบปเปเบฒเบเบฒเบเปเบซเบกเปเปเบฅเบฐเบเปเบฒเบเบกเบฑเบเปเบเบซเบฒ rack เบเบตเปเบกเบตเบขเบนเปเปเบฅเปเบง - เบเปเบฒเบชเบฑเปเบ ceph osd crush เบเปเบฒเบ ceph01-host root=rack01 froze, เปเบฅเบฐเบเบดเบเบเบฒเบกเบเบงเบเบเบฒเปเบเปเปเบฅเบตเปเบกเบเบปเปเบเบเบตเปเบเบฐเบซเบผเบธเบเบฅเบปเบเบซเบเบถเปเบเบซเบเบถเปเบ. เบเบฒเบเบเบปเบเปเบฅเบตเบเบเปเบฒเบชเบฑเปเบเบเปเบงเบ CTRL + C เบเปเบฒเบเปเบชเบปเปเบเบเบทเบเบเบธเปเบกเปเบเบชเบนเปเปเบฅเบเบเบญเบเบเบตเบงเบดเบ.
เบเบฒเบเบเบปเปเบเบซเบฒเบชเบฐเปเบเบเปเบซเปเปเบซเบฑเบเบเบฑเบเบซเบฒเบเบตเป:
เบเบฒเบโเปเบเปโเปเบโเปเบเปโเบเบฒเบโเปเบเบฑเบโเบเบฒเบ dump crushmap เปเบฅเบฐโเปเบญเบปเบฒโเบเบฒเบโเบชเปเบงเบโเบเบฒเบโเบเบตเปโเบเบฑเปเบโ เบเบปเบเบฅเบฐเบเบฝเบ replicated_ruleset
root@ceph01-prod:~#ceph osd getcrushmap -o crushmap.row #ะะฐะผะฟะธะผ ะบะฐััั ะฒ ัััะพะผ ะฒะธะดะต
root@ceph01-prod:~#crushtool -d crushmap.row -o crushmap.txt #ะฟะตัะตะฒะพะดะธะผ ะฒ ัะธัะฐะตะผัะน
root@ceph01-prod:~#vim crushmap.txt #ัะตะดะฐะบัะธััะตะผ, ัะดะฐะปัั rule replicated_ruleset
root@ceph01-prod:~#crushtool -c crushmap.txt -o new_crushmap.row #ะบะพะผะฟะธะปะธััะตะผ ะพะฑัะฐัะฝะพ
root@ceph01-prod:~#ceph osd setcrushmap -i new_crushmap.row #ะทะฐะณััะถะฐะตะผ ะฒ ะบะปะฐััะตั
Akhtung: เบเบฒเบเบเบฐเบเบดเบเบฑเบเบเบฒเบเบเบตเปเบญเบฒเบเบเบฐเปเบฎเบฑเบเปเบซเปเปเบเบตเบเบเบงเบฒเบกเบชเบปเบกเบเบนเบเบเบญเบเบเบธเปเบกเบเบฒเบเบเบฑเบเบงเบฒเบเบฅเบฐเบซเบงเปเบฒเบ OSDs. เบกเบฑเบเปเบเปเปเบฎเบฑเบเปเบซเปเปเบเบตเบเบเบตเปเบชเปเบฒเบฅเบฑเบเบเบงเบเปเบฎเบปเบฒ, เปเบเปเบซเบเปเบญเบเบเบตเปเบชเบธเบ.
เปเบฅเบฐเบชเบดเปเบเบเบตเปเปเบเบเบเบฐเบซเบฅเบฒเบเบเบตเปเบเบงเบเปเบฎเบปเบฒเบเบปเบเปเบเบเบธเปเบกเบเบปเบเบชเบญเบเปเบกเปเบเบงเปเบฒเบซเบผเบฑเบเบเบฒเบ rebooting เปเบเบทเปเบญเบเปเบกเปเบเปเบฒเบ OSD, เบเบงเบเปเบเบปเบฒเบฅเบทเบกเบงเปเบฒเบเบงเบเปเบเบปเบฒเปเบเปเบเบทเบเบเปเบฒเบเปเบเปเบเบทเปเบญเบเปเบกเปเบเปเบฒเบเปเบซเบกเปเปเบฅเบฐ racks, เปเบฅเบฐเบเบฑเบเบเบทเบเบชเบนเปเบเปเบฒเปเบฅเบตเปเบกเบเบปเปเบเบเบญเบเบฎเบฒเบ.
เบเบฑเปเบเบเบฑเปเบ, เปเบเบเปเบเปเบฅเบงเบเบฅเบงเบกเปเบเบเบเบฒเบเบชเบธเบเบเปเบฒเบเบเบตเปเบเบงเบเปเบฎเบปเบฒเบชเปเบฒเบเบฎเบฒเบเปเบเบเบเปเบฒเบเบซเบฒเบเบชเปเบฒเบฅเบฑเบเปเบ ssd เปเบฅเบฐเบซเบเบถเปเบเปเบเบเบเปเบฒเบเบซเบฒเบเบชเปเบฒเบฅเบฑเบ spindle drives, เบเบงเบเปเบฎเบปเบฒเปเบเปเปเบญเบปเบฒ OSD เบเบฑเบเบซเบกเบปเบเปเบเบปเปเบฒเปเบเปเบ racks เปเบฅเบฐเบเบฝเบเปเบเปเบฅเบถเบเบฎเบฒเบเปเบฅเบตเปเบกเบเบปเปเบ. เบซเบผเบฑเบเบเบฒเบ reboot, OSD เปเบเปเปเบฅเบตเปเบกเบเบปเปเบเบเบตเปเบเบฐเบเบฑเบเบเบปเบเบขเบนเป.
เบซเบผเบฑเบเบเบฒเบเบเบฒเบเบเบธเบเบเบปเปเบเปเบญเบเบฐเบชเบฒเบเบเปเปเบกเบฒ, เบเบงเบเปเบฎเบปเบฒเบเบปเบเปเบซเบฑเบเบเบปเบงเบเปเบฒเบเบปเบเบเบฒเบเบเบตเปเบฎเบฑเบเบเบดเบเบเบญเบเบเปเปเบเบถเบเบเบดเบเปเบฒเบเบตเป. เบเปเบฝเบงเบเบฑเบเบเบฃเบฐเบญเบปเบเปเบเบเบฒเบเบเบตเบชเบญเบ
เบเบงเบเปเบฎเบปเบฒเบชเปเบฒเบเบเบธเปเบกเบเปเบฒเบเปเบเบฒเบกเบเบฐเปเบเบเปเบเปเบเปเบเบงเปเบ.
เปเบเบทเปเบญเปเบฅเบตเปเบกเบเบปเปเบเบเปเบงเบ, เบเบงเบเปเบฎเบปเบฒเปเบเปเบชเปเบฒเบเบชเบญเบเบฎเบฒเบ - เบชเปเบฒเบฅเบฑเบ ssd เปเบฅเบฐเบชเปเบฒเบฅเบฑเบ hdd
root@ceph01-q:~#ceph osd crush add-bucket ssd-root root
root@ceph01-q:~#ceph osd crush add-bucket hdd-root root
เปเบเบทเปเบญเบเบเบฒเบเบงเปเบฒเปเบเบทเปเบญเบเปเบกเปเบเปเบฒเบเปเบกเปเบเบเบฑเปเบเบขเบนเปเบเบฒเบเบเปเบฒเบเบฎเปเบฒเบเบเบฒเบเบขเบนเปเปเบ racks เบเบตเปเปเบเบเบเปเบฒเบเบเบฑเบ, เปเบเบทเปเบญเบเบงเบฒเบกเบชเบฐเบเบงเบเบเบตเปเบเบงเบเปเบฎเบปเบฒเบชเปเบฒเบ racks เบเบฑเบเปเบเบทเปเบญเบเปเบกเปเบเปเบฒเบเบขเบนเปเปเบเบเบงเบเบกเบฑเบ
# ะกัะพะนะบะธ:
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack02 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack03 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
# ะกะตัะฒะตัะฐ
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph03-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
เปเบฅเบฐเปเบเบเบขเบฒเบเปเบเปเบเบเบฒเบกเบเบฐเปเบเบเบเบญเบเบกเบฑเบเปเบเบปเปเบฒเปเบเปเบเปเบเบทเปเบญเบเปเบกเปเบเปเบฒเบเบเบตเปเปเบเบเบเปเบฒเบเบเบฑเบ
root@ceph01-q:~# ะะธัะบะธ ั 0 ะฟะพ 3 ััะพ SSD, ะฝะฐั
ะพะดัััั ะฒ ceph01-q, ััะฐะฒะธะผ ะธั
ะฒ ัะตัะฒะตั
root@ceph01-q:~# ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 0 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 1 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 2 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 3 1 host=ssd-ceph01-q
root-ceph01-q:~# ะฐะฝะฐะปะพะณะธัะฝะพ ั ะดััะณะธะผะธ ัะตัะฒะตัะฐะผะธ
เบกเบตเบเบฒเบเบเบฐเปเบเบเบเบฐเบเบฒเบเปเบเปเบเบขเบนเปเปเบเปเบชเบฑเปเบเบเบฒเบ ssd-root เปเบฅเบฐ hdd-root, เบเบงเบเปเบฎเบปเบฒเบเบฐเปเบงเป root-default เบซเบงเปเบฒเบเปเบเบปเปเบฒ, เบเบฑเปเบเบเบฑเปเบเบเบงเบเปเบฎเบปเบฒเบชเบฒเบกเบฒเบเบฅเบถเบเบกเบฑเบเปเบเป.
root-ceph01-q:~#ceph osd crush remove default
เบเปเปเปเบ, เบเบงเบเปเบฎเบปเบฒเบเปเบฒเปเบเบฑเบเบเปเบญเบเบชเปเบฒเบเบเบปเบเบฅเบฐเบเบฝเบเบเบฒเบเปเบเบเบขเบฒเบเบเบตเปเบเบงเบเปเบฎเบปเบฒเบเบฐเบเบนเบเบกเบฑเบเบเบฑเบเบชเบฐเบเบธเบเปเบเบตเบเบตเปเบเบทเบเบชเปเบฒเบเบเบถเปเบ - เปเบเบเบปเบเบฅเบฐเบเบฝเบเบเบงเบเปเบฎเบปเบฒเบเบฐเบเบตเปเบเบญเบเบงเปเบฒเบฎเบฒเบเปเบเบชเบฒเบกเบฒเบเปเบชเปเบเปเปเบกเบนเบเบชเบฐเบเบธเบเปเบเบตเบเบญเบเบเบงเบเปเบฎเบปเบฒเปเบฅเบฐเบฅเบฐเบเบฑเบเบเบงเบฒเบกเปเบเบฑเบเปเบญเบเบฐเบฅเบฑเบเบเบญเบ replica - เบเบปเบงเบขเปเบฒเบเปเบเบฑเปเบ replicas เบเบฐเบเปเบญเบเบขเบนเปเปเบเปเบเบทเปเบญเบเปเบกเปเบเปเบฒเบเบเบตเปเปเบเบเบเปเบฒเบเบเบฑเบ, เบซเบผเบทเบขเบนเปเปเบ racks เบเบตเปเปเบเบเบเปเบฒเบเบเบฑเบ (เบเปเบฒเบเบชเบฒเบกเบฒเบเปเบกเปเปเบเปเบขเบนเปเปเบเบฎเบฒเบเบเบตเปเปเบเบเบเปเบฒเบเบเบฑเบ, เบเปเบฒเบเบงเบเปเบฎเบปเบฒเบกเบตเบเบฒเบเปเบเบเบขเบฒเบเบเบฑเปเบเบเปเบฒเบง)
เบเปเบญเบเบเบตเปเบเบฐเปเบฅเบทเบญเบเบเบฐเปเบเบ, เบกเบฑเบเบเบตเบเบงเปเบฒเบเบตเปเบเบฐเบญเปเบฒเบเปเบญเบเบฐเบชเบฒเบ:
root-ceph01-q:~#ceph osd crush rule create-simple rule-ssd ssd-root host firstn
root-ceph01-q:~#ceph osd crush rule create-simple rule-hdd hdd-root host firstn
root-ceph01-q:~# ะั ัะบะฐะทะฐะปะธ ะดะฒะฐ ะฟัะฐะฒะธะปะฐ, ะฒ ะบะพัะพััั
ะดะฐะฝะฝัะต ัะตะฟะปะธัะธัััััั
root-ceph01-q:~# ะผะตะถะดั ั
ะพััะฐะผะธ - ัะพ ะตััั ัะตะฟะปะธะบะฐ ะดะพะปะถะฝะฐ ะปะตะถะฐัั ะฝะฐ ะดััะณะพะผ ั
ะพััะต,
root-ceph01-q:~# ะดะฐะถะต ะตัะปะธ ะพะฝะธ ะฒ ะพะดะฝะพะน ััะพะนะบะต
root-ceph01-q:~# ะ ะฟัะพะดะฐะบัะตะฝะต, ะตัะปะธ ะตััั ะฒะพะทะผะพะถะฝะพััั, ะปัััะต ัะฐัะฟัะตะดะตะปะธัั ั
ะพััั
root-ceph01-q:~# ะฟะพ ััะพะนะบะฐะผ ะธ ัะบะฐะทะฐัั ัะฐัะฟัะตะดะตะปััั ัะตะฟะปะธะบะธ ะฟะพ ััะพะนะบะฐะผ:
root-ceph01-q:~# ##ceph osd crush rule create-simple rule-ssd ssd-root rack firstn
เบเบต, เบเบงเบเปเบฎเบปเบฒเบชเปเบฒเบเบชเบฐเบเบธเบเปเบเบตเบเบตเปเบเบงเบเปเบฎเบปเบฒเบเปเบญเบเบเบฒเบเปเบเบฑเบเบฎเบฑเบเบชเบฒเบฎเบนเบเบเบฒเบเปเบเปเบเบเบญเบ virtualization เบเบญเบเบเบงเบเปเบฎเบปเบฒเปเบเบญเบฐเบเบฒเบเบปเบ - PROXMOX:
root-ceph01-q:~# #ceph osd pool create {NAME} {pg_num} {pgp_num}
root-ceph01-q:~# ceph osd pool create ssd_pool 1024 1024
root-ceph01-q:~# ceph osd pool create hdd_pool 1024 1024
เปเบฅเบฐเบเบงเบเปเบฎเบปเบฒเบเบญเบเบชเบฐเบเบธเบเปเบเบตเปเบซเบผเบปเปเบฒเบเบตเปเบงเปเบฒเบเบปเบเบฅเบฐเบเบฝเบเบเบฒเบเบเบฑเบเบเปเบฒเปเบซเบเปเบเปเบเบเบตเปเบเบฐเปเบเป
root-ceph01-q:~#ceph osd crush rule ls # ัะผะพััะธะผ ัะฟะธัะพะบ ะฟัะฐะฒะธะป
root-ceph01-q:~#ceph osd crush rule dump rule-ssd | grep rule_id #ะฒัะฑะธัะฐะตะผ ID ะฝัะถะฝะพะณะพ
root-ceph01-q:~#ceph osd pool set ssd_pool crush_rule 2
เบเบฒเบเปเบฅเบทเบญเบเบเบญเบเบเปเบฒเบเบงเบเบเบธเปเบกเบเบฒเบเบเบฑเบเบเปเบฒเปเบซเบเปเบเบเปเบญเบเปเบเปเบฎเบฑเบเบเบฒเบเปเบเบปเปเบฒเบซเบฒเบเปเบงเบเบงเบดเปเบชเบเบฑเบเบเบตเปเบกเบตเบขเบนเปเปเบฅเปเบงเบชเปเบฒเบฅเบฑเบเบเบธเปเบกเบเบญเบเบเปเบฒเบ - เบเบฐเบกเบฒเบเบเปเบฒเบเบงเบ OSDs เบเบฐเบกเบตเบขเบนเปเปเบเบเบฑเปเบ, เบเปเบฒเบเบงเบเบเปเปเบกเบนเบ (เปเบเบฑเบเบชเปเบงเบเบฎเปเบญเบเบเบญเบเบเบฐเบฅเบดเบกเบฒเบเบเบฑเบเบซเบกเบปเบ) เบขเบนเปเปเบเบชเบฐเบเบธเบเปเบเบต, เปเบกเปเบเบซเบเบฑเบ. เบเปเบฒโเบเบงเบโเบเบฑเบโเบซเบกเบปเบโเบเบญเบโเบเปเปโเบกเบนเบโ.
เปเบเบเปเบฒเบเบงเบเบเบฑเบเบซเบกเบปเบ, เบกเบฑเบเปเบเบฐเบเปเบฒเปเบซเปเบเปเปเบกเบตเบซเบผเบฒเบเบเปเบงเบฒ 300 เบเบธเปเบกเบเบฒเบเบเบฑเบเบงเบฒเบเปเบเปเบเปเบ, เปเบฅเบฐเบกเบฑเบเบเบฐเบเปเบฒเบเบเปเปเบเบฒเบเบเบธเปเบเบเปเบฝเบเบเบฑเบเบเบธเปเบกเบเบฒเบเบเบฑเบเบงเบฒเบเบเบฐเบซเบเบฒเบเบเปเบญเบ - เบเบฑเปเบเปเบกเปเบ, เบเปเบฒเบชเบฐเบเบธเบเปเบเบตเบเบฑเบเบซเบกเบปเบเบเบญเบเปเบเบปเปเบฒเปเบเปเปเบงเบฅเบฒเปเบเบดเบ 10 Tb เปเบฅเบฐเบกเบต 10 PG เปเบเบกเบฑเบ - เบซเบผเบฑเบเบเบฒเบเบเบฑเปเบเบเบฒเบเบเบธเปเบเบเปเบฝเบ. เปเบเบเบเบฒเบเบเบดเปเบกเบเบดเบเบเบตเป terabyte (pg) เบเบฐเปเบเบฑเบเบเบฑเบเบซเบฒ - เบเบญเบเบเบดเบเบเบฒเบเบเบตเปเบกเบตเปเบกเบฑเบเบเบฒเบเบเบตเปเบกเบตเบเบฐเบซเบเบฒเบเบเปเบญเบเปเบเบปเปเบฒเปเบเปเบเบเบฑเบเบเบตเปเบเปเบฒเบเปเบฅเบฐเปเบเบปเปเบฒเบเบฝเบกเบเบฑเบ).
เปเบเปเบเบงเบเปเบฎเบปเบฒเบเปเบญเบเบเบทเปเปเบงเปเบงเปเบฒเบเปเบฒเบเบงเบ PGs เบซเบผเบฒเบ, เบเบฑเบเบเบฐเบเบฒเบเบญเบเบซเบผเบฒเบเปเบกเปเบเปเบเปเปเบเบเบฒเบเบเบดเบเปเบฅเปเบชเบฐเบเบฒเบเบเบตเปเบเบญเบเบเบงเบเปเบเบปเบฒ - เบซเบเปเบงเบเบเบงเบฒเบกเบเปเบฒเปเบฅเบฐ CPU เปเบฅเบตเปเบกเบเบปเปเบเบเบทเบเบเปเบฒเปเบเป.
เบเบงเบฒเบกเปเบเบปเปเบฒเปเบเบซเบเบฒเบเบเบฒเบเบญเบฒเบเบเบฐ
เบเบฑเบเบเบตเบฅเบฒเบเบเบทเปเบงเบฑเบเบชเบฐเบเบธ:
เปเบซเบผเปเบเบเปเปเบกเบนเบ: www.habr.com