ααΆαααααΎαααΎα CEPH α αααααααΈ 1
ααΎαααΆααααΆαααα ααα½αααααΆα αα»αααΆααα’α»ααα·αα ααα½αααα ααΆαααααααα ααΆαααααααα BGP ααΈααα½αααα SSDs αα·αααΆα SAS αααααααα αα·αααα α ααααααΆααααααΌααααΌα αα·αααααααααΆααααΆααΎααααΈααΆαααα·αααααααα·αα·ααααααΆααα’αααα αααα»αααααΆαααααα»α S3 ααααααΎαααααΆααα αα·ααααααΆα’αααΈαααΆααα’αααααααααΌαααΆααααααΆαααα·αααα·ααα ααα»αααααα ααααααα’αααα αΆααααααΎαααααΎ opensource αααααΆααααααααΎααΆαα ααααα αααΌαα α·αααααααα’ααααα αΌααααααΈαααα ααα ααΏααααα½αααααααααααΆααααα»αααΊ BGP α αα·αααΆαααααΆααααΆαααα αααα»ααα·ααααααααα’αααααααΉα ααααΆαααΆαααα½ααα»αααααΌα αα·αα’ααΈααααααΆαααΆαααΉαααΆα BGP αααααααα»ααααααα α αΎαβαααα»αβααΆαβααΉαβααΆβααααα·α βαααβααΎαβααΉαβα αΌαβαα βαααα»αβααΆα
αα·α
αα
ααΆαααΊααΌα
ααΆα
- ααΆα CEPH ααα»ααααααΆαα·αααααΎαααΆαααα’ααα ααΆα
αΆαααΆα
ααααα»αααΆαααααΎ "ααα’" α
α
αααααβαααβαααα»αβααΆαβααα½αβααΊβαα»αβααααΆβαααΆαβααΏαβααααα½αβαα·αβα’αα»ααααβαα·αβααΆαβααααα½αα ααΆααΆαααΈααααα»αααααααΆαααααααααααΆ ααααααα‘αΆα
ααααααααααααΆαα½αααΎααα½ααΆα
ααααα αα·ααααααΆαααΆααΆαααα ααααΆααααααΌαααΆαααααααααααΆααα½ααααααα - αααααα SSD ααΈαααααααααααααααΌαααΆααα
αααα»αα
αααΆααααΆααααΈαααΆα
ααααα‘αα αα·ααααααα HDD ααΈααααααααααααΆαααα ααα»ααααααΆ αααααΌαααΆααααα»ααααα»αααΈααΈα αααα αΆαααααΆαααα ααα»ααααααΆααααΌαααΆααααααααΆαααααααααα OSD αα»ααααααΆα
ααΆααααα ααααα½αααΆααααΌαααΆααααα ααααΆααΈαααααα - ααΆααααααααΌαααααααααααααα·ααααα·ααΆα ΠΈ ααΆααααααααΌα CEPH αααα½αα―α αα·αααΆααααααααααααΆα
αααα»αααα‘αΎαααααααααααααα·ααααα·ααΆα
αααααΆα
ααΆαααΊααααΆαααααααααααΆαααααααΆααα αα·ααα»αααααΆαα αα ααααα - αααααΆααααααΆαααΈααααααααΉααα·αααα½αααΆαααΆαααααΎαααα’αααΈααΆαααααααααααααα αΌααααααΆαα αααααα·αααααααα αααα»ααααα»αααΆαααααααααααααααΆααααΈααΆαααααααα αααααΆαα αααΆαααααααΆααααΆαα ααα αΆαααΆαα αααααα αααα»ααααααΈ CRUSH ααΊααΆα’αααα αααααα½ααααα»ααα½ααααΆαααΈα αααααΆααααααααααΌαααΆαααααΎααααΆααα
α ααα»ααΌα ααααα αΎα ααΏαααααΌαααααααα»ααααααα α α·αααααααΎααΊαααααααααααΆααα αα α»ααααααααααα·α αααααααααααααΆααΆααααα α»ααααα αΌααααα»αα±ααααααΆααααΈαα αααααΆαααΆα ααααα‘ααα
ααΎααααΈα αΆααααααΎαααΆαα½α αααα»αααΆαααααααααΆααααααααααΆααααααΆαα αααα»αα αΆααααααΎαααααααα ααα½αα
ααΎααΆαα’αααΈααΎαα‘αΎαα
ethtool -l ens1f1
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
root@ceph01:~# ethtool -g ens1f1
Ring parameters for ens1f1:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 256
RX Mini: 0
RX Jumbo: 0
TX: 256
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
ααΆα’αΆα ααααΌαααΆαααααΎαααΎαααΆαααΆαααΆαααααααα αα α»ααααααααΊαα ααααΆαααΈα’αα·ααααΆα ααΎαα‘αΎαα
root@ceph01:~#ethtool -G ens1f0 rx 4096
root@ceph01:~#ethtool -G ens1f0 tx 4096
root@ceph01:~#ethtool -L ens1f0 combined 63
ααααΆααααα’αααααααααα’αα½αα
ααΆααααααΎααααααααααα½ααααααΌα txqueuelen ααΈ 1000 αα 10
root@ceph01:~#ip link set ens1f0 txqueuelen 10000
ααΆααΆααααααΎαααΆαα, ααααΎααΆαα―αααΆααααα ceph αααα½αααΆααααΆαα
ααΆαααΎαα‘αΎα αα»αααα αα αΌαααα 9000 α
root@ceph01:~#ip link set dev ens1f0 mtu 9000
ααΆααααααααα /etc/network/interfaces ααΌα ααααααΆααα’ααααΆαααΎααααΌαααΆααααα»ααα αααα αΆααααααΎα
ααααΆ / α / αααααΆα / α ααα»α αααααΆαα
root@ceph01:~# cat /etc/network/interfaces
auto lo
iface lo inet loopback
auto ens1f0
iface ens1f0 inet manual
post-up /sbin/ethtool -G ens1f0 rx 4096
post-up /sbin/ethtool -G ens1f0 tx 4096
post-up /sbin/ethtool -L ens1f0 combined 63
post-up /sbin/ip link set ens1f0 txqueuelen 10000
mtu 9000
auto ens1f1
iface ens1f1 inet manual
post-up /sbin/ethtool -G ens1f1 rx 4096
post-up /sbin/ethtool -G ens1f1 tx 4096
post-up /sbin/ethtool -L ens1f1 combined 63
post-up /sbin/ip link set ens1f1 txqueuelen 10000
mtu 9000
αααααΆααααΈααα ααΆαα’αααααααααααα αααα»αα αΆααααααΎααα·ααααΆαααααα ααααΌαα ααα»α ααΆαααααΊααα 4.15 α ααααα·α αΆαααΆααΆααααΆααααΆα RAM 128G ααΎαααΆααααα αααααα―αααΆαααααααα ααΆαααααααααααααΆαα α’αααααΈα
ααααΆ /etc/sysctl.d/50-ceph.conf
net.core.rmem_max = 56623104
#ΠΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΡΠΉ ΡΠ°Π·ΠΌΠ΅Ρ Π±ΡΡΠ΅ΡΠ° ΠΏΡΠΈΠ΅ΠΌΠ° Π΄Π°Π½Π½ΡΡ
Π΄Π»Ρ Π²ΡΠ΅Ρ
ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΠΉ 54M
net.core.wmem_max = 56623104
#ΠΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΡΠΉ ΡΠ°Π·ΠΌΠ΅Ρ Π±ΡΡΠ΅ΡΠ° ΠΏΠ΅ΡΠ΅Π΄Π°ΡΠΈ Π΄Π°Π½Π½ΡΡ
Π΄Π»Ρ Π²ΡΠ΅Ρ
ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΠΉ 54M
net.core.rmem_default = 56623104
#Π Π°Π·ΠΌΠ΅Ρ Π±ΡΡΠ΅ΡΠ° ΠΏΡΠΈΠ΅ΠΌΠ° Π΄Π°Π½Π½ΡΡ
ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ Π΄Π»Ρ Π²ΡΠ΅Ρ
ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΠΉ. 54M
net.core.wmem_default = 56623104
#Π Π°Π·ΠΌΠ΅Ρ Π±ΡΡΠ΅ΡΠ° ΠΏΠ΅ΡΠ΅Π΄Π°ΡΠΈ Π΄Π°Π½Π½ΡΡ
ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ Π΄Π»Ρ Π²ΡΠ΅Ρ
ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΠΉ 54M
# Π½Π° ΠΊΠ°ΠΆΠ΄ΡΠΉ ΡΠΎΠΊΠ΅Ρ
net.ipv4.tcp_rmem = 4096 87380 56623104
#ΠΠ΅ΠΊΡΠΎΡΠ½Π°Ρ (ΠΌΠΈΠ½ΠΈΠΌΡΠΌ, ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ, ΠΌΠ°ΠΊΡΠΈΠΌΡΠΌ) ΠΏΠ΅ΡΠ΅ΠΌΠ΅Π½Π½Π°Ρ Π² ΡΠ°ΠΉΠ»Π΅ tcp_rmem
# ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ 3 ΡΠ΅Π»ΡΡ
ΡΠΈΡΠ»Π°, ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡΠΈΡ
ΡΠ°Π·ΠΌΠ΅Ρ ΠΏΡΠΈΠ΅ΠΌΠ½ΠΎΠ³ΠΎ Π±ΡΡΠ΅ΡΠ° ΡΠΎΠΊΠ΅ΡΠΎΠ² TCP.
# ΠΠΈΠ½ΠΈΠΌΡΠΌ: ΠΊΠ°ΠΆΠ΄ΡΠΉ ΡΠΎΠΊΠ΅Ρ TCP ΠΈΠΌΠ΅Π΅Ρ ΠΏΡΠ°Π²ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΡΡ ΠΏΠ°ΠΌΡΡΡ ΠΏΠΎ
# ΡΠ°ΠΊΡΡ ΡΠ²ΠΎΠ΅Π³ΠΎ ΡΠΎΠ·Π΄Π°Π½ΠΈΡ. ΠΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ ΡΠ°ΠΊΠΎΠ³ΠΎ Π±ΡΡΠ΅ΡΠ°
# Π³Π°ΡΠ°Π½ΡΠΈΡΡΠ΅ΡΡΡ Π΄Π°ΠΆΠ΅ ΠΏΡΠΈ Π΄ΠΎΡΡΠΈΠΆΠ΅Π½ΠΈΠΈ ΠΏΠΎΡΠΎΠ³Π° ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½ΠΈΡ (moderate memory pressure).
# Π Π°Π·ΠΌΠ΅Ρ ΠΌΠΈΠ½ΠΈΠΌΠ°Π»ΡΠ½ΠΎΠ³ΠΎ Π±ΡΡΠ΅ΡΠ° ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ ΡΠΎΡΡΠ°Π²Π»ΡΠ΅Ρ 8 ΠΠ±Π°ΠΉΡ (8192).
#ΠΠ½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ: ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΠΏΠ°ΠΌΡΡΠΈ, Π΄ΠΎΠΏΡΡΡΠΈΠΌΠΎΠ΅ Π΄Π»Ρ Π±ΡΡΠ΅ΡΠ°
# ΠΏΠ΅ΡΠ΅Π΄Π°ΡΠΈ ΡΠΎΠΊΠ΅ΡΠ° TCP ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ. ΠΡΠΎ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΏΡΠΈΠΌΠ΅Π½ΡΠ΅ΡΡΡ Π²Π·Π°ΠΌΠ΅Π½
# ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ° /proc/sys/net/core/rmem_default, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΠΌΠΎΠ³ΠΎ Π΄ΡΡΠ³ΠΈΠΌΠΈ ΠΏΡΠΎΡΠΎΠΊΠΎΠ»Π°ΠΌΠΈ.
# ΠΠ½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΠΌΠΎΠ³ΠΎ ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ Π±ΡΡΠ΅ΡΠ° ΠΎΠ±ΡΡΠ½ΠΎ (ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ)
# ΡΠΎΡΡΠ°Π²Π»ΡΠ΅Ρ 87830 Π±Π°ΠΉΡ. ΠΡΠΎ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅Ρ ΡΠ°Π·ΠΌΠ΅Ρ ΠΎΠΊΠ½Π° 65535 Ρ
# Π·Π°Π΄Π°Π½Π½ΡΠΌ ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ΠΌ tcp_adv_win_scale ΠΈ tcp_app_win = 0,
# Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΌΠ΅Π½ΡΡΠΈΠΉ, Π½Π΅ΠΆΠ΅Π»ΠΈ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅Ρ ΠΏΡΠΈΠ½ΡΡΠΎΠ΅ ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ tcp_app_win.
# ΠΠ°ΠΊΡΠΈΠΌΡΠΌ: ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΡΠΉ ΡΠ°Π·ΠΌΠ΅Ρ Π±ΡΡΠ΅ΡΠ°, ΠΊΠΎΡΠΎΡΡΠΉ ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ
# Π²ΡΠ΄Π΅Π»Π΅Π½ Π΄Π»Ρ ΠΏΡΠΈΠ΅ΠΌΠ° ΡΠΎΠΊΠ΅ΡΡ TCP. ΠΡΠΎ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ Π½Π΅ ΠΎΡΠΌΠ΅Π½ΡΠ΅Ρ ΠΌΠ°ΠΊΡΠΈΠΌΡΠΌΠ°,
# Π·Π°Π΄Π°Π½Π½ΠΎΠ³ΠΎ Π² ΡΠ°ΠΉΠ»Π΅ /proc/sys/net/core/rmem_max. ΠΡΠΈ Β«ΡΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠΌΒ»
# Π²ΡΠ΄Π΅Π»Π΅Π½ΠΈΠΈ ΠΏΠ°ΠΌΡΡΠΈ Ρ ΠΏΠΎΠΌΠΎΡΡΡ SO_RCVBUF ΡΡΠΎΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ Π½Π΅ ΠΈΠΌΠ΅Π΅Ρ Π·Π½Π°ΡΠ΅Π½ΠΈΡ.
net.ipv4.tcp_wmem = 4096 65536 56623104
net.core.somaxconn = 5000
# ΠΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎΠ΅ ΡΠΈΡΠ»ΠΎ ΠΎΡΠΊΡΡΡΡΡ
ΡΠΎΠΊΠ΅ΡΠΎΠ², ΠΆΠ΄ΡΡΠΈΡ
ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ.
net.ipv4.tcp_timestamps=1
# Π Π°Π·ΡΠ΅ΡΠ°Π΅Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ Π²ΡΠ΅ΠΌΠ΅Π½Π½ΡΡ
ΠΌΠ΅ΡΠΎΠΊ (timestamps), Π² ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΠΈ Ρ RFC 1323.
net.ipv4.tcp_sack=1
# Π Π°Π·ΡΠ΅ΡΠΈΡΡ Π²ΡΠ±ΠΎΡΠΎΡΠ½ΡΠ΅ ΠΏΠΎΠ΄ΡΠ²Π΅ΡΠΆΠ΄Π΅Π½ΠΈΡ ΠΏΡΠΎΡΠΎΠΊΠΎΠ»Π° TCP
net.core.netdev_max_backlog=5000 (Π΄Π΅ΡΠΎΠ»Ρ 1000)
# ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΠΏΠ°ΠΊΠ΅ΡΠΎΠ² Π² ΠΎΡΠ΅ΡΠ΅Π΄ΠΈ Π½Π° ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΡ, Π΅ΡΠ»ΠΈ
# ΠΈΠ½ΡΠ΅ΡΡΠ΅ΠΉΡ ΠΏΠΎΠ»ΡΡΠ°Π΅Ρ ΠΏΠ°ΠΊΠ΅ΡΡ Π±ΡΡΡΡΠ΅Π΅, ΡΠ΅ΠΌ ΡΠ΄ΡΠΎ ΠΌΠΎΠΆΠ΅Ρ ΠΈΡ
ΠΎΠ±ΡΠ°Π±ΠΎΡΠ°ΡΡ.
net.ipv4.tcp_max_tw_buckets=262144
# ΠΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎΠ΅ ΡΠΈΡΠ»ΠΎ ΡΠΎΠΊΠ΅ΡΠΎΠ², Π½Π°Ρ
ΠΎΠ΄ΡΡΠΈΡ
ΡΡ Π² ΡΠΎΡΡΠΎΡΠ½ΠΈΠΈ TIME-WAIT ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎ.
# ΠΡΠΈ ΠΏΡΠ΅Π²ΡΡΠ΅Π½ΠΈΠΈ ΡΡΠΎΠ³ΠΎ ΠΏΠΎΡΠΎΠ³Π° β Β«Π»ΠΈΡΠ½ΠΈΠΉΒ» ΡΠΎΠΊΠ΅Ρ ΡΠ°Π·ΡΡΡΠ°Π΅ΡΡΡ ΠΈ ΠΏΠΈΡΠ΅ΡΡΡ
# ΡΠΎΠΎΠ±ΡΠ΅Π½ΠΈΠ΅ Π² ΡΠΈΡΡΠ΅ΠΌΠ½ΡΠΉ ΠΆΡΡΠ½Π°Π».
net.ipv4.tcp_tw_reuse=1
#Π Π°Π·ΡΠ΅ΡΠ°Π΅ΠΌ ΠΏΠΎΠ²ΡΠΎΡΠ½ΠΎΠ΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ TIME-WAIT ΡΠΎΠΊΠ΅ΡΠΎΠ² Π² ΡΠ»ΡΡΠ°ΡΡ
,
# Π΅ΡΠ»ΠΈ ΠΏΡΠΎΡΠΎΠΊΠΎΠ» ΡΡΠΈΡΠ°Π΅Ρ ΡΡΠΎ Π±Π΅Π·ΠΎΠΏΠ°ΡΠ½ΡΠΌ.
net.core.optmem_max=4194304
#Π£Π²Π΅Π»ΠΈΡΠΈΡΡ ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΡΠΉ ΠΎΠ±ΡΠΈΠΉ Π±ΡΡΠ΅Ρ-ΠΊΠΎΡΠΌΠΈΡΠ΅ΡΠΊΠΎΠΉ ALLOCATABLE
#ΠΈΠ·ΠΌΠ΅ΡΡΠ΅ΡΡΡ Π² Π΅Π΄ΠΈΠ½ΠΈΡΠ°Ρ
ΡΡΡΠ°Π½ΠΈΡ (4096 Π±Π°ΠΉΡ)
net.ipv4.tcp_low_latency=1
#Π Π°Π·ΡΠ΅ΡΠ°Π΅Ρ ΡΡΠ΅ΠΊΡ TCP/IP ΠΎΡΠ΄Π°Π²Π°ΡΡ ΠΏΡΠ΅Π΄ΠΏΠΎΡΡΠ΅Π½ΠΈΠ΅ Π½ΠΈΠ·ΠΊΠΎΠΌΡ Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ ΠΎΠΆΠΈΠ΄Π°Π½ΠΈΡ
# ΠΏΠ΅ΡΠ΅Π΄ Π±ΠΎΠ»Π΅Π΅ Π²ΡΡΠΎΠΊΠΎΠΉ ΠΏΡΠΎΠΏΡΡΠΊΠ½ΠΎΠΉ ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡΡΡ.
net.ipv4.tcp_adv_win_scale=1
# ΠΡΠ° ΠΏΠ΅ΡΠ΅ΠΌΠ΅Π½Π½Π°Ρ Π²Π»ΠΈΡΠ΅Ρ Π½Π° Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΠ΅ ΠΎΠ±ΡΠ΅ΠΌΠ° ΠΏΠ°ΠΌΡΡΠΈ Π² Π±ΡΡΠ΅ΡΠ΅ ΡΠΎΠΊΠ΅ΡΠ°,
# Π²ΡΠ΄Π΅Π»ΡΠ΅ΠΌΠΎΠΉ ΠΏΠΎΠ΄ ΡΠ°Π·ΠΌΠ΅Ρ TCP-ΠΎΠΊΠ½Π° ΠΈ ΠΏΠΎΠ΄ Π±ΡΡΠ΅Ρ ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΡ.
# ΠΡΠ»ΠΈ Π²Π΅Π»ΠΈΡΠΈΠ½Π° tcp_adv_win_scale ΠΎΡΡΠΈΡΠ°ΡΠ΅Π»ΡΠ½Π°Ρ, ΡΠΎ Π΄Π»Ρ Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΡ ΡΠ°Π·ΠΌΠ΅ΡΠ°
# ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ ΡΠ»Π΅Π΄ΡΡΡΠ΅Π΅ Π²ΡΡΠ°ΠΆΠ΅Π½ΠΈΠ΅:
# Bytes- bytes2Π² ΡΡΠ΅ΠΏΠ΅Π½ΠΈ -tcp_adv_win_scale
# ΠΠ΄Π΅ bytes β ΡΡΠΎ ΡΠ°Π·ΠΌΠ΅Ρ ΠΎΠΊΠ½Π° Π² Π±Π°ΠΉΡΠ°Ρ
. ΠΡΠ»ΠΈ Π²Π΅Π»ΠΈΡΠΈΠ½Π° tcp_adv_win_scale
# ΠΏΠΎΠ»ΠΎΠΆΠΈΡΠ΅Π»ΡΠ½Π°Ρ, ΡΠΎ Π΄Π»Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΡ ΡΠ°Π·ΠΌΠ΅ΡΠ° ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ ΡΠ»Π΅Π΄ΡΡΡΠ΅Π΅ Π²ΡΡΠ°ΠΆΠ΅Π½ΠΈΠ΅:
# Bytes- bytes2Π² ΡΡΠ΅ΠΏΠ΅Π½ΠΈ tcp_adv_win_scale
# ΠΠ΅ΡΠ΅ΠΌΠ΅Π½Π½Π°Ρ ΠΏΡΠΈΠ½ΠΈΠΌΠ°Π΅Ρ ΡΠ΅Π»ΠΎΠ΅ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅. ΠΠ½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΏΠΎ-ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ β 2,
# Ρ.Π΅. ΠΏΠΎΠ΄ Π±ΡΡΠ΅Ρ ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΡ ΠΎΡΠ²ΠΎΠ΄ΠΈΡΡΡ ΒΌ ΡΠ°ΡΡΡ ΠΎΠ±ΡΠ΅ΠΌΠ°, ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅ΠΌΠΎΠ³ΠΎ ΠΏΠ΅ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠΉ
# tcp_rmem.
net.ipv4.tcp_slow_start_after_idle=0
# ΠΌΠ΅Ρ
Π°Π½ΠΈΠ·ΠΌ ΠΏΠ΅ΡΠ΅Π·Π°ΠΏΡΡΠΊΠ° ΠΌΠ΅Π΄Π»Π΅Π½Π½ΠΎΠ³ΠΎ ΡΡΠ°ΡΡΠ°, ΠΊΠΎΡΠΎΡΡΠΉ ΡΠ±ΡΠ°ΡΡΠ²Π°Π΅Ρ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΎΠΊΠ½Π°
# ΠΏΠ΅ΡΠ΅Π³ΡΡΠ·ΠΊΠΈ, Π΅ΡΠ»ΠΈ ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΠ΅ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π»ΠΎΡΡ Π·Π°Π΄Π°Π½Π½ΡΠΉ ΠΏΠ΅ΡΠΈΠΎΠ΄ Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ.
# ΠΡΡΡΠ΅ ΠΎΡΠΊΠ»ΡΡΠΈΡΡ SSR Π½Π° ΡΠ΅ΡΠ²Π΅ΡΠ΅, ΡΡΠΎΠ±Ρ ΡΠ»ΡΡΡΠΈΡΡ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΡ
# Π΄ΠΎΠ»Π³ΠΎΠΆΠΈΠ²ΡΡΠΈΡ
ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΠΉ.
net.ipv4.tcp_no_metrics_save=1
#ΠΠ΅ ΡΠΎΡ
ΡΠ°Π½ΡΡΡ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ ΠΈΠ·ΠΌΠ΅ΡΠ΅Π½ΠΈΠΉ TCP ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ Π² ΠΊΠ΅ΡΠ΅ ΠΏΡΠΈ Π΅Π³ΠΎ Π·Π°ΠΊΡΡΡΠΈΠΈ.
net.ipv4.tcp_syncookies=0
#ΠΡΠΊΠ»ΡΡΠΈΡΡ ΠΌΠ΅Ρ
Π°Π½ΠΈΠ·ΠΌ ΠΎΡΠΏΡΠ°Π²ΠΊΠΈ syncookie
net.ipv4.tcp_ecn=0
#Explicit Congestion Notification (Π―Π²Π½ΠΎΠ΅ Π£Π²Π΅Π΄ΠΎΠΌΠ»Π΅Π½ΠΈΠ΅ ΠΎ ΠΠ΅ΡΠ΅Π³ΡΡΠΆΠ΅Π½Π½ΠΎΡΡΠΈ) Π²
# TCP-ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡΡ
. ΠΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ Π΄Π»Ρ ΡΠ²Π΅Π΄ΠΎΠΌΠ»Π΅Π½ΠΈΡ ΠΎ Π²ΠΎΠ·Π½ΠΈΠΊΠ½ΠΎΠ²Π΅Π½ΠΈΠΈ Β«Π·Π°ΡΠΎΡΠ°Β»
# Π½Π° ΠΌΠ°ΡΡΡΡΡΠ΅ ΠΊ Π·Π°Π΄Π°Π½Π½ΠΎΠΌΡ Ρ
ΠΎΡΡΡ ΠΈΠ»ΠΈ ΡΠ΅ΡΠΈ. ΠΠΎΠΆΠ΅Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡΡΡ Π΄Π»Ρ ΠΈΠ·Π²Π΅ΡΠ΅Π½ΠΈΡ
# Ρ
ΠΎΡΡΠ°-ΠΎΡΠΏΡΠ°Π²ΠΈΡΠ΅Π»Ρ ΠΎ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎΡΡΠΈ ΡΠ½ΠΈΠ·ΠΈΡΡ ΡΠΊΠΎΡΠΎΡΡΡ ΠΏΠ΅ΡΠ΅Π΄Π°ΡΠΈ ΠΏΠ°ΠΊΠ΅ΡΠΎΠ² ΡΠ΅ΡΠ΅Π·
# ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΡΠΉ ΠΌΠ°ΡΡΡΡΡΠΈΠ·Π°ΡΠΎΡ ΠΈΠ»ΠΈ Π±ΡΠ°Π½Π΄ΠΌΠ°ΡΡΡ.
net.ipv4.conf.all.send_redirects=0
# Π²ΡΠΊΠ»ΡΡΠ°Π΅Ρ Π²ΡΠ΄Π°ΡΡ ICMP Redirect β¦ Π΄ΡΡΠ³ΠΈΠΌ Ρ
ΠΎΡΡΠ°ΠΌ. ΠΡΠ° ΠΎΠΏΡΠΈΡ ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΠΎ
# Π΄ΠΎΠ»ΠΆΠ½Π° Π±ΡΡΡ Π²ΠΊΠ»ΡΡΠ΅Π½Π°, Π΅ΡΠ»ΠΈ Ρ
ΠΎΡΡ Π²ΡΡΡΡΠΏΠ°Π΅Ρ Π² ΡΠΎΠ»ΠΈ ΠΌΠ°ΡΡΡΡΡΠΈΠ·Π°ΡΠΎΡΠ° Π»ΡΠ±ΠΎΠ³ΠΎ ΡΠΎΠ΄Π°.
# Π£ Π½Π°Ρ Π½Π΅Ρ ΠΌΠ°ΡΡΡΡΡΠΈΠ·Π°ΡΠΈΠΈ.
net.ipv4.ip_forward=0
#Π‘ΠΎΠΏΡΠ½ΠΎ ΠΎΡΠΊΠ»ΡΡΠ΅Π½ΠΈΠ΅ ΡΠΎΡΠ²Π°ΡΠ΄ΠΈΠ½Π³Π°. ΠΡ Π½Π΅ ΡΠ»ΡΠ·, Π΄ΠΎΠΊΠ΅Ρ Π½Π° ΠΌΠ°ΡΠΈΠ½Π°Ρ
Π½Π΅ ΠΏΠΎΠ΄Π½ΡΡ,
# Π½Π°ΠΌ ΡΡΠΎ Π½Π΅ Π½ΡΠΆΠ½ΠΎ.
net.ipv4.icmp_echo_ignore_broadcasts=1
#ΠΠ΅ ΠΎΡΠ²Π΅ΡΠ°Π΅ΠΌ Π½Π° ICMP ECHO Π·Π°ΠΏΡΠΎΡΡ, ΠΏΠ΅ΡΠ΅Π΄Π°Π½Π½ΡΠ΅ ΡΠΈΡΠΎΠΊΠΎΠ²Π΅ΡΠ°ΡΠ΅Π»ΡΠ½ΡΠΌΠΈ ΠΏΠ°ΠΊΠ΅ΡΠ°ΠΌΠΈ
net.ipv4.tcp_fin_timeout=10
#ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅Ρ Π²ΡΠ΅ΠΌΡ ΡΠΎΡ
ΡΠ°Π½Π΅Π½ΠΈΡ ΡΠΎΠΊΠ΅ΡΠ° Π² ΡΠΎΡΡΠΎΡΠ½ΠΈΠΈ FIN-WAIT-2 ΠΏΠΎΡΠ»Π΅ Π΅Π³ΠΎ
# Π·Π°ΠΊΡΡΡΠΈΡ Π»ΠΎΠΊΠ°Π»ΡΠ½ΠΎΠΉ ΡΡΠΎΡΠΎΠ½ΠΎΠΉ. ΠΠ΅ΡΠΎΠ»Ρ 60
net.core.netdev_budget=600 # (Π΄Π΅ΡΠΎΠ»Ρ 300)
# ΠΡΠ»ΠΈ Π²ΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ½ΡΡ
ΠΏΡΠ΅ΡΡΠ²Π°Π½ΠΈΠΉ Π½Π΅ Π²ΡΠΏΠΎΠ»Π½ΡΡΡΡΡ Π΄ΠΎΡΡΠ°ΡΠΎΡΠ½ΠΎ Π΄ΠΎΠ»Π³ΠΎ,
# ΡΠΎ ΡΠ΅ΠΌΠΏ ΡΠΎΡΡΠ° Π²Ρ
ΠΎΠ΄ΡΡΠΈΡ
Π΄Π°Π½Π½ΡΡ
ΠΌΠΎΠΆΠ΅Ρ ΠΏΡΠ΅Π²ΡΡΠΈΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΡΠ΄ΡΠ°
# ΠΎΠΏΡΡΡΠΎΡΠΈΡΡ Π±ΡΡΠ΅Ρ. Π ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠ΅ Π±ΡΡΠ΅ΡΡ NIC ΠΏΠ΅ΡΠ΅ΠΏΠΎΠ»Π½ΡΡΡΡ, ΠΈ ΡΡΠ°ΡΠΈΠΊ Π±ΡΠ΄Π΅Ρ ΠΏΠΎΡΠ΅ΡΡΠ½.
# ΠΠ½ΠΎΠ³Π΄Π°, Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ ΡΠ²Π΅Π»ΠΈΡΠΈΡΡ Π΄Π»ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΡ ΡΠ°Π±ΠΎΡΡ SoftIRQs
# (ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ½ΡΡ
ΠΏΡΠ΅ΡΡΠ²Π°Π½ΠΈΠΉ) Ρ CPU. ΠΠ° ΡΡΠΎ ΠΎΡΠ²Π΅ΡΠ°Π΅Ρ netdev_budget.
# ΠΠ½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ 300. ΠΠ°ΡΠ°ΠΌΠ΅ΡΡ Π·Π°ΡΡΠ°Π²ΠΈΡ ΠΏΡΠΎΡΠ΅ΡΡ SoftIRQ ΠΎΠ±ΡΠ°Π±ΠΎΡΠ°ΡΡ
# 300 ΠΏΠ°ΠΊΠ΅ΡΠΎΠ² ΠΎΡ NIC ΠΏΠ΅ΡΠ΅Π΄ ΡΠ΅ΠΌ ΠΊΠ°ΠΊ ΠΎΡΠΏΡΡΡΠΈΡΡ CPU
net.ipv4.tcp_fastopen=3
# TFO TCP Fast Open
# Π΅ΡΠ»ΠΈ ΠΈ ΠΊΠ»ΠΈΠ΅Π½Ρ ΠΈ ΡΠ΅ΡΠ²Π΅Ρ ΠΈΠΌΠ΅ΡΡ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΡ TFO, ΠΎ ΠΊΠΎΡΠΎΡΠΎΠΉ ΡΠΎΠΎΠ±ΡΠ°ΡΡ Π·Π° ΡΡΠ΅Ρ
# ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½ΠΎΠ³ΠΎ ΡΠ»Π°Π³Π° Π² TCP ΠΏΠ°ΠΊΠ΅ΡΠ΅. Π Π½Π°ΡΠ΅ΠΌ ΡΠ»ΡΡΠ°Π΅ ΡΠ²Π»ΡΠ΅ΡΡΡ ΠΏΠ»Π°ΡΠ΅Π±ΠΎ, ΠΏΡΠΎΡΡΠΎ
# Π²ΡΠ³Π»ΡΠ΄ΠΈΡ ΠΊΡΠ°ΡΠΈΠ²ΠΎ)
Π‘αααααΆααααααΊ ααααΌαααΆααααα αααα ααΎα ααα»α αααααΆαααααααΆα 10Gbps ααΆα ααααα‘αααα αααα»ααααααΆααααααααααααΆα ααααα‘ααα αααΆαααΈαααΈαα½ααααααΌαααΆαααααΆαααααααΆααααααΆαα αααααΈα ααα‘αΆαα»α 10/25 Gbps, αααα αΌααα αααα»ααα»αααΆαα 10Gbps ααΈαααΆα ααααα‘ααα ααΆααααααΌααααα»αααααΌαααΆαα’αα»αααααααααααΎ OSPF α αΆααααΆααααΈααΆαααααΆααααΆαα½α lacp αααααΆααα ααα»αααα½αα ααα½αααΆααααα αΆαααΈααΆααααααΌαααα»αα’αα·ααααΆ 16 Gbps ααααααααα ospf ααΆαααααΎααααΆαααααααααααααΆααααααα ααΎαααΆαααΈαααΈαα½ααα αααααΆαααΆαααα’ααΆααααΊααΎααααΈααΆαααα’αααααααααααααΈ ROCE αα ααΎ melanoxes ααΆαααααααΎααααΈααΆαααααααααΆαααΊααααΆαα ααααααα‘αΎαααααααααααααΆααααα
- αααααΆααααΆαααΈααααα½αα―αααΆαα’αΆααααααΆα IP ααΆααααα
αα
ααΎ BGP ααΎαααααΌαααΆααααααα·ααΈ - (α
αααΆααααΆαααααα
ααα ααΊαα
ααααααααα’αααααααα
frr=6.0-1 ) ααΆααααα½α α αΎαα - ααα»ααα αααΆαααΈαααΆαα ααα»α αααααΆαααααααΆαααΈα αααααΈαα½ααααΆαα ααα»α αααααΆααααΈα - α αααααα»αα ααα½α 4 α ααΆααααααΆααα½αααΎααααα ααααααααΆαα αααααΈα α αΎα BGP ααααΌαααΆαααααααα ααΆαααααααααα ααΎααΆ ααΈααΈαααΎαααΎαα»αααΆααααΈααααααααααΆαααααΆαα αααααΈα α αΎα OSPF ααααΌαααΆαααααααα ααΎααΆ
ααααααΆααααα’α·αααααααα’αααΈααΆαααα‘αΎα OSPFα ααΆααα·α
αα
α
ααααααΊααΆααααααΌααααα»ααααααααΆααααΈα αα·αααΆαααΆαα’αααααααα
ααααααα α»αα
α
ααα»α
αααααΆαααααααΆαααΈαααααΌαααΆαααααααα
ααΆααααααααααΆαααααΆααααααααααααΆααααααΈα - 10.10.10.0/24 αα·α 10.10.20.0/24
1: ens1f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.10.2/24 brd 10.10.10.255 scope global ens1f0
2: ens1f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.20.2/24 brd 10.10.20.255 scope global ens1f1
αααααααααααΎαααΎαααααΆαα αα·ααα ααα
ααΈα
ααα αΆααααααΆααααΊααΎααααΈαααααΎαααααα·αααααΆαααΆαα αααααΆαα SSD αααα»αααΆαααααΌααααααα·ααΈαααααααααα
ααααα·ααα»ααααααΆαα HDD - αα»αααααα. ααΎααααΈαα·ααΆαααααααααα NOOP ααααΎααΆαααΎαααααΆααααα "first in, first out" ααααα
αααα»αααΆααΆα’αααααααααααΆαααα
ααΌα
ααΆ "FIFO (First In, First Out)"α ααααΎααααΌαααΆααααααααα½ααα
ααααα½ααααααααα DEADLINE ααΊβααΆβααΆαβααααααβαα·αβα’αΆαβα
αααΎαβααΆα ααΌαβααΉαβααααΎαβααΆαβαααβααΆαβααΆααβααΆβαα½αβααα½αβααΆαβααΆαβα
αΌαβααααΎααααΆααβααααΎαααβααααΆα
αβαα»αβαα
βααΆααβααΆαβαα
βαααβααααα·ααααα·ααΆαα αααααΊααα’α₯αααα
αααααααΆααααααααααααααααΎα - αααααΆααααΈααΆααα’αα ααααΎαααΆααααα½αααααΎαααΆαααΆαα½αααΆαααΈαα½αα - αααα·α OSD α
(α’ααααααα
ααα
αΌααα
αααα»ααααααα·ααΈαααααααα I/O α’αΆα
α’αΆαα’αααΈααΆαα
ααΈαααα
α’ααααααα
αΌαα
α·αααα’αΆαααΆααΆααΆαα»ααααΈα
αα αααα»αααΆαααααΆααααααΆααααΆααααααααΌαααΈαα»α ααΆααααΌαααΆαααααΆααααααααΎααααΈαααααΎα nr_request
ααααΆα_ααααΌααα
ααααααα nr_requests αααααααα·ααΆαααααααΎ I/O αααααααΌαααΆαααα’αΆα αα»αααααααααα·ααΈαααααααα I/O ααααΎ/ααα½ααα·αααααααα ααΆααα§ααααααααααααΆαα ααααα·αααΎα’ααααααα»αααααΎααΆα RAID / α§ααααααααα»ααααα’αΆα ααααααααααα½αααααΆαα’αααΈααααααα»α αααααα·ααΈαααααααα /O ααααΌαααΆαααααααα ααΆααααααΎαααααααα nr_requests α’αΆα αα½ααααααα’ αα·αααΆαααααααααΆααααα»ααααΆαααΈααα αα ααααααα ααα½ααααααα I/O ααΎαα‘αΎααα ααΎαααΆαααΈαααα ααααα·αααΎα’ααααααα»αααααΎ Deadline α¬ CFQ ααΆα’ααααααααααα ααΆααααΌαααΆαααααΆαααΆα’ααααα½ααααααααααααα nr_request αα 2 ααααααααααααααα αα½αα
αα! αααααΆαααααααααα½αα―αααΆα’αααα’αα·αααααα CEPH αααα α»ααααα αΌαααΎαααΆααααααααα’αΆαα·ααΆααααααα½αααααααΎαααΆααααααΎαααΆααα»αα
WBThrottle αα·α/α¬ nr_requests
WBThrottle αα·α/α¬ nr_requests
ααΆααααα»αα―αααΆαααααΎ I/O ααααααα’αΆαααααααααΆααααΆααααααα ααΆααΆαααααΌαα’ααααααααααααα½αα ααα½α ααααα·αααΎαααααα ααα»αααα»αα―αααΆααα ααΎααααααΏαααΆααα»αα ααααΎααααα’αα·αα·ααααααΌαααΆαααΌαααααΉαααααΆαααα αααααααα·ααααααααααΌαααΆαααααααα αααα»ααααααα ααα» α αΎααααααΆααααααααΌαααΆααααα αΌααα ααΆααααΆααα·ααααααααααααα½αα―ααα αααααααααααααααΎαα»αααΆααααααααΆαααΈαα»α α αααααααΎα±ααααΆα’αΆα ααααΎαα ααΆααααααΆαα spindle OSDs ααΎααααΈαααααααΆαααΊααααΆααααα»αααΆααααααααααααααΉα SSDs αα ααααααααααΆαα»αααΌα αα ααΆαααααααααα‘αααααα·αααααααααΆαααααααααα’αα»ααααΆαα±ααααΊααααααα½αααΆαααα αα‘αΎααα·αααΌαααααΎ I/O ααααααΈα ααααααααΉαααΆααΉαα’αΆα αααα αΌααα½αααΆααΆαα½αααααΆ α¬α’αα»ααααΆαα±ααααααΆαααΆααααααΆαααααΆααααααΎαααΎαααααΌααααααααΎααα½αα ααα½ααα ααΎα αΆαααΆααααααααααααα½αααα α₯αααα·αααα»αααααΊααΆα’αααα’αΆα α ααααΆα α I/O α ααααΈααΈαααΈαα½ααα αααΎαααΆαααΆααααα’αΆα ααααΎαα ααΆαααΆαα½α I/O ααααΆααα¬ααααΆαααααα
ααααααΆαααΆααααα αααα αΆααΆααααΆαααα½αααΎαα‘αΎαααααα·αααΎααα·ααΆααααααααααααΆα αΌααα ααΆααα ααααα Ceph αααααΆααααααα±ααααΎαααΈαααααααΆαααΆααα’ααααααΆαααΌαααααΆαα αα αααα»αααααΆααΈαααΌααα α ααα½αααα»αααααααα·ααααα·ααΆα I/O ααααααα»ααααα αΆαααααααα αΆαααααΌαααΆαααααααα ααΆαα’αΆα ααΎαα‘αΎαααααα·αα’αΆα αααααααααααΆα α αΎαααΆαααααααα αααα»ααα½α I/O ααααααα½αααΈα αα·α Ceph ααΆααααΌαα ααααΎβα’αΆαβααααΌαβααΆαβαααααΆααβααΆβαα·αααβαααααβααΆβααΆααβααΆααβαααΆαβααααΎβααααα αααβα’αΆα βα αααΆαβαααβα αααΎαβαα·ααΆααΈβααΎααααΈβαααα ααβαα βααΆαβα ααααα
ααΎααααΈααααααααα αΆααα Ceph ααΆαααααααΆααα·αααΎαααΆααααααα‘αΎααα·ααααααΆααααααΎαα‘αΎααα αααα»αααΆααααα»αα―αααΆααααα α ααΆ WBThrottle α ααΆααααΌαααΆααα ααΆα‘αΎαααΎααααΈαααααα ααα½αααα»ααα I/O ααααααα·αααααα αααα’αΆα αααααααα½α αα·αα αΆααααααΎαααααΎαααΆα flush ααααααΆααΏαααΆαααΆαααΎαα‘αΎααααααααααΆαα· αααααΆαααααααΌαααΆαααΎααααααΊααααααα½αα―αα ααΆα’αα»αα ααΆαααααΎααααααααα αΆαααΆαααααααααΆαααΎαα’αΆα αα αααα·αααΆαααααααα₯αα·ααΆαααααααΆαααααΆαααααααααα·ααααα’αΆα ααΆααααααααααααααΆααααααα ααΎααΆαα’αΆαααααααααΊαα ααΆααααααααΌαα’αΆα ααααΆααααααΌαα₯αα·ααΆααααα αα·αααΆααααααααααααααα½ααααααααΆααααΌα αα·αααααΎα±αααααααααΆααααααα·αααΌααααααααααα αααααΈααΆαααΆαααΆααααα ααΆαααΆααααααΌααα½αα αααααΆαααααααα ααα½αα’αα·ααα·ααΆααααΆαα»ααα»ααααααααΌαααΆαα’αα»ααααΆαα±ααααΆααααΆαα½α α’αααα’αΆα ααΆααααααααααααααΆαααααααΊααααααα½αααΆααΎααααΈαααααΎαααααα·αααααΆαααααααΆαααα»αααΆααααααΆαα·αααααΎα αΌαα ααΆααΆαααααααα·αααααα·α α’αααΈα’αααΈαααα’αααααααΌαααΆαααααααααααααααΆααααααΈααααΎααααΆααααΆααααΆααααααα’ααα ααααα»αααΆαααΆα αα·αααΆααααααααΌαα±ααααααΉααα½αααα
ααΎααααΈαααααααααααααα
αααα½αααααα-backlog αααααα α’αααα’αΆα
ααΆαααααααα
ααα½αα’αα·ααα·ααΆααααααα·ααααα·ααΆα I/O ααααα·αααΆαααααααα
ααΆααααααααΎααΆαααααα WBThrottle α¬α’αααα’αΆα
ααΆααααααααααααα’αα·ααααΆαααααΆααααααα·ααααα·ααΆαααα
αααααα
ααααα·ααααα»αααααΊαααααααα’αααααααΆααα ααΆααααΈαα’αΆα
αααααααααα₯αα·ααΆααααΌα
ααααΆααααααααααααα·αααααΆα α αΎαα
αααΌαα
α·αααααααα’αααααΉαααΆααΌαααααΆααααααΆααα’αα»ααααααΆαααααααααα
αα½ααααααααΆαααααααααΆααααααααα’αΆαα·ααΆαααααα·ααααα·ααΆααααα Ceph ααΆαααααα·αααααΆαααΆααααααΆαααααα½αααααΈααα
ααααα·αααΈαα αααααααα½ααα½αααΆααααΌααα
ααΆααααααΆααααααα±αα ααΈααΆααα
αααααααα½αααααΆααααΈαα
Ceph αααααΆααΆαααΆαααααααααααααααααααααΎα’αααΈαααααΆα’αΆαα·ααΆααααααααα·ααααα·ααΆα I/O ααΆαα αα·α
αΆαααΆα§ααΆα αααααΆααααααα
echo 8 > /sys/block/sda/queue/nr_requests
COMMON α
αα·αααΆαααααααααΊαααααΈαααΈαααααααααααΎααααΈααααΎα±ααααααααααααα’αααααα αα·ααααα α αΎαα ααααΆα αααααΎαααΆαα ααααΈαααααααΉααααααααααα
ααααΆ /etc/sysctl.d/60-ceph2.conf
kernel.pid_max = 4194303
#ΠΠΈΡΠΊΠΎΠ² Π² ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΌΠ°ΡΠΈΠ½Π΅ ΠΏΠΎ 25, ΠΏΠΎΡΠΎΠΌΡ ΡΠ°ΡΡΡΠΈΡΡΠ²Π°Π»ΠΈ ΡΡΠΎ ΠΏΡΠΎΡΠ΅ΡΡΠΎΠ² Π±ΡΠ΄Π΅Ρ ΠΌΠ½ΠΎΠ³ΠΎ
kernel.threads-max=2097152
# Π’ΡΠ΅Π΄ΠΎΠ², Π΅ΡΡΠ΅ΡΡΠ½ΠΎ, ΡΠΎΠΆΠ΅.
vm.max_map_count=524288
# Π£Π²Π΅Π»ΠΈΡΠΈΠ»ΠΈ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΠΎΠ±Π»Π°ΡΡΠ΅ΠΉ ΠΊΠ°ΡΡΡ ΠΏΠ°ΠΌΡΡΠΈ ΠΏΡΠΎΡΠ΅ΡΡΠ°.
# ΠΠ°ΠΊ ΡΠ»Π΅Π΄ΡΠ΅Ρ ΠΈΠ· Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ ΠΏΠΎ ΡΠ΄Π΅ΡΠ½ΡΠΌ ΠΏΠ΅ΡΠ΅ΠΌΠ΅Π½Π½ΡΠΌ
# ΠΠ±Π»Π°ΡΡΠΈ ΠΊΠ°ΡΡΡ ΠΏΠ°ΠΌΡΡΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ ΠΊΠ°ΠΊ ΠΏΠΎΠ±ΠΎΡΠ½ΡΠΉ ΡΡΡΠ΅ΠΊΡ Π²ΡΠ·ΠΎΠ²Π°
# malloc, Π½Π°ΠΏΡΡΠΌΡΡ Ρ ΠΏΠΎΠΌΠΎΡΡΡ mmap, mprotect ΠΈ madvise, Π° ΡΠ°ΠΊΠΆΠ΅ ΠΏΡΠΈ Π·Π°Π³ΡΡΠ·ΠΊΠ΅
# ΠΎΠ±ΡΠΈΡ
Π±ΠΈΠ±Π»ΠΈΠΎΡΠ΅ΠΊ.
fs.aio-max-nr=50000000
# ΠΠΎΠ΄ΡΡΠ½ΠΈΠΌ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ input-output
# Π―Π΄ΡΠΎ Linux ΠΏΡΠ΅Π΄ΠΎΡΡΠ°Π²Π»ΡΠ΅Ρ ΡΡΠ½ΠΊΡΠΈΡ Π°ΡΠΈΠ½Ρ
ΡΠΎΠ½Π½ΠΎΠ³ΠΎ Π½Π΅Π±Π»ΠΎΠΊΠΈΡΡΡΡΠ΅Π³ΠΎ Π²Π²ΠΎΠ΄Π°-Π²ΡΠ²ΠΎΠ΄Π° (AIO),
# ΠΊΠΎΡΠΎΡΠ°Ρ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΠΏΡΠΎΡΠ΅ΡΡΡ ΠΈΠ½ΠΈΡΠΈΠΈΡΠΎΠ²Π°ΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΉ Π²Π²ΠΎΠ΄Π°-Π²ΡΠ²ΠΎΠ΄Π°
# ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎ, Π½Π΅ Π΄ΠΎΠΆΠΈΠ΄Π°ΡΡΡ Π·Π°Π²Π΅ΡΡΠ΅Π½ΠΈΡ ΠΊΠ°ΠΊΠΎΠΉ-Π»ΠΈΠ±ΠΎ ΠΈΠ· Π½ΠΈΡ
.
# ΠΡΠΎ ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ ΠΏΠΎΠ²ΡΡΠΈΡΡ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΡ ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ,
# ΠΊΠΎΡΠΎΡΡΠ΅ ΠΌΠΎΠ³ΡΡ ΠΏΠ΅ΡΠ΅ΠΊΡΡΠ²Π°ΡΡ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΡ ΠΈ Π²Π²ΠΎΠ΄-Π²ΡΠ²ΠΎΠ΄.
# ΠΠ°ΡΠ°ΠΌΠ΅ΡΡ aio-max-nr ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅Ρ ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ Π΄ΠΎΠΏΡΡΡΠΈΠΌΡΡ
# ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΡ
Π·Π°ΠΏΡΠΎΡΠΎΠ².
vm.min_free_kbytes=1048576
# ΠΌΠΈΠ½ΠΈΠΌΠ°Π»ΡΠ½ΡΠΉ ΡΠ°Π·ΠΌΠ΅Ρ ΡΠ²ΠΎΠ±ΠΎΠ΄Π½ΠΎΠΉ ΠΏΠ°ΠΌΡΡΠΈ ΠΊΠΎΡΠΎΡΡΠΉ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡ.
# ΠΡΡΡΠ°Π²Π»Π΅Π½ 1Gb, ΡΠ΅Π³ΠΎ Π²ΠΏΠΎΠ»Π½Π΅ Π΄ΠΎΡΡΠ°ΡΠΎΡΠ½ΠΎ Π΄Π»Ρ ΡΠ°Π±ΠΎΡΡ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΎΠ½Π½ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ,
# ΠΈ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΠΈΠ·Π±Π΅Π³Π°ΡΡ OOM Killer Π΄Π»Ρ ΠΏΡΠΎΡΠ΅ΡΡΠΎΠ² OSD. Π₯ΠΎΡΡ ΠΏΠ°ΠΌΡΡΠΈ ΠΈ ΡΠ°ΠΊ
# ΠΊΠ°ΠΊ Ρ Π΄ΡΡΠ°ΠΊΠ° ΡΠ°Π½ΡΠΈΠΊΠΎΠ², Π½ΠΎ Π·Π°ΠΏΠ°Ρ ΠΊΠ°ΡΠΌΠ°Π½ Π½Π΅ ΡΡΠ½Π΅Ρ
vm.swappiness=10
# ΠΠΎΠ²ΠΎΡΠΈΠΌ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ²ΠΎΠΏ Π΅ΡΠ»ΠΈ ΠΎΡΡΠ°Π»ΠΎΡΡ ΡΠ²ΠΎΠ±ΠΎΠ΄Π½ΡΠΌ 10% ΠΏΠ°ΠΌΡΡΠΈ.
# ΠΠ° ΠΌΠ°ΡΠΈΠ½Π°Ρ
128G ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠ²Ρ, ΠΈ 10% ΡΡΠΎ 12 ΠΠΈΠ³ΠΎΠ². ΠΠΎΠ»Π΅Π΅ ΡΠ΅ΠΌ Π΄ΠΎΡΡΠ°ΡΠΎΡΠ½ΠΎ Π΄Π»Ρ ΡΠ°Π±ΠΎΡΡ.
# Π¨ΡΠ°ΡΠ½ΡΠΉ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ Π² 60% Π·Π°ΡΡΠ°Π²Π»ΡΠ» ΡΠΎΡΠΌΠΎΠ·ΠΈΡΡ ΡΠΈΡΡΠ΅ΠΌΡ, Π·Π°Π»Π΅Π·Π°Ρ Π² ΡΠ²ΠΎΠΏ,
# ΠΊΠΎΠ³Π΄Π° Π΅ΡΡΡ Π΅ΡΠ΅ ΠΊΡΡΠ° ΡΠ²ΠΎΠ±ΠΎΠ΄Π½ΠΎΠΉ ΠΏΠ°ΠΌΡΡΠΈ
vm.vfs_cache_pressure=1000
# Π£Π²Π΅Π»ΠΈΡΠΈΠ²Π°Π΅ΠΌ ΡΠΎ ΡΡΠ°ΡΠ½ΡΡ
100. ΠΠ°ΡΡΠ°Π²Π»ΡΠ΅ΠΌ ΡΠ΄ΡΠΎ Π°ΠΊΡΠΈΠ²Π½Π΅Π΅ Π²ΡΠ³ΡΡΠΆΠ°ΡΡ
# Π½Π΅ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΠΌΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΠ°ΠΌΡΡΠΈ ΠΈΠ· ΠΊΠ΅ΡΠ°.
vm.zone_reclaim_mode=0
# ΠΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΡΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°ΡΡ Π±ΠΎΠ»Π΅Π΅ ΠΈΠ»ΠΈ ΠΌΠ΅Π½Π΅Π΅ Π°Π³ΡΠ΅ΡΡΠΈΠ²Π½ΡΠ΅ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄Ρ ΠΊ
# Π²ΠΎΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½ΠΈΡ ΠΏΠ°ΠΌΡΡΠΈ, ΠΊΠΎΠ³Π΄Π° Π² Π·ΠΎΠ½Π΅ Π·Π°ΠΊΠ°Π½ΡΠΈΠ²Π°Π΅ΡΡΡ ΠΏΠ°ΠΌΡΡΡ.
# ΠΡΠ»ΠΈ ΠΎΠ½ ΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½ Π½Π° Π½ΠΎΠ»Ρ, ΡΠΎ Π½Π΅ ΠΏΡΠΎΠΈΡΡ
ΠΎΠ΄ΠΈΡ Π²ΠΎΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½ΠΈΠ΅ Π·ΠΎΠ½Ρ.
# ΠΠ»Ρ ΡΠ°ΠΉΠ»ΠΎΠ²ΡΡ
ΡΠ΅ΡΠ²Π΅ΡΠΎΠ² ΠΈΠ»ΠΈ ΡΠ°Π±ΠΎΡΠΈΡ
Π½Π°Π³ΡΡΠ·ΠΎΠΊ
# Π²ΡΠ³ΠΎΠ΄Π½ΠΎ, Π΅ΡΠ»ΠΈ ΠΈΡ
Π΄Π°Π½Π½ΡΠ΅ ΠΊΡΡΠΈΡΠΎΠ²Π°Π½Ρ, zone_reclaim_mode
# ΠΎΡΡΠ°Π²ΠΈΡΡ ΠΎΡΠΊΠ»ΡΡΠ΅Π½Π½ΡΠΌ, ΠΏΠΎΡΠΊΠΎΠ»ΡΠΊΡ ΡΡΡΠ΅ΠΊΡ ΠΊΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ,
# Π²Π΅ΡΠΎΡΡΠ½ΠΎ, Π±ΡΠ΄Π΅Ρ Π±ΠΎΠ»Π΅Π΅ Π²Π°ΠΆΠ½ΡΠΌ, ΡΠ΅ΠΌ ΠΌΠ΅ΡΡΠΎΠ½Π°Ρ
ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅ Π΄Π°Π½Π½ΡΡ
.
vm.dirty_ratio=20
# ΠΡΠΎΡΠ΅Π½Ρ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠ²Π½ΠΎΠΉ ΠΏΠ°ΠΌΡΡΠΈ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΌΠΎΠΆΠ½ΠΎ Π²ΡΠ΄Π΅Π»ΠΈΡΡ ΠΏΠΎΠ΄ "Π³ΡΡΠ·Π½ΡΠ΅" ΡΡΡΠ°Π½ΠΈΡΡ
# ΠΡΡΠΈΡΠ»ΡΠ»ΠΈ ΠΈΠ· ΠΏΡΠΈΠΌΠ΅ΡΠ½ΠΎΠ³ΠΎ ΡΠ°ΡΡΠ΅ΡΠ°:
# Π ΡΠΈΡΡΠ΅ΠΌΠ° 128 Π³ΠΈΠ³ΠΎΠ² ΠΏΠ°ΠΌΡΡΠΈ.
# ΠΡΠΈΠΌΠ΅ΡΠ½ΠΎ ΠΏΠΎ 20 Π΄ΠΈΡΠΊΠΎΠ² SSD, Ρ ΠΊΠΎΡΠΎΡΡΡ
Π² Π½Π°ΡΡΡΠΎΠΉΠΊΠ°Ρ
CEPH ΡΠΊΠ°Π·Π°Π½ΠΎ
# Π²ΡΠ΄Π΅Π»ΡΡΡ ΠΏΠΎΠ΄ ΠΊΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΏΠΎ 3G ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠ²Ρ.
# ΠΡΠΈΠΌΠ΅ΡΠ½ΠΎ ΠΏΠΎ 40 Π΄ΠΈΡΠΊΠΎΠ² HDD, Π΄Π»Ρ ΠΊΠΎΡΠΎΡΡΡ
ΡΡΠΎΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ ΡΠ°Π²Π΅Π½ 1G
# 20% ΠΎΡ 128 ΡΡΠΎ 25.6 Π³ΠΈΠ³ΠΎΠ². ΠΡΠΎΠ³ΠΎ, Π² ΡΠ»ΡΡΠ°Π΅ ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎΠΉ ΡΡΠΈΠ»ΠΈΠ·Π°ΡΠΈΠΈ ΠΏΠ°ΠΌΡΡΠΈ,
# Π΄Π»Ρ ΡΠΈΡΡΠ΅ΠΌΡ ΠΎΡΡΠ°Π½Π΅ΡΡΡ 2.4G ΠΏΠ°ΠΌΡΡΠΈ. Π§Π΅Π³ΠΎ Π΅ΠΉ Π΄ΠΎΠ»ΠΆΠ½ΠΎ Ρ
Π²Π°ΡΠΈΡΡ ΡΡΠΎΠ± Π²ΡΠΆΠΈΡΡ ΠΈ Π΄ΠΎΠΆΠ΄Π°ΡΡΡΡ
# ΡΡΡΠΊΠ° ΠΊΠΎΠΏΡΡ ΠΊΠ°Π²Π°Π»Π΅ΡΠΈΠΈ - ΡΠΎ Π΅ΡΡΡ ΠΏΡΠΈΡΠ΅ΡΡΠ²ΠΈΡ DevOps ΠΊΠΎΡΠΎΡΡΠΉ Π²ΡΠ΅ ΠΏΠΎΡΠΈΠ½ΠΈΡ.
vm.dirty_background_ratio=3
# ΠΏΡΠΎΡΠ΅Π½Ρ ΡΠΈΡΡΠ΅ΠΌΠ½ΠΎΠΉ ΠΏΠ°ΠΌΡΡΠΈ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΏΠΎΠ»Π½ΠΈΡΡ dirty pages Π΄ΠΎ ΡΠΎΠ³ΠΎ,
# ΠΊΠ°ΠΊ ΡΠΎΠ½ΠΎΠ²ΡΠ΅ ΠΏΡΠΎΡΠ΅ΡΡΡ pdflush/flush/kdmflush Π·Π°ΠΏΠΈΡΡΡ ΠΈΡ
Π½Π° Π΄ΠΈΡΠΊ
fs.file-max=524288
# ΠΡ ΠΈ ΠΎΡΠΊΡΡΡΡΡ
ΡΠ°ΠΉΠ»ΠΎΠ² Ρ Π½Π°Ρ,Π²Π΅ΡΠΎΡΡΠ½ΠΎ, Π±ΡΠ΄Π΅Ρ ΡΠΈΠ»ΡΠ½ΠΎ Π±ΠΎΠ»ΡΡΠ΅, ΡΠ΅ΠΌ ΡΠΊΠ°Π·Π°Π½ΠΎ ΠΏΠΎ Π΄Π΅ΡΠΎΠ»ΡΡ.
ααΆαααααα»ααα αααα»α CEPH
ααΆααααααααααααα»αα ααααααα αααΆααααα’α·αααααααα
ααααΆ /etc/ceph/ceph.conf
osd:
journal_aio: true # Π’ΡΠΈ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°, Π²ΠΊΠ»ΡΡΠ°ΡΡΠΈΠ΅
journal_block_align: true # ΠΏΡΡΠΌΠΎΠΉ i/o
journal_dio: true # Π½Π° ΠΆΡΡΠ½Π°Π»
journal_max_write_bytes: 1073714824 # ΠΠ΅ΠΌΠ½ΠΎΠ³ΠΎ ΡΠ°ΡΡΡΠ½Π΅ΠΌ ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΡΠΉ ΡΠ°Π·ΠΌΠ΅Ρ
# ΡΠ°Π·ΠΎΠ²ΠΎ Π·Π°ΠΏΠΈΡΡΠ²Π°Π΅ΠΌΠΎΠΉ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΈ Π² ΠΆΡΡΠ½Π°Π»
journal_max_write_entries: 10000 # ΠΡ ΠΈ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΡ
Π·Π°ΠΏΠΈΡΠ΅ΠΉ
journal_queue_max_bytes: 10485760000
journal_queue_max_ops: 50000
rocksdb_separate_wal_dir: true # Π Π΅ΡΠΈΠ»ΠΈ Π΄Π΅Π»Π°ΡΡ ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΠΉ wal
# ΠΠ°ΠΆΠ΅ ΠΏΠΎΠΏΡΡΠ°Π»ΠΈΡΡ Π²ΡΠ±ΠΈΡΡ ΠΏΠΎΠ΄ ΡΡΠΎ Π΄Π΅Π»ΠΎ
# NVMe
bluestore_block_db_create: true # ΠΡ ΠΈ ΠΏΠΎΠ΄ ΠΆΡΡΠ½Π°Π» ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎΠ΅ ΡΡΡΡΠΎΠΉΡΡΠ²ΠΎ
bluestore_block_db_size: '5368709120 #5G'
bluestore_block_wal_create: true
bluestore_block_wal_size: '1073741824 #1G'
bluestore_cache_size_hdd: '3221225472 # 3G'
# Π±ΠΎΠ»ΡΡΠΎΠΉ ΠΎΠ±ΡΠ΅ΠΌ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠ²Ρ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ
# Ρ
ΡΠ°Π½ΠΈΡΡ Π΄ΠΎΡΡΠ°ΡΠΎΡΠ½ΠΎ Π±ΠΎΠ»ΡΡΠΈΠ΅ ΠΎΠ±ΡΠ΅ΠΌΡ
bluestore_cache_size_ssd: '9663676416 # 9G'
keyring: /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap: '1073741824 #1G'
osd_disk_thread_ioprio_class: idle
osd_disk_thread_ioprio_priority: 7
osd_disk_threads: 2 # ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΡΠ΅Π΄ΠΎΠ² Ρ Π΄Π΅ΠΌΠΎΠ½Π° Π½Π° ΠΎΠ΄ΠΈΠ½ Π΄ΠΈΡΠΊ
osd_failsafe_full_ratio: 0.95
osd_heartbeat_grace: 5
osd_heartbeat_interval: 3
osd_map_dedup: true
osd_max_backfills: 2 # ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΡ
ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΉ Π·Π°ΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ Π½Π° ΠΎΠ΄ΠΈΠ½ ΠΠ‘Π.
osd_max_write_size: 256
osd_mon_heartbeat_interval: 5
osd_op_threads: 16
osd_op_num_threads_per_shard: 1
osd_op_num_threads_per_shard_hdd: 2
osd_op_num_threads_per_shard_ssd: 2
osd_pool_default_min_size: 1 # ΠΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΠΈ ΠΆΠ°Π΄Π½ΠΎΡΡΠΈ. ΠΡΠ΅Π½Ρ Π±ΡΡΡΡΠΎ ΡΡΠ°Π»ΠΎ
osd_pool_default_size: 2 # Π½Π΅Ρ
Π²Π°ΡΠ°ΡΡ ΠΌΠ΅ΡΡΠ°, ΠΏΠΎΡΠΎΠΌΡ ΠΊΠ°ΠΊ Π²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠ΅
# ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ ΠΏΡΠΈΠ½ΡΠ»ΠΈ ΡΠΌΠ΅Π½ΡΡΠ΅Π½ΠΈΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ
# ΡΠ΅ΠΏΠ»ΠΈΠΊ Π΄Π°Π½Π½ΡΡ
osd_recovery_delay_start: 10.000000
osd_recovery_max_active: 2
osd_recovery_max_chunk: 1048576
osd_recovery_max_single_start: 3
osd_recovery_op_priority: 1
osd_recovery_priority: 1 # ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ ΡΠ΅Π³ΡΠ»ΠΈΡΡΠ΅ΠΌ ΠΏΠΎ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎΡΡΠΈ Π½Π° Ρ
ΠΎΠ΄Ρ
osd_recovery_sleep: 2
osd_scrub_chunk_max: 4
αααΆαααΆαααααααα½αα ααα½ααααααααΌαααΆαααΆααααααααααΆαα QA αα ααΎαααα 12.2.12 ααααΌαααΆαααΆαααα αααα»α ceph αααα 12.2.2 α§ααΆα ααα osd_recovery_threads α ααΌα ααααα αΎα αααααΆαααααα½ααααα αΌαααΆαααααΎαα αα α»ααααααααΆαααΎααΆαααα·ααα 12.2.12 α ααΆαα’αα»ααααααΆααααα αΆαααΈααΆαααααααΆαααΆααααα 12.2.2 αα·α 12.2.12 αα αααα»αα ααααααααα½α αααα’αα»ααααΆαα±ααααααΎαα αα α»ααααααααΆααα·ααα»αα
α αααααααΆααααα
ααΆααααααΆ αααααΆααααΆαααΆααααα ααΆααΊα αΆαααΆα αααΎααααΈα±ααααΆαααααααΌα ααααΆααΉααα αααα»ααααααΌαα· ααα»αααααα ααααααα»αα αΆααααααΎαααααΎααΆαααΆαα½αα ααααα ααΆαααααααααααΈααΆααααααα»ααααααααααΆααα αααα»αααααΆααα αααβααΆαβααΎαβαα βα’αααΈβαααβα’αααβα’αΆα βαααβααΎαβαα βαααα»αβααααβα’ααΈαα·ααβααΊβαα·αβααβααΆαα (1393 αααααΆαααα αααα»αααΆαααααααααααΆααααΉα 1436 αα αααα»αααααααααΈ) ααΎαααΆααααααα α α·αααα αΆααααααΎαααΆαααααααααΈ (α’αΆααααααααΆαααΆααααα α ααα»α’αααΈααααΌααα ααΆαα½αααααΆαα αΆαα)
ααΏααααα½αααααααααΎαααΆαααααΆααΆαα αΆαα ααααΈααααα αΆααααΊαααα αα ceph-ααΆαααααααΆα α αΆααααΆααααΈα§αααααααααΎααααΆαααα½αα ααα½α (αα·ααα·αααα·ααααα) ααααΌαααΆαααααααα½αααΆαααΆαααααααααααααααααΆα ααααααααΈααΊαα»αααααΆααααΆαα ααα»αααααα·ααααααΆαααααααααα·ααααα·ααΆαααααα ααααααααα½αα―ααα α αΎαααΆααααΌαααΆααα»ααα αααα»ααααα 1.5.39
αααααΆαααΆααααααααΆ ceph-disk αα·ααΆααααΆαα αααΆααααΆααΆααααΌαααΆαααα·ααα αα·αααααΎααΆααααααααΆ ceph-volume ααΆααΈαααα‘αΆαα ααΎαααΆαα αΆααααααΎααααααΎα OSD αααααααΎααΆααααααααΆααα ααααα·αααααααααΆααααααααΆααΎα’αααΈαααα α½ααααααααααα
αααααΆαααΊααΎααααΈαααααΎααααα ααααααααΆα SSD ααΈααααααΎαααΉαααΆαααααααα ααα» OSD ααααα αααα»ααααααΆαααΈααΆαααα ααΎ spindle SASs α αα·ααΈαααααΎαα’αΆα ααΆαααΆααααα½αααΎαααΈαααα αΆααΆαα½ααα·ααααααααααα·αααΎααΆααααααΆααααααα ααα»ααααΆααα
ααΎαβααΆαβα αΆααβααααΎαβαααααΎαβα αααααβααΆαβα―αααΆα
ααααΆ /etc/ceph/ceph.conf
root@ceph01-qa:~# cat /etc/ceph/ceph.conf # ΠΏΠΎΠ»ΠΎΠΆΠΈΠ»ΠΈ Π·Π°ΡΠ°Π½Π΅Π΅ ΠΏΠΎΠ΄Π³ΠΎΡΠΎΠ²Π»Π΅Π½Π½ΡΠΉ ΠΊΠΎΠ½ΡΠΈΠ³
[client]
rbd_cache = true
rbd_cache_max_dirty = 50331648
rbd_cache_max_dirty_age = 2
rbd_cache_size = 67108864
rbd_cache_target_dirty = 33554432
rbd_cache_writethrough_until_flush = true
rbd_concurrent_management_ops = 10
rbd_default_format = 2
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster network = 10.10.10.0/24
debug_asok = 0/0
debug_auth = 0/0
debug_buffer = 0/0
debug_client = 0/0
debug_context = 0/0
debug_crush = 0/0
debug_filer = 0/0
debug_filestore = 0/0
debug_finisher = 0/0
debug_heartbeatmap = 0/0
debug_journal = 0/0
debug_journaler = 0/0
debug_lockdep = 0/0
debug_mon = 0/0
debug_monc = 0/0
debug_ms = 0/0
debug_objclass = 0/0
debug_objectcatcher = 0/0
debug_objecter = 0/0
debug_optracker = 0/0
debug_osd = 0/0
debug_paxos = 0/0
debug_perfcounter = 0/0
debug_rados = 0/0
debug_rbd = 0/0
debug_rgw = 0/0
debug_throttle = 0/0
debug_timer = 0/0
debug_tp = 0/0
fsid = d0000000d-4000-4b00-b00b-0123qwe123qwf9
mon_host = ceph01-q, ceph02-q, ceph03-q
mon_initial_members = ceph01-q, ceph02-q, ceph03-q
public network = 8.8.8.8/28 # Π°Π΄ΡΠ΅Ρ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½, Π΅ΡΡΠ΅ΡΡΠ²Π΅Π½Π½ΠΎ ))
rgw_dns_name = s3-qa.mycompany.ru # ΠΈ ΡΡΠΎΡ Π°Π΄ΡΠ΅Ρ ΠΈΠ·ΠΌΠ΅Π½
rgw_host = s3-qa.mycompany.ru # ΠΈ ΡΡΠΎΡ ΡΠΎΠΆΠ΅
[mon]
mon allow pool delete = true
mon_max_pg_per_osd = 300 # Π±ΠΎΠ»ΡΡΠ΅ ΡΡΠ΅Ρ
ΡΠΎΡ ΠΏΠ»Π΅ΠΉΡΠΌΠ΅Π½Ρ Π³ΡΡΠΏΠΏ
# Π½Π° Π΄ΠΈΡΠΊ Π½Π΅ ΡΠ΅ΡΠΈΠ»ΠΈΡΡ
# Ρ
ΠΎΡΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ, Π΅ΡΡΠ΅ΡΡΠ²Π΅Π½Π½ΠΎ, Π·Π°Π²ΠΈΡΠΈΡ ΠΎΡ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° ΠΏΡΠ»ΠΎΠ²,
# ΠΈΡ
ΡΠ°Π·ΠΌΠ΅ΡΠΎΠ² ΠΈ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° OSD. ΠΠΌΠ΅ΡΡ ΠΌΠ°Π»ΠΎ Π½ΠΎ Π·Π΄ΠΎΡΠΎΠ²ΡΡ
PG
# ΡΠΎΠΆΠ΅ Π½Π΅ Π»ΡΡΡΠΈΠΉ Π²ΡΠ±ΠΎΡ - ΡΡΡΠ°Π΄Π°Π΅Ρ ΡΠΎΡΠ½ΠΎΡΡΡ Π±Π°Π»Π°Π½ΡΠΈΡΠΎΠ²ΠΊΠΈ
mon_osd_backfillfull_ratio = 0.9
mon_osd_down_out_interval = 5
mon_osd_full_ratio = 0.95 # ΠΏΠΎΠΊΠ° Π΄Π»Ρ SSD Π΄ΠΈΡΠΊΠΎΠ² ΠΌΠ΅ΡΡΠΎΠΌ Π΄Π»Ρ ΠΈΡ
# ΠΆΡΡΠ½Π°Π»Π° ΡΠ²Π»ΡΠ΅ΡΡΡ ΡΠΎΡ-ΠΆΠ΅ Π΄Π΅Π²Π°ΠΉΡ ΡΡΠΎ ΠΈ Π΄Π»Ρ ΠΠ‘Π
# ΡΠ΅ΡΠΈΠ»ΠΈ ΡΡΠΎ 5% ΠΎΡ Π΄ΠΈΡΠΊΠ° (ΠΊΠΎΡΠΎΡΡΠΉ ΡΠ°ΠΌ ΡΠ°Π·ΠΌΠ΅ΡΠΎΠΌ 1.2Tb)
# Π΄ΠΎΠ»ΠΆΠ½ΠΎ Π²ΠΏΠΎΠ»Π½Π΅ Ρ
Π²Π°ΡΠΈΡΡ, ΠΈ ΠΊΠΎΡΡΠ΅Π»ΠΈΡΡΠ΅Ρ Ρ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠΌ
# bluestore_block_db_size ΠΏΠ»ΡΡ Π²Π°ΡΠΈΠ°ΡΠΈΠ²Π½ΠΎΡΡΡ Π½Π° Π±ΠΎΠ»ΡΡΠΈΠ΅
# ΠΏΠ»Π΅ΠΉΡΠΌΠ΅Π½Ρ Π³ΡΡΠΏΠΏΡ
mon_osd_nearfull_ratio = 0.9
mon_pg_warn_max_per_osd = 520
[osd]
bluestore_block_db_create = true
bluestore_block_db_size = 5368709120 #5G
bluestore_block_wal_create = true
bluestore_block_wal_size = 1073741824 #1G
bluestore_cache_size_hdd = 3221225472 # 3G
bluestore_cache_size_ssd = 9663676416 # 9G
journal_aio = true
journal_block_align = true
journal_dio = true
journal_max_write_bytes = 1073714824
journal_max_write_entries = 10000
journal_queue_max_bytes = 10485760000
journal_queue_max_ops = 50000
keyring = /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap = 1073741824 #1G
osd_disk_thread_ioprio_class = idle
osd_disk_thread_ioprio_priority = 7
osd_disk_threads = 2
osd_failsafe_full_ratio = 0.95
osd_heartbeat_grace = 5
osd_heartbeat_interval = 3
osd_map_dedup = true
osd_max_backfills = 4
osd_max_write_size = 256
osd_mon_heartbeat_interval = 5
osd_op_num_threads_per_shard = 1
osd_op_num_threads_per_shard_hdd = 2
osd_op_num_threads_per_shard_ssd = 2
osd_op_threads = 16
osd_pool_default_min_size = 1
osd_pool_default_size = 2
osd_recovery_delay_start = 10.0
osd_recovery_max_active = 1
osd_recovery_max_chunk = 1048576
osd_recovery_max_single_start = 3
osd_recovery_op_priority = 1
osd_recovery_priority = 1
osd_recovery_sleep = 2
osd_scrub_chunk_max = 4
osd_scrub_chunk_min = 2
osd_scrub_sleep = 0.1
rocksdb_separate_wal_dir = true
# ΡΠΎΠ·Π΄Π°Π΅ΠΌ ΠΌΠΎΠ½ΠΈΡΠΎΡΡ
root@ceph01-qa:~#ceph-deploy mon create ceph01-q
# Π³Π΅Π½Π΅ΡΠΈΡΡΠ΅ΠΌ ΠΊΠ»ΡΡΠΈ Π΄Π»Ρ Π°ΡΡΠ΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ Π½ΠΎΠ΄ Π² ΠΊΠ»Π°ΡΡΠ΅ΡΠ΅
root@ceph01-qa:~#ceph-deploy gatherkeys ceph01-q
# ΠΡΠΎ Π΅ΡΠ»ΠΈ ΠΏΠΎΡΡΡΡΠ½ΠΎ. ΠΡΠ»ΠΈ Ρ Π½Π°Ρ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΌΠ°ΡΠΈΠ½ Π΄ΠΎΡΡΡΠΏΠ½Ρ - ΡΠ΅, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΎΠΏΠΈΡΠ°Π½Ρ Π² ΠΊΠΎΠ½ΡΠΈΠ³Π΅ Π² ΡΠ΅ΠΊΡΠΈΠΈ
# mon_initial_members = ceph01-q, ceph02-q, ceph03-q
# ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΏΡΡΡΠΈΡΡ ΡΡΠΈ Π΄Π²Π΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ Π² Π²ΠΈΠ΄Π΅ ΠΎΠ΄Π½ΠΎΠΉ
root@ceph01-qa:~#ceph-deploy mon create-initial
# ΠΠΎΠ»ΠΎΠΆΠΈΠΌ ΠΊΠ»ΡΡΠΈ Π² ΡΠΊΠ°Π·Π°Π½Π½ΡΠ΅ Π² ΠΊΠΎΠ½ΡΠΈΠ³Π΅ ΠΌΠ΅ΡΡΠ°
root@ceph01-qa:~#cat ceph.bootstrap-osd.keyring > /var/lib/ceph/bootstrap-osd/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-mgr.keyring > /var/lib/ceph/bootstrap-mgr/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-rgw.keyring > /var/lib/ceph/bootstrap-rgw/ceph.keyring
# ΡΠΎΠ·Π΄Π°Π΄ΠΈΠΌ ΠΊΠ»ΡΡ Π΄Π»Ρ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ ΠΊΠ»Π°ΡΡΠ΅ΡΠΎΠΌ
root@ceph01-qa:~#ceph-deploy admin ceph01-q
# ΠΈ ΠΌΠ΅Π½Π΅Π΄ΠΆΠ΅Ρ, ΠΏΠ»Π°Π³ΠΈΠ½Π°ΠΌΠΈ ΡΠΏΡΠ°Π²Π»ΡΡΡ
root@ceph01-qa:~#ceph-deploy mgr create ceph01-q
ααΏαααααΌαααααααα»αααααααα½ααα αααααααΎααΆαααΆαα½ααααααα ceph-deploy αααααΆαα½αααΉααααα cluster 12.2.12 ααΊααΆααα α»ααα αααααααΆααΆααααααΎα OSD ααΆαα½α db ααΎααΆαααΆαααααααααααα·ααΈ -
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
blkid could not detect a PARTUUID for device: /dev/md1
ααΆααΆααα·αααΆαα blkid α αΆααααΌα ααΆαα·ααααααΆ PARTUUID αα ααΌα αααααααα»αααααΌααααααααΎαααΆαααΆααααααα
root@ceph01-qa:~#parted /dev/md0 mklabel GPT
# ΡΠ°Π·Π΄Π΅Π»ΠΎΠ² Π±ΡΠ΄Π΅Ρ ΠΌΠ½ΠΎΠ³ΠΎ,
# Π±Π΅Π· GPT ΠΈΡ
ΡΠΎΠ·Π΄Π°ΡΡ Π½Π΅ ΠΏΠΎΠ»ΡΡΠΈΡΡΡ
# ΡΠ°Π·ΠΌΠ΅Ρ ΡΠ°Π·Π΄Π΅Π»Π° ΠΌΡ ΡΠΊΠ°Π·Π°Π»ΠΈ Π² ΠΊΠΎΠ½ΡΠΈΠ³Π΅ Π²ΡΡΠ΅ = bluestore_block_db_size: '5368709120 #5G'
# ΠΠΈΡΠΊΠΎΠ² Ρ ΠΌΠ΅Π½Ρ 20 ΠΏΠΎΠ΄ OSD, ΡΡΠΊΠ°ΠΌΠΈ ΡΠΎΠ·Π΄Π°Π²Π°ΡΡ ΡΠ°Π·Π΄Π΅Π»Ρ Π»Π΅Π½Ρ
# ΠΏΠΎΡΠΎΠΌΡ ΡΠ΄Π΅Π»Π°Π» ΡΠΈΠΊΠ»
root@ceph01-qa:~#for i in {1..20}; do echo -e "nnnn+5Gnw" | fdisk /dev/md0; done
α’αααΈααααααααΆαα αΆααααΌα ααΆαα½α ααΆαα ααΎαααααΆααΆααααααΎα OSD ααααααα α αΎαααα½αααΆαααα α»αααΌα ααΆαααααα (αααααΆααα·ααΈααα αα·αααααΌαααΆααααααΎαα‘αΎααα·ααα αααα»ααααααΌαα·αα)
αα ααααααααΎα OSD αααααααα bluestore ααααα·ααααααΆααααααΌααα ααΆαα WAL ααα»αααααααααΆαα db
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
stderr: 2019-04-12 10:39:27.211242 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _read_fsid unparsable uuid
stderr: 2019-04-12 10:39:27.213185 7eff461b6e00 -1 bdev(0x55824c273680 /var/lib/ceph/osd/ceph-0//block.wal) open open got: (22) Invalid argument
stderr: 2019-04-12 10:39:27.213201 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _open_db add block device(/var/lib/ceph/osd/ceph-0//block.wal) returned: (22) Invalid argument
stderr: 2019-04-12 10:39:27.999039 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) mkfs failed, (22) Invalid argument
stderr: 2019-04-12 10:39:27.999057 7eff461b6e00 -1 OSD::mkfs: ObjectStore::mkfs failed with error (22) Invalid argument
stderr: 2019-04-12 10:39:27.999141 7eff461b6e00 -1 ** ERROR: error creating empty object store in /var/lib/ceph/osd/ceph-0/: (22) Invalid argumen
ααΎαααΈααααα ααα ααααα·αααΎαα ααΎαααα αααααα½α (α¬ααααααααααααααααΆααααααΎαααααα’ααα) α’ααααααααΎαααΆαααΆααα½αααααααααΆαα WAL α αΎααααααΆααααΆαα ααααααααΎα OSD αααα’αααΈαααΉαααααΎαααΆααα ααααααΌα (ααΎααααααααΌαααΆααααα WAL ααΆα ααααα‘αα αααα’ααααα·αα’αΆα α ααααΆα) α
ααα»ααααα αΆααααΆααααΈααΆαα αααααα·ααααα»ααααααΆαααααΆαααΎααααΈααααΆααααΈ WAL αα NVMe ααΆαα’αα»αααααα·αααΆαααααααΆααΆαα’αααααααα
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sdf --block.wal /dev/md0p2 --block.db /dev/md1p2
ααΆααααααΎααααΌααΈααα α’αααααααααααα αα·α OSD α α₯α‘αΌαααα αααα»αα ααααΆααααΆαααα»ααα»ααααααΆ ααααααααα»αααΆαααααααααΆαααααααααΆαααααααααααΆ - ααααα»αααΏααα ααΎ SSD αα·ααα ααα»ααααα’αΆαααΊααα ααΎ SAS pancakesα
α§αααΆααΆαααΆαααΈαααααΆα 20 ααΆα αααααααΌαααΊαα½ααααααα ααΈααΈαααΊαα½ααααα
ααΆαααααΌα ααααΆαααΎα ααΎααα
ααΌα
αααα
ααΎαααΎ ceph osd
root@ceph01-q:~# ceph osd tree
ID CLASS WEIGHT TYPE STATUS REWEIGHT PRI-AFF
-1 14.54799 ααααΆαααΎαααΆ root
-3 9.09200 ααα
αΆαααααα ceph01-q
0 ssd 1.00000 osd.0 α‘αΎα 1.00000 1.00000
1 ssd 1.00000 osd.1 α‘αΎα 1.00000 1.00000
2 ssd 1.00000 osd.2 α‘αΎα 1.00000 1.00000
3 ssd 1.00000 osd.3 α‘αΎα 1.00000 1.00000
4 hdd 1.00000 osd.4 α‘αΎα 1.00000 1.00000
5 hdd 0.27299 osd.5 α‘αΎα 1.00000 1.00000
6 hdd 0.27299 osd.6 α‘αΎα 1.00000 1.00000
7 hdd 0.27299 osd.7 α‘αΎα 1.00000 1.00000
8 hdd 0.27299 osd.8 α‘αΎα 1.00000 1.00000
9 hdd 0.27299 osd.9 α‘αΎα 1.00000 1.00000
10 hdd 0.27299 osd.10 α‘αΎα 1.00000 1.00000
11 hdd 0.27299 osd.11 α‘αΎα 1.00000 1.00000
12 hdd 0.27299 osd.12 α‘αΎα 1.00000 1.00000
13 hdd 0.27299 osd.13 α‘αΎα 1.00000 1.00000
14 hdd 0.27299 osd.14 α‘αΎα 1.00000 1.00000
15 hdd 0.27299 osd.15 α‘αΎα 1.00000 1.00000
16 hdd 0.27299 osd.16 α‘αΎα 1.00000 1.00000
17 hdd 0.27299 osd.17 α‘αΎα 1.00000 1.00000
18 hdd 0.27299 osd.18 α‘αΎα 1.00000 1.00000
19 hdd 0.27299 osd.19 α‘αΎα 1.00000 1.00000
-5 5.45599 ααα
αΆαααααα ceph02-q
20 ssd 0.27299 osd.20 α‘αΎα 1.00000 1.00000
21 ssd 0.27299 osd.21 α‘αΎα 1.00000 1.00000
22 ssd 0.27299 osd.22 α‘αΎα 1.00000 1.00000
23 ssd 0.27299 osd.23 α‘αΎα 1.00000 1.00000
24 hdd 0.27299 osd.24 α‘αΎα 1.00000 1.00000
25 hdd 0.27299 osd.25 α‘αΎα 1.00000 1.00000
26 hdd 0.27299 osd.26 α‘αΎα 1.00000 1.00000
27 hdd 0.27299 osd.27 α‘αΎα 1.00000 1.00000
28 hdd 0.27299 osd.28 α‘αΎα 1.00000 1.00000
29 hdd 0.27299 osd.29 α‘αΎα 1.00000 1.00000
30 hdd 0.27299 osd.30 α‘αΎα 1.00000 1.00000
31 hdd 0.27299 osd.31 α‘αΎα 1.00000 1.00000
32 hdd 0.27299 osd.32 α‘αΎα 1.00000 1.00000
33 hdd 0.27299 osd.33 α‘αΎα 1.00000 1.00000
34 hdd 0.27299 osd.34 α‘αΎα 1.00000 1.00000
35 hdd 0.27299 osd.35 α‘αΎα 1.00000 1.00000
36 hdd 0.27299 osd.36 α‘αΎα 1.00000 1.00000
37 hdd 0.27299 osd.37 α‘αΎα 1.00000 1.00000
38 hdd 0.27299 osd.38 α‘αΎα 1.00000 1.00000
39 hdd 0.27299 osd.39 α‘αΎα 1.00000 1.00000
-7 6.08690 ααα
αΆαααααα ceph03-q
40 ssd 0.27299 osd.40 α‘αΎα 1.00000 1.00000
41 ssd 0.27299 osd.41 α‘αΎα 1.00000 1.00000
42 ssd 0.27299 osd.42 α‘αΎα 1.00000 1.00000
43 ssd 0.27299 osd.43 α‘αΎα 1.00000 1.00000
44 hdd 0.27299 osd.44 α‘αΎα 1.00000 1.00000
45 hdd 0.27299 osd.45 α‘αΎα 1.00000 1.00000
46 hdd 0.27299 osd.46 α‘αΎα 1.00000 1.00000
47 hdd 0.27299 osd.47 α‘αΎα 1.00000 1.00000
48 hdd 0.27299 osd.48 α‘αΎα 1.00000 1.00000
49 hdd 0.27299 osd.49 α‘αΎα 1.00000 1.00000
50 hdd 0.27299 osd.50 α‘αΎα 1.00000 1.00000
51 hdd 0.27299 osd.51 α‘αΎα 1.00000 1.00000
52 hdd 0.27299 osd.52 α‘αΎα 1.00000 1.00000
53 hdd 0.27299 osd.53 α‘αΎα 1.00000 1.00000
54 hdd 0.27299 osd.54 α‘αΎα 1.00000 1.00000
55 hdd 0.27299 osd.55 α‘αΎα 1.00000 1.00000
56 hdd 0.27299 osd.56 α‘αΎα 1.00000 1.00000
57 hdd 0.27299 osd.57 α‘αΎα 1.00000 1.00000
58 hdd 0.27299 osd.58 α‘αΎα 1.00000 1.00000
59 hdd 0.89999 osd.59 α‘αΎα 1.00000 1.00000
ααααααααΎα rack αα·α servers αα·αααα·αααααααΎαααΆαα½α blackjack αα·αααααααααααααα
root@ceph01-q:~#ceph osd crush add-bucket rack01 root #ΡΠΎΠ·Π΄Π°Π»ΠΈ Π½ΠΎΠ²ΡΠΉ root
root@ceph01-q:~#ceph osd crush add-bucket ceph01-q host #ΡΠΎΠ·Π΄Π°Π»ΠΈ Π½ΠΎΠ²ΡΠΉ Ρ
ΠΎΡΡ
root@ceph01-q:~#ceph osd crush move ceph01-q root=rack01 #ΠΏΠ΅ΡΠ΅ΡΡΠ°Π²ΠΈΠ»ΠΈ ΡΠ΅ΡΠ²Π΅Ρ Π² Π΄ΡΡΠ³ΡΡ ΡΡΠΎΠΉΠΊΡ
root@ceph01-q:~#osd crush add 28 1.0 host=ceph02-q # ΠΠΎΠ±Π°Π²ΠΈΠ»ΠΈ ΠΠ‘Π Π² ΡΠ΅ΡΠ²Π΅Ρ
# ΠΡΠ»ΠΈ ΠΊΡΠΈΠ²ΠΎ ΡΠΎΠ·Π΄Π°Π»ΠΈ ΡΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ΄Π°Π»ΠΈΡΡ
root@ceph01-q:~# ceph osd crush remove osd.4
root@ceph01-q:~# ceph osd crush remove rack01
αααα αΆαααααΎααα½αααααα ααΆαααααα»ααα cluster αα αααααααΆααΆααααααΎααααΆαααΈαααααΈ α αΎαααααΆααααΈααΆαα rack αααααΆαααααΆαα - ααΆααααααααΆ ceph osd crush ααααΆααααΈ ceph01-host root=rack01 ααααα α αΎααααΌααΈαααα αΆααααααΎαααααΆααα α»ααααααα½ααα ααΆαααααααααΆααααααααΆαααααααΎ CTRL + C ααΆααααααΆααααα‘ααα ααααααα ααΆαααα·ααααααΆαααααα α
ααΆααααααααααΆααααα αΆαααΈαααα αΆαααα
αααααβααααΆαβααΆαβααααβααααΆαβαα βααΆβααΆαβαα»αβαααααΈβααααα βα αα α αΎαβααβαααααβα ααβααΈβααΈααα rule replicated_ruleset
root@ceph01-prod:~#ceph osd getcrushmap -o crushmap.row #ΠΠ°ΠΌΠΏΠΈΠΌ ΠΊΠ°ΡΡΡ Π² ΡΡΡΠΎΠΌ Π²ΠΈΠ΄Π΅
root@ceph01-prod:~#crushtool -d crushmap.row -o crushmap.txt #ΠΏΠ΅ΡΠ΅Π²ΠΎΠ΄ΠΈΠΌ Π² ΡΠΈΡΠ°Π΅ΠΌΡΠΉ
root@ceph01-prod:~#vim crushmap.txt #ΡΠ΅Π΄Π°ΠΊΡΠΈΡΡΠ΅ΠΌ, ΡΠ΄Π°Π»ΡΡ rule replicated_ruleset
root@ceph01-prod:~#crushtool -c crushmap.txt -o new_crushmap.row #ΠΊΠΎΠΌΠΏΠΈΠ»ΠΈΡΡΠ΅ΠΌ ΠΎΠ±ΡΠ°ΡΠ½ΠΎ
root@ceph01-prod:~#ceph osd setcrushmap -i new_crushmap.row #Π·Π°Π³ΡΡΠΆΠ°Π΅ΠΌ Π² ΠΊΠ»Π°ΡΡΠ΅Ρ
α’αΆααα»αα ααααα·ααααα·ααΆααααα’αΆα αααααΆαα±ααααΆααα»αααααΆαα‘αΎααα·ααααααα»αααΆαααααΆα OSDs α ααΆβααΆαβααααβααΏαβαααβαααααΆααβααΎα ααα»ααααβαα·α αα½α βααΆααα
α αΎαα’αααΈαααα
ααααααααααΎαααΆααα½αααααααα
αααα»αα
αααααααΆααααααααααΊααΆ αααααΆααααΈα
αΆααααααΎααααΆαααΈααα OSD α‘αΎααα·α αα½αααααααα
ααΆαα½αααααααΌαααΆαααααΆααααΈαα
αααΆαααΈααα αα·α rack ααααΈ α αΎααααα‘αααα
ααΆ root ααααΆαααΎααα·αα
ααΆαααααααααααΆααααααΌααααα»ααααααααΆαααα
α»αααααααααααΎαααΆααααααΎαα«αααΆα
ααααα‘αααααααΆααααααΆα ssd αα·ααα½αααΆα
ααααα‘αααααααΆααααααΆα spindle ααΎαααΆααα OSD ααΆααα’αααα
ααΆ racks α αΎαααααΆαααααα»αα«αααααΆαααΎαα αααααΆααααΈααΆαα
αΆααααααΎαα‘αΎααα·α OSD ααΆαα
αΆααααααΎααα
ααΉαααααααα
αααααΆααααΈααΆαααΈαααα―αααΆααα
ααααααααααΎαααΆαααααΎααααΆαααΆαααααααααααα½ααα»αααααΌαα
ααααα’αΆαααααα·αα·ααΆαααα α’αααΈααΆαααα
αααα»ααααααααΈααΈα
αααααααααΎααααααΎααααα»αααααααααααΆααΆαααααααααΆαα
ααΎααααΈα αΆααααααΎαααΎαααΆααααααΎαα«αααΈα - αααααΆαα ssd αα·ααααααΆαα hdd
root@ceph01-q:~#ceph osd crush add-bucket ssd-root root
root@ceph01-q:~#ceph osd crush add-bucket hdd-root root
αααααΆααααΆαααΈαααααΆαααΈααΆαααα αααα»α racks ααααααααααΆ ααΎααααΈααΆαααΆααααα½α ααΎαααΆααααααΎα rack ααΆαα½ααααΆαααΈααααα αααα»ααα½αααΆ
# Π‘ΡΠΎΠΉΠΊΠΈ:
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack02 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack03 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
# Π‘Π΅ΡΠ²Π΅ΡΠ°
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph03-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
αα·αα ααα αΆαααΈαααΆαααααααααααααΆαα αααα»ααααΆαααΈααααααααα
root@ceph01-q:~# ΠΠΈΡΠΊΠΈ Ρ 0 ΠΏΠΎ 3 ΡΡΠΎ SSD, Π½Π°Ρ
ΠΎΠ΄ΡΡΡΡ Π² ceph01-q, ΡΡΠ°Π²ΠΈΠΌ ΠΈΡ
Π² ΡΠ΅ΡΠ²Π΅Ρ
root@ceph01-q:~# ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 0 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 1 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 2 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 3 1 host=ssd-ceph01-q
root-ceph01-q:~# Π°Π½Π°Π»ΠΎΠ³ΠΈΡΠ½ΠΎ Ρ Π΄ΡΡΠ³ΠΈΠΌΠΈ ΡΠ΅ΡΠ²Π΅ΡΠ°ΠΌΠΈ
αααααΆαααα αΆααααα αΆαααΆααααα»αα ααααααααΌα ssd-root αα·α hdd-root ααΎαααΆααα»α root-default ααα ααΌα ααααααΎαα’αΆα αα»αααΆααΆα
root-ceph01-q:~#ceph osd crush remove default
αααααΆααααααα ααΎαααααΌααααααΎαα αααΆααα ααα αΆααααααΎαααΉαα αααααΆαααα ααΉαα’αΆαααααααα»αααααΌαααΆααααααΎα - αα αααα»αα αααΆααααΎαααΉαα ααα’α»ααααα αΆαααΆααΎα«αααΆαα½αα’αΆα ααΆαααα·ααααααα’αΆαααααααΎα αα·αααααα·αααααΆααααααααααααα»α αααα - α§ααΆα ααα ααΆαα ααααααααΌαααααΆααα ααΎαααΆαααΈαααααααααααααΆα α¬αα αααα»α racks αααααααααΆ (α’αααα’αΆα ααΌααααΈαααα αααα»αα«ααααααααααΆααααα·αααΎααΎαααΆαααΆααααα αααααααα)
αα»ααααααααΎαααΎααααααα ααΆααΆααΆααααααΎααααα»αααΆαα’αΆαα―αααΆαα
root-ceph01-q:~#ceph osd crush rule create-simple rule-ssd ssd-root host firstn
root-ceph01-q:~#ceph osd crush rule create-simple rule-hdd hdd-root host firstn
root-ceph01-q:~# ΠΡ ΡΠΊΠ°Π·Π°Π»ΠΈ Π΄Π²Π° ΠΏΡΠ°Π²ΠΈΠ»Π°, Π² ΠΊΠΎΡΠΎΡΡΡ
Π΄Π°Π½Π½ΡΠ΅ ΡΠ΅ΠΏΠ»ΠΈΡΠΈΡΡΡΡΡΡ
root-ceph01-q:~# ΠΌΠ΅ΠΆΠ΄Ρ Ρ
ΠΎΡΡΠ°ΠΌΠΈ - ΡΠΎ Π΅ΡΡΡ ΡΠ΅ΠΏΠ»ΠΈΠΊΠ° Π΄ΠΎΠ»ΠΆΠ½Π° Π»Π΅ΠΆΠ°ΡΡ Π½Π° Π΄ΡΡΠ³ΠΎΠΌ Ρ
ΠΎΡΡΠ΅,
root-ceph01-q:~# Π΄Π°ΠΆΠ΅ Π΅ΡΠ»ΠΈ ΠΎΠ½ΠΈ Π² ΠΎΠ΄Π½ΠΎΠΉ ΡΡΠΎΠΉΠΊΠ΅
root-ceph01-q:~# Π ΠΏΡΠΎΠ΄Π°ΠΊΡΠ΅Π½Π΅, Π΅ΡΠ»ΠΈ Π΅ΡΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ, Π»ΡΡΡΠ΅ ΡΠ°ΡΠΏΡΠ΅Π΄Π΅Π»ΠΈΡΡ Ρ
ΠΎΡΡΡ
root-ceph01-q:~# ΠΏΠΎ ΡΡΠΎΠΉΠΊΠ°ΠΌ ΠΈ ΡΠΊΠ°Π·Π°ΡΡ ΡΠ°ΡΠΏΡΠ΅Π΄Π΅Π»ΡΡΡ ΡΠ΅ΠΏΠ»ΠΈΠΊΠΈ ΠΏΠΎ ΡΡΠΎΠΉΠΊΠ°ΠΌ:
root-ceph01-q:~# ##ceph osd crush rule create-simple rule-ssd ssd-root rack firstn
ααΆααΆααααααΎαααΆαα, ααΎααααααΎαα’αΆααααααΎαα αααααααΆαα»αααΌαααΆαααΆααααα·αααα·αααααααΎαααΆαααα’ααΆαα - PROXMOX:
root-ceph01-q:~# #ceph osd pool create {NAME} {pg_num} {pgp_num}
root-ceph01-q:~# ceph osd pool create ssd_pool 1024 1024
root-ceph01-q:~# ceph osd pool create hdd_pool 1024 1024
α αΎαβααΎαβααααΆααβα’αΆαβααΉαβααΆααβαααβααΆβααΎβα αααΆααβααΆααβα’αααΈβααααΌαβααααΎ
root-ceph01-q:~#ceph osd crush rule ls # ΡΠΌΠΎΡΡΠΈΠΌ ΡΠΏΠΈΡΠΎΠΊ ΠΏΡΠ°Π²ΠΈΠ»
root-ceph01-q:~#ceph osd crush rule dump rule-ssd | grep rule_id #Π²ΡΠ±ΠΈΡΠ°Π΅ΠΌ ID Π½ΡΠΆΠ½ΠΎΠ³ΠΎ
root-ceph01-q:~#ceph osd pool set ssd_pool crush_rule 2
αααααΎαααα ααα½ααααα»αααΆααααααΌαααααααΌαααΆααα·ααα·αααΆαα½αααΉαα αααα»αα·ααααααααΆαααααΆαααααααΆααα αααααααααα’ααα - αααα ααα ααα½α OSDs ααΉααα ααΈααα ααΎα ααα½ααα·ααααααααα»ααααΆα (αα·αααΆααΆαααααααα·ααΆαααα»α) ααΉαααΆααα αααα»αα’αΆα ααΎα’αααΈααΆ α ααα½αααα»ααααα·ααααααα
ααα»ααα αα·ααα½αααΆααααα»αααΆααα αααΎαααΆα 300 αα ααΎααΆαααααα α αΎαααΆααΉαααΆααααααΆααααα½ααααα»αααΆαααΆααα»αααααΆαααΆαα½ααααα»αααΆααααΌα α αααααΊααααα·αααΎα’αΆαααΆααααΌαααααα’αααα‘αΎα 10 Tb α αΎαααΆα 10 PG αα αααα»αααα - αααααΆααααααααΎαααα»αααα αααααΆααααα₯ααα terabyte (ααα ) ααΉαααΆααααα αΆ - α αΆααααααΆα αααΆαα½αααΉαααααΆααααααΆα αααα αααΌα α αΌααα αααα»ααα»αααΆααααα½αααΆααα·αααααΎααααΆ) α
ααα»ααααααΎαααααΌαααα αα αΆαααΆα ααα½α PGs ααΆααααα αααΎα ααααΆαααΆααααα αααΎαααααΌαααΆαα αααΆαααΎααΆαααααΆααΈααΆαααααααα½ααα - α’αααα αα αΆα αα·ααααΈααΈααΌα αΆααααααΎαααααΎααααΆααα
ααΆααααααΉαααα’αΆαααααα’αΆα
αααααΈαααααΆααα
ααααα: www.habr.com