{"id":35420,"date":"2019-10-31T22:04:14","date_gmt":"2019-10-31T19:04:14","guid":{"rendered":"https:\/\/prohoster.info\/blog\/seph-ot-na-kolenke-do-production\/"},"modified":"2019-10-31T22:04:14","modified_gmt":"2019-10-31T19:04:14","slug":"seph-ot-na-kolenke-do-production","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/seph-ot-na-kolenke-do-production","title":{"rendered":"Ceph \u2013 von \"der Hand gemacht\" bis \"in der Produktion\"","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<h1 id=\"vybor-ceph-chast-1\">\u0412\u044b\u0431\u043e\u0440 CEPH. \u0427\u0430\u0441\u0442\u044c 1<\/h1>\n<p><\/p>\n<p><em>\u0423 \u043d\u0430\u0441 \u0431\u044b\u043b\u043e \u043f\u044f\u0442\u044c \u0441\u0442\u043e\u0435\u043a, \u0434\u0435\u0441\u044f\u0442\u044c \u043e\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u0438\u0447\u0435\u0439, \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 BGP, \u043f\u0430\u0440\u0443 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 SSD \u0438 \u043a\u0443\u0447\u0430 SAS \u0434\u0438\u0441\u043a\u043e\u0432 \u0432\u0441\u0435\u0445 \u0446\u0432\u0435\u0442\u043e\u0432 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432, \u0430 \u0435\u0449\u0451 proxmox \u0438 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0437\u0430\u0441\u0443\u043d\u0443\u0442\u044c \u0432\u0441\u044e \u0441\u0442\u0430\u0442\u0438\u043a\u0443 \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 S3 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435. \u041d\u0435 \u0442\u043e \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0432\u0441\u0451 \u0431\u044b\u043b\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u043e \u0440\u0430\u0437 \u043d\u0430\u0447\u0430\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c opensource \u2014 \u0442\u043e \u0438\u0434\u0438 \u0432 \u0441\u0432\u043e\u0451\u043c \u0443\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0438 \u0434\u043e \u043a\u043e\u043d\u0446\u0430. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435, \u0447\u0442\u043e \u043c\u0435\u043d\u044f \u0431\u0435\u0441\u043f\u043e\u043a\u043e\u0438\u043b\u043e\u00a0\u2014 \u044d\u0442\u043e BGP. \u0412 \u043c\u0438\u0440\u0435 \u043d\u0435\u0442 \u043d\u0438\u043a\u043e\u0433\u043e \u0431\u043e\u043b\u0435\u0435 \u0431\u0435\u0441\u043f\u043e\u043c\u043e\u0449\u043d\u043e\u0433\u043e, \u0431\u0435\u0437\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0438 \u0431\u0435\u0437\u043d\u0440\u0430\u0432\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e, \u0447\u0435\u043c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u043c\u0430\u0440\u0448\u0440\u0442\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e BGP. \u0418 \u044f \u0437\u043d\u0430\u043b, \u0447\u0442\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043a\u043e\u0440\u043e \u043c\u044b \u0432 \u044d\u0442\u043e \u043e\u043a\u0443\u043d\u0451\u043c\u0441\u044f.<\/em><\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"\u0421eph &mdash; \u043e\u0442 &laquo;\u043d\u0430 \u043a\u043e\u043b\u0435\u043d\u043a\u0435&raquo; \u0434\u043e &laquo;production&raquo;\" src=\"\/wp-content\/uploads\/2019\/06\/e03d1280ebdbcab322a1447a983f36b9.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u0441\u0442\u043e\u044f\u043b\u0430 \u0431\u0430\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u2014 \u0438\u043c\u0435\u043b\u0441\u044f CEPH, \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e. \u041d\u0430\u0434\u043e \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c &#171;\u0445\u043e\u0440\u043e\u0448\u043e&#187;.<br \/>\n\u0414\u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0439\u0441\u044f \u043c\u043d\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0431\u044b\u043b \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u043c, \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c \u043d\u0430 \u0441\u043a\u043e\u0440\u0443\u044e \u0440\u0443\u043a\u0443 \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0442\u044e\u043d\u0438\u043d\u0433\u043e\u0432\u0430\u043d\u043d\u044b\u043c. \u041e\u043d \u0441\u043e\u0441\u0442\u043e\u044f\u043b \u0438\u0437 \u0434\u0432\u0443\u0445 \u0433\u0440\u0443\u043f\u043f \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u043e\u0434, \u0441 \u043e\u0434\u043d\u043e\u0439 \u043e\u0431\u0449\u0435\u0439 \u0441\u0435\u0442\u043a\u043e\u0439 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0449\u0435\u0439 \u0440\u043e\u043b\u044c \u043a\u0430\u043a cluster \u0442\u0430\u043a \u0438 public network. \u041d\u043e\u0434\u044b \u0431\u044b\u043b\u0438 \u043d\u0430\u0431\u0438\u0442\u044b \u0447\u0435\u0442\u044b\u0440\u044c\u043c\u044f \u0442\u0438\u043f\u0430\u043c\u0438 \u0434\u0438\u0441\u043a\u043e\u0432 \u2014 \u0434\u0432\u0430 \u0442\u0438\u043f\u0430 SSD, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 \u0434\u0432\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 placement rule \u0438 \u0434\u0432\u0430 \u0442\u0438\u043f\u0430 HDD \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 \u0442\u0440\u0435\u0442\u044c\u044e \u0433\u0440\u0443\u043f\u043f\u0443. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c\u0438 \u0431\u044b\u043b\u0430 \u0440\u0435\u0448\u0435\u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 OSD.<\/p>\n<p><\/p>\n<p>\u0421\u0430\u043c\u0443 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b\u0438 \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438 \u2014 <strong>\u0442\u044e\u043d\u0438\u043d\u0433 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b<\/strong> \u0438 <strong>\u0442\u044e\u043d\u0438\u043d\u0433 \u0441\u0430\u043c\u043e\u0433\u043e CEPH<\/strong> \u0438 \u0435\u0433\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a.<\/p>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h2 id=\"prokachka-os\">\u041f\u0440\u043e\u043a\u0430\u0447\u043a\u0430 OS<\/h2>\n<p><\/p>\n<h3 id=\"network\">Network<\/h3>\n<p><\/p>\n<p>\u0412\u044b\u0441\u043e\u043a\u043e\u0435 latency \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u043e\u0441\u044c \u043a\u0430\u043a \u043f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u0438, \u0442\u0430\u043a \u0438 \u043f\u0440\u0438 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0435. \u041f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u2014 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043a\u043b\u0438\u0435\u043d\u0442 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u043e\u0442\u0432\u0435\u0442 \u043e\u0431 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438, \u043f\u043e\u043a\u0430 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u043b\u0435\u0439\u0441\u043c\u0435\u043d\u0442 \u0433\u0440\u0443\u043f\u043f\u0430\u0445 \u043d\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u044f\u0442 \u0443\u0441\u043f\u0435\u0445. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u043f\u043b\u0438\u043a \u0432 CRUSH map \u0443 \u043d\u0430\u0441 \u0431\u044b\u043b\u0438 \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0440\u0435\u043f\u043b\u0438\u043a\u0435 \u043d\u0430 \u0445\u043e\u0441\u0442, \u0442\u043e \u0441\u0435\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0432\u0441\u0435\u0433\u0434\u0430.<\/p>\n<p><\/p>\n<p>\u041f\u043e\u0442\u043e\u043c\u0443 \u043f\u0435\u0440\u0432\u044b\u043c \u0434\u0435\u043b\u043e\u043c \u0440\u0435\u0448\u0438\u043b \u0441\u043b\u0435\u0433\u043a\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u0441\u0435\u0442\u044c, \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u0443\u0431\u0435\u0434\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0435\u0445\u0430\u0442\u044c \u043d\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0435\u0442\u0438. <\/p>\n<p><\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u043a\u0440\u0443\u0442\u0438\u043b \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u043a\u0430\u0440\u0442. \u041d\u0430\u0447\u0430\u043b \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u0435\u0439:<\/p>\n<p><\/p>\n<p>\u0447\u0442\u043e \u0431\u044b\u043b\u043e:<\/p>\n<p>\n<b class=\"spoiler_title\">ethtool -l ens1f1<\/b><\/p>\n<pre><code class=\"plaintext\">root@ceph01:~# ethtool -l ens1f1\nChannel parameters for ens1f1:\nPre-set maximums:\nRX:     0\nTX:     0\nOther:      1\nCombined:   63\nCurrent hardware settings:\nRX:     0\nTX:     0\nOther:      1\nCombined:   1\nroot@ceph01:~# ethtool -g ens1f1\nRing parameters for ens1f1:\nPre-set maximums:\nRX:     4096\nRX Mini:    0\nRX Jumbo:   0\nTX:     4096\nCurrent hardware settings:\nRX:     256\nRX Mini:    0\nRX Jumbo:   0\nTX:     256\nroot@ceph01:~# ethtool -l ens1f1\nChannel parameters for ens1f1:\nPre-set maximums:\nRX:     0\nTX:     0\nOther:      1\nCombined:   63\nCurrent hardware settings:\nRX:     0\nTX:     0\nOther:      1\nCombined:   1<\/code><\/pre>\n<p><\/p>\n<p>\u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e current \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0434\u0430\u043b\u0435\u043a\u0438 \u043e\u0442 maximums. \u0423\u0432\u0435\u043b\u0438\u0447\u0438\u043b:<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01:~#ethtool -G ens1f0 rx 4096\nroot@ceph01:~#ethtool -G ens1f0 tx 4096\nroot@ceph01:~#ethtool -L ens1f0 combined 63<\/code><\/pre>\n<p><\/p>\n<p>\u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0443\u044f\u0441\u044c \u043e\u0442\u043b\u0438\u0447\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435\u0439<\/p>\n<p><\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/blog.packagecloud.io\/eng\/2017\/02\/06\/monitoring-tuning-linux-networking-stack-sending-data\/\">https:\/\/blog.packagecloud.io\/eng\/2017\/02\/06\/monitoring-tuning-linux-networking-stack-sending-data\/<\/a><\/noindex><\/p>\n<p><\/p>\n<p>\u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b \u0434\u043b\u0438\u043d\u043d\u0443 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 <strong>txqueuelen<\/strong> \u0441 1000 \u0434\u043e 10 000<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01:~#ip link set ens1f0  txqueuelen 10000<\/code><\/pre>\n<p><\/p>\n<p>\u041d\u0443 \u0438 \u0441\u043b\u0435\u0434\u0443\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0441\u0430\u043c\u043e\u0433\u043e ceph<\/p>\n<p><\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/ceph.com\/geen-categorie\/ceph-loves-jumbo-frames\/\">https:\/\/ceph.com\/geen-categorie\/ceph-loves-jumbo-frames\/<\/a><\/noindex><\/p>\n<p><\/p>\n<p>\u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b <strong>MTU<\/strong> \u0434\u043e 9000.<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01:~#ip link set dev ens1f0  mtu 9000<\/code><\/pre>\n<p><\/p>\n<p>\u0414\u043e\u0431\u0430\u0432\u0438\u043b \u0432 \/etc\/network\/interfaces, \u0447\u0442\u043e\u0431 \u0432\u0441\u0435 \u0432\u044b\u0448\u0435\u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u0433\u0440\u0443\u0437\u0438\u043b\u043e\u0441\u044c \u043f\u0440\u0438 \u0441\u0442\u0430\u0440\u0442\u0435<\/p>\n<p>\n<b class=\"spoiler_title\">cat \/etc\/network\/interfaces<\/b><\/p>\n<pre><code class=\"plaintext\">root@ceph01:~# cat \/etc\/network\/interfaces\nauto lo\niface lo inet loopback\n\nauto ens1f0\niface ens1f0 inet manual\npost-up \/sbin\/ethtool -G ens1f0 rx 4096\npost-up \/sbin\/ethtool -G ens1f0 tx 4096\npost-up \/sbin\/ethtool -L ens1f0 combined 63\npost-up \/sbin\/ip link set ens1f0  txqueuelen 10000\nmtu 9000\n\nauto ens1f1\niface ens1f1 inet manual\npost-up \/sbin\/ethtool -G ens1f1 rx 4096\npost-up \/sbin\/ethtool -G ens1f1 tx 4096\npost-up \/sbin\/ethtool -L ens1f1 combined 63\npost-up \/sbin\/ip link set ens1f1  txqueuelen 10000\nmtu 9000<\/code><\/pre>\n<p><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e, \u0441\u043b\u0435\u0434\u0443\u044f \u044d\u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0430\u0442\u044c\u0435, \u043d\u0430\u0447\u0430\u043b \u0432\u0434\u0443\u043c\u0447\u0438\u0432\u043e \u043d\u0430\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u0440\u0443\u0447\u043a\u0438 \u044f\u0434\u0440\u0430 4.15. \u0423\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e \u043d\u0430 \u043d\u043e\u0434\u0430\u0445 128G RAM, \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u043d\u0435\u043a\u0438\u0439 \u0444\u0430\u0439\u043b \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0434\u043b\u044f <strong>sysctl<\/strong><\/p>\n<p>\n<b class=\"spoiler_title\">cat \/etc\/sysctl.d\/50-ceph.conf<\/b><\/p>\n<pre><code class=\"plaintext\">net.core.rmem_max = 56623104  \n#\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0443\u0444\u0435\u0440\u0430 \u043f\u0440\u0438\u0435\u043c\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439  54M\n\nnet.core.wmem_max = 56623104\n#\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0443\u0444\u0435\u0440\u0430 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439 54M\n\nnet.core.rmem_default = 56623104\n#\u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0443\u0444\u0435\u0440\u0430 \u043f\u0440\u0438\u0435\u043c\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439. 54M\n\nnet.core.wmem_default = 56623104\n#\u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0443\u0444\u0435\u0440\u0430 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439 54M  \n# \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e\u043a\u0435\u0442\n\nnet.ipv4.tcp_rmem = 4096 87380 56623104\n#\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f (\u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c) \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0432 \u0444\u0430\u0439\u043b\u0435 tcp_rmem\n# \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 3 \u0446\u0435\u043b\u044b\u0445 \u0447\u0438\u0441\u043b\u0430, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0440\u0438\u0435\u043c\u043d\u043e\u0433\u043e \u0431\u0443\u0444\u0435\u0440\u0430 \u0441\u043e\u043a\u0435\u0442\u043e\u0432 TCP.\n# \u041c\u0438\u043d\u0438\u043c\u0443\u043c: \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e\u043a\u0435\u0442 TCP \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u0430\u0432\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0443 \u043f\u0430\u043c\u044f\u0442\u044c \u043f\u043e \n# \u0444\u0430\u043a\u0442\u0443 \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0431\u0443\u0444\u0435\u0440\u0430 \n# \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0438 \u043f\u043e\u0440\u043e\u0433\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f (moderate memory pressure).\n# \u0420\u0430\u0437\u043c\u0435\u0440 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0431\u0443\u0444\u0435\u0440\u0430 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 8 \u041a\u0431\u0430\u0439\u0442 (8192).\n#\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e: \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u043c\u044f\u0442\u0438, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e\u0435 \u0434\u043b\u044f \u0431\u0443\u0444\u0435\u0440\u0430 \n# \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0441\u043e\u043a\u0435\u0442\u0430 TCP \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432\u0437\u0430\u043c\u0435\u043d\n# \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \/proc\/sys\/net\/core\/rmem_default, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0433\u043e \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430\u043c\u0438.\n# \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0433\u043e \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0431\u0443\u0444\u0435\u0440\u0430 \u043e\u0431\u044b\u0447\u043d\u043e (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e) \n# \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 87830 \u0431\u0430\u0439\u0442. \u042d\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u043a\u043d\u0430 65535 \u0441 \n# \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u043c \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c tcp_adv_win_scale \u0438 tcp_app_win = 0, \n# \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u043d\u044c\u0448\u0438\u0439, \u043d\u0435\u0436\u0435\u043b\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043f\u0440\u0438\u043d\u044f\u0442\u043e\u0435 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 tcp_app_win.\n# \u041c\u0430\u043a\u0441\u0438\u043c\u0443\u043c: \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0443\u0444\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\n# \u0432\u044b\u0434\u0435\u043b\u0435\u043d \u0434\u043b\u044f \u043f\u0440\u0438\u0435\u043c\u0430 \u0441\u043e\u043a\u0435\u0442\u0443 TCP. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430, \n# \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0432 \u0444\u0430\u0439\u043b\u0435 \/proc\/sys\/net\/core\/rmem_max. \u041f\u0440\u0438 \u00ab\u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u00bb\n# \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043f\u0430\u043c\u044f\u0442\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SO_RCVBUF \u044d\u0442\u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.\n\nnet.ipv4.tcp_wmem = 4096 65536 56623104\nnet.core.somaxconn = 5000    \n# \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u043a\u0435\u0442\u043e\u0432, \u0436\u0434\u0443\u0449\u0438\u0445 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f.\n\nnet.ipv4.tcp_timestamps=1\n# \u0420\u0430\u0437\u0440\u0435\u0448\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a (timestamps), \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 RFC 1323.\n\nnet.ipv4.tcp_sack=1\n# \u0420\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u044b\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430 TCP\n\nnet.core.netdev_max_backlog=5000 (\u0434\u0435\u0444\u043e\u043b\u0442 1000)\n# \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443, \u0435\u0441\u043b\u0438 \n# \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0430\u043a\u0435\u0442\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u044f\u0434\u0440\u043e \u043c\u043e\u0436\u0435\u0442 \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c.\n\nnet.ipv4.tcp_max_tw_buckets=262144\n# \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0441\u043e\u043a\u0435\u0442\u043e\u0432, \u043d\u0430\u0445\u043e\u0434\u044f\u0449\u0438\u0445\u0441\u044f \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 TIME-WAIT \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e.\n# \u041f\u0440\u0438 \u043f\u0440\u0435\u0432\u044b\u0448\u0435\u043d\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430 \u2013 \u00ab\u043b\u0438\u0448\u043d\u0438\u0439\u00bb \u0441\u043e\u043a\u0435\u0442 \u0440\u0430\u0437\u0440\u0443\u0448\u0430\u0435\u0442\u0441\u044f \u0438 \u043f\u0438\u0448\u0435\u0442\u0441\u044f\n# \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u0436\u0443\u0440\u043d\u0430\u043b.\n\nnet.ipv4.tcp_tw_reuse=1\n#\u0420\u0430\u0437\u0440\u0435\u0448\u0430\u0435\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 TIME-WAIT \u0441\u043e\u043a\u0435\u0442\u043e\u0432 \u0432 \u0441\u043b\u0443\u0447\u0430\u044f\u0445,\n# \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u044d\u0442\u043e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u044b\u043c.\n\nnet.core.optmem_max=4194304\n#\u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u0449\u0438\u0439 \u0431\u0443\u0444\u0435\u0440-\u043a\u043e\u0441\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 ALLOCATABLE\n#\u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0435\u0434\u0438\u043d\u0438\u0446\u0430\u0445 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 (4096 \u0431\u0430\u0439\u0442)\n\nnet.ipv4.tcp_low_latency=1\n#\u0420\u0430\u0437\u0440\u0435\u0448\u0430\u0435\u0442 \u0441\u0442\u0435\u043a\u0443 TCP\/IP \u043e\u0442\u0434\u0430\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0435 \u043d\u0438\u0437\u043a\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\n# \u043f\u0435\u0440\u0435\u0434 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e.\n\nnet.ipv4.tcp_adv_win_scale=1\n# \u042d\u0442\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u043e\u0431\u044a\u0435\u043c\u0430 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432 \u0431\u0443\u0444\u0435\u0440\u0435 \u0441\u043e\u043a\u0435\u0442\u0430,\n# \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u043c\u043e\u0439 \u043f\u043e\u0434 \u0440\u0430\u0437\u043c\u0435\u0440 TCP-\u043e\u043a\u043d\u0430 \u0438 \u043f\u043e\u0434 \u0431\u0443\u0444\u0435\u0440 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f.\n# \u0415\u0441\u043b\u0438 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 tcp_adv_win_scale \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f, \u0442\u043e \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u0430\n# \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435:\n# Bytes- bytes2\u0432 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 -tcp_adv_win_scale\n# \u0413\u0434\u0435 bytes \u2013 \u044d\u0442\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u043a\u043d\u0430 \u0432 \u0431\u0430\u0439\u0442\u0430\u0445. \u0415\u0441\u043b\u0438 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 tcp_adv_win_scale\n# \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f, \u0442\u043e \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435:\n# Bytes- bytes2\u0432 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 tcp_adv_win_scale\n# \u041f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0446\u0435\u043b\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e-\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u2013 2, \n# \u0442.\u0435. \u043f\u043e\u0434 \u0431\u0443\u0444\u0435\u0440 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043e\u0442\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u00bc \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043c\u0430, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\n# tcp_rmem.\n\nnet.ipv4.tcp_slow_start_after_idle=0\n# \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u0440\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u043a\u043d\u0430 \n# \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0437\u043a\u0438, \u0435\u0441\u043b\u0438 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u0435\u0440\u0438\u043e\u0434 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.\n# \u041b\u0443\u0447\u0448\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c SSR \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435, \u0447\u0442\u043e\u0431\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \n# \u0434\u043e\u043b\u0433\u043e\u0436\u0438\u0432\u0443\u0449\u0438\u0445 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439.\n\nnet.ipv4.tcp_no_metrics_save=1\n#\u041d\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 TCP \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0432 \u043a\u0435\u0448\u0435 \u043f\u0440\u0438 \u0435\u0433\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0438.\n\nnet.ipv4.tcp_syncookies=0\n#\u041e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 syncookie\n\nnet.ipv4.tcp_ecn=0\n#Explicit Congestion Notification (\u042f\u0432\u043d\u043e\u0435 \u0423\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0435 \u043e \u041f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438) \u0432 \n# TCP-\u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f\u0445. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u043e \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u0438 \u00ab\u0437\u0430\u0442\u043e\u0440\u0430\u00bb \n# \u043d\u0430 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0435 \u043a \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u0445\u043e\u0441\u0442\u0443 \u0438\u043b\u0438 \u0441\u0435\u0442\u0438. \u041c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u0438\u0437\u0432\u0435\u0449\u0435\u043d\u0438\u044f\n# \u0445\u043e\u0441\u0442\u0430-\u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u0435\u043b\u044f \u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u0447\u0435\u0440\u0435\u0437\n# \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0442\u043e\u0440 \u0438\u043b\u0438 \u0431\u0440\u0430\u043d\u0434\u043c\u0430\u0443\u044d\u0440.\n\nnet.ipv4.conf.all.send_redirects=0\n# \u0432\u044b\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432\u044b\u0434\u0430\u0447\u0443 ICMP Redirect \u2026 \u0434\u0440\u0443\u0433\u0438\u043c \u0445\u043e\u0441\u0442\u0430\u043c. \u042d\u0442\u0430 \u043e\u043f\u0446\u0438\u044f \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e\n# \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0430, \u0435\u0441\u043b\u0438 \u0445\u043e\u0441\u0442 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432 \u0440\u043e\u043b\u0438 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u043b\u044e\u0431\u043e\u0433\u043e \u0440\u043e\u0434\u0430.\n# \u0423 \u043d\u0430\u0441 \u043d\u0435\u0442 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438.\n\nnet.ipv4.ip_forward=0\n#\u0421\u043e\u043f\u0441\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u0432\u0430\u0440\u0434\u0438\u043d\u0433\u0430. \u041c\u044b \u043d\u0435 \u0448\u043b\u044e\u0437, \u0434\u043e\u043a\u0435\u0440 \u043d\u0430 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 \u043d\u0435 \u043f\u043e\u0434\u043d\u044f\u0442,\n# \u043d\u0430\u043c \u044d\u0442\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.\n\nnet.ipv4.icmp_echo_ignore_broadcasts=1\n#\u041d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u043c \u043d\u0430 ICMP ECHO \u0437\u0430\u043f\u0440\u043e\u0441\u044b, \u043f\u0435\u0440\u0435\u0434\u0430\u043d\u043d\u044b\u0435 \u0448\u0438\u0440\u043e\u043a\u043e\u0432\u0435\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438\n\nnet.ipv4.tcp_fin_timeout=10\n#\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0441\u043e\u043a\u0435\u0442\u0430 \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 FIN-WAIT-2 \u043f\u043e\u0441\u043b\u0435 \u0435\u0433\u043e\n# \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u043e\u0439. \u0414\u0435\u0444\u043e\u043b\u0442 60\n\nnet.core.netdev_budget=600 # (\u0434\u0435\u0444\u043e\u043b\u0442 300)\n# \u0415\u0441\u043b\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0445 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u0439 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043e\u043b\u0433\u043e,\n# \u0442\u043e \u0442\u0435\u043c\u043f \u0440\u043e\u0441\u0442\u0430 \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0432\u044b\u0441\u0438\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u044f\u0434\u0440\u0430 \n# \u043e\u043f\u0443\u0441\u0442\u043e\u0448\u0438\u0442\u044c \u0431\u0443\u0444\u0435\u0440. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0431\u0443\u0444\u0435\u0440\u044b NIC \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u044f\u0442\u0441\u044f, \u0438 \u0442\u0440\u0430\u0444\u0438\u043a \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0442\u0435\u0440\u044f\u043d.\n# \u0418\u043d\u043e\u0433\u0434\u0430, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b SoftIRQs\n# (\u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0445 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u0439) \u0441 CPU. \u0417\u0430 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 netdev_budget. \n# \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 300. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 SoftIRQ \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c\n# 300 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u043e\u0442 NIC \u043f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a \u043e\u0442\u043f\u0443\u0441\u0442\u0438\u0442\u044c CPU\n\nnet.ipv4.tcp_fastopen=3\n# TFO TCP Fast Open\n# \u0435\u0441\u043b\u0438 \u0438 \u043a\u043b\u0438\u0435\u043d\u0442 \u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u0438\u043c\u0435\u044e\u0442 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 TFO, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043e\u043e\u0431\u0449\u0430\u044e\u0442 \u0437\u0430 \u0441\u0447\u0435\u0442\n# \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u043b\u0430\u0433\u0430 \u0432 TCP \u043f\u0430\u043a\u0435\u0442\u0435. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043b\u0430\u0446\u0435\u0431\u043e, \u043f\u0440\u043e\u0441\u0442\u043e\n# \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u043e)<\/code><\/pre>\n<p><\/p>\n<p>\u0421<strong>luster network<\/strong> \u0431\u044b\u043b\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0430 \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 10Gbps \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430\u0445 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u043f\u043b\u043e\u0441\u043a\u0443\u044e \u0441\u0435\u0442\u044c. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u0434\u0432\u0443\u0445\u043f\u043e\u0440\u0442\u043e\u0432\u044b\u0435 \u043a\u0430\u0440\u0442\u044b <strong>mellanox<\/strong> 10\/25 Gbps, \u0432\u043e\u0442\u043a\u043d\u0443\u0442\u044b\u0435 \u0432 \u0434\u0432\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 10Gbps \u0441\u0432\u0438\u0447\u0430. \u0410\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u043b\u0430\u0441\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e OSPF, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0431\u043e\u043d\u0434\u0438\u043d\u0433 \u0441 lacp \u043f\u043e\u0447\u0435\u043c\u0443-\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0443\u044e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0432 16 Gbps, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a ospf \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0443\u0442\u0438\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u0431\u0435 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435. \u0412 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0445 \u043f\u043b\u0430\u043d\u0430\u0445 \u0431\u044b\u043b\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f ROCE \u043d\u0430 \u044d\u0442\u0438\u0445 \u043c\u0435\u043b\u0430\u043d\u043e\u043a\u0441\u0430\u0445, \u0434\u043b\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u043b\u044d\u0442\u044d\u043d\u0441\u0438. \u041a\u0430\u043a \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u0438 \u044d\u0442\u0443 \u0447\u0430\u0441\u0442\u044c \u0441\u0435\u0442\u0438:<\/p>\n<p><\/p>\n<ol>\n<li>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0441\u0430\u043c\u0438 \u043c\u0430\u0448\u0438\u043d\u044b \u0438\u043c\u0435\u044e\u0442 \u0432\u043d\u0435\u0448\u043d\u0438\u0435 \u0430\u0439\u043f\u0438\u0448\u043d\u0438\u043a\u0438 \u043d\u0430 BGP, \u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b \u043d\u0430\u043c \u0441\u043e\u0444\u0442 \u2014 <em>( \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0441\u0442\u0430\u0442\u044c\u0438 \u044d\u0442\u043e \u0431\u044b\u043b <noindex><a rel=\"nofollow\" href=\"https:\/\/frrouting.org\/\">frr=6.0-1<\/a><\/noindex> )<\/em> \u0443\u0436\u0435 \u0441\u0442\u043e\u044f\u043b. <\/li>\n<li>\u0412\u0441\u0435\u0433\u043e \u043d\u0430 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 \u0431\u044b\u043b\u043e \u0434\u0432\u0435 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u043f\u043e \u0434\u0432\u0430 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u2014 \u0432 \u0441\u0443\u043c\u043c\u0435 4 \u043f\u043e\u0440\u0442\u0430. \u041e\u0434\u043d\u0430 \u0441\u0435\u0442\u0435\u0432\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u0434\u0432\u0443\u043c\u044f \u043f\u043e\u0440\u0442\u0430\u043c\u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0430 \u043d\u0430 \u0444\u0430\u0431\u0440\u0438\u043a\u0443 \u0438 \u043d\u0430 \u043d\u0435\u0439 \u0431\u044b\u043b \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d BGP, \u0432\u0442\u043e\u0440\u0430\u044f \u2014 \u0434\u0432\u0443\u043c\u044f \u043f\u043e\u0440\u0442\u0430\u043c\u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0430 \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0432\u0438\u0442\u0447\u0430 \u0438 \u043d\u0430 \u043d\u0435\u0451 \u0431\u044b\u043b \u043d\u0430\u0442\u0440\u0430\u0432\u043b\u0435\u043d OSPF<\/li>\n<\/ol>\n<p><\/p>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435 OSPF: \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0430 \u043b\u0438\u043d\u043a\u0430 \u0438 \u0438\u043c\u0435\u0442\u044c fault tolerance.<br \/>\n\u0434\u0432\u0430 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432 \u0434\u0432\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043f\u043b\u043e\u0441\u043a\u0438\u0445 \u0441\u0435\u0442\u0438 \u2014 10.10.10.0\/24 \u0438 10.10.20.0\/24 <\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">1: ens1f0: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 9000 qdisc mq state UP group default qlen 1000\n    inet 10.10.10.2\/24 brd 10.10.10.255 scope global ens1f0\n\n2: ens1f1: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 9000 qdisc mq state UP group default qlen 1000\n    inet 10.10.20.2\/24 brd 10.10.20.255 scope global ens1f1<\/code><\/pre>\n<p><\/p>\n<p>\u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u0430\u0448\u0438\u043d\u044b \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430 \u0432\u0438\u0434\u044f\u0442. <\/p>\n<p><\/p>\n<h3 id=\"disk\">DISK<\/h3>\n<p><\/p>\n<p>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0448\u0430\u0433\u043e\u043c \u0440\u0435\u0448\u0438\u043b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0434\u0438\u0441\u043a\u043e\u0432. \u0414\u043b\u044f SSD \u043f\u043e\u043c\u0435\u043d\u044f\u043b \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u043d\u0430 <strong>noop<\/strong>, \u0434\u043b\u044f HDD \u2014 <strong>deadline<\/strong>. \u0415\u0441\u043b\u0438 \u0433\u0440\u0443\u0431\u043e \u2014 \u0442\u043e NOOP \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0443 &#171;\u043a\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0441\u0442\u0430\u043b \u2014 \u0442\u043e\u0433\u043e \u0438 \u0442\u0430\u043f\u043a\u0438&#187;, \u0447\u0442\u043e \u043f\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0439 \u0437\u0432\u0443\u0447\u0438\u0442 \u043a\u0430\u043a &#171;FIFO (First In, First Out)&#187;. \u0417\u0430\u043f\u0440\u043e\u0441\u044b \u0432\u0441\u0442\u0430\u044e\u0442 \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043f\u043e \u043c\u0435\u0440\u0435 \u0438\u0445 \u043f\u043e\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f. DEADLINE \u0431\u043e\u043b\u0435\u0435 \u0437\u0430\u0442\u043e\u0447\u0435\u043d \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435, \u043f\u043b\u044e\u0441 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0438\u0437 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043e\u043d\u043e\u043f\u043e\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0434\u0438\u0441\u043a\u0443 \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438. \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u044d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u2014 \u0432\u0435\u0434\u044c \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u0434\u0438\u0441\u043a\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u2014 OSD daemon.<br \/>\n(\u0416\u0435\u043b\u0430\u044e\u0449\u0438\u0435 \u043f\u043e\u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f \u0432 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0432\u0432\u043e\u0434\u0430-\u0432\u044b\u0432\u043e\u0434\u0430 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043e \u043d\u0435\u043c \u0442\u0443\u0442:<br \/>\n<noindex><a rel=\"nofollow\" href=\"http:\/\/www.admin-magazine.com\/HPC\/Articles\/Linux-I-O-Schedulers\">http:\/\/www.admin-magazine.com\/HPC\/Articles\/Linux-I-O-Schedulers<\/a><\/noindex><\/p>\n<p><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u044e\u0449\u0438\u0435 \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c: <noindex><a rel=\"nofollow\" href=\"https:\/\/www.opennet.ru\/base\/sys\/linux_shedulers.txt.html\">https:\/\/www.opennet.ru\/base\/sys\/linux_shedulers.txt.html<\/a><\/noindex>)<\/p>\n<p><\/p>\n<p>\u0412 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f\u0445 \u043f\u043e \u0442\u044e\u043d\u0438\u043d\u0433\u0443 \u043b\u0438\u043d\u0443\u043a\u0441\u0430 \u0441\u043e\u0432\u0435\u0442\u0443\u044e\u0442 \u0442\u0430\u043a-\u0436\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c nr_request<\/p>\n<p><\/p>\n<blockquote><p><em>nr_requests<br \/>\nThe value of nr_requests determines the amount of I\/O requests that get buffered before the I\/O scheduler sends \/ receives data to the block device, if you are using a RAID card \/ Block Device that can handle a larger queue than what the I\/O scheduler is set to, raising the value of nr_requests may help to improve throughout and reduce server load when large amounts of I\/O occur on the server. If you are using Deadline or CFQ as the scheduler, it is suggested that you should set the nr_request value to 2 times the value of queue depth.<\/em><\/p><\/blockquote>\n<p>\u041d\u041e! \u0421\u0430\u043c\u0438 \u0433\u0440\u0430\u0436\u0434\u0430\u043d\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 CEPH \u0443\u0431\u0435\u0436\u0434\u0430\u044e\u0442 \u043d\u0430\u0441, \u0447\u0442\u043e \u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"\u0421eph &mdash; \u043e\u0442 &laquo;\u043d\u0430 \u043a\u043e\u043b\u0435\u043d\u043a\u0435&raquo; \u0434\u043e &laquo;production&raquo;\" src=\"\/wp-content\/uploads\/2019\/06\/ce31e1a21251025c20b01b0ba33967f0.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>\n<b class=\"spoiler_title\">WBThrottle \u0438\/\u0438\u043b\u0438 nr_requests<\/b><\/p>\n<blockquote><p>WBThrottle \u0438\/\u0438\u043b\u0438 nr_requests<br \/>\n\u0424\u0430\u0439\u043b\u043e\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u043b\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u0431\u0443\u0444\u0435\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u0432\u043e\u0434\u0430\/ \u0432\u044b\u0432\u043e\u0434\u0430; \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043d\u043e\u0441\u0438\u0442 \u0446\u0435\u043b\u044b\u0439 \u0440\u044f\u0434 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432 \u0435\u0441\u043b\u0438 \u0436\u0443\u0440\u043d\u0430\u043b \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u043c \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u0435. \u0417\u0430\u043f\u0440\u043e\u0441\u044b \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u0432 \u0436\u0443\u0440\u043d\u0430\u043b, \u0430 \u0437\u0430\u0442\u0435\u043c \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0441\u0430\u043c \u0434\u0438\u0441\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0437\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u043b\u044c\u0437\u0443\u044f\u0441\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e Linux. \u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0434\u043b\u044f OSD \u0448\u043f\u0438\u043d\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0434\u0438\u0441\u043a\u043e\u0432 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0443\u044e SSD \u043f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u044f\u0445 \u043c\u0430\u043b\u044b\u043c\u0438 \u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438. \u0422\u0430\u043a\u0430\u044f \u0437\u0430\u0434\u0435\u0440\u0436\u0430\u043d\u043d\u0430\u044f \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0430\u043c\u043e\u043c\u0443 \u044f\u0434\u0440\u0443 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u0432\u043e\u0434\u0430\/ \u0432\u044b\u0432\u043e\u0434\u0430 \u043a \u0434\u0438\u0441\u043a\u0443 \u0441 \u043d\u0430\u0434\u0435\u0436\u0434\u043e\u0439 \u043b\u0438\u0431\u043e \u0441\u043b\u0438\u0442\u044c \u0438\u0445 \u0432\u043e\u0435\u0434\u0438\u043d\u043e, \u043b\u0438\u0431\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u0438\u043c\u0435\u044e\u0449\u0438\u043c\u0441\u044f \u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c \u0434\u0438\u0441\u043a\u0430 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0435\u043a\u0438\u0439 \u0431\u043e\u043b\u0435\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u043f\u043e\u0432\u0435\u0440\u0445 \u0441\u0432\u043e\u0438\u0445 \u043f\u043b\u0430\u0441\u0442\u0438\u043d. \u041a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u044b\u0436\u0430\u0442\u044c \u0441\u043b\u0435\u0433\u043a\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u0432\u043e\u0434\u0430\/ \u0432\u044b\u0432\u043e\u0434\u0430 \u0438\u0437 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u0430 \u0447\u0435\u043c \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438 \u043f\u0440\u044f\u043c\u044b\u0445 \u0438\u043b\u0438 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u0445 \u0432\u0432\u043e\u0434\u0430\/ \u0432\u044b\u0432\u043e\u0434\u0430.<\/p><\/blockquote>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0435\u0441\u043b\u0438 \u043e\u0431\u044a\u0451\u043c \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0432 \u0434\u0430\u043d\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 Ceph \u0431\u0443\u0434\u0443\u0442 \u043e\u043f\u0435\u0440\u0435\u0436\u0430\u0442\u044c \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043b\u0435\u0436\u0430\u0449\u0438\u0445 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 \u0434\u0438\u0441\u043a\u043e\u0432. \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u043e\u0431\u0449\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u043d\u0430\u0445\u043e\u0434\u044f\u0449\u0438\u0445\u0441\u044f \u0432 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u0432\u043e\u0434\u0430\/ \u0432\u044b\u0432\u043e\u0434\u0430 \u0432 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0430 \u0434\u0438\u0441\u043a \u043c\u043e\u0433\u0443\u0442 \u043d\u0435\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u043e \u0440\u0430\u0441\u0442\u0438 \u0438 \u0438\u043c\u0435\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u0432\u043e\u0434\u0430\/ \u0432\u044b\u0432\u043e\u0434\u0430, \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u044e\u0449\u0443\u044e \u0432\u0435\u0441\u044c \u0434\u0438\u0441\u043a \u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 Ceph. \u0417\u0430\u043f\u0440\u043e\u0441\u044b \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0432\u043e\u0437\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0442 \u0432 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u043b\u043e\u0445\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0438 \u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u044e\u0442 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0437\u0430\u043f\u0438\u0441\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u0435\u043a\u0443\u043d\u0434 \u0434\u043b\u044f \u0441\u0431\u0440\u043e\u0441\u0430 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0434\u0438\u0441\u043a.<\/p>\n<p><\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u0431\u0435\u0434\u044b \u043d\u0430\u0434 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 Ceph \u0438\u043c\u0435\u0435\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u0432 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0434\u0440\u043e\u0441\u0441\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 (writeback) \u0441 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c WBThrottle. \u041e\u043d \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u0434\u043b\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043e\u0431\u0449\u0435\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u0432\u043e\u0434\u0430\/ \u0432\u044b\u0432\u043e\u0434\u0430 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c \u0441\u0432\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u0431\u0440\u043e\u0441\u0430 \u0440\u0430\u043d\u044c\u0448\u0435 \u0447\u0435\u043c \u0447\u0435\u043c \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0431\u044b \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0437\u0430 \u0441\u0447\u0451\u0442 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u0441\u0430\u043c\u0438\u043c \u044f\u0434\u0440\u043e\u043c. \u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0441\u0451 \u0435\u0449\u0451 \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u0443\u0440\u0435\u0437\u0430\u0442\u044c \u0438\u043c\u0435\u044e\u0449\u0435\u0435\u0441\u044f \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0434\u043e \u0443\u0440\u043e\u0432\u043d\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0435 \u0432\u043e\u0437\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043d\u0430 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0447\u0442\u0435\u043d\u0438\u044f. \u0420\u0435\u0433\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u044d\u0442\u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043e\u0431\u0449\u0438\u0435 \u0434\u043b\u0438\u043d\u044b \u043e\u0447\u0435\u0440\u0435\u0434\u0435\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u044b\u043c \u0442\u0430\u043a\u043e\u0435 \u0432\u043e\u0437\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u043d\u0435\u043a\u0438\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441: \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u043e\u0431\u0449\u0435\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0451\u043d\u043d\u044b\u0445 \u043a \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u043f\u0438\u0441\u0435\u0439, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0441\u0430\u043c\u043e\u0433\u043e \u044f\u0434\u0440\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0449\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u0421\u0442\u043e\u0438\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0437\u0430\u0434\u0443\u043c\u0430\u0442\u044c\u0441\u044f \u0447\u0442\u043e \u0432\u0430\u043c \u0431\u043e\u043b\u0435\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u043a \u0438 \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0438\u043c.<\/p>\n<p><\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u0442\u0430\u043a\u043e\u0439 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043b\u0438\u0431\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u043e\u0431\u0449\u0435\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u0432\u043e\u0434\u0430\/ \u0432\u044b\u0432\u043e\u0434\u0430, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 WBThrottle, \u043b\u0438\u0431\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043d\u0435\u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0431\u043b\u043e\u0447\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u0432\u043e\u0435\u0433\u043e \u044f\u0434\u0440\u0430. \u0418 \u0442\u043e, \u0438 \u0434\u0440\u0443\u0433\u043e\u0435 \u043c\u043e\u0433\u0443\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u0430\u0448\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438.<br \/>\n\u0422\u0430\u043a\u0436\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u044e\u0449\u0430\u044f\u0441\u044f \u0432 Ceph \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043e\u0432 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0430 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435. \u041f\u0440\u0438 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0438 \u043e\u0431\u0449\u0435\u0439 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043a \u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u0434\u0438\u0441\u043a\u0443 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u043c\u0435\u0441\u0442\u043e\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 Ceph, \u0433\u0434\u0435 \u043e\u043d \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0434 \u0442\u0435\u043c \u043a\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442 \u0438\u043c\u0435\u0435\u0442 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0432\u0432\u043e\u0434\u0430\/ \u0432\u044b\u0432\u043e\u0434\u0430. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">echo 8 &gt; \/sys\/block\/sda\/queue\/nr_requests<\/code><\/pre>\n<p><\/p>\n<p><noindex><a rel=\"nofollow\" href=\"http:\/\/onreader.mdl.ru\/MasteringCeph\/content\/Ch09.html#030202\">http:\/\/onreader.mdl.ru\/MasteringCeph\/content\/Ch09.html#030202<\/a><\/noindex><\/p>\n<p><\/p>\n<h3 id=\"common\">COMMON<\/h3>\n<p><\/p>\n<p>\u0418 \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u044f\u0434\u0440\u0430, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0435 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0430\u0448\u0443 \u0442\u0430\u0447\u043a\u0443 \u043c\u044f\u0433\u043a\u043e\u0439 \u0438 \u0448\u0435\u043b\u043a\u043e\u0432\u0438\u0441\u0442\u043e\u0439 \u0432\u044b\u0436\u0430\u0442\u044c \u0435\u0449\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438\u0437 \u0436\u0435\u043b\u0435\u0437\u0430<\/p>\n<p>\n<b class=\"spoiler_title\">cat \/etc\/sysctl.d\/60-ceph2.conf<\/b><\/p>\n<pre><code class=\"plaintext\"> kernel.pid_max = 4194303\n#\u0414\u0438\u0441\u043a\u043e\u0432 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u043f\u043e 25, \u043f\u043e\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0438 \u0447\u0442\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043c\u043d\u043e\u0433\u043e\nkernel.threads-max=2097152\n# \u0422\u0440\u0435\u0434\u043e\u0432, \u0435\u0441\u0442\u0435\u0441\u0441\u043d\u043e, \u0442\u043e\u0436\u0435.\nvm.max_map_count=524288\n# \u0423\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439 \u043a\u0430\u0440\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430. \n# \u041a\u0430\u043a \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043f\u043e \u044f\u0434\u0435\u0440\u043d\u044b\u043c \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \n# \u041e\u0431\u043b\u0430\u0441\u0442\u0438 \u043a\u0430\u0440\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043f\u043e\u0431\u043e\u0447\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0432\u044b\u0437\u043e\u0432\u0430\n# malloc, \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e mmap, mprotect \u0438 madvise, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435\n# \u043e\u0431\u0449\u0438\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a.\nfs.aio-max-nr=50000000\n# \u041f\u043e\u0434\u0442\u044e\u043d\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b input-output\n# \u042f\u0434\u0440\u043e Linux \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0433\u043e \u043d\u0435\u0431\u043b\u043e\u043a\u0438\u0440\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0432\u043e\u0434\u0430-\u0432\u044b\u0432\u043e\u0434\u0430 (AIO),\n# \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443 \u0438\u043d\u0438\u0446\u0438\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u0432\u043e\u0434\u0430-\u0432\u044b\u0432\u043e\u0434\u0430\n# \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e, \u043d\u0435 \u0434\u043e\u0436\u0438\u0434\u0430\u044f\u0441\u044c \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u0438\u0437 \u043d\u0438\u0445. \n# \u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439, \n# \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0438 \u0432\u0432\u043e\u0434-\u0432\u044b\u0432\u043e\u0434.\n# \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 aio-max-nr \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u044b\u0445 \n# \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.\nvm.min_free_kbytes=1048576\n# \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c.\n# \u0412\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d 1Gb, \u0447\u0435\u0433\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \n# \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c OOM Killer \u0434\u043b\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 OSD. \u0425\u043e\u0442\u044f \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0442\u0430\u043a\n# \u043a\u0430\u043a \u0443 \u0434\u0443\u0440\u0430\u043a\u0430 \u0444\u0430\u043d\u0442\u0438\u043a\u043e\u0432, \u043d\u043e \u0437\u0430\u043f\u0430\u0441 \u043a\u0430\u0440\u043c\u0430\u043d \u043d\u0435 \u0442\u044f\u043d\u0435\u0442\nvm.swappiness=10\n# \u0413\u043e\u0432\u043e\u0440\u0438\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u043f \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u043c 10% \u043f\u0430\u043c\u044f\u0442\u0438.\n# \u041d\u0430 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 128G \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u044b, \u0438 10% \u044d\u0442\u043e 12 \u0413\u0438\u0433\u043e\u0432. \u0411\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b.\n# \u0428\u0442\u0430\u0442\u043d\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0432 60% \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u043b \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443, \u0437\u0430\u043b\u0435\u0437\u0430\u044f \u0432 \u0441\u0432\u043e\u043f,\n# \u043a\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u0435\u0449\u0435 \u043a\u0443\u0447\u0430 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438\nvm.vfs_cache_pressure=1000\n# \u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u043c \u0441\u043e \u0448\u0442\u0430\u0442\u043d\u044b\u0445 100. \u0417\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u044f\u0434\u0440\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c\n# \u043d\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0438\u0437 \u043a\u0435\u0448\u0430.\nvm.zone_reclaim_mode=0\n# \u041f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442  \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0438\u043b\u0438 \u043c\u0435\u043d\u0435\u0435 \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a\n# \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044e \u043f\u0430\u043c\u044f\u0442\u0438, \u043a\u043e\u0433\u0434\u0430 \u0432 \u0437\u043e\u043d\u0435 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0430\u043c\u044f\u0442\u044c. \n# \u0415\u0441\u043b\u0438 \u043e\u043d \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d \u043d\u0430 \u043d\u043e\u043b\u044c, \u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0437\u043e\u043d\u044b.\n# \u0414\u043b\u044f \u0444\u0430\u0439\u043b\u043e\u0432\u044b\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u0438\u043b\u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u043a\n# \u0432\u044b\u0433\u043e\u0434\u043d\u043e, \u0435\u0441\u043b\u0438 \u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u044b, zone_reclaim_mode\n# \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u043c, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0444\u0444\u0435\u043a\u0442 \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \n# \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u043c, \u0447\u0435\u043c \u043c\u0435\u0441\u0442\u043e\u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.\nvm.dirty_ratio=20\n# \u041f\u0440\u043e\u0446\u0435\u043d\u0442 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e\u0434 \"\u0433\u0440\u044f\u0437\u043d\u044b\u0435\" \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b\n# \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u043b\u0438 \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u0430: \n# \u0412 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 128 \u0433\u0438\u0433\u043e\u0432 \u043f\u0430\u043c\u044f\u0442\u0438.\n# \u041f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043f\u043e 20 \u0434\u0438\u0441\u043a\u043e\u0432 SSD, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 CEPH \u0443\u043a\u0430\u0437\u0430\u043d\u043e \n# \u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u043f\u043e\u0434 \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e 3G \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u044b.\n# \u041f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043f\u043e 40 \u0434\u0438\u0441\u043a\u043e\u0432 HDD, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044d\u0442\u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0440\u0430\u0432\u0435\u043d 1G\n# 20% \u043e\u0442 128 \u044d\u0442\u043e 25.6 \u0433\u0438\u0433\u043e\u0432. \u0418\u0442\u043e\u0433\u043e, \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0430\u043c\u044f\u0442\u0438,\n# \u0434\u043b\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f 2.4G \u043f\u0430\u043c\u044f\u0442\u0438. \u0427\u0435\u0433\u043e \u0435\u0439 \u0434\u043e\u043b\u0436\u043d\u043e \u0445\u0432\u0430\u0442\u0438\u0442\u044c \u0447\u0442\u043e\u0431 \u0432\u044b\u0436\u0438\u0442\u044c \u0438 \u0434\u043e\u0436\u0434\u0430\u0442\u044c\u0441\u044f\n# \u0441\u0442\u0443\u043a\u0430 \u043a\u043e\u043f\u044b\u0442 \u043a\u0430\u0432\u0430\u043b\u0435\u0440\u0438\u0438 - \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u0448\u0435\u0441\u0442\u0432\u0438\u044f DevOps \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u0441\u0435 \u043f\u043e\u0447\u0438\u043d\u0438\u0442.\nvm.dirty_background_ratio=3\n# \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0438\u0442\u044c dirty pages \u0434\u043e \u0442\u043e\u0433\u043e,\n# \u043a\u0430\u043a \u0444\u043e\u043d\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b pdflush\/flush\/kdmflush \u0437\u0430\u043f\u0438\u0448\u0443\u0442 \u0438\u0445 \u043d\u0430 \u0434\u0438\u0441\u043a\nfs.file-max=524288\n# \u041d\u0443 \u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u0443 \u043d\u0430\u0441,\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0431\u0443\u0434\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u043f\u043e \u0434\u0435\u0444\u043e\u043b\u0442\u0443. <\/code><\/pre>\n<p><\/p>\n<h2 id=\"pogruzhenie-v--ceph\">\u041f\u043e\u0433\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0432 CEPH<\/h2>\n<p><\/p>\n<p>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0437\u0430\u0434\u0435\u0440\u0436\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435:<\/p>\n<p>\n<b class=\"spoiler_title\">cat \/etc\/ceph\/ceph.conf<\/b><\/p>\n<pre><code class=\"plaintext\">osd:\n    journal_aio: true               # \u0422\u0440\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430, \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0435 \n    journal_block_align: true       # \u043f\u0440\u044f\u043c\u043e\u0439 i\/o\n    journal_dio: true               # \u043d\u0430 \u0436\u0443\u0440\u043d\u0430\u043b\n    journal_max_write_bytes: 1073714824 # \u041d\u0435\u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0442\u044f\u043d\u0435\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\n                                        # \u0440\u0430\u0437\u043e\u0432\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432 \u0436\u0443\u0440\u043d\u0430\u043b\n    journal_max_write_entries: 10000    # \u041d\u0443 \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0438\u0441\u0435\u0439\n    journal_queue_max_bytes: 10485760000 \n    journal_queue_max_ops: 50000\n    rocksdb_separate_wal_dir: true      # \u0420\u0435\u0448\u0438\u043b\u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 wal                                                                            \n                                        # \u0414\u0430\u0436\u0435 \u043f\u043e\u043f\u044b\u0442\u0430\u043b\u0438\u0441\u044c \u0432\u044b\u0431\u0438\u0442\u044c \u043f\u043e\u0434 \u044d\u0442\u043e \u0434\u0435\u043b\u043e                                                                                                                                                                                     \n                                        # NVMe\n    bluestore_block_db_create: true     # \u041d\u0443 \u0438 \u043f\u043e\u0434 \u0436\u0443\u0440\u043d\u0430\u043b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e\n    bluestore_block_db_size: '5368709120 #5G'\n    bluestore_block_wal_create: true\n    bluestore_block_wal_size: '1073741824   #1G' \n    bluestore_cache_size_hdd: '3221225472   # 3G' \n                                            # \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u044a\u0435\u043c \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \n                                            # \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043e\u0431\u044a\u0435\u043c\u044b\n    bluestore_cache_size_ssd: '9663676416   # 9G' \n\n    keyring: \/var\/lib\/ceph\/osd\/ceph-$id\/keyring\n    osd_client_message_size_cap: '1073741824 #1G'\n    osd_disk_thread_ioprio_class: idle\n    osd_disk_thread_ioprio_priority: 7\n    osd_disk_threads: 2 # \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0440\u0435\u0434\u043e\u0432 \u0443 \u0434\u0435\u043c\u043e\u043d\u0430 \u043d\u0430 \u043e\u0434\u0438\u043d \u0434\u0438\u0441\u043a\n    osd_failsafe_full_ratio: 0.95\n    osd_heartbeat_grace: 5\n    osd_heartbeat_interval: 3\n    osd_map_dedup: true\n    osd_max_backfills: 2 # \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u043e\u0434\u0438\u043d \u041e\u0421\u0414.\n    osd_max_write_size: 256\n    osd_mon_heartbeat_interval: 5\n    osd_op_threads: 16\n    osd_op_num_threads_per_shard: 1\n    osd_op_num_threads_per_shard_hdd: 2\n    osd_op_num_threads_per_shard_ssd: 2\n    osd_pool_default_min_size: 1     # \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0436\u0430\u0434\u043d\u043e\u0441\u0442\u0438. \u041e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u0442\u0430\u043b\u043e\n    osd_pool_default_size: 2         # \u043d\u0435\u0445\u0432\u0430\u0442\u0430\u0442\u044c \u043c\u0435\u0441\u0442\u0430, \u043f\u043e\u0442\u043e\u043c\u0443 \u043a\u0430\u043a \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0435                                                                                                                                                      \n                                     # \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043d\u044f\u043b\u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \n                                     # \u0440\u0435\u043f\u043b\u0438\u043a \u0434\u0430\u043d\u043d\u044b\u0445\n    osd_recovery_delay_start: 10.000000\n    osd_recovery_max_active: 2\n    osd_recovery_max_chunk: 1048576\n    osd_recovery_max_single_start: 3\n    osd_recovery_op_priority: 1\n    osd_recovery_priority: 1            # \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u043f\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043d\u0430 \u0445\u043e\u0434\u0443\n    osd_recovery_sleep: 2\n    osd_scrub_chunk_max: 4<\/code><\/pre>\n<p><\/p>\n<p>\u0427\u0430\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043d\u0430 QA \u043d\u0430 \u0432\u0435\u0440\u0441\u0438\u0438 12.2.12, \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0432 \u0432\u0435\u0440\u0441\u0438\u0438 ceph 12.2.2, \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443 <strong>osd_recovery_threads.<\/strong> \u041f\u043e\u0442\u043e\u043c\u0443 \u0432 \u043f\u043b\u0430\u043d\u044b \u0431\u044b\u043b\u043e \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u0440\u043e\u0434\u0435 \u0434\u043e 12.2.12. \u041f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u043e\u0434\u043d\u043e\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u0432\u0435\u0440\u0441\u0438\u0439 12.2.2 \u0438 12.2.12, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c rolling update.<\/p>\n<p><\/p>\n<h3 id=\"testovyy-klaster\">\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440<\/h3>\n<p><\/p>\n<p>\u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u044b\u043b\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0438\u043c\u0435\u0442\u044c \u0442\u0443-\u0436\u0435 \u0432\u0435\u0440\u0441\u0438\u044e \u0447\u0442\u043e \u0438 \u043d\u0430 \u0431\u043e\u044e, \u043d\u043e \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u043e\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u0438\u043c\u0435\u043b\u0430\u0441\u044c \u043b\u0438\u0448\u044c \u0431\u043e\u043b\u0435\u0435 \u043d\u043e\u0432\u0430\u044f. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0432, \u0447\u0442\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0442\u0435 \u0432 \u043c\u0438\u043d\u043e\u0440\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 (<strong>1393<\/strong> \u0441\u0442\u0440\u043e\u043a\u0438 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u0445 \u043f\u0440\u043e\u0442\u0438\u0432 <strong>1436<\/strong> \u0432 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438), \u0440\u0435\u0448\u0438\u043b\u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u0443\u044e (\u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c\u0441\u044f, \u0447\u0435\u0433\u043e \u0435\u0445\u0430\u0442\u044c \u043d\u0430 \u0441\u0442\u0430\u0440\u043e\u043c \u0445\u043b\u0430\u043c\u0435)<\/p>\n<p><\/p>\n<p>\u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435, \u0447\u0442\u043e \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0438\u0441\u044c \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0442\u0430\u0440\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u044d\u0442\u043e \u043f\u0430\u043a\u0435\u0442 <strong>ceph-deploy,<\/strong> \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0447\u0430\u0441\u0442\u044c \u0443\u0442\u0438\u043b\u0438\u0442 (\u0438 \u0447\u0430\u0441\u0442\u044c \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u043e\u0432) \u0431\u044b\u043b\u0430 \u0437\u0430\u0442\u043e\u0447\u0435\u043d\u0430 \u043f\u043e\u0434 \u0435\u0451 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441. \u041d\u043e\u0432\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u043b\u0430\u0441\u044c, \u043d\u043e \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u0430\u043c\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0432\u043b\u0438\u044f\u043b\u0430, \u0438 \u0435\u0451 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0432\u0435\u0440\u0441\u0438\u0438 <strong>1.5.39<\/strong><\/p>\n<p><\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 ceph-disk \u044f\u0432\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0447\u0442\u043e \u043e\u043d\u0430 deprecated \u0438 \u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435\u0441\u044c-\u043a\u0430, \u0443\u0432\u0430\u0436\u0430\u0435\u043c\u044b\u0435, \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 ceph-volume \u2014 \u043c\u044b \u043d\u0430\u0447\u0430\u043b\u0438 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c OSD \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439, \u043d\u0435 \u0442\u0440\u0430\u0442\u044f \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0448\u0435\u0435. <\/p>\n<p><\/p>\n<p>\u041f\u043b\u0430\u043d \u0431\u044b\u043b \u0442\u0430\u043a\u043e\u0432 \u2014 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0437\u0435\u0440\u043a\u0430\u043b\u043e \u0438\u0437 \u0434\u0432\u0443\u0445 SSD \u0434\u0438\u0441\u043a\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0441\u0442\u0438\u043c \u0436\u0443\u0440\u043d\u0430\u043b\u044b OSD, \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0448\u043f\u0438\u043d\u0434\u0435\u043b\u044c\u043d\u044b\u0445 SAS\u0430\u0445. \u0422\u0430\u043a \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0445\u0443\u0435\u043c\u0441\u044f \u043e\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0438 \u043f\u0430\u0434\u0435\u043d\u0438\u0438 \u0434\u0438\u0441\u043a\u0430 \u0441 \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u043c.<\/p>\n<p><\/p>\n<p>\u0421\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0441\u0442\u0430\u043b\u0438 \u043f\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/p>\n<p>\n<b class=\"spoiler_title\">cat \/etc\/ceph\/ceph.conf<\/b><\/p>\n<pre><code class=\"plaintext\">root@ceph01-qa:~# cat \/etc\/ceph\/ceph.conf # \u043f\u043e\u043b\u043e\u0436\u0438\u043b\u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\n[client]\nrbd_cache = true\nrbd_cache_max_dirty = 50331648\nrbd_cache_max_dirty_age = 2\nrbd_cache_size = 67108864\nrbd_cache_target_dirty = 33554432\nrbd_cache_writethrough_until_flush = true\nrbd_concurrent_management_ops = 10\nrbd_default_format = 2\n[global]\nauth_client_required = cephx\nauth_cluster_required = cephx\nauth_service_required = cephx\ncluster network = 10.10.10.0\/24\ndebug_asok = 0\/0\ndebug_auth = 0\/0\ndebug_buffer = 0\/0\ndebug_client = 0\/0\ndebug_context = 0\/0\ndebug_crush = 0\/0\ndebug_filer = 0\/0\ndebug_filestore = 0\/0\ndebug_finisher = 0\/0\ndebug_heartbeatmap = 0\/0\ndebug_journal = 0\/0\ndebug_journaler = 0\/0\ndebug_lockdep = 0\/0\ndebug_mon = 0\/0\ndebug_monc = 0\/0\ndebug_ms = 0\/0\ndebug_objclass = 0\/0\ndebug_objectcatcher = 0\/0\ndebug_objecter = 0\/0\ndebug_optracker = 0\/0\ndebug_osd = 0\/0\ndebug_paxos = 0\/0\ndebug_perfcounter = 0\/0\ndebug_rados = 0\/0\ndebug_rbd = 0\/0\ndebug_rgw = 0\/0\ndebug_throttle = 0\/0\ndebug_timer = 0\/0\ndebug_tp = 0\/0\nfsid = d0000000d-4000-4b00-b00b-0123qwe123qwf9\nmon_host = ceph01-q, ceph02-q, ceph03-q\nmon_initial_members = ceph01-q, ceph02-q, ceph03-q\npublic network = 8.8.8.8\/28 # \u0430\u0434\u0440\u0435\u0441 \u0438\u0437\u043c\u0435\u043d\u0435\u043d, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e ))\nrgw_dns_name = s3-qa.mycompany.ru # \u0438 \u044d\u0442\u043e\u0442 \u0430\u0434\u0440\u0435\u0441 \u0438\u0437\u043c\u0435\u043d\nrgw_host = s3-qa.mycompany.ru # \u0438 \u044d\u0442\u043e\u0442 \u0442\u043e\u0436\u0435\n[mon]\nmon allow pool delete = true\nmon_max_pg_per_osd = 300 # \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u0440\u0435\u0445\u0441\u043e\u0442 \u043f\u043b\u0435\u0439\u0441\u043c\u0435\u043d\u0442 \u0433\u0440\u0443\u043f\u043f\n                          # \u043d\u0430 \u0434\u0438\u0441\u043a \u043d\u0435 \u0440\u0435\u0448\u0438\u043b\u0438\u0441\u044c\n                     # \u0445\u043e\u0442\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0443\u043b\u043e\u0432,\n                     # \u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 OSD. \u0418\u043c\u0435\u0442\u044c \u043c\u0430\u043b\u043e \u043d\u043e \u0437\u0434\u043e\u0440\u043e\u0432\u044b\u0445 PG\n                        # \u0442\u043e\u0436\u0435 \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u0439 \u0432\u044b\u0431\u043e\u0440 - \u0441\u0442\u0440\u0430\u0434\u0430\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0438\nmon_osd_backfillfull_ratio = 0.9\nmon_osd_down_out_interval = 5\nmon_osd_full_ratio = 0.95 # \u043f\u043e\u043a\u0430 \u0434\u043b\u044f SSD \u0434\u0438\u0441\u043a\u043e\u0432 \u043c\u0435\u0441\u0442\u043e\u043c \u0434\u043b\u044f \u0438\u0445\n                          # \u0436\u0443\u0440\u043d\u0430\u043b\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u0442-\u0436\u0435 \u0434\u0435\u0432\u0430\u0439\u0441 \u0447\u0442\u043e \u0438 \u0434\u043b\u044f \u041e\u0421\u0414\n                          # \u0440\u0435\u0448\u0438\u043b\u0438 \u0447\u0442\u043e 5% \u043e\u0442 \u0434\u0438\u0441\u043a\u0430 (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0430\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 1.2Tb)\n                          #  \u0434\u043e\u043b\u0436\u043d\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u0442\u044c, \u0438 \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c\n                          # bluestore_block_db_size \u043f\u043b\u044e\u0441 \u0432\u0430\u0440\u0438\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \n                          # \u043f\u043b\u0435\u0439\u0441\u043c\u0435\u043d\u0442 \u0433\u0440\u0443\u043f\u043f\u044b\nmon_osd_nearfull_ratio = 0.9\nmon_pg_warn_max_per_osd = 520\n[osd]\nbluestore_block_db_create = true\nbluestore_block_db_size = 5368709120 #5G\nbluestore_block_wal_create = true\nbluestore_block_wal_size = 1073741824 #1G\nbluestore_cache_size_hdd = 3221225472 # 3G\nbluestore_cache_size_ssd = 9663676416 # 9G\njournal_aio = true\njournal_block_align = true\njournal_dio = true\njournal_max_write_bytes = 1073714824\njournal_max_write_entries = 10000\njournal_queue_max_bytes = 10485760000\njournal_queue_max_ops = 50000\nkeyring = \/var\/lib\/ceph\/osd\/ceph-$id\/keyring\nosd_client_message_size_cap = 1073741824 #1G\nosd_disk_thread_ioprio_class = idle\nosd_disk_thread_ioprio_priority = 7\nosd_disk_threads = 2\nosd_failsafe_full_ratio = 0.95\nosd_heartbeat_grace = 5\nosd_heartbeat_interval = 3\nosd_map_dedup = true\nosd_max_backfills = 4\nosd_max_write_size = 256\nosd_mon_heartbeat_interval = 5\nosd_op_num_threads_per_shard = 1\nosd_op_num_threads_per_shard_hdd = 2\nosd_op_num_threads_per_shard_ssd = 2\nosd_op_threads = 16\nosd_pool_default_min_size = 1\nosd_pool_default_size = 2\nosd_recovery_delay_start = 10.0\nosd_recovery_max_active = 1\nosd_recovery_max_chunk = 1048576\nosd_recovery_max_single_start = 3\nosd_recovery_op_priority = 1\nosd_recovery_priority = 1\nosd_recovery_sleep = 2\nosd_scrub_chunk_max = 4\nosd_scrub_chunk_min = 2\nosd_scrub_sleep = 0.1\nrocksdb_separate_wal_dir = true<\/code><\/pre>\n<p><\/p>\n<pre><code class=\"plaintext\"># \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u044b\nroot@ceph01-qa:~#ceph-deploy mon create ceph01-q\n# \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043a\u043b\u044e\u0447\u0438 \u0434\u043b\u044f \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u043e\u0434 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435\nroot@ceph01-qa:~#ceph-deploy gatherkeys ceph01-q\n# \u042d\u0442\u043e \u0435\u0441\u043b\u0438 \u043f\u043e\u0448\u0442\u0443\u0447\u043d\u043e. \u0415\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u0448\u0438\u043d \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b - \u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u0432 \u0441\u0435\u043a\u0446\u0438\u0438 \n# mon_initial_members = ceph01-q, ceph02-q, ceph03-q\n# \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u044d\u0442\u0438 \u0434\u0432\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0432 \u0432\u0438\u0434\u0435 \u043e\u0434\u043d\u043e\u0439\nroot@ceph01-qa:~#ceph-deploy mon create-initial\n# \u041f\u043e\u043b\u043e\u0436\u0438\u043c \u043a\u043b\u044e\u0447\u0438 \u0432 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u043c\u0435\u0441\u0442\u0430\nroot@ceph01-qa:~#cat ceph.bootstrap-osd.keyring &gt; \/var\/lib\/ceph\/bootstrap-osd\/ceph.keyring \nroot@ceph01-qa:~#cat ceph.bootstrap-mgr.keyring &gt; \/var\/lib\/ceph\/bootstrap-mgr\/ceph.keyring \nroot@ceph01-qa:~#cat ceph.bootstrap-rgw.keyring &gt; \/var\/lib\/ceph\/bootstrap-rgw\/ceph.keyring\n# \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043a\u043b\u044e\u0447 \u0434\u043b\u044f \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c\nroot@ceph01-qa:~#ceph-deploy admin ceph01-q\n# \u0438 \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440, \u043f\u043b\u0430\u0433\u0438\u043d\u0430\u043c\u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\nroot@ceph01-qa:~#ceph-deploy mgr create ceph01-q<\/code><\/pre>\n<p><\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435, \u043e\u0431\u043e \u0447\u0442\u043e \u0441\u043f\u043e\u0442\u043a\u043d\u0443\u043b\u0441\u044f \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u044d\u0442\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 ceph-deploy \u0441 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c \u0432\u0435\u0440\u0441\u0438\u0438 12.2.12 \u2014 \u044d\u0442\u043e \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0441\u043e\u0437\u0434\u0430\u0442\u044c OSD \u0441 db \u043d\u0430 \u0441\u043e\u0444\u0442\u0432\u0435\u0440\u043d\u043e\u043c \u0440\u0435\u0439\u0434\u0435 &#8212;<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01-qa:~#ceph-volume lvm create --bluestore --data \/dev\/sde --block.db \/dev\/md0\nblkid could not detect a PARTUUID for device: \/dev\/md1<\/code><\/pre>\n<p><\/p>\n<p>\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, blkid \u043d\u0435 \u043a\u0430\u0436\u0435\u0442 PARTUUID, \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044b \u0440\u0443\u0447\u043a\u0430\u043c\u0438:<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01-qa:~#parted \/dev\/md0 mklabel GPT \n# \u0440\u0430\u0437\u0434\u0435\u043b\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043c\u043d\u043e\u0433\u043e, \n# \u0431\u0435\u0437 GPT \u0438\u0445 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f\n# \u0440\u0430\u0437\u043c\u0435\u0440 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u043c\u044b \u0443\u043a\u0430\u0437\u0430\u043b\u0438 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u0432\u044b\u0448\u0435 = bluestore_block_db_size: '5368709120 #5G'\n# \u0414\u0438\u0441\u043a\u043e\u0432 \u0443 \u043c\u0435\u043d\u044f 20 \u043f\u043e\u0434 OSD, \u0440\u0443\u043a\u0430\u043c\u0438 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044b \u043b\u0435\u043d\u044c\n# \u043f\u043e\u0442\u043e\u043c\u0443 \u0441\u0434\u0435\u043b\u0430\u043b \u0446\u0438\u043a\u043b\nroot@ceph01-qa:~#for i in {1..20}; do echo -e \"nnnn+5Gnw\" | fdisk \/dev\/md0; done<\/code><\/pre>\n<p><\/p>\n<p>\u0412\u0440\u043e\u0434\u0435 \u0432\u0441\u0435 \u0433\u043e\u0442\u043e\u0432\u043e, \u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0435\u0449\u0435 \u0440\u0430\u0437 \u0441\u043e\u0437\u0434\u0430\u0442\u044c OSD \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 (\u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u043a\u0441\u0442\u0430\u0442\u0438, \u043d\u0430 \u0431\u043e\u044e \u043d\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043b\u0430\u0441\u044c)<\/p>\n<p><\/p>\n<p>\u043f\u0440\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 OSD \u0442\u0438\u043f\u0430 bluestore \u0431\u0435\u0437 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u0443\u0442\u0438 \u043a WAL, \u043d\u043e \u0441 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c db<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01-qa:~#ceph-volume lvm create --bluestore --data \/dev\/sde --block.db \/dev\/md0\n stderr: 2019-04-12 10:39:27.211242 7eff461b6e00 -1 bluestore(\/var\/lib\/ceph\/osd\/ceph-0\/) _read_fsid unparsable uuid\n stderr: 2019-04-12 10:39:27.213185 7eff461b6e00 -1 bdev(0x55824c273680 \/var\/lib\/ceph\/osd\/ceph-0\/\/block.wal) open open got: (22) Invalid argument\n stderr: 2019-04-12 10:39:27.213201 7eff461b6e00 -1 bluestore(\/var\/lib\/ceph\/osd\/ceph-0\/) _open_db add block device(\/var\/lib\/ceph\/osd\/ceph-0\/\/block.wal) returned: (22) Invalid argument\n stderr: 2019-04-12 10:39:27.999039 7eff461b6e00 -1 bluestore(\/var\/lib\/ceph\/osd\/ceph-0\/) mkfs failed, (22) Invalid argument\n stderr: 2019-04-12 10:39:27.999057 7eff461b6e00 -1 OSD::mkfs: ObjectStore::mkfs failed with error (22) Invalid argument\n stderr: 2019-04-12 10:39:27.999141 7eff461b6e00 -1  ** ERROR: error creating empty object store in \/var\/lib\/ceph\/osd\/ceph-0\/: (22) Invalid argumen<\/code><\/pre>\n<p><\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0435\u0441\u043b\u0438 \u043d\u0430 \u0442\u043e\u043c-\u0436\u0435 \u0437\u0435\u0440\u043a\u0430\u043b\u0435 (\u0438\u043b\u0438 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u043c\u0435\u0441\u0442\u0435, \u043d\u0430 \u0432\u044b\u0431\u043e\u0440) \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0440\u0430\u0437\u0434\u0435\u043b \u043f\u043e\u0434 WAL \u0438 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0435\u0433\u043e \u043f\u0440\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 OSD \u2014 \u0442\u043e \u0432\u0441\u0435 \u043f\u043e\u0439\u0434\u0435\u0442 \u0433\u043b\u0430\u0434\u043a\u043e (\u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e WAL, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0438 \u043d\u0435 \u0445\u043e\u0442\u0435\u043b\u0438).<\/p>\n<p><\/p>\n<p>\u041d\u043e, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0432 \u0434\u0430\u043b\u0435\u043a\u0438\u0445 \u043f\u043b\u0430\u043d\u0430\u0445 \u0431\u044b\u043b\u043e \u0432\u044b\u043d\u043e\u0441\u0438\u0442\u044c WAL \u043d\u0430 NVMe, \u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 \u043b\u0438\u0448\u043d\u0435\u0439 \u043d\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c.<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01-qa:~#ceph-volume lvm create --bluestore --data \/dev\/sdf --block.wal  \/dev\/md0p2 --block.db \/dev\/md1p2<\/code><\/pre>\n<p><\/p>\n<p>\u041f\u043e\u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u044b, \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u044b \u0438 OSD. \u0422\u0435\u043f\u0435\u0440\u044c \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0438\u0445 \u043f\u043e\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e \u0440\u0430\u0437\u043d\u043e\u043c\u0443, \u0438\u0431\u043e \u0432 \u043f\u043b\u0430\u043d\u0430\u0445 \u0438\u043c\u0435\u0442\u044c \u0434\u0438\u0441\u043a\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u2014 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u043f\u0443\u043b\u044b \u043d\u0430 SSD \u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0435, \u043d\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u0431\u043b\u0438\u043d\u0430\u0445 SAS.<\/p>\n<p><\/p>\n<p>\u0411\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0447\u0442\u043e \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u043f\u043e 20 \u0434\u0438\u0441\u043a\u043e\u0432, \u043f\u0435\u0440\u0432\u0430\u044f \u0434\u0435\u0441\u044f\u0442\u043a\u0430 \u044d\u0442\u043e \u043e\u0434\u0438\u043d \u0442\u0438\u043f, \u0432\u0442\u043e\u0440\u0430\u044f \u2014 \u0434\u0440\u0443\u0433\u043e\u0439.<br \/>\n\u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f, \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u0430\u044f, \u043a\u0430\u0440\u0442\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p>\n<b class=\"spoiler_title\">ceph osd tree<\/b><\/p>\n<p>root@\u0441eph01-q:~# ceph osd tree<br \/>\nID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF<br \/>\n-1 14.54799 root default<br \/>\n-3 9.09200 host ceph01-q<br \/>\n0 ssd 1.00000 osd.0 up 1.00000 1.00000<br \/>\n1 ssd 1.00000 osd.1 up 1.00000 1.00000<br \/>\n2 ssd 1.00000 osd.2 up 1.00000 1.00000<br \/>\n3 ssd 1.00000 osd.3 up 1.00000 1.00000<br \/>\n4 hdd 1.00000 osd.4 up 1.00000 1.00000<br \/>\n5 hdd 0.27299 osd.5 up 1.00000 1.00000<br \/>\n6 hdd 0.27299 osd.6 up 1.00000 1.00000<br \/>\n7 hdd 0.27299 osd.7 up 1.00000 1.00000<br \/>\n8 hdd 0.27299 osd.8 up 1.00000 1.00000<br \/>\n9 hdd 0.27299 osd.9 up 1.00000 1.00000<br \/>\n10 hdd 0.27299 osd.10 up 1.00000 1.00000<br \/>\n11 hdd 0.27299 osd.11 up 1.00000 1.00000<br \/>\n12 hdd 0.27299 osd.12 up 1.00000 1.00000<br \/>\n13 hdd 0.27299 osd.13 up 1.00000 1.00000<br \/>\n14 hdd 0.27299 osd.14 up 1.00000 1.00000<br \/>\n15 hdd 0.27299 osd.15 up 1.00000 1.00000<br \/>\n16 hdd 0.27299 osd.16 up 1.00000 1.00000<br \/>\n17 hdd 0.27299 osd.17 up 1.00000 1.00000<br \/>\n18 hdd 0.27299 osd.18 up 1.00000 1.00000<br \/>\n19 hdd 0.27299 osd.19 up 1.00000 1.00000<br \/>\n-5 5.45599 host ceph02-q<br \/>\n20 ssd 0.27299 osd.20 up 1.00000 1.00000<br \/>\n21 ssd 0.27299 osd.21 up 1.00000 1.00000<br \/>\n22 ssd 0.27299 osd.22 up 1.00000 1.00000<br \/>\n23 ssd 0.27299 osd.23 up 1.00000 1.00000<br \/>\n24 hdd 0.27299 osd.24 up 1.00000 1.00000<br \/>\n25 hdd 0.27299 osd.25 up 1.00000 1.00000<br \/>\n26 hdd 0.27299 osd.26 up 1.00000 1.00000<br \/>\n27 hdd 0.27299 osd.27 up 1.00000 1.00000<br \/>\n28 hdd 0.27299 osd.28 up 1.00000 1.00000<br \/>\n29 hdd 0.27299 osd.29 up 1.00000 1.00000<br \/>\n30 hdd 0.27299 osd.30 up 1.00000 1.00000<br \/>\n31 hdd 0.27299 osd.31 up 1.00000 1.00000<br \/>\n32 hdd 0.27299 osd.32 up 1.00000 1.00000<br \/>\n33 hdd 0.27299 osd.33 up 1.00000 1.00000<br \/>\n34 hdd 0.27299 osd.34 up 1.00000 1.00000<br \/>\n35 hdd 0.27299 osd.35 up 1.00000 1.00000<br \/>\n36 hdd 0.27299 osd.36 up 1.00000 1.00000<br \/>\n37 hdd 0.27299 osd.37 up 1.00000 1.00000<br \/>\n38 hdd 0.27299 osd.38 up 1.00000 1.00000<br \/>\n39 hdd 0.27299 osd.39 up 1.00000 1.00000<br \/>\n-7 6.08690 host ceph03-q<br \/>\n40 ssd 0.27299 osd.40 up 1.00000 1.00000<br \/>\n41 ssd 0.27299 osd.41 up 1.00000 1.00000<br \/>\n42 ssd 0.27299 osd.42 up 1.00000 1.00000<br \/>\n43 ssd 0.27299 osd.43 up 1.00000 1.00000<br \/>\n44 hdd 0.27299 osd.44 up 1.00000 1.00000<br \/>\n45 hdd 0.27299 osd.45 up 1.00000 1.00000<br \/>\n46 hdd 0.27299 osd.46 up 1.00000 1.00000<br \/>\n47 hdd 0.27299 osd.47 up 1.00000 1.00000<br \/>\n48 hdd 0.27299 osd.48 up 1.00000 1.00000<br \/>\n49 hdd 0.27299 osd.49 up 1.00000 1.00000<br \/>\n50 hdd 0.27299 osd.50 up 1.00000 1.00000<br \/>\n51 hdd 0.27299 osd.51 up 1.00000 1.00000<br \/>\n52 hdd 0.27299 osd.52 up 1.00000 1.00000<br \/>\n53 hdd 0.27299 osd.53 up 1.00000 1.00000<br \/>\n54 hdd 0.27299 osd.54 up 1.00000 1.00000<br \/>\n55 hdd 0.27299 osd.55 up 1.00000 1.00000<br \/>\n56 hdd 0.27299 osd.56 up 1.00000 1.00000<br \/>\n57 hdd 0.27299 osd.57 up 1.00000 1.00000<br \/>\n58 hdd 0.27299 osd.58 up 1.00000 1.00000<br \/>\n59 hdd 0.89999 osd.59 up 1.00000 1.00000<\/p>\n<p><\/p>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0441\u0432\u043e\u0438 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0442\u043e\u0439\u043a\u0438 \u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0441 \u0431\u043b\u0435\u043a\u0434\u0436\u0435\u043a\u043e\u043c \u0438 \u043f\u0440\u043e\u0447\u0438\u043c:<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01-q:~#ceph osd crush add-bucket rack01 root #\u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 root\nroot@ceph01-q:~#ceph osd crush add-bucket ceph01-q host #\u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 \u0445\u043e\u0441\u0442\nroot@ceph01-q:~#ceph osd crush move ceph01-q root=rack01 #\u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e \u0441\u0442\u043e\u0439\u043a\u0443\nroot@ceph01-q:~#osd crush add 28 1.0 host=ceph02-q # \u0414\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u041e\u0421\u0414 \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\n\n# \u0415\u0441\u043b\u0438 \u043a\u0440\u0438\u0432\u043e \u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u0438\u0442\u044c\nroot@ceph01-q:~# ceph osd crush remove osd.4\nroot@ceph01-q:~# ceph osd crush remove rack01<\/code><\/pre>\n<p><\/p>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u044b \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0432 <strong>\u0431\u043e\u0435\u0432\u043e\u043c<\/strong> \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0445 \u0445\u043e\u0441\u0442 \u0438 \u043f\u0435\u0440\u0435\u0434\u0432\u0438\u043d\u0443\u0442\u044c \u0435\u0433\u043e \u0432 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0441\u0442\u043e\u0439\u043a\u0443 \u2014 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 <strong>ceph osd crush move ceph01-host root=rack01<\/strong> \u0437\u0430\u0432\u0438\u0441\u0430\u043b\u0430, \u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0438 \u043f\u0430\u0434\u0430\u0442\u044c \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443. \u041f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043f\u0440\u043e\u0441\u0442\u044b\u043c CTRL+C \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u043b\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0432 \u043c\u0438\u0440 \u0436\u0438\u0432\u044b\u0445. <\/p>\n<p><\/p>\n<p>\u041f\u043e\u0438\u0441\u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0442\u0430\u043a\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443: <noindex><a rel=\"nofollow\" href=\"https:\/\/tracker.ceph.com\/issues\/23386\">https:\/\/tracker.ceph.com\/issues\/23386<\/a><\/noindex><\/p>\n<p><\/p>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0441\u0434\u0430\u043c\u043f\u0438\u0442\u044c crushmap \u0438 \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u043e\u0442\u0442\u0443\u0434\u0430 \u0441\u0435\u043a\u0446\u0438\u044e <strong>rule replicated_ruleset<\/strong> <\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01-prod:~#ceph osd getcrushmap -o crushmap.row #\u0414\u0430\u043c\u043f\u0438\u043c \u043a\u0430\u0440\u0442\u0443 \u0432 \u0441\u044b\u0440\u043e\u043c \u0432\u0438\u0434\u0435\nroot@ceph01-prod:~#crushtool -d crushmap.row -o crushmap.txt #\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u043c \u0432 \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0439\nroot@ceph01-prod:~#vim  crushmap.txt #\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u0443\u0435\u043c, \u0443\u0434\u0430\u043b\u044f\u044f rule replicated_ruleset\nroot@ceph01-prod:~#crushtool -c crushmap.txt  -o new_crushmap.row #\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e\nroot@ceph01-prod:~#ceph osd setcrushmap -i  new_crushmap.row #\u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440<\/code><\/pre>\n<p><\/p>\n<p><strong>\u0410\u0445\u0442\u0443\u043d\u0433:<\/strong> \u0434\u0430\u043d\u043d\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441 placement group \u043c\u0435\u0436\u0434\u0443 OSD. \u0423 \u043d\u0430\u0441 \u044d\u0442\u043e \u0432\u044b\u0437\u0432\u0430\u043b\u043e, \u043d\u043e \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439.<\/p>\n<p><\/p>\n<p>\u0410 \u0441\u0442\u0440\u0430\u043d\u043d\u043e\u0441\u0442\u044c, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0432 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u2014 \u044d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 OSD \u0437\u0430\u0431\u044b\u0432\u0430\u043b\u0438, \u0447\u0442\u043e \u0438\u0445 \u043f\u0435\u0440\u0435\u0434\u0432\u0438\u043d\u0443\u043b\u0438 \u0432 \u043d\u043e\u0432\u044b\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0438 \u0441\u0442\u043e\u0439\u043a\u0438, \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u043b\u0438\u0441\u044c \u0432 root default.<br \/>\n\u0412 \u0438\u0442\u043e\u0433\u0435, \u0441\u043e\u0431\u0440\u0430\u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u0441\u0445\u0435\u043c\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e root \u0434\u043b\u044f ssd \u0434\u0438\u0441\u043a\u043e\u0432 \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0448\u043f\u0438\u043d\u0434\u0435\u043b\u044c\u043d\u044b\u0445, \u043c\u044b \u0440\u0430\u0441\u0442\u0430\u0449\u0438\u043b\u0438 \u0432\u0441\u0435 \u041e\u0421\u0414 \u043f\u043e \u0441\u0442\u043e\u0439\u043a\u0430\u043c \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0434\u0430\u043b\u0438\u043b\u0438 default root. \u041f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 OSD \u0441\u0442\u0430\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u043c\u0435\u0441\u0442\u0430\u0445.<br \/>\n<em>\u041f\u043e\u043a\u043e\u043f\u0430\u0432\u0448\u0438\u0441\u044c \u043f\u043e\u0437\u0436\u0435 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043d\u0430\u0448\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u044d\u0442\u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435. \u041e \u043d\u0435\u043c \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438<\/em><\/p>\n<p><\/p>\n<h3 id=\"kak-my-delali-razlichnye-gruppy-po-tipam-diskov\">\u041a\u0430\u043a \u043c\u044b \u0434\u0435\u043b\u0430\u043b\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0434\u0438\u0441\u043a\u043e\u0432.<\/h3>\n<p><\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u0434\u0432\u0430 root-\u0430 \u2014 \u0434\u043b\u044f ssd \u0438 \u0434\u043b\u044f hdd<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01-q:~#ceph osd crush add-bucket ssd-root root\nroot@ceph01-q:~#ceph osd crush add-bucket hdd-root root<\/code><\/pre>\n<p><\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0441\u0442\u043e\u044f\u0442 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u043e\u0439\u043a\u0430\u0445 \u2014 \u0434\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u0441\u0442\u043e\u0439\u043a\u0438 \u0438 \u0432 \u043d\u0438\u0445 \u0443\u0436\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\"># \u0421\u0442\u043e\u0439\u043a\u0438:\nroot@ceph01-q:~#ceph osd crush add-bucket ssd-rack01 rack\nroot@ceph01-q:~#ceph osd crush add-bucket ssd-rack02 rack\nroot@ceph01-q:~#ceph osd crush add-bucket ssd-rack03 rack\n\nroot@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack\nroot@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack\nroot@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack\n\n# \u0421\u0435\u0440\u0432\u0435\u0440\u0430\nroot@ceph01-q:~#ceph osd crush add-bucket ssd-ceph01-q host\nroot@ceph01-q:~#ceph osd crush add-bucket ssd-ceph02-q host\nroot@ceph01-q:~#ceph osd crush add-bucket ssd-ceph03-q host\n\nroot@ceph01-q:~#ceph osd crush add-bucket hdd-ceph01-q host\nroot@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host\nroot@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host<\/code><\/pre>\n<p><\/p>\n<p>\u0438 \u043f\u043e\u0440\u0430\u0441\u043a\u0438\u0434\u0430\u043b\u0438 \u0434\u0438\u0441\u043a\u0438 \u043f\u043e \u0438\u0445 \u0442\u0438\u043f\u0430\u043c \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root@ceph01-q:~# \u0414\u0438\u0441\u043a\u0438 \u0441 0 \u043f\u043e 3 \u044d\u0442\u043e SSD, \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 ceph01-q, \u0441\u0442\u0430\u0432\u0438\u043c \u0438\u0445 \u0432 \u0441\u0435\u0440\u0432\u0435\u0440 \nroot@ceph01-q:~#  ssd-ceph01-q\nroot@ceph01-q:~#ceph osd crush add 0 1 host=ssd-ceph01-q\nroot@ceph01-q:~#ceph osd crush add 1 1 host=ssd-ceph01-q\nroot@ceph01-q:~#ceph osd crush add 2 1 host=ssd-ceph01-q\nroot@ceph01-q:~#ceph osd crush add 3 1 host=ssd-ceph01-q\nroot-ceph01-q:~# \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u043c\u0438<\/code><\/pre>\n<p><\/p>\n<p>\u0420\u0430\u0441\u043a\u0438\u0434\u0430\u0432 \u0434\u0438\u0441\u043a\u0438 \u043f\u043e \u0440\u0443\u0442\u0430\u043c ssd-root \u0438 hdd-root \u043c\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 root-default \u043f\u0443\u0441\u0442\u044b\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u0435\u043c \u0435\u0433\u043e \u0443\u0434\u0430\u043b\u0438\u0442\u044c<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root-ceph01-q:~#ceph osd crush remove default<\/code><\/pre>\n<p><\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043d\u0430\u0434\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0438\u0432\u044f\u0437\u044b\u0432\u0430\u0442\u044c \u043a \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u043c \u043f\u0443\u043b\u0430\u043c \u2014 \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u0445 \u0443\u043a\u0430\u0436\u0435\u043c \u0432 \u043a\u0430\u043a\u0438\u0435 root \u043c\u043e\u0436\u043d\u043e \u043a\u043b\u0430\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0443\u043b\u0430 \u0438 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445, \u0438\u043b\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u043e\u0439\u043a\u0430\u0445 (\u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0436\u0435 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 root, \u0435\u0441\u043b\u0438 \u0438\u043c\u0435\u0435\u043c \u0442\u0430\u043a\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435)<\/p>\n<p><\/p>\n<p>\u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0442\u0438\u043f \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e:<br \/>\n<noindex><a rel=\"nofollow\" href=\"http:\/\/docs.ceph.com\/docs\/jewel\/rados\/operations\/crush-map\/#crushmaprules\">http:\/\/docs.ceph.com\/docs\/jewel\/rados\/operations\/crush-map\/#crushmaprules<\/a><\/noindex><\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">root-ceph01-q:~#ceph osd crush rule create-simple rule-ssd ssd-root host firstn\nroot-ceph01-q:~#ceph osd crush rule create-simple rule-hdd hdd-root host firstn\nroot-ceph01-q:~# \u041c\u044b \u0443\u043a\u0430\u0437\u0430\u043b\u0438 \u0434\u0432\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u0443\u044e\u0442\u0441\u044f \nroot-ceph01-q:~# \u043c\u0435\u0436\u0434\u0443 \u0445\u043e\u0441\u0442\u0430\u043c\u0438 - \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0435\u043f\u043b\u0438\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u043b\u0435\u0436\u0430\u0442\u044c \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u0445\u043e\u0441\u0442\u0435,\nroot-ceph01-q:~# \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0439\u043a\u0435\nroot-ceph01-q:~# \u0412 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0435, \u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c, \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0445\u043e\u0441\u0442\u044b\nroot-ceph01-q:~# \u043f\u043e \u0441\u0442\u043e\u0439\u043a\u0430\u043c \u0438 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u043f\u043e \u0441\u0442\u043e\u0439\u043a\u0430\u043c:\nroot-ceph01-q:~# ##ceph osd crush rule create-simple rule-ssd ssd-root rack firstn<\/code><\/pre>\n<p><\/p>\n<p>\u041d\u0443 \u0438 \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043f\u0443\u043b\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043e\u0431\u0440\u0430\u0437\u044b \u0434\u0438\u0441\u043a\u043e\u0432 \u043d\u0430\u0448\u0435\u0439 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u2014 PROXMOX:<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\">    root-ceph01-q:~# #ceph osd pool create {NAME} {pg_num}  {pgp_num}\n    root-ceph01-q:~# ceph osd pool create ssd_pool 1024 1024 \n    root-ceph01-q:~# ceph osd pool create hdd_pool 1024 1024<\/code><\/pre>\n<p><\/p>\n<p>\u0418 \u0433\u043e\u0432\u043e\u0440\u0438\u043c \u044d\u0442\u0438\u043c \u043f\u0443\u043b\u0430\u043c \u043a\u0430\u043a\u0438\u043c\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f<\/p>\n<p><\/p>\n<pre><code class=\"plaintext\"> root-ceph01-q:~#ceph osd crush rule ls # \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043f\u0438\u0441\u043e\u043a \u043f\u0440\u0430\u0432\u0438\u043b\n    root-ceph01-q:~#ceph osd crush rule dump rule-ssd | grep rule_id #\u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c ID \u043d\u0443\u0436\u043d\u043e\u0433\u043e\n    root-ceph01-q:~#ceph osd pool set ssd_pool crush_rule 2\n<\/code><\/pre>\n<p><\/p>\n<p>\u041a \u0432\u044b\u0431\u043e\u0440\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u043b\u0435\u0439\u0441\u043c\u0435\u043d\u0442 \u0433\u0440\u0443\u043f\u043f \u043d\u0430\u0434\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442\u044c \u0441 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0438\u043c\u0435\u044e\u0449\u0438\u043c\u0441\u044f \u0432\u0438\u0434\u0435\u043d\u0438\u0435\u043c \u043d\u0430 \u0441\u0432\u043e\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u041e\u0421\u0414 \u0442\u0430\u043c \u0431\u0443\u0434\u0435\u0442, \u043a\u0430\u043a\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 (\u0432 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u0445 \u043e\u0442 \u043e\u0431\u0449\u0435\u0433\u043e \u043e\u0431\u044a\u0435\u043c\u0430) \u0431\u0443\u0434\u0435\u0442 \u0432 \u043f\u0443\u043b\u0435, \u043a\u0430\u043a\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u0441\u0435\u0433\u043e.<\/p>\n<p><\/p>\n<p>\u0421\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435 \u0438\u043c\u0435\u0442\u044c \u0431\u043e\u043b\u0435\u0435 300 \u043f\u043b\u0435\u0439\u0441\u043c\u0435\u043d\u0442 \u0433\u0440\u0443\u043f\u043f \u043d\u0430 \u0434\u0438\u0441\u043a, \u0438 \u043f\u0440\u043e\u0449\u0435 \u0431\u0443\u0434\u0435\u0442 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c\u0438 \u043f\u043b\u0435\u0439\u0441\u043c\u0435\u043d\u0442 \u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438 \u2014 \u0442\u043e \u0435\u0441\u0442\u044c \u0435\u0441\u043b\u0438 \u0432\u0435\u0441\u044c \u0432\u0430\u0448 \u043f\u0443\u043b \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 10 Tb \u0438 \u0432 \u043d\u0435\u043c 10 PG \u2014 \u0442\u043e \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u043a\u0438\u0434\u044b\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u0435\u0440\u0430\u0431\u0430\u0439\u0442\u043d\u044b\u0445 \u043a\u0438\u0440\u043f\u0438\u0447\u0435\u0439 (pg) \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e \u2014 \u043f\u0435\u0440\u0435\u0441\u044b\u043f\u0430\u0442\u044c \u043f\u0435\u0441\u043e\u043a \u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043f\u0435\u0441\u0447\u0438\u043d\u043e\u043a \u043f\u043e \u0432\u0451\u0434\u0440\u0430\u043c \u043f\u0440\u043e\u0449\u0435 \u0438 \u0440\u043e\u0432\u043d\u0435\u0435).<\/p>\n<p><\/p>\n<p>\u041d\u043e \u043d\u0430\u0434\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0447\u0442\u043e \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e PG \u2014 \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0442\u0440\u0430\u0442\u0438\u0442\u0441\u044f \u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0438\u0445 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u2014 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0443\u0442\u0438\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u0430\u043c\u044f\u0442\u044c \u0438 \u0426\u041f\u0423.<\/p>\n<p><\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440\u043d\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 <noindex><a rel=\"nofollow\" href=\"https:\/\/ceph.com\/pgcalc\/\">\u0434\u0430\u0442\u044c \u043a\u0430\u043b\u044c\u043a\u0443\u043b\u044f\u0442\u043e\u0440<\/a><\/noindex>, \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 CEPH.<\/p>\n<p><\/p>\n<p>\u0421\u043f\u0438\u0441\u043e\u043a \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u0432:<\/p>\n<p><\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/blog.packagecloud.io\/eng\/2017\/02\/06\/monitoring-tuning-linux-networking-stack-sending-data\">https:\/\/blog.packagecloud.io\/eng\/2017\/02\/06\/monitoring-tuning-linux-networking-stack-sending-data<\/a><\/noindex><br \/>\n<noindex><a rel=\"nofollow\" href=\"http:\/\/www.admin-magazine.com\/HPC\/Articles\/Linux-I-O-Schedulers\">http:\/\/www.admin-magazine.com\/HPC\/Articles\/Linux-I-O-Schedulers<\/a><\/noindex><br \/>\n<noindex><a rel=\"nofollow\" href=\"http:\/\/onreader.mdl.ru\/MasteringCeph\/content\/Ch09.html#030202\">http:\/\/onreader.mdl.ru\/MasteringCeph\/content\/Ch09.html#030202<\/a><\/noindex><br \/>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/tracker.ceph.com\/issues\/23386\">https:\/\/tracker.ceph.com\/issues\/23386<\/a><\/noindex><br \/>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/ceph.com\/pgcalc\/\">https:\/\/ceph.com\/pgcalc\/<\/a><\/noindex><\/p>\n<p>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/456446\/\">habr.com<\/a><\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0412\u044b\u0431\u043e\u0440 CEPH. \u0427\u0430\u0441\u0442\u044c 1 \u0423 \u043d\u0430\u0441 \u0431\u044b\u043b\u043e \u043f\u044f\u0442\u044c \u0441\u0442\u043e\u0435\u043a, \u0434\u0435\u0441\u044f\u0442\u044c \u043e\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u0438\u0447\u0435\u0439, \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 BGP, \u043f\u0430\u0440\u0443 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 SSD \u0438 \u043a\u0443\u0447\u0430 SAS \u0434\u0438\u0441\u043a\u043e\u0432 \u0432\u0441\u0435\u0445 \u0446\u0432\u0435\u0442\u043e\u0432 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432, \u0430 \u0435\u0449\u0451 proxmox \u0438 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0437\u0430\u0441\u0443\u043d\u0443\u0442\u044c \u0432\u0441\u044e \u0441\u0442\u0430\u0442\u0438\u043a\u0443 \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 S3 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435. \u041d\u0435 \u0442\u043e \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0432\u0441\u0451 \u0431\u044b\u043b\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u043e \u0440\u0430\u0437 \u043d\u0430\u0447\u0430\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c opensource \u2014 \u0442\u043e \u0438\u0434\u0438 \u0432 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26573,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-35420","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0412\u044b\u0431\u043e\u0440 CEPH. \u0427\u0430\u0441\u0442\u044c 1 \u0423 \u043d\u0430\u0441 \u0431\u044b\u043b\u043e \u043f\u044f\u0442\u044c \u0441\u0442\u043e\u0435\u043a, \u0434\u0435\u0441\u044f\u0442\u044c \u043e\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u0438\u0447\u0435\u0439, \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 BGP, \u043f\u0430\u0440\u0443 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 SSD \u0438 \u043a\u0443\u0447\u0430 SAS \u0434\u0438\u0441\u043a\u043e\u0432 \u0432\u0441\u0435\u0445 \u0446\u0432\u0435\u0442\u043e\u0432 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432, \u0430 \u0435\u0449\u0451 proxmox \u0438 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0437\u0430\u0441\u0443\u043d\u0443\u0442\u044c \u0432\u0441\u044e \u0441\u0442\u0430\u0442\u0438\u043a\u0443 \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 S3 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435. \u041d\u0435 \u0442\u043e \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0432\u0441\u0451 \u0431\u044b\u043b\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u043e \u0440\u0430\u0437 \u043d\u0430\u0447\u0430\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c opensource \u2014 \u0442\u043e \u0438\u0434\u0438 \u0432\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/seph-ot-na-kolenke-do-production\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0421eph \u2014 \u043e\u0442 \u00ab\u043d\u0430 \u043a\u043e\u043b\u0435\u043d\u043a\u0435\u00bb \u0434\u043e \u00abproduction\u00bb | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0412\u044b\u0431\u043e\u0440 CEPH. \u0427\u0430\u0441\u0442\u044c 1 \u0423 \u043d\u0430\u0441 \u0431\u044b\u043b\u043e \u043f\u044f\u0442\u044c \u0441\u0442\u043e\u0435\u043a, \u0434\u0435\u0441\u044f\u0442\u044c \u043e\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u0438\u0447\u0435\u0439, \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 BGP, \u043f\u0430\u0440\u0443 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 SSD \u0438 \u043a\u0443\u0447\u0430 SAS \u0434\u0438\u0441\u043a\u043e\u0432 \u0432\u0441\u0435\u0445 \u0446\u0432\u0435\u0442\u043e\u0432 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432, \u0430 \u0435\u0449\u0451 proxmox \u0438 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0437\u0430\u0441\u0443\u043d\u0443\u0442\u044c \u0432\u0441\u044e \u0441\u0442\u0430\u0442\u0438\u043a\u0443 \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 S3 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435. \u041d\u0435 \u0442\u043e \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0432\u0441\u0451 \u0431\u044b\u043b\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u043e \u0440\u0430\u0437 \u043d\u0430\u0447\u0430\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c opensource \u2014 \u0442\u043e \u0438\u0434\u0438 \u0432\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/seph-ot-na-kolenke-do-production\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T19:04:14+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T19:04:14+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Ceph \u2013 von \u201eDIY\u201c zu \u201eProduction\u201c | ProHoster","description":"Die Wahl von CEPH. Teil 1 Wir hatten f\u00fcnf Racks, zehn optische Switches, konfiguriertes BGP, einige Dutzend SSDs und eine Menge SAS-Festplatten in allen Farben und Gr\u00f6\u00dfen, dazu Proxmox und das Bestreben, die gesamte statische Daten in unser eigenes S3-Speicher zu stecken. Es war nicht unbedingt notwendig f\u00fcr die Virtualisierung, aber wenn man erst einmal mit Open Source anf\u00e4ngt, dann geht man den ganzen Weg.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/seph-ot-na-kolenke-do-production","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421eph \u2014 \u043e\u0442 \u00ab\u043d\u0430 \u043a\u043e\u043b\u0435\u043d\u043a\u0435\u00bb \u0434\u043e \u00abproduction\u00bb | ProHoster","og:description":"\u0412\u044b\u0431\u043e\u0440 CEPH. \u0427\u0430\u0441\u0442\u044c 1 \u0423 \u043d\u0430\u0441 \u0431\u044b\u043b\u043e \u043f\u044f\u0442\u044c \u0441\u0442\u043e\u0435\u043a, \u0434\u0435\u0441\u044f\u0442\u044c \u043e\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u0438\u0447\u0435\u0439, \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 BGP, \u043f\u0430\u0440\u0443 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 SSD \u0438 \u043a\u0443\u0447\u0430 SAS \u0434\u0438\u0441\u043a\u043e\u0432 \u0432\u0441\u0435\u0445 \u0446\u0432\u0435\u0442\u043e\u0432 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432, \u0430 \u0435\u0449\u0451 proxmox \u0438 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0437\u0430\u0441\u0443\u043d\u0443\u0442\u044c \u0432\u0441\u044e \u0441\u0442\u0430\u0442\u0438\u043a\u0443 \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 S3 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435. \u041d\u0435 \u0442\u043e \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0432\u0441\u0451 \u0431\u044b\u043b\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u043e \u0440\u0430\u0437 \u043d\u0430\u0447\u0430\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c opensource \u2014 \u0442\u043e \u0438\u0434\u0438 \u0432","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/seph-ot-na-kolenke-do-production","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:04:14+00:00","article:modified_time":"2019-10-31T19:04:14+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"35420","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 23:10:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 10:56:55","updated":"2026-01-21 23:10:19"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/35420","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=35420"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/35420\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/26573"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=35420"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=35420"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=35420"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}