{"id":53590,"date":"2019-12-05T00:00:00","date_gmt":"2019-12-04T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/kak-my-v-tsian-ukroshhali-terabajty-logov"},"modified":"2020-02-18T14:01:30","modified_gmt":"2020-02-18T11:01:30","slug":"kak-my-v-tsian-ukroshhali-terabajty-logov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-my-v-tsian-ukroshhali-terabajty-logov","title":{"rendered":"Hogyan szel\u00edd\u00edtett\u00fck meg a terab\u00e1jt logokat a CI\u00c1N-n\u00e1l","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"Hogyan szel\u00edd\u00edtett\u00fck meg a terab\u00e1jt logokat a CI\u00c1N-n\u00e1l\" src=\"\/wp-content\/uploads\/2019\/12\/4efc58ba81fcaa7c8481bbeaa6bb083e.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n\u00dcdv mindenkinek, a nevem Alekszandr, a CI\u00c1N-n\u00e1l dolgozom m\u00e9rn\u00f6kk\u00e9nt, \u00e9s az infrastrukt\u00fara folyamatok rendszeradminisztr\u00e1ci\u00f3j\u00e1val \u00e9s automatiz\u00e1l\u00e1s\u00e1val foglalkozom. Az egyik kor\u00e1bbi cikk al\u00e1 kommentben k\u00e9rt\u00e9k, hogy mes\u00e9lj\u00fcnk arr\u00f3l, honnan szerezz\u00fck a napi 4 TB logot, \u00e9s mit csin\u00e1lunk vel\u00fck. Igen, sok logunk van, \u00e9s ezek feldolgoz\u00e1s\u00e1ra k\u00fcl\u00f6n infrastrukt\u00fara klasztert hoztunk l\u00e9tre, amely lehet\u0151v\u00e9 teszi sz\u00e1munkra a probl\u00e9m\u00e1k gyors megold\u00e1s\u00e1t. Ebben a cikkben elmes\u00e9lem, hogyan igaz\u00edtottuk az elm\u00falt \u00e9vben ezt a klasztert a folyamatosan n\u00f6vekv\u0151 adatforr\u00e1shoz.<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h3>Mivel kezdt\u00fck<\/h3>\n<p>\n<img decoding=\"async\" alt=\"Hogyan szel\u00edd\u00edtett\u00fck meg a terab\u00e1jt logokat a CI\u00c1N-n\u00e1l\" src=\"\/wp-content\/uploads\/2019\/12\/9b0919df70114d4ebb559c93ec012a4d.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAz ut\u00f3bbi n\u00e9h\u00e1ny \u00e9vben a cian.ru terhel\u00e9se nagyon gyorsan n\u0151tt, \u00e9s 2018 harmadik negyed\u00e9v\u00e9re az oldal havi l\u00e1togatotts\u00e1ga el\u00e9rte a 11,2 milli\u00f3 egyedi felhaszn\u00e1l\u00f3t. Akkoriban kritikus pillanatokban ak\u00e1r 40% logot is elvesztett\u00fcnk, ami miatt nem tudtunk az incidensekkel gyorsan foglalkozni, \u00e9s nagyon sok id\u0151t \u00e9s energi\u00e1t pazaroltunk a megold\u00e1sukra. Ezen k\u00edv\u00fcl gyakran nem tudtuk azonos\u00edtani a probl\u00e9ma ok\u00e1t, \u00e9s az id\u0151vel megism\u00e9tl\u0151d\u00f6tt. Ez egy olyan pokol volt, amivel valamit kezdeni kellett.<\/p>\n<p>Akkoriban a logok t\u00e1rol\u00e1s\u00e1ra egy 10 adatn\u00f3dra \u00e9p\u00fcl\u0151 klasztert haszn\u00e1ltunk az ElasticSearch 5.5.2 verzi\u00f3j\u00e1val, alap\u00e9rtelmezett indexbe\u00e1ll\u00edt\u00e1sokkal. Ezt t\u00f6bb mint egy \u00e9vvel ezel\u0151tt vezett\u00fck be, mint n\u00e9pszer\u0171 \u00e9s el\u00e9rhet\u0151 megold\u00e1st: akkoriban a logok \u00e1raml\u00e1sa nem volt olyan nagy, nem volt \u00e9rtelme szokatlan konfigur\u00e1ci\u00f3kat kital\u00e1lni.\u00a0<\/p>\n<p>A bej\u00f6v\u0151 logok feldolgoz\u00e1s\u00e1t a Logstash v\u00e9gezte k\u00fcl\u00f6nb\u00f6z\u0151 portokon \u00f6t ElasticSearch koordin\u00e1toron. Egy index, f\u00fcggetlen\u00fcl a m\u00e9ret\u00e9t\u0151l, \u00f6t part\u00edci\u00f3b\u00f3l \u00e1llt. \u00d3r\u00e1s \u00e9s napi rot\u00e1ci\u00f3t vezett\u00fcnk be, ennek eredm\u00e9nyek\u00e9nt \u00f3r\u00e1nk\u00e9nt k\u00f6r\u00fclbel\u00fcl 100 \u00faj part\u00edci\u00f3 ker\u00fclt a klaszterbe. Am\u00edg a logok sz\u00e1ma nem volt t\u00fal nagy, a klaszter j\u00f3l m\u0171k\u00f6d\u00f6tt, \u00e9s senki sem figyelt a be\u00e1ll\u00edt\u00e1saira.\u00a0<\/p>\n<h3>A gyors n\u00f6veked\u00e9s probl\u00e9m\u00e1i<\/h3>\n<p>\nA gener\u00e1lt logok mennyis\u00e9ge nagyon gyorsan n\u00f6vekedett, mivel k\u00e9t folyamat egym\u00e1sra r\u00e9tegz\u0151d\u00f6tt. Egyr\u00e9szr\u0151l egyre t\u00f6bb felhaszn\u00e1l\u00f3ja lett a szolg\u00e1ltat\u00e1snak. M\u00e1sr\u00e9szr\u0151l akt\u00edvan \u00e1tt\u00e9rt\u00fcnk a mikroszolg\u00e1ltat\u00e1s-architekt\u00far\u00e1ra, sz\u00e9tv\u00e1lasztva r\u00e9gi monolitikus rendszereinket C#-ban \u00e9s Pythonban. T\u00f6bb tucat \u00faj mikroszolg\u00e1ltat\u00e1s, amelyek helyettes\u00edtett\u00e9k a monolit egyes r\u00e9szeit, l\u00e9nyegesen t\u00f6bb logot gener\u00e1ltak az infrastrukt\u00fara klaszter sz\u00e1m\u00e1ra.\u00a0<\/p>\n<p>A sk\u00e1l\u00e1z\u00e1s vezetett minket ahhoz, hogy a klaszter gyakorlatilag kezelhetetlenn\u00e9 v\u00e1lt. Amikor a napl\u00f3k 20 ezer \u00fczenet m\u00e1sodpercenk\u00e9nt kezdtek \u00e9rkezni, a gyakori, haszontalan rot\u00e1ci\u00f3 6 ezer shard-ra n\u00f6velte a sz\u00e1mot, \u00edgy egy node-ra t\u00f6bb mint 600 shard jutott.\u00a0<\/p>\n<p>Ez probl\u00e9m\u00e1kat okozott a mem\u00f3riakezel\u00e9sn\u00e9l, \u00e9s amikor egy node le\u00e1llt, az \u00f6sszes shard egyidej\u0171 \u00e1thelyez\u00e9se megdupl\u00e1zta a forgalmat \u00e9s megterhelte a t\u00f6bbi node-ot, ami gyakorlatilag lehetetlenn\u00e9 tette az adatok \u00edr\u00e1s\u00e1t a klaszterbe. Ekkor pedig napl\u00f3ink sem voltak. A probl\u00e9ma eset\u00e9n <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/hu\/server\/dts-prohoster\/\"   title=\"szerverrel\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"2986\">szerverrel<\/a> m\u00e1r a klaszter 1\/10-\u00e9t elvesztett\u00fck. A sok kis m\u00e9ret\u0171 index tov\u00e1bbi neh\u00e9zs\u00e9geket okozott.<\/p>\n<p>Napl\u00f3k n\u00e9lk\u00fcl nem \u00e9rtett\u00fck az incidens okait, \u00e9s el\u0151bb vagy ut\u00f3bb \u00fajra ugyanazokra a gondokra l\u00e9phett\u00fcnk, ami csapatunk ideol\u00f3gi\u00e1j\u00e1ban elfogadhatatlan volt, mivel minden munkamechanizmusunk \u00e9ppen arra van ki\u00e9lezve, hogy soha ne ism\u00e9telj\u00fck meg ugyanazokat a probl\u00e9m\u00e1kat. Ehhez sz\u00fcgs\u00e9g\u00fcnk volt a napl\u00f3k teljes terjedelm\u00e9re \u00e9s azok szinte val\u00f3s idej\u0171 sz\u00e1ll\u00edt\u00e1s\u00e1ra, mivel a szolg\u00e1latot teljes\u00edt\u0151 m\u00e9rn\u00f6k\u00f6k nemcsak a metrik\u00e1k, hanem a napl\u00f3k figyelmeztet\u00e9seit is nyomon k\u00f6vett\u00e9k. A probl\u00e9ma m\u00e9ret\u00e9nek meg\u00e9rt\u00e9s\u00e9hez: ekkor a napl\u00f3k \u00f6sszesen napi szinten k\u00f6r\u00fclbel\u00fcl 2 TB-t tettek ki.\u00a0<\/p>\n<p>Feladatot t\u0171zt\u00fcnk ki - teljesen kiz\u00e1rni a napl\u00f3vesztes\u00e9get \u00e9s maximaliz\u00e1lni a napl\u00f3k klaszterbe val\u00f3 sz\u00e1ll\u00edt\u00e1s\u00e1nak idej\u00e9t 15 percre a k\u00e9nyszerhelyzetek alatt (ezen a sz\u00e1m\u00e9rt\u00e9ken a tov\u00e1bbiakban bels\u0151 KPI-k\u00e9nt t\u00e1maszkodtunk).<\/p>\n<h3>\u00daj rot\u00e1ci\u00f3s mechanizmus \u00e9s hot-warm node-ok<\/h3>\n<p>\n<img decoding=\"async\" alt=\"Hogyan szel\u00edd\u00edtett\u00fck meg a terab\u00e1jt logokat a CI\u00c1N-n\u00e1l\" src=\"\/wp-content\/uploads\/2019\/12\/aca8d792d8b2f002475554d05e8d5451.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA klaszter \u00e1talak\u00edt\u00e1s\u00e1t az ElasticSearch 5.5.2 verzi\u00f3r\u00f3l 6.4.3 verzi\u00f3ra t\u00f6rt\u00e9n\u0151 friss\u00edt\u00e9ssel kezdt\u00fck. A 5-\u00f6s verzi\u00f3j\u00fa klaszter ism\u00e9t le\u00e1llt, \u00e9s \u00fagy d\u00f6nt\u00f6tt\u00fcnk, hogy le\u00e1ll\u00edtjuk \u00e9s teljesen friss\u00edtj\u00fck - hiszen napl\u00f3k am\u00fagy sincsenek. \u00cdgy ezt az \u00e1tmenetet mind\u00f6ssze n\u00e9h\u00e1ny \u00f3ra alatt v\u00e9grehajtottuk.<\/p>\n<p>A legjelent\u0151sebb \u00e1talakul\u00e1s ezen a ponton a h\u00e1rom csom\u00f3ponttal \u00e9s egy koordin\u00e1tork\u00e9nt funkcion\u00e1l\u00f3 k\u00f6zb\u00fcf\u00e9rrel val\u00f3 Apache Kafka bevezet\u00e9se volt. Az \u00fczenetk\u00f6zvet\u00edt\u0151 megszabad\u00edtott minket a napl\u00f3k elveszt\u00e9s\u00e9t\u0151l az ElasticSearch probl\u00e9m\u00e1k idej\u00e9n. Egyidej\u0171leg k\u00e9t csom\u00f3pontot adtunk a klaszterhez, \u00e9s \u00e1t\u00e1lltunk a hot-warm architekt\u00far\u00e1ra, h\u00e1rom \u201eforr\u00f3\u201d csom\u00f3ponttal, amelyek k\u00fcl\u00f6nb\u00f6z\u0151 \u00e1llv\u00e1nyokban helyezkedtek el az adatk\u00f6zpontban. Ezekre a csom\u00f3pontokra \u00e1tir\u00e1ny\u00edtottuk azokat a napl\u00f3kat, amelyeket semmik\u00e9ppen nem szabadott elvesz\u00edteni \u2014 a nginx \u00e9s az alkalmaz\u00e1sok hibanapl\u00f3i. A t\u00f6bbi csom\u00f3pontra a kisebb napl\u00f3k mentek \u2014 debug, warning stb., \u00e9s 24 \u00f3ra eltelt\u00e9vel az \u201efontos\u201d napl\u00f3k a \u201eforr\u00f3\u201d csom\u00f3pontokr\u00f3l \u00e1tker\u00fcltek.<\/p>\n<p>A kis m\u00e9ret\u0171 indexek sz\u00e1m\u00e1nak n\u00f6vel\u00e9s\u00e9nek elker\u00fcl\u00e9se \u00e9rdek\u00e9ben \u00e1tt\u00e9rt\u00fcnk az id\u0151alap\u00fa forgat\u00e1sr\u00f3l a rollover mechanizmusra. A f\u00f3rumokon sok inform\u00e1ci\u00f3 volt arr\u00f3l, hogy a m\u00e9ret alap\u00fa forgat\u00e1s nagyon megb\u00edzhatatlan, ez\u00e9rt \u00fagy d\u00f6nt\u00f6tt\u00fcnk, hogy az indexben l\u00e9v\u0151 dokumentumok sz\u00e1m\u00e1n alapul\u00f3 forgat\u00e1st haszn\u00e1lunk. Minden indexet elemezni kellett, \u00e9s r\u00f6gz\u00edteni a dokumentumok sz\u00e1m\u00e1t, amely ut\u00e1n be kellene l\u00e9pnie a forgat\u00e1snak. \u00cdgy optim\u00e1lis shard m\u00e9retet \u00e9rt\u00fcnk el \u2014 legfeljebb 50 GB.\u00a0<\/p>\n<h3>A klaszter optimaliz\u00e1l\u00e1sa<\/h3>\n<p>\n<img decoding=\"async\" alt=\"Hogyan szel\u00edd\u00edtett\u00fck meg a terab\u00e1jt logokat a CI\u00c1N-n\u00e1l\" src=\"\/wp-content\/uploads\/2019\/12\/89503fc8aa92060e750bdc9cdd63a7e3.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nB\u00e1r a probl\u00e9m\u00e1k teljesen nem sz\u0171ntek meg. Sajnos tov\u00e1bbra is megjelentek kicsi indexek: nem \u00e9rt\u00e9k el a megadott m\u00e9retet, nem forogtak, \u00e9s a h\u00e1rom napn\u00e1l id\u0151sebb indexek glob\u00e1lis t\u00f6rl\u00e9se sor\u00e1n elt\u00e1vol\u00edtott\u00e1k \u0151ket, mivel megsz\u00fcntett\u00fck az id\u0151alap\u00fa forgat\u00e1st. Ez adatveszt\u00e9shez vezetett, mivel az index teljesen elt\u0171nt a klaszterb\u0151l, \u00e9s a nem l\u00e9tez\u0151 indexbe val\u00f3 \u00edr\u00e1s megzavarta a curator logik\u00e1j\u00e1t, amit haszn\u00e1ltunk az ir\u00e1ny\u00edt\u00e1shoz. Az \u00edr\u00e1si alias \u00e1talakult index\u00e9, \u00e9s megzavarta a rollover logik\u00e1t, ami bizonyos indexek ellen\u0151rizetlen n\u00f6veked\u00e9s\u00e9hez vezetett 600 GB-ig.\u00a0<\/p>\n<p>P\u00e9ld\u00e1ul a forgat\u00e1si konfigur\u00e1ci\u00f3hoz:<\/p>\n<pre><code class=\"plaintext\">curator-elk-rollover.yaml\n\n---\nactions:\n\u00a0\u00a01:\n\u00a0\u00a0\u00a0\u00a0action: rollover\n\u00a0\u00a0\u00a0\u00a0options:\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0name: \"nginx_write\"\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0conditions:\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0max_docs: 100000000\n\u00a0\u00a02:\n\u00a0\u00a0\u00a0\u00a0action: rollover\n\u00a0\u00a0\u00a0\u00a0options:\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0name: \"python_error_write\"\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0conditions:\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0max_docs: 10000000\n<\/code><\/pre>\n<p>Ha a rollover alias hi\u00e1nyzott, hiba l\u00e9pett fel:<\/p>\n<pre><code class=\"plaintext\">ERROR \u00a0 \u00a0 alias \"nginx_write\" not found.\nERROR \u00a0 \u00a0 Failed to complete action: rollover.\u00a0 &lt;type 'exceptions.ValueError'&gt;: Unable to perform index rollover with alias \"nginx_write\".\n<\/code><\/pre>\n<p>A probl\u00e9m\u00e1t a k\u00f6vetkez\u0151 iter\u00e1ci\u00f3ra hagytuk, \u00e9s m\u00e1s k\u00e9rd\u00e9ssel foglalkoztunk: \u00e1tt\u00e9rt\u00fcnk a Logstash bels\u0151 napl\u00f3feldolgoz\u00f3 logik\u00e1j\u00e1ra, amely a bej\u00f6v\u0151 napl\u00f3k (a felesleges inform\u00e1ci\u00f3k elt\u00e1vol\u00edt\u00e1sa \u00e9s az adatok gazdag\u00edt\u00e1sa) kezel\u00e9s\u00e9vel foglalkozik. Dockerbe helyezt\u00fck, amelyet a docker-compose seg\u00edts\u00e9g\u00e9vel ind\u00edtunk, \u00e9s ott \u00fczemeltetj\u00fck a logstash-exportert is, amely metrik\u00e1kat ad \u00e1t a Prometheusnak a napl\u00f3k \u00e1raml\u00e1s\u00e1nak val\u00f3s idej\u0171 megfigyel\u00e9s\u00e9hez. \u00cdgy lehet\u0151s\u00e9g\u00fcnk volt fokozatosan v\u00e1ltoztatni a logstash p\u00e9ld\u00e1nyok sz\u00e1m\u00e1n a k\u00fcl\u00f6nb\u00f6z\u0151 napl\u00f3 t\u00edpusok feldolgoz\u00e1s\u00e1ra.<\/p>\n<p>M\u00edg a klasztert t\u00f6k\u00e9letes\u00edtett\u00fck, a cian.ru l\u00e1togatotts\u00e1ga 12,8 milli\u00f3 egyedi felhaszn\u00e1l\u00f3ra n\u0151tt havonta. Ennek k\u00f6vetkezt\u00e9ben \u00fagy alakult, hogy a v\u00e1ltoztat\u00e1saink egy kicsit lemaradtak a termel\u00e9sbeli v\u00e1ltoz\u00e1sok m\u00f6g\u00f6tt, \u00e9s azzal kellett szemben\u00e9zn\u00fcnk, hogy a \u201emeleg\u201d csom\u00f3pontok nem tudt\u00e1k kezelni a terhel\u00e9st, ami megakasztotta az \u00f6sszes napl\u00f3 futtat\u00e1s\u00e1t. A \u201eforr\u00f3\u201d adatokat akad\u00e1lytalanul megkaptuk, de a t\u00f6bbi napl\u00f3 \u00e1tvitel\u00e9n\u00e9l be kellett avatkoznunk, \u00e9s manu\u00e1lis rollover-t hajtottunk v\u00e9gre az indexek egyenletes eloszt\u00e1sa \u00e9rdek\u00e9ben.\u00a0<\/p>\n<p>Ek\u00f6zben a logstash p\u00e9ld\u00e1nyok sk\u00e1l\u00e1z\u00e1sa \u00e9s be\u00e1ll\u00edt\u00e1sainak m\u00f3dos\u00edt\u00e1sa neh\u00e9zkess\u00e9 v\u00e1lt, mivel ez egy lok\u00e1lis docker-compose volt, \u00e9s minden m\u0171veletet manu\u00e1lisan kellett elv\u00e9gezni (\u00faj v\u00e9gpontok hozz\u00e1ad\u00e1s\u00e1hoz k\u00e9zzel kellett v\u00e9gigj\u00e1rni az \u00f6sszes szervert, \u00e9s mindenhol v\u00e9grehajtani a docker-compose up -d parancsot).<\/p>\n<h3>A napl\u00f3k \u00fajraeloszt\u00e1sa<\/h3>\n<p>\nId\u00e9n szeptemberben m\u00e9g mindig folytattuk a monolit felt\u00f6r\u00e9s\u00e9t, a klaszterre nehezed\u0151 terhel\u00e9s n\u0151tt, \u00e9s a napl\u00f3\u00e1ram 30 ezer \u00fczenetre k\u00f6zel\u00edtett m\u00e1sodpercenk\u00e9nt.\u00a0<\/p>\n<p><img decoding=\"async\" alt=\"Hogyan szel\u00edd\u00edtett\u00fck meg a terab\u00e1jt logokat a CI\u00c1N-n\u00e1l\" src=\"\/wp-content\/uploads\/2019\/12\/00f00af4ad5fa0080a19f36d0ac4b19e.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA k\u00f6vetkez\u0151 iter\u00e1ci\u00f3t a hardver friss\u00edt\u00e9s\u00e9vel kezdt\u00fck. \u00d6t koordin\u00e1torr\u00f3l h\u00e1romra v\u00e1ltottunk \u00e1t, kicser\u00e9lt\u00fck az adatcsom\u00f3pontokat, \u00e9s nyeres\u00e9get \u00e9rt\u00fcnk el mind p\u00e9nz\u00fcgyileg, mind t\u00e1rol\u00f3kapacit\u00e1s szempontj\u00e1b\u00f3l. K\u00e9t konfigur\u00e1ci\u00f3t haszn\u00e1lunk a csom\u00f3pontokhoz:\u00a0<\/p>\n<ul>\n<li>A \"forr\u00f3\" csom\u00f3pontokhoz: E3-1270 v6 \/ 960Gb SSD \/ 32 Gb x 3 x 2 (3 a Hot1-hez \u00e9s 3 a Hot2-h\u00f6z).\n<\/li>\n<li>A \"meleg\" csom\u00f3pontokhoz: E3-1230 v6 \/ 4Tb SSD \/ 32 Gb x 4.\n<\/li>\n<\/ul>\n<p>\nEbben az iter\u00e1ci\u00f3ban az access-napl\u00f3kat tartalmaz\u00f3 indexet \u00e1tvitt\u00fck a h\u00e1rom \u201eforr\u00f3\u201d csom\u00f3pont m\u00e1sodik csoportj\u00e1ba, amely annyi helyet foglal el, mint a front end nginx napl\u00f3i. A \u201eforr\u00f3\u201d csom\u00f3pontokon most 20 \u00f3r\u00e1n kereszt\u00fcl t\u00e1roljuk az adatokat, majd \u00e1tker\u00fclnek a \u201emeleg\u201d csom\u00f3pontokra a t\u00f6bbi napl\u00f3hoz.\u00a0<\/p>\n<p>A kis indexek elt\u0171n\u00e9s\u00e9nek probl\u00e9m\u00e1j\u00e1t a forgat\u00e1suk \u00e1tkonfigur\u00e1l\u00e1s\u00e1val oldottuk meg. Mostant\u00f3l az indexek minden esetben 23 \u00f3r\u00e1nk\u00e9nt forognak, m\u00e9g akkor is, ha kev\u00e9s adat van benn\u00fck. Ez kiss\u00e9 megn\u00f6velte a shardok sz\u00e1m\u00e1t (kb. 800-ra n\u0151tt), de a klaszter teljes\u00edtm\u00e9nye szempontj\u00e1b\u00f3l ez toler\u00e1lhat\u00f3.\u00a0<\/p>\n<p>Ennek k\u00f6vetkezt\u00e9ben a klaszterben hat \u201eforr\u00f3\u201d \u00e9s mind\u00f6ssze n\u00e9gy \u201emeleg\u201d csom\u00f3pont keletkezett. Ez kis k\u00e9sleltet\u00e9st okoz a nagy id\u0151intervallum\u00fa lek\u00e9rdez\u00e9sekben, de a j\u00f6v\u0151beni csom\u00f3pontok sz\u00e1m\u00e1nak n\u00f6vel\u00e9se megoldja ezt a probl\u00e9m\u00e1t.<\/p>\n<p>Ebben az iter\u00e1ci\u00f3ban orvosoltuk a f\u00e9lautomatikus sk\u00e1l\u00e1z\u00e1s hi\u00e1ny\u00e1t is. Ehhez be\u00fczemelt\u00fck az infrastrukt\u00fara Nomad klasztert \u2014 hasonl\u00f3t ahhoz, amely m\u00e1r \u00fczemel a termel\u00e9s\u00fcnkben. Jelenleg a Logstash sz\u00e1ma automatikusan nem v\u00e1ltozik a terhel\u00e9s f\u00fcggv\u00e9ny\u00e9ben, de el fogunk jutni oda is.<\/p>\n<p><img decoding=\"async\" alt=\"Hogyan szel\u00edd\u00edtett\u00fck meg a terab\u00e1jt logokat a CI\u00c1N-n\u00e1l\" src=\"\/wp-content\/uploads\/2019\/12\/c06905f266238990d989bf2d7c84be3d.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>J\u00f6v\u0151beli tervek<\/h3>\n<p>\nA megval\u00f3s\u00edtott konfigur\u00e1ci\u00f3 kiv\u00e1l\u00f3an sk\u00e1l\u00e1zhat\u00f3, \u00e9s jelenleg 13,3 TB adatot t\u00e1rolunk \u2014 minden logot n\u00e9gy napra visszamen\u0151leg, ami sz\u00fcks\u00e9ges az \u00e9les figyelmeztet\u00e9sek feldolgoz\u00e1s\u00e1hoz. N\u00e9h\u00e1ny logot metrik\u00e1v\u00e1 alak\u00edtunk, amelyeket a Graphite-ban t\u00e1rolunk. Az m\u00e9rn\u00f6k\u00f6k munk\u00e1j\u00e1t megk\u00f6nny\u00edtend\u0151, rendelkez\u00fcnk metrik\u00e1kkal az infrastrukt\u00fara klaszterhez \u00e9s olyan szkriptekkel, amelyek f\u00e9lautomatikusan jav\u00edtj\u00e1k a tipikus probl\u00e9m\u00e1kat. A k\u00f6vetkez\u0151 \u00e9vre tervezett adatcsom\u00f3pontok sz\u00e1m\u00e1nak n\u00f6vel\u00e9s\u00e9vel a t\u00e1rol\u00e1si id\u0151t 4 napr\u00f3l 7 napra b\u0151v\u00edtj\u00fck. Ez elegend\u0151 lesz a napi munk\u00e1hoz, mivel mindig igyeksz\u00fcnk min\u00e9l gyorsabban kivizsg\u00e1lni az esem\u00e9nyeket, a hossz\u00fa t\u00e1v\u00fa vizsg\u00e1latokhoz pedig rendelkez\u00e9sre \u00e1llnak a telemetriai adatok.\u00a0<\/p>\n<p>2019 okt\u00f3ber\u00e9ben a cian.ru l\u00e1togatotts\u00e1ga m\u00e1r 15,3 milli\u00f3 egyedi felhaszn\u00e1l\u00f3ra n\u0151tt havonta. Ez komoly tesztet jelentett a logok k\u00e9zbes\u00edt\u00e9s\u00e9re vonatkoz\u00f3 architektur\u00e1lis d\u00f6nt\u00e9s sz\u00e1m\u00e1ra.\u00a0<\/p>\n<p>Jelenleg az ElasticSearch 7-es verzi\u00f3ra val\u00f3 friss\u00edt\u00e9sre k\u00e9sz\u00fcl\u00fcnk. Igaz, ehhez sok index mappinget friss\u00edten\u00fcnk kell az ElasticSearch-ben, mivel azok a 5.5-\u00f6s verzi\u00f3r\u00f3l ker\u00fcltek \u00e1t, \u00e9s a 6-os verzi\u00f3ban elavultnak lettek nyilv\u00e1n\u00edtva (a 7-es verzi\u00f3ban egyszer\u0171en m\u00e1r nincsenek). Ez azt jelenti, hogy a friss\u00edt\u00e9s sor\u00e1n biztosan lesznek v\u00e1ratlan esem\u00e9nyek, amelyek egy id\u0151re logok n\u00e9lk\u00fcl hagynak minket. A 7-es verzi\u00f3b\u00f3l a Kibana-ra v\u00e1runk a fejlettebb fel\u00fclet\u00e9vel \u00e9s az \u00faj sz\u0171r\u0151ivel.\u00a0<\/p>\n<p>F\u0151 c\u00e9lunkat el\u00e9rt\u00fck: abbahagytuk a napl\u00f3f\u00e1jlok elveszt\u00e9s\u00e9t \u00e9s cs\u00f6kkentett\u00fck az infrastrukt\u00fara klaszter le\u00e1ll\u00e1s\u00e1nak idej\u00e9t heti 2-3 le\u00e1ll\u00e1sr\u00f3l havi p\u00e1r \u00f3r\u00e1s karbantart\u00e1sra. Mindez a termel\u00e9si k\u00f6rnyezetben szinte \u00e9szrev\u00e9tlen. Most azonban pontosan meg tudjuk hat\u00e1rozni, mi t\u00f6rt\u00e9nik a szolg\u00e1ltat\u00e1sunkkal, gyorsan meg tudjuk tenni ezt nyugodt k\u00f6r\u00fclm\u00e9nyek k\u00f6z\u00f6tt, \u00e9s nem kell agg\u00f3dnunk a napl\u00f3k elveszt\u00e9se miatt. \u00d6sszess\u00e9g\u00e9ben el\u00e9gedettek vagyunk, boldogok, \u00e9s k\u00e9sz\u00fcl\u00fcnk az \u00faj kih\u00edv\u00e1sokra, amelyekr\u0151l k\u00e9s\u0151bb besz\u00e1molunk.<br \/>\n<br \/>Forr\u00e1s: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/cian\/blog\/478564\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0432 \u0426\u0418\u0410\u041d \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u043c \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u043c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432. \u0412 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043a \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0430\u0441 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b\u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043e\u0442\u043a\u0443\u0434\u0430 \u043c\u044b \u0431\u0435\u0440\u0435\u043c 4 \u0422\u0411 \u043b\u043e\u0433\u043e\u0432 \u0432 \u0434\u0435\u043d\u044c \u0438 \u0447\u0442\u043e \u0441 \u043d\u0438\u043c\u0438 \u0434\u0435\u043b\u0430\u0435\u043c. \u0414\u0430, \u043b\u043e\u0433\u043e\u0432 \u0443 \u043d\u0430\u0441 \u043c\u043d\u043e\u0433\u043e, \u0438 \u0434\u043b\u044f \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-53590","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0432 \u0426\u0418\u0410\u041d.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-my-v-tsian-ukroshhali-terabajty-logov\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"hu_HU\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a \u043c\u044b \u0432 \u0426\u0418\u0410\u041d \u0443\u043a\u0440\u043e\u0449\u0430\u043b\u0438 \u0442\u0435\u0440\u0430\u0431\u0430\u0439\u0442\u044b \u043b\u043e\u0433\u043e\u0432 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0432 \u0426\u0418\u0410\u041d.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-my-v-tsian-ukroshhali-terabajty-logov\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-12-04T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:01:30+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hogyan f\u00e9kezt\u00fck a CI\u00c1N-n\u00e1l a terab\u00e1jt logokat | ProHoster","description":"Hell\u00f3 mindenkinek, a nevem Alexander, a CI\u00c1N-n\u00e1l dolgozom.","canonical_url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-my-v-tsian-ukroshhali-terabajty-logov","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hu_HU","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043c\u044b \u0432 \u0426\u0418\u0410\u041d \u0443\u043a\u0440\u043e\u0449\u0430\u043b\u0438 \u0442\u0435\u0440\u0430\u0431\u0430\u0439\u0442\u044b \u043b\u043e\u0433\u043e\u0432 | ProHoster","og:description":"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0432 \u0426\u0418\u0410\u041d.","og:url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-my-v-tsian-ukroshhali-terabajty-logov","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-12-04T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:30+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53590","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-09 22:17:34","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:22:49","updated":"2026-02-09 22:17:34","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/53590","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/comments?post=53590"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/53590\/revisions"}],"predecessor-version":[{"id":160267,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/53590\/revisions\/160267"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media?parent=53590"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/categories?post=53590"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/tags?post=53590"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}