áá°á¡áá±á¬áºáá»á¬ážáá»á¬ážááẠElasticsearch ááŸáá·áºáá¯ááºážáááºááŒáááºá ááá¯á·áá±á¬áº âá¡áá°ážáááŒáá·áº ááŒá®ážáá¬ážáá±á¬ ááá¬áâ ááœáẠááŸááºáááºážáá»á¬ážááᯠááááºážáááºážááẠáááºážááᯠá¡áá¯á¶ážááŒá¯ááá¯áá±á¬á¡áá« áá¬ááŒá áºááœá¬ážááááºážá ááá¯á·á¡ááŒáẠáá±áá¬á ááºáá¬áá»á¬ážá áœá¬á áá»ááºááœááºááŸá¯ááá¯áááºáž áá¶á á¬ážáááẠáá¬áá»ááºááŸá¯áááŸááá«áá¬ážá áááºááá¯áááá¯áá¬ááá¬ááᯠáááºáá¯ááºááá·áºááá²á áááºááá¯á¡áááºá¡áá²ááœá± ááŒá¯á¶áááá«áááá·áºá
Odnoklassniki á០áá»áœááºá¯ááºááá¯á·ááẠááŸááºáááºážá á®áá¶ááá·áºááœá²ááŸá¯ááŒá¿áá¬ááá¯ááŒá±ááŸááºážááẠelasticsearch ááá¯á¡áá¯á¶ážááŒá¯áááºáá¯á¶ážááŒááºáá²á·ááŒá®áž ááá¯á¡áá«ááœáẠáá»áœááºá¯ááºááá¯á·áá¡ááœá±á·á¡ááŒá¯á¶ááᯠHabr ááŸáá·áº áá»áŸáá±áá«áááº- áááá¯áá¬ááá¬ááŸáá·áº áá»áá¯á·ááœááºážáá»ááºáá»á¬ážá¡ááŒá±á¬ááºáž ááŸá áºáááºá áá¯á¶ážááᯠáá»áŸáá±áá«áááºá
áá»áœááºá¯ááºááẠPyotr Zaitsev ááŒá áºáá«áááºá áá»áœááºá¯ááºááẠOdnoklassniki ááœáẠá áá áºá á®áá¶ááá·áºááœá²áá°á¡ááŒá Ạá¡áá¯ááºáá¯ááºáá«áááºá á¡á²áá®áááá¯ááºáááºá áá»áœááºáá±á¬áºáᬠManticore Searchá Sphinx searchá Elasticsearch áá²á· á¡áá¯ááºáá¯ááºáá²á·áá«áááºá ááŒá áºáá±á¬ááºážááŒá áºááá¯ááºá áá±á¬ááºáá áºáᯠ... ááŸá¬ááœá±ááŸá¯áá±á«áºáá¬áá«áá áá«áááºáž áááºážááŸáá·áºá¡áá° áá¯ááºáá±á¬ááºááá¯ááºáááºááŒá áºáááºá áá»áœááºá¯ááºááẠááá¹áá¡áá»á±á¬áẠá¡ááŒá±áá¶á open source ááá±á¬áá»ááºáá»á¬ážá áœá¬ááœááºáááºáž áá«áááºáá«áááºá
áá« Odnoklassniki ááá¯áá±á¬ááºáá²á·á¡áá« Elasticsearch áá²á·á¡áá¯ááºáá¯ááºááá¯ááºáááºááá¯áá¬ááᯠá¡ááºáá¬áá»á°ážááŸá¬ ááááºáááŒááºááŒá±á¬áá²á·áááºá áá»áœááºáá±á¬áº á¡á²áá«ááᯠááœá²áá»ááŒá®áž ááá¯ážááŸááºážáá²á· á¡áá¯ááºááá»áá¯á·ááᯠááŒá®ážááŒá±á¬ááºááŒá®ážáá±á¬ááºá á¡á²áá®á¡áá»áááºá ááŸááá²á·áá²á· ááŸááºáááºážá á®áá¶ááá·áºááœá²ááŸá¯á áá áºááᯠááŒá¯ááŒááºááŒá±á¬ááºážáá²ááá¯á· ááŒá®ážáá¬ážáá²á·áá¬áááºááᯠáá»áœááºáá±á¬áºááá²á·áá«áááºá
ááá¯á¡ááºáá»ááº
á áá áºááá¯á¡ááºáá»ááºáá»á¬ážááᯠá¡á±á¬ááºáá«á¡ááá¯ááºáž áá±ážááœá²áá²á·áá«áááºá
- Graylog ááᯠááŸá±á·áááºážááœááºá¡ááŒá Ạá¡áá¯á¶ážááŒá¯ááááºááŒá áºáááºá áá¯áá¹ááá®ááẠá€áá¯ááºáá¯ááºááᯠá¡áá¯á¶ážááŒá¯ááá·áº á¡ááœá±á·á¡ááŒá¯á¶ááŸáááŒá®ážáá¬ážááŒá áºáá±á¬ááŒá±á¬áá·áº áááá¯ááááºáá¬áá»á¬ážááŸáá·áº á ááºážáááºáá°áá»á¬ážááẠáááºážááᯠááááŸáááŒááŒá®áž áááºážááá¯á·á¡ááœáẠáááºážááŸá®ážááŒá®áž á¡áááºááŒá±áá«áááºá
- áá±áá¬ááá¬á- áá áºá áá¹ááá·áºáá»áŸáẠáá»ááºážáá»áŸ 50-80 á¡ááœááºáž áááºáá±á·ááºá» 2-3 á áá áºáá¯áᯠáá»ááºááœá¬ážáá«á áááºááá·áºá¡áá¬á០ááá·áºáááºááá¬ážáá² ááá¯ááºážáá»á¬áž áá áºá áá¹ááá·áºáá»áŸáẠXNUMX-XNUMX áááºážá¡áá ááŸáááá¯ááºáá«áááºá
- ááŸá¬ááœá±ááŸá¯ á¡ááŸáááºá¡áá¯ááºá¡ááœáẠááá¯á¡ááºáá»ááºáá»á¬ážááᯠáááºáá°áá°áá»á¬ážááŸáá·áº ááœá±ážááœá±ážááŒá®ážáá±á¬á¡áá«á ááá¯ááá¯á·áá±á¬á áá áºááᯠá¡áá¯á¶ážááŒá¯ááŒááºážá áá¯á¶ááŸááºáá¯á¶á á¶ááŸá¬ á€áá²á·ááá¯á·ááŒá áºáááº- áá°áá»á¬ážááẠááœááºáá²á·áá±á¬ ááŸá áºáááºá áááºážááá¯á·á áá»áŸá±á¬ááºááœáŸá¬ááŸááºáááºážáá»á¬ážááᯠááŸá¬ááœá±áá±ááŒááŒá®áž áá áºáá¯áááºááá¯á áá á±á¬áá·áºáá»ááºááŒáá«á áá±á¬áºááŒá°áá¬áá±ážááœááºážáá áºáá¯áááááºá¡ááœáẠáá¯áááá
- á¡ááºááááºáá»á¬ážááẠáááºážá¡á¬áž áááºááá¯á·áá¯ááºáá±á¬ááºáááºááᯠáááºáááºáá²áá² á á±á·á á±á·á ááºá ááºáá±á·áá¬ááẠáááá¯á¡ááºáá² ááá¯á¡ááºáá«á á áá áºá¡á¬áž á¡ááœááºááá° áá»á²á·ááœááºááá¯ááºá á±ááẠá¡ááºááááºáá»á¬ážá áá±á¬ááºážááá¯áá²á·áááºá
- ááá¯á·ááŒá±á¬áá·áº á€á áá áºáá»á¬áž á¡áá«á¡á¬ážáá»á±á¬áºá áœá¬ ááá¯á¡ááºááá·áº áá áºáá¯áááºážáá±á¬ ááŒá¯ááŒááºááááºážááááºážááŸá¯áá¬áááºááŸá¬ áá¬á·ááºáá²á¡áá»áá¯á·ááᯠááŒá±á¬ááºážáá²áááºááŒá áºáááºá
- ááá¯á·á¡ááŒááºá Odnoklassniki ááœáẠáá±á¬ááºážááœááºáá±á¬ áááºážááá¬ááá¯ááºáᬠá¡á ááºá¡áá¬áá áºáᯠááŸááááº- áá»áœááºá¯ááºááá¯á· á áááºááá¯ááºáá±á¬ áááºááá·áºáááºáá±á¬ááºááŸá¯áááᯠáá±áá¬á ááºáᬠáá»áá¯á·ááœááºážááŸá¯ (áá¯ááºááááºá áá á®á ááºáá¬ážáá² á¡áá»áááºáááœá±áž) ááŸááºáááºáá±ááááºááŒá áºáááºá
áá®ááá±á¬áá»ááºááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºáá¬ááŸá¬ áá±á¬ááºáá¯á¶ážááá¯á¡ááºáá»ááºá áá»áœááºáá±á¬áºááá¯á·ááᯠáá¯ááºáá»á ááááºá¡áá»á¬ážáá¯á¶ážááŒá áºááŒá®áž á¡áá±ážá áááºááᯠááŒá±á¬ááŒáá«áááºá
áá¯áá¹ááá°ážáá±á·
áá»áœááºá¯ááºááá¯á·ááẠáá±áá¬á ááºáá¬áá±ážáá¯ááœáẠá¡áá¯ááºáá¯ááºáá±á¬áºáááºáž Elasticsearch áá±áá¬áá¯á¶ááŸááºáá»á¬ážááẠáá¯á¶ážáᯠ(áááºážááá¬ááá¯ááºáá±á¬ á¡ááŒá±á¬ááºážááŒáá»ááºáá»á¬ážá áœá¬á¡ááœááº) ááœáẠáá¯á¶ážáá¯áá¬áááºááŸáááá¯ááºáá±á¬áºáááºáž
á€áá±áá¬á ááºáá¬áá±ážáá¯ááœáẠáá¬á·ááºáá²á ááœááºááááºáá¬áá»á¬ážá virtual machines áá±á«ááºáž ááááá ááá·áºááŸááááºá
á¡áá±ážááŒá®ážáá±á¬á¡ááºá¹áá«áááº- á¡á á¯á¡áá±ážááẠááœááºááááºáá¬áá»á¬ážááœáẠá áááºáááºá áá¯ááºááá¯ááºážááá¯ááºáᬠá ááºáá»á¬ážááœáẠááá¯ááºáá²á . ááœááºááááºáá¬áá»á¬ážááẠ2Ghz v2.0 ááŸáá·áºáááºáá°áá±á¬ 4 cores áá»á¬ážááᯠá¡á¬ááá¶áá¬ážááŒá®áž áá»ááºááŸáááá·áº cores áá»á¬ážááᯠáááºáá¬ážáá¬ážáá»áŸáẠááŒááºáááºá¡áá¯á¶ážááŒá¯ááá¯ááºáá«áááºá
áá áºáááºážááŒá±á¬ááááºáá±á¬á·:
topology
áááŠážááŒá±ááŸááºážáá»ááºá áá±áá°áá»áá¯á¶á á¶ááᯠá¡á±á¬ááºáá«á¡ááá¯ááºáž áá»áœááºá¯ááºááœá±á·ááŒááºááá«áááºá
- 3-4 VIP áá»á¬ážááẠGraylog ááá¯ááááºážá A-record ááá±á¬ááºááœáẠááŸááá±áááºá áááºážááẠááŸááºáááºážáá»á¬ážáá±ážááá¯á·ááá·áºááááºá á¬ááŒá áºáááºá
- VIP áá áºáá¯á á®ááẠLVS balancer áá áºáá¯ááŒá áºáááºá
- áááºážááŒá®ážáá±á¬ááºá ááŸááºáááºážáá»á¬ážááẠGraylog áááºááá®ááá¯á·ááœá¬ážáááºá á¡áá»áá¯á·áá±áá¬áá»á¬ážááẠGELF áá±á¬áºáááºááŒá áºááŒá®áž á¡áá»áá¯á·ááŸá¬ syslog áá±á¬áºáááºááŒá áºáááºá
- ááá¯á·áá±á¬áẠá€á¡áá¬á¡á¬ážáá¯á¶ážááᯠElasticsearch ááŸáááŸáá¯ááºážáá±ážááŸá°ážáá»á¬ážá áááºááá®áá áºáá¯ááá¯á· ááŒá®ážáá¬ážáá±á¬á¡áá¯ááºááŒáá·áº áá±ážáá¬ážáááºá
- ááŒá®ážáá±á¬á· áá°ááá¯á·á áááºááá¯ááºáᬠdata node ááœá±áá® á á¬áá±ážááŒá®áž áááºááá¯ááºážáááºá
áá±á«áá¬áááá¬
áá±á«áá¬áá¡áá¯á¶ážá¡ááŸá¯ááºážááᯠáá°ááá¯ááºáž á¡ááá¡áá» áá¬ážááááºááá¯ááºáá±á¬ááŒá±á¬áá·áº á¡áááºážáááºáá»áŸáᬠááŒá±á¬ááŒááá¯áá«áááºá
Elasticsearch ááœáẠnode á¡áá»áá¯ážá¡á á¬ážáá»á¬ážá áœá¬ááŸáááẠ- master, coordinator, data node. ááá°áá®áá±á¬ ááŸááºáááºážá¡ááœááºááŒá±á¬ááºážááŒááºážááŸáá·áº ááá°áá®áá±á¬á¡á á¯á¡áá±ážáá»á¬ážááŒá¬áž áááºááœááºááŸá¯á¡ááœáẠá¡ááŒá¬ážá¡áá»áá¯ážá¡á á¬ážááŸá áºáá»áá¯ážááŸááá±á¬áºáááºáž áá»áœááºá¯ááºááá¯á·ááẠá á¬áááºážááœááºážáá¬ážááá·áºá¡áá¬áá»á¬ážááá¯áᬠá¡áá¯á¶ážááŒá¯áá¬ážáá«áááºá
áá¬á
áá¬
áááºážááẠá¡á
á¯á¡áá±ážááœááºááŸááá±á¬ node á¡á¬ážáá¯á¶ážááᯠping áá¯ááºáá¬á áá±á¬ááºáá¯á¶ážáá±á«áº á¡á
á¯á¡áá±ážááŒá±áá¯á¶ááᯠááááºážááááºážáᬠáááºážááᯠnode áá»á¬ážááŒá¬ážááœáẠááŒáá·áºáá±áá±ážáá¬á ááŒá
áºáááºáá¯áá¹ááááᯠá
á®áá¶áá±á¬ááºááœááºáᬠá¡á
á¯ááá¯ááºáá»ááºááŒáá·áºáá±á¬ á¡áááºááá·áºááŸááºážáá±áž á¡áá»áá¯ážáá»áá¯ážááᯠáá¯ááºáá±á¬ááºáááºá
ááŸáááŸáá¯ááºážáá±ážááŸá°áž
á¡áá¯ááºáá
áºáá¯áááºážááᯠáá¯ááºáá±á¬ááºáááº- áá±á¬ááºáááºáá»á¬ážáá¶á០áááºááŸá¯ááẠááá¯á·ááá¯áẠáá±ážááẠáá±á¬ááºážááá¯ááŸá¯áá»á¬ážááᯠáááºáá¶ááŒá®áž á€áááºážááŒá±á¬ááºážááᯠáááºážááŒá±á¬ááºážáá±ážáááºá áá±ážáááºáá±á¬ááºážááá¯ááŸá¯ááŸááá«áá ááŒá
áºááá¯ááºáá»á±áá»á¬ážáááºááŸá¬á áááºážááẠáááºááá¯ááºáá¬á¡ááœáŸááºážá áááºááá·áº shard ááá¯ááá·áºááœááºážááá·áºááááºážá áááºážááẠáá±á¬ááºážááá¯áá»ááºááᯠáááºááá·áºááŒááºááœáŸááºážáááºááŒá
áºáááºá
áá±áᬠnode
áá±áá¬ááᯠááááºážáááºážáááºá ááŒááºáááŸáá±á¬ááºáá¬áá±á¬ ááŸá¬ááœá±áá±ážááŒááºážááŸá¯áá»á¬ážááᯠáá¯ááºáá±á¬ááºááŒá®áž áááºážááœááºááŸááá±á¬ shards áá»á¬ážááœáẠáá¯ááºáá±á¬ááºááŸá¯áá»á¬ážááᯠáá¯ááºáá±á¬ááºáááºá
áá®ážááá¬áž
áááºážááẠELK á¡á
á¯á¡áá±ážááœáẠLogstash ááŸáá·áº Kibana áá±á«ááºážá
ááºááŸá¯áá²á·ááá¯á· á¡áá¬áá
áºáá¯ááŒá
áºáááºá Graylog ááẠUI ááŸáá·áº ááŸááºáááºážáá¯ááºáá±á¬ááºááŒááºáž ááá¯ááºááá¯ááºážááŸá
áºáá¯áá¯á¶ážááᯠáá±á«ááºážá
ááºáá¬ážáááºá á¡áá¯á¶ážá¡á±á¬ááºááœááºá Graylog ááẠá¡á
á¯á¡áá±ážáá
áºáá¯á¡áá±ááŒáá·áº Graylog ááá¯á·áá»áááºáááºááŸá¯áá±ážááá·áº Kafka ááŸáá·áº Zookeeper ááá¯áá¯ááºáá±á¬ááºáááºá Elasticsearch ááᯠááááŸáááá¯ááºáá«á Graylog ááẠáááºááŸááºáá¬ážáá±á¬ á
ááºážáá»ááºážáá»á¬ážááŸáá·áºá¡áá® áá¡á±á¬ááºááŒááºáá±á¬ áá±á¬ááºážááá¯áá»ááºáá»á¬ážááᯠáááºááŸá¯ááŒá®áž á
á¬áá±ážááŒááºážá á¡á¯ááºá
á¯ááœá²á·ááŒááºážááŸáá·áº á¡ááŸááºá¡áá¬ážáá¯ááºááŒááºážáá»á¬áž ááŒá¯áá¯ááºááá·áºá¡áá« Graylog ááẠáááºááŸáºááŸááºáááºážáá»á¬áž (Kafka) áá¯ááºááá¯ááºáááºááŒá
áºáááºá Logstash áá²á·ááá¯á·áááºá Graylog ááœáẠáááºážááá¯á·ááᯠElasticsearch ááá¯á·ááá±ážáá® á¡áááºážáá»á¬ážááᯠááœááºážáá¶ááŒááºáááºááẠáá¯ááºáá±á¬ááºááá¯ááºá
áœááºážááŸááááºá
ááá¯á·á¡ááŒááºá Graylog ááœáẠáááŸáááá¯ááºáá±á¬ Elasticsearch node áá áºáá¯á¡á¬áž á¡ááŒá±áá¶á á¡á á¯ááá¯ááºááŒá±áá¯á¶áá áºáá¯áá¯á¶ážááᯠááá°ááŒá®áž áá®ážááŒá¬ážááœááºááááºáá¬áá»á¬ážááá¯á· áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááᯠááœáŸááºááŒááá¯ááºá á±ááá·áº áááá»áá±á¬ tag áá áºáá¯ááŒáá·áº áááºážááᯠá á áºáá¯ááºááẠááœáá·áºááŒá¯ááá·áº built-in áááºáá±á¬ááºááŸá¯ááŸá¬ááœá±ááœá±á·ááŸáááŸá¯áá áºáá¯ááŸááááºá
á¡ááŒááºá¡á¬ážááŒáá·áºáááºážáááºá€áá²á·ááá¯á·áá±á¬áá¯á¶ááááº-
áááºážááẠáá®ážááŒá¬ážá¥ááá¬áá áºáá¯á០áááºáá¬ážááŒááºáá¬ááºáá¯á¶ááŒá áºáááºá á€ááœáẠáá»áœááºá¯ááºááá¯á·ááẠááŸá¬ááœá±ááŸá¯áá±ážááœááºážá¡áá±á«áº á¡ááŒá±áá¶á áá®á ááá¯ááááºáá áºáá¯ááᯠáááºáá±á¬ááºááŒá®áž áááºááá¯ááºáá¬á¡áááºážáá»á¬ážááᯠááŒááá«áááºá
á¡ááœáŸááºážááááºáž
á áá áºáááá¯áá¬ááá¯á·ááŒááºááœá¬ážáá¬á á¡á¬ážáá¯á¶ážááŸááºáááºá áœá¬á¡áá¯ááºáá¯ááºááá¯ááºá á±áááºá¡ááœáŸááºážáá±á¬áºáááºááá¯áááºáá²á·ááá¯á·áááºáá±á¬ááºáá¯á¶ááŸáá·áºáááºáááºáá¡áá±ážá áááºá¡áá»ááºá¡áááºáá»á¬ážááá¯áááºáááºáá±á¬áºááŒááá¯áá«áááºá
á¡áááºáá±á¬áºááŒáá« áá¯á¶ááœááºá áááºážááẠá¡áááá·áºáá¯á¶ážá¡ááá·áºááŒá áºáááº- Elasticsearch áá±áᬠáá¯á¶ááŸááºáá»á¬ážá
á¡ááœáŸááºážáá áºáá¯ááẠElasticsearch shards áá»á¬ážááŒáá·áº ááœá²á·á ááºážáá¬ážááá·áº ááŒá®ážáá¬ážáá±á¬ virtual entity áá áºáá¯ááŒá áºáááºá áá°á·á¡ááá¯ááá¯á shards áá áºáá¯á á®ááẠLucene á¡ááœáŸááºážáááºáááá¯áá«á ááá¯á·á¡ááŒáẠLucene á¡ááœáŸááºážáá áºáá¯á á®ááœáẠá¡ááá¯ááºážáá áºáᯠááá¯á·ááá¯áẠáá áºáá¯áááºááá¯áá±á¬ á¡ááá¯ááºážáá»á¬ážáá«áááºáááºá
áá®ááá¯ááºážááœá²áá±á¬á¡áá«ááœáẠáá±áá¬á¡áá»á¬ážá¡ááŒá¬ážááᯠáááºááŸá¯ááŒááºážá¡ááŒááºááŸá¯ááºážá¡ááœáẠááá¯á¡ááºáá»ááºááᯠááŒáá·áºáááºážááá¯ááºáááºá á€áá±áá¬ááᯠáá±áᬠnode áá»á¬ážáá áºáá»áŸá±á¬áẠá¡áá®á¡áá»áŸ "ááŒáá·áºáá»ááº" ááẠááá¯á¡ááºáá«áááºá
áááºážááŒá±á¬áá·áº á¡ááœáŸááºážáá áºáá¯áá»áŸáẠshards á¡áá±á¡ááœáẠ(áá¯á¶áá°áá»á¬ážááŒáá·áº) ááẠdata node á¡áá±á¡ááœááºááŸáá·áº á¡ááá¡áá»áá°áá®ááá·áºáááºá ááááŠážá áœá¬á ááŸá áºáá¯ááŸáá·áºáá®áá±á¬ replication factor ááá¯áá±áá»á¬á á±áááºá¡ááœáẠ(ááá¯ááá¯áááºááŸá¬á áá»áœááºá¯ááºááá¯á·ááẠá¡á á¯á¡áá±ážááá áºáááºááá¯áá¯á¶ážááŸá¯á¶ážááá¯ááºáááº)á áá¯áááá¡áá»ááºááŸá¬á á¡á á¯á¡áá±ážá á¡áááºážáá¯á¶ážáá áºáááºááœáẠáá±á¬ááºážááá¯áá»ááºáá»á¬ážááᯠáááºááŸá¯ááŒá®áž áá±ážáá¬ážáá¯ááºáá±á¬ááºááá¯ááºáááºá
áá»áœááºá¯ááºááá¯á·ááẠááá¯ááŸá±á¬ááºáá»áááºááᯠááẠ30 á¡ááŒá ẠáŠážá áœá¬ áááºááŸááºáá²á·áááºá
shards áá»á¬áž ááŒáá·áºááŒá°ážááŸá¯ááᯠá¡á±á¬ááºáá«á¡ááá¯ááºáž ááááºáá áºááŒáá·áº ááá¯ááºá á¬ážááŒá¯ááá¯ááºáááº-
áá®ážááá¯ážáá±á¬ááºá áá¯áá¶áá áºáá¯áá¯á¶ážááẠá¡ááœáŸááºážáá áºáá¯ááŒá áºáááºá áááºážááŸá áááºáááºá¡áá®áá±á¬ááºá áá¯áááºážááẠá¡ááœáŸááºážááááºážááœáẠááááá¯á¶ážááŒá áºáááºá ááŒá®ážáá±á¬á· á¡ááŒá¬áá±á¬ááºá áá¯áááºážáá¯á¶ááá±á¬á· áá¯á¶áá°áá²áá¯á¶ážáá«á áááºážááá¯á·ááẠááá°áá®áá±á¬ áá±áá¬á ááºáá¬áá»á¬ážááœáẠáááºááŸááááºá
á¡ááŒá¬áž shard ááá¯ááá·áºáá±á¬á¡áá«á áááºážááẠáááááá±áá¬á ááºáá¬ááá¯á· áá±á¬ááºááœá¬ážáá«áááºá á¡áá¯á¶ážááœááºá áá»áœááºá¯ááºááá¯á·ááẠáá±áá¬áá®ááœááºááŸá¯ááᯠááá¯á¶ážááŸá¯á¶ážáá² DC áá¯á¶ážááŸá¯á¶ážááá¯ááºá á±ááá·áº á€ááœá²á·á ááºážáá¯á¶ááᯠáááŸááááº-
á¡ááœáŸááºážááááºážáá»á¬ážáááŸáá·áºááŒááºáž, i.e. á¡ááœáŸááºážá¡áá áºááᯠáááºáá®ážááŒá®áž á¡áá±á¬ááºážáá¯á¶ážááᯠáá»ááºááá¯ááºááŒááºážááŒáá·áº áááºážááᯠ48 áá¬áá®ááŸáá·áº áá®á¡á±á¬áẠááŒá¯áá¯ááºáá¬ážááẠ(á¡ááœáŸááºážá¡áá¯á¶ážááŒá¯ááŸá¯áá¯á¶á á¶á¡ááá¯ááºáž- áá±á¬ááºáá¯á¶áž 48 áá¬áá®ááᯠáááŒá¬áá ááŸá¬ááœá±áááº)á
á€á¡ááœáŸááºážááááºážáááºáááºááŸá¯ááŒá¬ážáá¬áááẠá¡á±á¬ááºáá«á¡ááŒá±á¬ááºážáááºážáá»á¬ážááŒá±á¬áá·áºááŒá áºáááº-
ááŸá¬ááœá±ááŸá¯áá±á¬ááºážááá¯áá»ááºáá áºáá¯ááẠáá®ážááŒá¬ážáá±áᬠnode áá áºáá¯ááá¯á·áá±á¬ááºááŸááá±á¬á¡áá«á ááá¯á·áá±á¬ááºá á áœááºážáá±á¬ááºáááºááŸá¯áá±á¬áá·áºááŸáá±á áááºážáá¡ááœááºá¡á á¬ážááẠnode á áááºáá«ážáá¯á¶á¡ááœááºá¡á á¬ážááŸáá·áº ááŸáá¯ááºážááŸááºáá«áá shard áá áºáá¯á¡á¬áž áá±ážááŒááºážáá±á¬á¡áá«ááœáẠáááºážááẠááá¯ááá¯á¡áá»áá¯ážááŸááááºá áááºážááẠááá·áºá¡á¬áž á¡ááœáŸááºážááááºážá "áá°" á¡á áááºá¡ááá¯ááºážááᯠá¡ááŸáá¯ááºáá¯á¶ááœáẠáá¬ážááŸáá á±ááŒá®áž áááºážááᯠáá»áŸááºááŒááºá áœá¬ áááºáá±á¬ááºááá¯ááºá á±áá«áááºá âáá°áá±á¬á¡ááá¯ááºážáá»á¬ážâ á¡áá»á¬ážá¡ááŒá¬ážááŸááá±á¬á¡áá«á á¡ááœáŸááºážááŸá¬ááœá±ááŸá¯á¡ááŸáááºááẠáá»áááºážááœá¬ážáá«áááºá
node áá áºáá¯ááẠshard áá áºáá¯ááœáẠááŸá¬ááœá±ááŸá¯áá áºáá¯á¡á¬áž á áááºáá¯ááºáá±á¬ááºáá±á¬á¡áá«á áááºážááẠáá¯ááºááá¯ááºážááá¯ááºáá¬á ááºá hyperthreading cores á¡áá±á¡ááœááºááŸáá·áºáá®áá»áŸáá±á¬ thread á¡áá»á¬ážá¡ááŒá¬ážááᯠááœá²áá±áá±ážáááºá ááŸá¬ááœá±ááŸá¯áá áºáá¯ááẠshards á¡áá»á¬ážá¡ááŒá¬ážááᯠáááºáá±á¬ááºáá«áá thread á¡áá±á¡ááœááºááẠá¡áá»áá¯ážáá» ááŒá®ážááœá¬ážáá¬áááºá áááºážááẠááŸá¬ááœá±ááŸá¯á¡ááŒááºááŸá¯ááºážá¡áá±á«áº á¡áá»ááºááá±á¬áá±á¬ááºáá±á¬ áááºáá±á¬ááºááŸá¯ááŸáááŒá®áž áá±áá¬á¡áá áºáá»á¬ážá á¡ááœáŸááºážááááºážááᯠá¡áá»ááºááá±á¬áá±á¬ááºáá«áááºá
ááá¯á¡ááºáá±á¬ ááŸá¬ááœá±ááŸá¯ áá¯á¶á·ááŒááºáá»áááºááᯠáá±ážá áœááºážááẠSSD ááᯠá¡áá¯á¶ážááŒá¯ááẠáá¯á¶ážááŒááºáá²á·áááºá áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááᯠáá»ááºááŒááºá áœá¬áá¯ááºáá±á¬ááºáááºá á€ááœááºááááºáá¬áá»á¬ážááᯠáááºáá¶áá»ááºážáááá·áº á ááºáá»á¬ážááœáẠá¡áááºážáá¯á¶áž 56 cores ááŸáááá«áááºá 56 áááááºážááááºážá¡á¬áž áááºáááºáá±á ááºá¡ááœááºáž Elasticsearch áá¯ááºáá±ážááá·áº thread á¡áá±á¡ááœááºááᯠáá¯á¶ážááŒááºááá·áº á¡ááŒá±á¡áá±á¡á áá¯á¶áá±á¬ááºáá±á¬áááºááá¯ážá¡ááŒá Ạááœá±ážáá»ááºáá²á·áááºá Elasitcsearch ááœááºá thread pool parameters á¡áá»á¬ážá¡ááŒá¬ážááẠáááŸáááá¯ááºáá±á¬ cores áá»á¬ážáá±á«áºááœáẠááá¯ááºááá¯ááºáá°áááºááŒá®ážá áááºážááẠ"fewer cores - more nodes" á¡á cluster ááŸá ááá¯á¡ááºáá±á¬ node á¡áá±á¡ááœááºááᯠááá¯ááºááá¯ááºá¡áá»áá¯ážáááºáá±á¬ááºá á±áááºá
ááááºá¡áá±ááŒáá·áºá áá»ááºážáá»áŸ shard áá áºáá¯ááẠ20 gigabyte ááá·áºá¡áá±ážáá»áááºááŸáááŒá®áž á¡ááœáŸááºážáá áºáá¯áá»áŸáẠshards 1 ááŸáááŒá±á¬ááºážááœá±á·ááŸáááá«áááºá ááá¯á·ááŒá±á¬áá·áº áá áá¬áá®áá»áŸáẠáá áºááŒááẠááŸáá·áºáá»áŸáẠáááºážááá¯á·áá²á០áá áá¯ááŸááááºá á¡ááœáŸááºážáá áºáá¯á á®ááœáẠáá±áᬠ360 áááºáá«ááŸááááºá
áá±áá¬áá±ážáá¬ážááŒááºážááŸáá·áº á á¬áááºááŒááºáž áá¬ážáá áºáá»á¬áž
á€á áá áºááœáẠáá±áá¬áá»á¬ážááᯠáááºááá¯á·ááŸááºáááºážáááºáá¬ážáááºááᯠá¡ááŒá±ááŸá¬ááŒáá·áºáá¡á±á¬ááºá
Graylog á០ááŸáááŸáá¯ááºážáá±ážááŸá°ážáᶠáá±á¬ááºážááá¯ááŸá¯á¡áá»áá¯á· áá±á¬ááºááŸááá¬áááºááá¯áá«á áá¯á·á á¥ááá¬á¡á¬ážááŒáá·áº áááºáž á-áááá ááᯠááœáŸááºážáá»ááºáá«áááºá
Graylog áá¶á០áá±á¬ááºážááá¯áá»ááºááᯠáááºáá¶áááŸáááŒá®ážáá±á¬áẠááŸáááŸáá¯ááºážáá±ážááŸá°ážá "á¡ááœáŸááºážáá±á¬ááºážááá¯ááŸá¯ááœááºá áá»áœááºá¯ááºááá¯á·ááẠá¡ááœáŸááºážáá áºáá¯á¡á¬áž á¡ááá¡áá»áááºááŸááºáá¬ážáá±á¬áºáááºáž áááºážááá¯áá±ážááẠáááºáá²áá±á¬áá±áá¬ááœáẠááá±á¬áºááŒáá¬ážáá«á"
áá¬á áá¬á "á€á¡áá»ááºá¡áááºááᯠshard áá¶áá«áẠ71 ááá¯á· áá±ážáá«" ááŒá®ážáá±á¬áẠáááºážááᯠáá°á-shard áá¶áá«áẠ71 áááºááŸááᬠáááºááá¯ááºáᬠáá±áᬠnode ááá¯á· ááá¯ááºááá¯ááºáá±ážááá¯á·áááºá
ááá¯á·áá±á¬áẠááœá±áá±ážááœá±áá°ááŸááºáááºážááᯠá¡ááŒá¬ážáá±áá¬á ááºáá¬ááœááºááŸááá±á¬ áá¯á¶á á¶áá°-shard áá áºáá¯ááá¯á· áááºáá°ááœá¬ážáááºá
ááŸá¬ááœá±áá±áž áá±á¬ááºážááá¯áá»ááºáá áºáá¯ááẠGraylog á០ááŸáááŸáá¯ááºážáá±ážááŸá°ážáá¶ááá¯á· áá±á¬ááºááŸááááºá Elasticsearch ááẠround-robin áááá¬áááᯠá¡áá¯á¶ážááŒá¯á primary-shard ááŸáá·áº replica-shard á¡ááŒá¬áž áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááᯠááŸáááŸáá¯ááºážáá±ážááŸá°ážá á¡ááœáŸááºážá¡ááá¯ááºáž ááŒááºááœáŸááºážáááºá
180 node áá»á¬ážááẠááá®ááá¬áá¯á¶á·ááŒááºááŒááŒá®áž áááºážááá¯á·áá¯á¶á·ááŒááºáá±áá»áááºááœááºá ááŸáááŸáá¯ááºážáá±ážááŸá°ážááẠááá¯ááá¯ááŒááºáááºáá±á¬áá±áᬠnode áá»á¬ážá០âáá¶ááœá±ážááœá±ážááŒá®ážáá±á¬á¡áá»ááºá¡áááºáá»á¬ážááᯠá á¯áá±á¬ááºážáá±áá«áááºá áááºážáá±á¬ááºá á¡áá»ááºá¡áááºá¡á¬ážáá¯á¶áž áá±á¬ááºááŸááá¬ááẠááá¯á·ááá¯áẠáá±á¬ááºážááá¯ááŸá¯ á¡áá»áááºáá¯ááºááœá¬ážáá±á¬á¡áá«á áááºážááẠá¡áá¬á¡á¬ážáá¯á¶ážááᯠáá¯á¶ážá áœá²áá°áᶠááá¯ááºááá¯ááºáá±ážáááºá
á€á áá áºáá áºáá¯áá¯á¶ážááẠáá»ááºážáá»áŸá¡á¬ážááŒáá·áº 48-300ms ááœáẠ400-XNUMXms á¡ááœááºáž ááŸá¬ááœá±ááŸá¯áá±ážááœááºážáá»á¬ážááᯠáŠážáá±á¬ááºááá·áº áááºá¹áá±ááá áºáá¯áá«ááŸááá±á¬ á¡ááá¯áá«áá±ážááœááºážáá»á¬ážááᯠááá«áááºáá«á
Elasticsearch ááŒáá·áº áááºážáá»á¬áž- Java á áá áºááá·áºááœááºážááŸá¯
áá»áœááºá¯ááºááá¯á·áá°áá¡ááá¯ááŸáááá·áºá¡ááá¯ááºáž áááºážááá¯á¡á¬ážáá¯á¶ážáá¯ááºáá±á¬ááºááá¯ááºáááºá áá»áœááºá¯ááºááá¯á·ááẠá¡á á¯á¡áá±ážááŸá á¡áá¬áá»á¬ážá áœá¬ááᯠá¡ááŸá¬ážááŸá¬ááŒááºáá¬ááœáẠá¡áá»áááºá¡áá±á¬áºááŒá¬á¡á±á¬áẠáá¯á¶ážá áœá²áá²á·áá«áááºá
ááŸá¬ááœá±ááœá±á·ááŸááá²á·ááá·áº ááŒá¿áá¬áá»á¬ážá áááá¡ááá¯ááºážááẠElasticsearch ááœáẠáá¯á¶ááŸááºá¡á¬ážááŒáá·áº Java ááᯠááŒáá¯áááºááŒááºáááºáá¬ážááá·áºáááºážáááºážááŸáá·áº áááºá ááºáá±áááºá
ááŒá¿áá¬áá
áºáá¯
Lucene á¡ááá·áºááœáẠáá±á¬ááºáá¶á¡áá¯ááºáá»á¬áž áá¯ááºáá±á¬ááºáá±áá»áááºááœáẠLucene á¡ááá¯ááºážááẠá¡ááŸá¬ážá¡ááœááºážáá
áºáá¯ááŒáá·áº áá±á«ááºážá
ááºážááŒááºáž áá¡á±á¬ááºááŒááºááŒá±á¬ááºáž á¡á
á®áááºáá¶á
á¬áá»á¬ážá
áœá¬ááᯠáá»áœááºá¯ááºááá¯á·ááœá±á·áá²á·ááááºá áá
áºáá»áááºáááºážááŸá¬áááºá áááºážááẠOutOfMemoryError á¡ááŸá¬ážáá
áºáá¯ááŒá
áºááŒá±á¬ááºáž ááŸááºáááºážáá»á¬ážááœáẠááŸááºážááŸááºážáááºážáááºážááááááºá áááºááá¯á¶ááá¯ážááẠááœááºáááºááŒá±á¬ááºáž áááºáá®áá®áá¬á០ááŒááºáá²á·áááŒá®áž á¡áááºááŒá±á¬áá·áº á€ááœá²á
áááºááŸá¯ áá¡á±á¬ááºááŒááºáááºááᯠááŸááºážááŸááºážáááºážáááºáž áááááá«á
Lucene á¡ááœáŸááºážááááºážáá»á¬ážááẠáááºáá«ážáá¡ááŒááºáááºááœáẠáá±á«ááºážá ááºááŒá áºáá±á«áºááŒá±á¬ááºáž ááœá±á·ááŸáááá«áááºá ááŒá®ážáá±á¬á· ááœááºááááºáá¬ááœá±ááᯠáá¯á¶ážá áœá²áá²á· á¡áááºážá¡ááŒá áºááœá±áá²á· áááºáááºááŒá®áž á¡áá±á¬áºáá±áž áááºážáá»ááºá áœá¬ ááá·áºáááºáá¬ážáá«áááºá heap ááẠá€á¡áááºážá¡ááŒá áºáá»á¬ážááœááºáᬠá¡á¶áááºááœááºáá»ááŒá áºááá¯ááºááẠ(heap.size value ááẠRAM ááŸáá·áº áá®áá»áŸáááº) ááŸáá·áº á¡áá»áá¯á·áá±á¬ off-heap áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááẠááá·áºáááºáá»ááºáááá¯ááºáá® áá»ááºááŸááá±áá±á¬ ~500MB ááŸáá·áº áááá¯ááºáá®áá«á áááºááá¯áá®ááœá²áá±ááŸá¯á¡ááŸá¬ážááŸáá·áº áá»ááºááœá¬ážáááºá
áá»áá¯á·ááœááºážáá»ááºááẠá¡áá±ážá¡ááœá²ááŒá áºáááº- ááœááºááááºáá¬á¡ááœáẠáááá¯ááºáá±á¬ RAM ááá¬á ááá¯ážáá¬áá¬á ááá¯á·áá±á¬ááºááœáẠáá»áœááºá¯ááºááá¯á·ááœáẠááá¯áá²á·ááá¯á·áá±á¬ ááŒá¿áá¬áá»á¬áž ááŸááá±ááŒá±á¬ááºážááᯠáá±á·ááœá¬ážáá²á·áááºá
ááŒá¿áá¬ááŸá
áºáá¯
á¡á
á¯á¡áá±ážááᯠá
áááºááŒá®ážáá±á¬áẠ4-5 áááºá¡ááŒá¬ááœááºá áá±áᬠnode áá»á¬ážááẠá¡á
á¯á¡áá±ážá០á¡áá«á¡á¬ážáá»á±á¬áºá
áœá¬ áá»áááºážáá¬ááŒá®áž 10-20 á
áá¹ááá·áºá¡ááŒá¬ááœáẠáááºážááᯠáááºáá±á¬ááºáá¬áááºááᯠáá»áœááºá¯ááºááá¯á· áááááŒá¯áááá«áááºá
áááºážááᯠáá»áœááºá¯ááºááá¯á· á áááºááááŸááá¬áá±á¬á¡áá« Elasticsearch ááœáẠá€áá¯á¶áá»ááºááŸááºáá¬ááºááᯠáááºááá·áºáááºážááŒáá·áºáá»áŸ ááááºážáá»á¯ááºáá¬ážááŒááºážáááŸáááŒá±á¬ááºáž ááœá±á·ááŸáááá«áááºá áá»áœááºá¯ááºááá¯á·ááẠááœááºááááºáá¬ááá¯á· áááºááá¯áá®ááá¯áá±ážáá±á¬á¡áá«á áá»áœááºá¯ááºááá¯á·ááẠá¡áá»áá¯ážáá»áá¯ážáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááŒáá·áº ááá¯ááºááá¯ááºááŒá¬ážáá¶áá±áááºáá»á¬ážááᯠááŒáá·áºááá¯ááºáá²á·ááŒá®áž Elasticsearch á០ááŸááºážáááºážááŒááºáá¬ážáá±á¬ GC ááᯠá áááºááŒá®ážáá±á¬ááºááŸáᬠáááºážááᯠááŸááºážáááºážáá²á·áááºá
á¡áá»áá¯á·ááá á¹á áá»á¬ážááœááºá á€áá¯ááºáá±á¬ááºáá»ááºááẠá¡áá»áááºá¡áá±á¬áºááŒá¬ááŒá®áž á€áá¬áá¡ááœááºážááœáẠá¡á á¯á¡ááœá²á·ááẠဠnode ááᯠááœááºááŒá®ážáá¬ážá¡ááŒá Ạá¡ááŸááºá¡áá¬ážááŒá¯ááá¯ááºáá²á·áááºá á€ááŒá¿áá¬ááᯠáá±á¬ááºážá áœá¬áá±á¬áºááŒáááºá .
ááŒá±ááŸááºážáá»ááºááŸá¬ á¡á±á¬ááºáá«á¡ááá¯ááºážááŒá áºáááº- á€áá¯ááºáááºážáá±á¬ááºáá¬áá»á¬ážá¡ááœáẠá¡á á¯á¡áá±ážááŒááºáááŸá ááŸááºáá¬ááºá¡ááŒá±á¬ááºá¡áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááẠJava áá áœááºážáááºááᯠáá»áœááºá¯ááºááá¯á· ááá·áºáááºáá¬ážáá«áááºá áá»áœááºá¯ááºááá¯á·ááẠáááºážá¡á¬áž 16 áá áºáá«ááá¯áẠ(-XX:MaxDirectMemorySize=16g) ááŒáá·áº ááá·áºáááºáá¬ážáááº)á ááŸááºážáááºážááŒááºáá¬ážáá±á¬ GC ááᯠááá¯ááááŒá¬áááá±á«áºáá±á«áºááŒá®áž ááá¯ááá¯ááŒááºáááºá áœá¬ áá¯ááºáá±á¬ááºááá¯ááºáá±á¬ááŒá±á¬áá·áº á¡á á¯á¡áá±ážááᯠááááºáááŒáááºááŒá áºá á±áá±á¬á·ááŒá±á¬ááºáž áá±áá»á¬á á±áá«áááºá
ááŒá¿áá¬áá¯á¶ážáá¯
"áá»áŸá±á¬áºááá·áºááá¬ážáá±á¬á¡ááá¯ááºá¡ááá·áºááœáẠá¡á
á¯á¡áá±ážá០ááœááºááœá¬ááœá¬ážáá±á¬ nodes áá»á¬áž" ááŒáá·áº ááŒá¿áá¬áá»á¬áž ááŒá®ážáá¯á¶ážááœá¬ážáááºáᯠáááºáááºáá«áá áááºááŸá¬ážááœá¬ážáá«ááŒá®á
á¡ááœáŸááºážáá»á¬ážááŒáá·áº áá¯ááºáá±á¬ááºááŒááºážááᯠáá»áœááºá¯ááºááá¯á· configure áá¯ááºáá±á¬á¡áá« mmapfs ááᯠááœá±ážáá»ááºáá²á·áááºá ááŒá®ážá áœá¬áá±á¬ segmentation ááŸáá·áºá¡áá° áááºáááºáá±á¬ shards áá»á¬ážáá±á«áºááœáẠmmapfs ááá¯á¡áá¯á¶ážááŒá¯áá²á·á¡áá« ááá¯ááºááᯠRAM ááŸá¬ áá¯á¶áá±á¬áºáá¬ážááŒá®ážá ááŒá±áá¯á¶ááŒá¯áá¯ááºáá¬ážáá²á· ááá¯ááºáá²á· á¡áá¯ááºáá¯ááºáá²á·á¡ááœáẠáá«áᬠá¡áá±á¬áºáá±áž á¡ááŸá¬ážá¡ááœááºážááŒá áºáá²á·áá«áááºá ááá¯á·á¡ááœááºááŒá±á¬áá·áº GC ááẠá¡ááá®áá±ážááŸááºážááŸá thread áá»á¬ážááá¯áááºááá·áºáááºááŒáá¯ážá á¬ážáá±á¬á¡áá«á áá»áœááºá¯ááºááá¯á·ááẠáá¯á¶ááŒá¯á¶á áááºáá»ááá±á¬áá±áá¬ááá¯á· á¡áá»áááºá¡áá±á¬áºááŒá¬ááœá¬ážáᬠáááºážááá¯á·ááœá¬ážáá¬áááºážááœááºá á¡ááá®áá±ážááŸááºážááẠá¡áááºááŸááºááŒááºážááŸááááŸáááŸáá·áºáááºáááºááŒá®áž ááááºááá±á¬ááºážááá¯ááŸá¯áá»á¬ážááᯠáá¯á¶á·ááŒááºááŸá¯áááºááá·áºááœá¬ážááŒá±á¬ááºáž ááœááºáá±á«áºáá¬áá«áááºá . ááá¯á·ááŒá±á¬áá·áºá node ááẠcluster ááœááºáááŸááá±á¬á·ááŒá±á¬ááºáž master ááŸáá¯á¶ááŒááºáááºá áááºážáá±á¬ááºá 5-10 á áá¹ááá·áºááŒá¬ááŒá®ážáá±á¬ááºá á¡ááŸáá¯ááºá á¯áá±á¬ááºážáá°ááẠá¡áá¯ááºáá¯ááºáááºá node ááẠá¡áááºáááºáá¬áááºá á¡á á¯á¡áá±ážáá²ááá¯á· áááºáá¶áááºáá±á¬ááºááŒá®áž shards áá»á¬ážááᯠá áááºáá¯ááºáá±á¬ááºáááºá áááºážá¡á¬ážáá¯á¶ážááẠ"áá»áœááºá¯ááºááá¯á·ááá¯ááºáááºáá±á¬áá¯ááºáá¯ááºááŸá¯" áá²á·ááá¯á·áá¶á á¬ážáááŒá®áž áá±ážáááºááá·áºá¡áá¬áá»á¬ážá¡ááœáẠáááá·áºáá»á±á¬áºáá«á
á€á¡ááŒá¯á¡áá°ááá¯áááºááŸá¬ážáááºá áá»áœááºá¯ááºááá¯á·ááẠááááŠážá áœá¬ standard niofs ááá¯á·ááŒá±á¬ááºážáá²á·ááŒá®ážá ááá¯á·áá±á¬ááºá áá»áœááºá¯ááºááá¯á·ááẠElastic áááá¹á ááá¬ážááŸááºážá០áááááá¯á·ááŒá±á¬ááºážááœáŸá±á·áá±á¬á¡áá«á á€ááŒá¿áá¬ááá¯áá»áá¯ážááœá¬ážááŒááºážáááŸáááá·áº hybridfs áá»á¬ážááᯠáá»áœááºá¯ááºááá¯á·ááŒáá¯ážá á¬ážáá²á·áááºá ááá¯ááŸá±á¬ááºááŸá¯á¡áá»áá¯ážá¡á á¬ážáá»á¬ážá¡ááŒá±á¬ááºáž ááá¯ááá¯áááºááŸá¯ááá¯ááºáá«áááºá .
ááŒá¿áá¬áá±áž
ááá¯á·áá±á¬áẠá
á¶áá»áááºááẠáá¯ááá²á·áá±á¬ á¡ááœááºá
áááºáááºá
á¬ážá
áá¬áá±á¬ááºážááá·áº ááŒá¿áá¬áá
áºáᯠááŸááá²á·áá«áááºá áá°á·áá¯á¶á
á¶á áá¯á¶ážááá¬ážááááºááá¯ááºááá¯á· áááºážáááᬠá-á ááá±á¬ááºááŸáááŒá®á
áá áºáá«áá áºáᶠáá»áœááºá¯ááºááá¯á·á ááŸáááŸáá¯ááºážáá±ážááŸá°ážáá»á¬ážááẠFull GC ááá¯á· ááœá¬ážáá±á·ááŸááááºá áá»á¬ážáá±á¬á¡á¬ážááŒáá·áº áá±á·áááºá á¬á á¬ážááŒá®ážáá±á¬áẠáá áºáá»áááºáá»áááºááœáẠááá¯áá±áá¬á០ááŒááºááá¬áá±á¬á·áá«á áá áºáá»áááºáááºážááŸá¬áááºá GC ááŸá±á¬áá·áºááŸá±ážááŸá¯ááᯠááŸááºáááºážááœááºážááá·áºá¡áá«ááœááºá áááºážááẠá€áá¯á¶ááá¹áá¬ááºááŒá áºáááº- á¡áá¬á¡á¬ážáá¯á¶ážááẠáá±á¬ááºážááœá¬ážáááºá áá±á¬ááºážááŒá®á ááá¯á·áá±á¬áẠáá¯ááºáááẠá¡áá¬á¡á¬ážáá¯á¶ážááẠá¡ááœááºááá¯ážááœá¬ážááœá¬ážáá«áááºá
áá»áœááºá¯ááºááá¯á·ááœáẠááŸáááŸáá¯ááºážáá±ážááŸá°ážááᯠá¡áá¯ááºáá¯ááºá០ááœááºážáá¯ááºááá·áº áá±á¬ááºážááá¯ááŸá¯áá áºáá»áá¯ážáá»áá¯ážááᯠá áááºáá¯ááºáá±á¬ááºáá±ááá·áº ááá±á¬ááºážááá¯ážáá«áž áá¯á¶ážá áœá²áá°áá áºáŠážááŸááá±áááºáᯠáá»áœááºá¯ááºááá¯á· áááááœáẠáá»áœááºá¯ááºááá¯á· áááºááŒááºáá°ááá«áááºá áá»áœááºá¯ááºááá¯á·ááẠááŒá áºáá»ááºáá±ááá·áºá¡áá¬áá»á¬ážááᯠááŸá¬ááœá±áá±á¬áºáá¯ááºááẠá¡áá»áááºá¡áá±á¬áºááŒá¬á¡á±á¬áẠáá±á¬ááºážááá¯ááŸá¯áá»á¬ážááᯠááŸááºáááºážáááºáá¬ážáááºá
ááááºá¡áá±ááŒáá·áºá á¡áá¯á¶ážááŒá¯áá°áá áºáŠážááẠááŒá®ážáá¬ážáá±á¬áá±á¬ááºážááá¯ááŸá¯áá áºáá¯ááᯠá áááºáá±á¬á¡áá«ááœáẠáááºážááẠáá®ážááŒá¬áž Elasticsearch ááŸáááŸáá¯ááºážáá±ážááŸá°ážáá¶áá±á¬ááºááŸááá±á¬á¡áá« á¡áá»áá¯á·áá±á¬ node áá»á¬ážááẠá¡ááŒá¬ážá¡áá¬áá»á¬ážááẠááá¯ááŸááºá áœá¬áá¯á¶á·ááŒááºááŒá±á¬ááºáž ááœá±á·ááŸáááá«áááºá
ááŸáááŸáá¯ááºážáá±ážááŸá°ážááẠnode áá»á¬ážá¡á¬ážáá¯á¶ážá០áá¯á¶á·ááŒááºááŸá¯ááᯠá á±á¬áá·áºááá¯ááºážáá±áá»áááºááœááºá áá¯á¶á·ááŒááºááŒá®ážáá±á¬ node áá»á¬ážá០áá±ážááá¯á·áá±á¬ ááááºáá»á¬ážááᯠá á¯áá±á¬ááºážáááºá GC á¡ááœááºá ááá¯ááá¯áááºááŸá¬ áá»áœááºá¯ááºááá¯á·á á¡ááŸáá¯ááºáá¯á¶á¡áá¯á¶ážááŒá¯ááŸá¯áá¯á¶á á¶áá»á¬ážááẠá¡ááœááºáá»ááºááŒááºá áœá¬ ááŒá±á¬ááºážáá²áá«áááºá áá»áœááºá¯ááºááá¯á·á¡áá¯á¶ážááŒá¯áá²á·áá±á¬ GC ááẠá€áá¬áááºááᯠááá±á¬ááºááœááºááá¯ááºáá«á
á€á¡ááŒá±á¡áá±ááœáẠá¡á á¯á¡áá±ážáá¡ááŒá¯á¡áá°ááá¯ááŒá±á¬ááºážáá²ááẠáá»áœááºá¯ááºááá¯á·ááœá±á·ááŸááá²á·áá±á¬áá áºáá¯áááºážáá±á¬ááŒááºáááºááŸá¯ááẠJDK13 ááá¯á·ááŒá±á¬ááºážááœáŸá±á·ááŒááºážááŸáá·áº Shenandoah á¡ááŸáá¯ááºá á¯áá±á¬ááºážáá°ááá¯á¡áá¯á¶ážááŒá¯ááŒááºážáááºááŒá áºáááºá áá®ááŒá¿áá¬ááᯠááŒá±ááŸááºážááŒá®áž áá»áœááºáá±á¬áºááá¯á·áá²á· ááŸáááŸáá¯ááºážáá±ážááŸá°ážááœá± ááŒá¯ááºáá»ááœá¬ážáááºá
á€áá±áá¬ááœáẠJava ááŒá¿áá¬áá»á¬áž ááŒá®ážáá¯á¶ážááœá¬ážááŒá®áž bandwidth ááŒá¿áá¬áá»á¬áž á áááºáá²á·áááºá
Elasticsearch ááŒáá·áº "áááºáá®áá®ážáá»á¬áž"- ááŒááºáááºážááŸá¯
ááŒááºáááºážááŸá¯ááá¯ááºáᬠááŒá¿áá¬áá»á¬ážááẠáá»áœááºá¯ááºááá¯á·áá¡á á¯á¡áá±ážááœáẠáááºááŒáááºá áœá¬á¡áá¯ááºáá¯ááºáááºáᯠááá¯ááá¯áá±á¬áºáááºáž á¡ááœáŸááºážááááºážá á¬ááœááºá á¬áááºážá¡áá±á¡ááœáẠá¡ááœááºá¡ááááºááŸáá·áº ááŸá¯ááºááŸá¬ážááŸá¯áá»á¬ážá¡ááœááºáž á áœááºážáá±á¬ááºáááºááŸá¬ ááá¯á¶áá±á¬ááºáá«á
ááááá¯á¶áž ááŒá¯á¶ááœá±á·ááá±á¬ ááá¹ááá¬ááŸá¬- á¡áá»áá¯á·áá±á¬ "áá±á«ááºááœá²ááŸá¯áá»á¬áž" ááœáẠááŸááºáááºážáá»á¬áž áá¯ááºáááẠáá¯ááºáá±ážáá±á¬á¡áá«á á¡ááœáŸááºážááááºážá¡ááŸá¬áž es_rejected_execution ááẠGraylog ááœáẠáááŒá¬ááááá¯áááᯠá áááºáá¬áááºá
Elasticsearch ááẠá¡ááœáŸááºážááááºážáá±á¬ááºážááá¯ááŸá¯ááᯠáá¯ááºáá±á¬ááºááá¯ááºááŒá®áž á¡áá»ááºá¡áááºáá»á¬ážááᯠáá áºááºáá±á«áºááŸá shard ááá¯á· á¡ááºáá¯ááºáá¯ááºááá¯ááºááá·áºá¡áá»áááºá¡áá áá±áᬠnode áá áºáá¯ááœáẠthread_pool.write.queue ááẠdefault á¡áá±ááŒáá·áº áá±á¬ááºážááá¯áá»áẠ200 áᬠáááºááŸáºáá¯ááºááá¯ááºááŒááºážááŒá±á¬áá·áºááŒá áºáááºá ááŸáá·áº áá® parameter áá²á· áááºáááºááŒá®ážáá±á¬á· ááŒá±á¬á áᬠááááºáááŸáááŸáá«áá°ážá á¡áá»á¬ážáá¯á¶ážá á¬ááœá²á¡áá±á¡ááœááºááŸáá·áº áá¯á¶áá±á¡ááœááºá¡á á¬ážááá¯áᬠááœáŸááºááŒáá¬ážáááºá
áá¯ááºáá«áááºá áá»áœááºá¯ááºááá¯á·ááẠá€áááºááá¯ážááᯠááŸáá·áºá á¬ážááŒá®áž á¡á±á¬ááºáá«ááá¯á·ááᯠááááŸáááœá¬ážáááº- á¡áá°ážáááŒáá·áºá áá»áœááºá¯ááºááá¯á·á á áá áºááá·áºááœááºážááŸá¯ááœááºá áá±á¬ááºážááá¯áá»áẠ300 á¡áá áá±á¬ááºážá áœá¬ ááááºážáááºážáá¬ážááŒá®ážá ááŒáá·áºáá¬ážáá±á¬áááºááá¯ážááẠFull GC ááá¯á· áá»áœááºá¯ááºááá¯á· áááºáá¶áá»á¶áááºážááœá¬ážááá·áºá¡áá»ááºááŸáá·áº ááŒáá·áºááŸááºáá±áá«áááºá
ááá¯á·á¡ááŒááºá á€á¡áá¬áá»á¬ážááẠáá±á¬ááºážááá¯áá»ááºáá áºáá¯á¡ááœááºážáá±á¬ááºááŸááá¬ááá·áº áááºáá±á·áá»áºáá»á¬ážááŒá áºáá±á¬ááŒá±á¬áá·áºá áááºážááẠáááŒá¬ááááá¯ááºáá±ážáá±á¬á¡á á®á¡á á¥áºáá»á¬ážááŒáá·áº ááá±ážááá¯ááºá á±ááẠGraylog ááᯠááŒááºáááºááẠááá¯á¡ááºáááºá ááá¯á·áá±á¬áº á¡ááœá²ááá¯ááºáááŒá®ážáá±ážáá«á ááŒá®ážáá¬ážáá±á¬á¡áá¯ááºáá»á¬ážááœáẠááá¯á·ááá¯áẠ3 á áá¹ááá·áºáá»áŸáẠáá áºááŒáááºááŒá¯áá¯ááºááẠááá¯á¡ááºáá«áááºá á€ááá á¹á ááœááºá Elasticsearch ááœááºáá»áœááºá¯ááºááá¯á·áá±ážáá¬ážáá±á¬á¡áá»ááºá¡áááºáá»á¬ážáááºááŸá áºá áá¹ááá·áºá¡ááœááºážááááá¯ááºáá±á¬áºáááºážáá«ážáá¯ááœááºáááŸáááá¯ááºááẠ(áá»áœááºá¯ááºááá¯á·á¡áá±á¬áºáá±ážááá·áºáá»á±á¬áºáááº)á ááá¯á·áá±á¬áºááŒá®ážáá¬ážáá±á¬ááœááºážá¡á¬ážáá±ážáááºá¡ááœááºááŒá¯áá¯ááºáááá·áº retray á¡áá±á¡ááœááºá á¡áá»ááºá¡áááºá¡á á¯á¡áá±ážááᯠáá»áŸá±á¬á·áá»áááºá
áá áºá á¯á¶áá áºáá¯ááẠáá áºáá±áá¬áá¬ááœáẠáá»ááºáá»ááŒá®áž áááºážááŸáá·áºáááºáááºááŒá®áž áá±á«ááááŒá®áž ááááºážááá¯á·ááá·áºá¡áá«á áááºážááẠáá¯á¶ážá spammed Elastic ááá¯ááááŸáá á±áááºááŸáá·áº á¡áá»áááºá¡áááºážáááºááŒá¬ááŒá®ážáá±á¬áẠ- ááááºááá¯á·áá±áá±á¬ááŒá¬ážáá¶áá»á¬ážááŒá±á¬áá·áº áá¯ááºáá±á¬ááºááááá±á¬ Graylog nodes áá»á¬ážááŒá áºáááºá
ááá¯á·á¡ááŒááºá áá»áœááºá¯ááºááá¯á·ááẠáá¯ááºáá¯ááºááŸá¯ááœáẠá¡áá¬ážáá°áá±á«ááºááœá²ááŸá¯áá»á¬ážááŸááá±á¬á¡áá«á áááá¯ááááºáá¬áá»á¬ážááŸáá·áº á ááºážáááºáá°áá»á¬ážáá¶á០ááá¯ááºááŒá¬ážáá»ááºáá»á¬ážááᯠáááºáá¶áááŸááá«áááº- á€ááŸááºáááºážáá»á¬ážááᯠá¡ááŸááºááááºááá¯á¡ááºáá±áá»áááºááœáẠáááºážááá¯á·ááᯠá¡ááœááºááŸá±ážááœá±ážá áœá¬ áá±ážá¡ááºáá²á·áá«áááºá
áá°ááá¯á·á á¡á²áá«ááᯠá ááŒá®áž ááœááºáááºá áá áºáááºááœááºá ááŸá¬ááœá±ááŸá¯áá±ážááœááºážáá»á¬ážááŸáá·áº á¡ááœáŸááºážááááºážáá±ážááŒááºážááŒááºážááŸá áºáá¯á áá¯á¶ážááᯠá¡ááŒá±áá¶á¡á¬ážááŒáá·áº áá°áá®áá±á¬áá¯ááºááá¯ááºážááá¯ááºáá¬á ááºáá»á¬ážááœáẠáá¯ááºáá±á¬ááºááŒá®ážááŒá áºáᬠáá áºáááºážááá¯ááºáá áºáááºáž á¡áá»áá¯á·áá±á¬ áá¯ááºááœááºááŸá¯áá»á¬ážááŸááááºááŸá¬ áááºááŸá¬ážáá«áááºá
ááá¯á·áá±á¬áº Elasticsearch áááŒá±á¬ááºáá¯ááŒá±á¬ááºáá¬ážááŸááºážááœááºá áá»áááºážá¡ááá¯ááºáž-áá±á¬áºáááºáá°á¡áááá¯ááºáá² áááºááá¯ááºáá¬áá±áá¬áá¯á¶ááŸááºáá»á¬ážááŒá¬ážááœáẠá á¯á¶á ááºážáá±ážááŒááºážááŸá¯áá»á¬ážááᯠááŒáá·áºáá±ááœáá·áºááŒá¯ááá·áº á¡ááºáááá¯áá®áááºáá áºáᯠáá±á«áºáá¬ááŒááºážááŒá±á¬áá·áº áááºážááᯠáá áºá áááºáá áºááá¯ááºážááŸá±á¬ááºááááºážááá¯ááºááẠ(á¡ááœáŸááºážááááºážááŒá¯áá¯ááºááŒá®áž áá°ááááºážááá¯ááá¯ááºáá±á¬ááºáá±á¬ ááœááºááááºáᬠ-shard á¡ááœááºá¡áá¯ááºáá»á¬ážááá¯ááºááŒá®ážá áá»ááºááŒááºá áœá¬áá¯á¶á·ááŒááºáááºáááºážáááºážááŸááááºááá¯ááºáá«) ááá¯á·áá±á¬áº á€áá±á¬ááºážááá¯áá»ááºááᯠáá¯á¶áá°-shard ááŒáá·áº áááºáá±á¬ááºááŸá¯áááºážáá«ážáá±á¬ ááœááºááááºáá¬ááá¯á·áá±ážááá¯á·áááºá ááá¯ááá¯ááŒááºáááºá áœá¬áá¯á¶á·ááŒááºáááºááŒá áºáááºá áá áºáááºážá¡á¬ážááŒáá·áºá áá»áœááºá¯ááºááá¯á·ááẠuse_adaptive_replica_selection- true ááá¯á· áá±á¬ááºááŸááá²á·áááºá
á á¬áááºáá¯á¶ááẠá€áá²á·ááá¯á· á áááºáá¬ááẠá
ဠá¡ááºáááá¯áá®áááºááá¯á· áá°ážááŒá±á¬ááºážááŒááºážááẠáá»áœááºá¯ááºááá¯á·áá±ážáá¬ážááẠááŸááºáááºážáá»á¬áž áá»á¬ážááŒá¬ážáá¬áá±á¬á¡áá«ááœáẠáá±ážááŒááºážááŸá¯á¡áá»áááºááᯠáááá¬áááºááŸá¬ážá áœá¬ ááŒáŸáá·áºáááºáá±ážááá¯ááºáá²á·áááºá
áá±á¬ááºáá¯á¶ážááœáẠá¡áááááŒá¿áá¬ááŸá¬ áá±áá¬á ááºáá¬ááᯠáá¬áá»ááºááŸá¯áááŸá áááºááŸá¬ážááŒááºážáááºááŒá áºáááºá
DC áá áºáá¯ááŸáá·áº áá»áááºáááºááŸá¯ ááŒááºáá±á¬ááºááŒá®ážáá±á¬áẠá¡á á¯á¡ááœá²á·á០áá»áœááºá¯ááºááá¯á· ááá¯áá»ááºáá±á¬á¡áá¬áá»á¬áž-
- á¡áááºá áá»áœááºá¯ááºááá¯á·ááœáẠáá¡á±á¬ááºááŒááºáá±á¬áá±áá¬á ááºáá¬ááœáẠáááºááŸááá¬á áá¬áá áºáá¯ááŸááá±áá«áá áááºážááᯠááŒááºáááºááœá±ážáá»ááºááŒá®áž á¡ááŒá¬áž DC ááŸá á¡ááŒá¬áž node áá áºáá¯ááá¯á· á¡áááºážááá¹ááá áºáá¯á¡ááŒá ẠááœáŸá±á·ááœá¬ážáááºááŒá áºáááºá
- áá¬á áá¬ááẠá¡á á¯á¡áá±ážá០áááºááŸááºážááá®áá±á¬ node á¡á¬ážáá¯á¶ážááᯠá¡ááŒááºáááºááŸá¬ážáá«áááºá
- áá»ááºááŸáááá·áºá¡áá¬áá»á¬ážááᯠá¡ááŒá±áá¶á áá°áá¬ážáááºáá«áááº- áá»áœááºá¯ááºááá¯á·ááœáẠááá¯ááá¯á·áá±á¬ áá¯á¶ážááŸá¯á¶ážááœá¬ážáá±á¬ áá±áá¬á ááºáá¬ááœáẠááá¯áá²á·ááá¯á·áá±á¬ á¡áááá¡ááá¯ááºážáá»á¬ážáá«ááŸááᬠáá»ááºáá±áá¬á ááºáá¬áá»á¬ážááœáẠááŒáá·áºá áœááºáá¯á¶á á¶áá° shard áá»á¬ážááᯠáá»ááºááŒááºá áœá¬ ááŒáŸáá·áºáááºáá±ážáááºááŒá áºááŒá®áž áá»áœááºá¯ááºááá¯á·ááẠáá±áá¬ááᯠáááºáááºá¡ááœáŸááºážáá±ážáá«áááºá
- ááá¯á·ááŒá±á¬áá·áºá á¡á á¯á¡ááœá²á·á á¡áá±ážá¡áá¬ážááŸáá·áº áááºááŸá¯ááŸá¯ááŸá¯ááºážááẠáááŒááºážááŒááºáž áá»áááºážáá¬áááá·áºáááºá ááá¯á·áá±á¬áº áá±áá¯áá»á¡á¬ážááŒáá·áº á¡áá¬á¡á¬ážáá¯á¶ážááẠááŸá±ážááœá±ážáá±á¬áºáááºáž áááºááŒáááºá áœá¬ áá¯ááºáá±á¬ááºááá¯ááºáááºááŒá áºáááºá
ááœááºáá±á«áºáá¬ááá·áºá¡ááá¯ááºáž áá»áœááºá¯ááºááá¯á·ááẠá€áá²á·ááá¯á·áá±á¬ á¡áá¬áá áºáá¯ááᯠááá¯áá»ááºáá²á·áááº-
áá»áœááºá¯ááºááá¯á·ááẠá¡á±á¬ááºáá«ááá¯á·ááᯠáááŸááá²á·áá«áááºá
áááºááá¯ááŒá áºááœá¬ážáá¬áá²?
áá±áá¬á ááºáá¬ááŒáá¯áá»áá±á¬á¡áá«á áá»áœááºá¯ááºááá¯á·áááááºááẠáá áºááá¯á·ááŒááºážááŒá áºáá¬áááºá
á¡áááºááŒá±á¬áá·áºáááºáž
á¡ááŸááºááŸá¬ áá¬á áá¬ááœáẠá¡á á¯á¡áá±ážááŸá á¡áá»áá¯á·áá±á¬á¡áá¯ááºáá»á¬ážááŸáá·áº ááŒá áºáááºáá»á¬ážááᯠááŒáá·áºáá±ááẠáá¬áááºááŸáááá·áº TaskBatcher áá áºáá¯ááŸááááºá áááºááá·áº node ááœááºáá±á«ááºáááá¯á áá¯á¶áá°ááœá¬ážá០á¡áááááá¯á· shard áá áºáá¯á¡á¬áž ááŒáŸáá·áºáááºááŒááºážáá»á¬ážá áá áºáá±áá¬áá¬ááœáẠshard áá áºáá¯áááºáá®ážááẠáááºááá·áºá¡áá¯ááºáááᯠ- á€á¡áá¬á¡á¬ážáá¯á¶ážááẠTaskBatcher ááá¯á· áŠážá áœá¬ááœá¬ážáááºááŒá áºááŒá®ážá áááºážááᯠáááºááá¯ááºáá¯ááºáá±á¬ááºááŒá®áž thread áá áºáá¯ááœáẠáá¯ááºáá±á¬ááºááœá¬ážáááºááŒá áºáááºá
áá±áá¬á ááºáá¬áá áºáá¯á០áá¯ááºááœááºáá»áááºááœááºá ááŸááºáááºáá±ááá·áºáá±áá¬á ááºáá¬áá»á¬ážááŸá áá±áá¬áá¯á¶ááŸááºáá»á¬ážá¡á¬ážáá¯á¶ážááẠáá¬á áá¬á¡á¬áž á¡ááŒá±á¬ááºážááŒá¬ážááẠáááºážááá¯á·ááá¬áááºááŒá áºáááºáᯠáá°ááᬠâáá»áœááºá¯ááºááá¯á·ááẠááá¯áá²á·ááá¯á·áá±á¬ shards áá»á¬áž áá¯á¶ážááŸá¯á¶ážáá²á·áááŒá®áž ááá¯áá²á·ááá¯á·áá±á¬ áá±áᬠnode áá»á¬áž áá¯á¶ážááŸá¯á¶ážááœá¬ážáá²á·ááŒá®ááŒá áºáááºáâ
áá áºáá»áááºáááºážááŸá¬áááºá ááŸááºáááºáá±áá±á¬áá±áá¬áá¯á¶ááŸááºáá»á¬ážááẠá€á¡áá»ááºá¡áááºá¡á¬ážáá¯á¶ážááᯠáááºááŸááá¬á áá¬áá¶áá±ážááá¯á·ááŒá®áž áááºážááá¯áááºáá¶ááŒá±á¬ááºážá¡áááºááŒá¯áá»ááºááá¯á á±á¬áá·áºááá¯ááºážáááºááŒáá¯ážá á¬ážáá²á·áááºá ááááºá áá°ááŒá±ááá¯ááºáá¬ááẠááá¯ááŒááºáá²á· á¡áá¯ááºááœá±ááᯠáááºáá¶áááŸááá²á·á¡ááœáẠáá«ááᯠáá°ááá¯á· áá á±á¬áá·áºáá²á·ááŒáá°ážá áááºáá«ááá²áá² áá±á¬ááºážááá¯áá»ááºáá»á¬ážááᯠáá¯á¶ááŸááºáá»á¬ážááẠá¡áá»áááºáá¯ááºááœá¬ážáá¬á á€á¡áá»áááºááœáẠáá¬á áá¬ááẠáááºážááá¯á·á¡á¬áž ááŒá±ááŒá¬ážáááºááẠáááŒáá¯ážá á¬ážáá² áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááᯠáŠážá á¬ážáá±ážá¡ááá¯áẠá á®ááœá²ááŒááºážáá¯ááºáááºážááœáẠáá¯á¶ážáá¯á¶ážáá»á¬ážáá»á¬áž áá«áááºáá±áá«áááºá
terminal áá¯á¶á á¶ááœááºá data node áá»á¬ážááẠmaster á¡á¬áž GC á¡ááŒáá·áºááá¯á·áá±á¬ááºááŸáááœá¬ážááá·áºá¡áá spam áá»á¬ážááŒá áºááœá¬ážáááºááᯠááœá±á·ááŸáááááºá ááá¯á·áá±á¬ááºááœááºá áá»áœááºá¯ááºááá¯á·ááá¬á áá¬á¡áááºážááá¹áááẠáá±á¬áẠnode á¡áá»áá¯á·ááá¯á· ááŒá±á¬ááºážááœáŸá±á·ááœá¬ážááŒá®ážá áá¯á¶ážááá°áá®áá±á¬á¡áá¬ááŒá áºáá²á·ááŒá®áž ááááºá¡áá±ááŒáá·áº á¡á á¯á¡áá±ážááẠáá¯á¶ážáááŒáá¯áá»ááœá¬ážáááºá
áá»áœááºá¯ááºááá¯á·ááẠááá¯ááºážáá¬ááŸá¯áá»á¬ážááŒá¯áá¯ááºááŒá®áž áááºážááá¯ááŒá¯ááŒááºáá¬ážááá·áº áá¬ážááŸááºáž 6.4.0 áááá¯ááºáá®ááœááºá á¡á á¯á¡áá±ážááᯠáá¯á¶ážáááááºáááºá¡ááœáẠ10 á០áá±áᬠnode 360 áá¯ááá¯áᬠáá áºááŒáá¯ááºáááºáá¯ááºáá±ážááẠáá¯á¶áá±á¬ááºáá«áááºá
á€á¡áá¬ááẠá€áá²á·ááá¯á· ááŒá áºáááº-
á€ááŒá±á¬ááºáááºááœááºáá±á¬ááºážáá±á¬ áá»áá¯á·ááœááºážáá»ááºááᯠááŒá¯ááŒááºáá¬ážááá·áº áá¬ážááŸááºáž 6.4.0 ááŒá®ážáá±á¬ááºá áá±áá¬áá¯á¶ááŸááºáá»á¬ážááẠáá¬á áá¬ááᯠáááºááŒááºážá០áááºááœá¬ážáá²á·áááºá áá«áá±ááá·áº á¡á²áá«á áá°á·ááᯠ"áááºááŒááºáááº" ááá¯á· ááá±á«áºáá°ážá ááá¯ááá¯áááºááŸá¬- áá»áœááºá¯ááºááá¯á·ááẠáá±áᬠnode 2á 3 ááá¯á·ááá¯áẠ10 (áá¶áá«ááºáá áºáá¯ááŸááœá²á á¡ááŒá¬ážáááºááá·áºáá¶áá«ááºááá¯áááá¯) áá¯ááºáá±ážááá·áºá¡áá«á node A ááœááºááœá¬ááœá¬ážááŒá®áá¯ááŒá±á¬áá±á¬ master ááẠááááá¯á¶ážáááºáá±á·ááºá»ááá¯áááºáá¶áááŸáááŒá®áž node Bá node C á¡ááŒá±á¬ááºážá node D ááá¯ááŒá±á¬ááŒáááºááŒáá¯ážá á¬ážáááºá
ááá¯á¡áá»áááºááœááºá áá áºá á¯á¶áá áºáŠážá¡á¬áž á áá¹ááá·áº 20 á០30 á áá¹ááá·áºááá·áº áá°áá®áá±á¬ áá áºá á¯á¶áá áºáŠážááᯠááŒá±á¬ááŒááẠááŒáá¯ážáááºážááŸá¯áá»á¬ážá¡ááœáẠá¡áá»áááºáá¯ááºáááºááŸááºááŒááºážááŒáá·áºáᬠááá¯ááºááœááºááŒá±ááŸááºážááá¯ááºááŒá®ážá ááá¯á·ááŒá±á¬áá·áº á¡á á¯á¡áá±ážá០áá±áá¬á ááºáá¬á á¡ááŒááºááŸá¯ááºážááᯠááááºážáá»á¯ááºááá¯ááºáááºááŒá áºáááºá
áá°á¡áá áááºážááẠááá±á¬áá»ááºá áá áºá áááºáá áºááá¯ááºážá¡áá±ááŒáá·áº áá±á¬ááºáá¯á¶ážáá¯ááºáá¯ááºááá¯á· áááŠážáááºááŒáá²á·ááá·áº ááá¯á¡ááºáá»ááºáá»á¬ážááŸáá·áº ááá¯ááºáá®áá±á¬áºáááºáž "á ááºááŒááºáá±á¬áááá¹áá¶" áá¡ááŒááºá¡á áááºážááẠáá»áá¯á·ááœááºážáá»ááºáá áºáá¯ááŒá áºáááºá áááºážááᯠáá¬ážááŸááºáž 7.2 ááœáẠdeveloper áá»á¬ážá á¡á±á¬ááºááŒááºá áœá¬ ááŒá¯ááŒááºáá²á·áááºá
ááá¯á·á¡ááŒááºá á¡áá»áá¯á·áá±á¬ data node áá áºáᯠááœááºááœá¬ážáá±á¬á¡áá«á áááºážá ááœááºáá±á«ááºááŸáá·áº áááºáááºáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááᯠááŒáá·áºáá»ááºááŒááºážááẠáááºážááœáẠááá¯ááá¯á·áá±á¬ á¡ááá shard áá»á¬ážááŸáááŒá±á¬ááºáž á¡á á¯á¡áá±ážáá áºáá¯áá¯á¶ážááᯠááŒá±á¬ááŒááŒááºážááẠááá¯á¡áá±ážááŒá®ážááẠ(á¡ááŒá¬ážáá±áá¬ááœáẠáá¯á¶áá°-shard áá áºáá¯ááᯠááŒáŸáá·áºáááºáááºá¡ááœááºá áá°ááááºážááœáẠáááá¯ááŒá¯á á¡áá»ááºá¡áááºáá»á¬ážááᯠáááºážááá¯á·ááœáẠáá±ážáá¬ážááá¯ááºáááºá)
ááá¯á·ááŒá±á¬áá·áºá á¡áá¬á¡á¬ážáá¯á¶ážáá±áá¯á¶ážááœá¬ážáá±á¬á¡áá«á ááœááºááŸááá¬áá±á¬ data node áá»á¬ážááẠáá±á¬ááºážááœááºážááœá¬ážááŒááºážáᯠáá»ááºáá»ááºážáááºááŸááºáááºááá¯ááºáá«á ááá¯á·ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·ááẠááœááºááŸááá¬áá±á¬ áá±áᬠnodeáá»á¬ážáá®ááá¯á· pings áá»á¬ážá¡á¬ážáá¯á¶áž á¡áá»áááºáá¯ááºááœá¬ážáááºá¡áá á á±á¬áá·áºááááºááŒá áºááŒá®ážá áá»áœááºá¯ááºááá¯á·á cluster ááẠááá¯áá±áá¬ááœááºá ááá¯áá±áá¬á ááá¯áá±áá¬ááœáẠááŸááá±ááŒá±á¬ááºážááŸáá·áº á¡áá»ááºá¡áááºáá»á¬ážááᯠáááºáááºááŸááºáááºážáááºááẠááá¯á¡ááºáá«áááºá á€á¡ááŒá±á¬ááºážááá¯ááá¯áááºááŸá¯ááá¯ááºáá«áááºá .
ááááºá¡áá±ááŒáá·áº ááá±á· áá±áá¬á ááºáá¬ááᯠáá¯ááºááááºážááŒááºážáá¯ááºáááºážááẠá¡áá»ááºá ááá¯á¡áá»áááºá¡ááœááºáž 5 áááá áºááá·áº ááŒá¬áá«áááºá á€áá»áŸááŒá®ážáá¬ážááŒá®áž áá¯ááºáá¶á·áá±á¬ colossus á¡ááœááºá á€áááºááŸá¬ á¡ááœááºáá±á¬ááºážááœááºáá±á¬ ááááºááŒá áºáááºá
ááááºá¡áá±ááŒáá·áºá áá»áœááºá¯ááºááá¯á·ááẠá¡á±á¬ááºáá«áá¯á¶ážááŒááºáá»ááºááᯠáááŸááá²á·áá«áááºá
- áá»áœááºá¯ááºááá¯á·ááœáẠ360 gigabyte disk áá»á¬ážáá«ááŸááá±á¬ 700 data node áá»á¬ážááŸááááºá
- á€áá°áá®áá±á¬áá±áᬠnode áá»á¬ážááŸáááá·áºáááºážááŒá±á¬ááºážáááºážááŒá±á¬ááºážá¡ááœááºááŸáááŸáá¯ááºážáá±ážááŸá°áž 60 á
- 40 áááá¯ááºáá® áá¬ážááŸááºážáá»á¬áž áááá¯ááºáá®ááááºážá áá»áœááºá¯ááºááá¯á· áá»ááºáá¬ážáá²á·áá±á¬ á¡ááœá±á¡ááŸá áºáá áºáá»áá¯ážááŒá áºááá·áº áááẠ6.4.0 ááẠ- áá±áá¬á ááºáá¬á០áá¯ááºááœááºááŒááºážá០ááŸááºáááºááá¯ááºáááºá ááááºáá»á¬ážá¡áááŒá±á¬ááºááŒá±á¬ááºáž á¡á¬ááá¶áááºá¡ááœááºááẠá ááºáá»á¬ážá áœá¬ááᯠáá¯á¶ážááŸá¯á¶ážááẠá áááºááá¯ááºážááá¯ááºáᬠááŒááºáááºáá¬ážáá²á·áááºá á¡ááá¯ážáá¯á¶ážá¡ááŒá±á¡áá±
- ááœááºááááºáá¬áá áºáá¯áá±á«áºááŸá á¡áááºážááá¹ááá»á¬ážááᯠáá±á«ááºážá ááºááẠááŒáá¯ážáááºážááŸá¯ááá¯ááºážááẠáá»á¬ážáááŒá¬áá® ááá¯á·ááá¯áẠáá±á¬ááºááá¯ááºážááœáẠnode ááẠload á¡á±á¬ááºááá¯á· áá»ááºááœá¬ážáááá·áºáááºáá°áá±á¬á¡áá»ááºááŸáá·áº ááá¯ááºáá®áá«áááºá
- á¡á á¯á¡áá±ážáá áºáá¯áá¯á¶ážááẠ31 áá áºáá«ááá¯ááºá heap.size ááá¯á¡áá¯á¶ážááŒá¯áááº- á¡ááœááºá¡á á¬ážááᯠáá»áŸá±á¬á·áá»ááẠááŒáá¯ážáááºážááŸá¯áá»á¬ážá¡á¬ážáá¯á¶ážááẠá¡ááŒá®ážá á¬ážááŸá¬ááœá±ááŸá¯áá±ážááœááºážáá»á¬ážááœáẠáŠážáá±á¬ááºáá±á¬ wildcard ááŒáá·áº ááá¯á·ááá¯áẠElasticsearch ááá¯ááºááá¯ááºá circuit breaker ááᯠááá°ááŒááºážááŒáá·áº á¡áá»áá¯á·áá±á¬ node áá»á¬ážááᯠáááºáá áºááá¯ááºáááºá
- ááá¯á·á¡ááŒááºá ááŸá¬ááœá±ááŸá¯á áœááºážáá±á¬ááºáááºáá±áá»á¬á á±áááºá áá»áœááºá¯ááºááá¯á·ááẠáá¬á áá¬ááœááºááŸááá±á¬ ááááºááá¯á·ááŸá¯á¡ááœááºáž ááŒá áºááá¯ááºááá»áŸá¡áááºážáááºáá±á¬ááŒá áºáááºáá»á¬ážááᯠáá¯ááºáá±á¬ááºáááºá¡ááœáẠá¡á á¯á¡áá±ážááŸá á¡áá¬ááá¹áá¯á¡áá±á¡ááœááºááᯠáááºááá¯ááºááá»áŸ áá±ážáááºá¡á±á¬ááºáá¬ážááẠááŒáá¯ážá á¬ážáá²á·áááºá
áá±á¬ááºáá¯á¶ážá¡áá±áá²á· á á±á¬áá·áºááŒáá·áºááŸá¯á¡ááŒá±á¬ááºáž
á€á¡áá¬á¡á¬ážáá¯á¶ážááẠáááºááœááºáá¬ážááá·áºá¡ááá¯ááºáž á¡áá¯ááºáá¯ááºááŒá±á¬ááºáž áá±áá»á¬á á±áááºá áá»áœááºá¯ááºááá¯á·ááẠá¡á±á¬ááºáá«ááá¯á·ááᯠá á±á¬áá·áºááŒáá·áºáá«-
- áá±áᬠnode áá áºáá¯á á®ááẠáá»áœááºá¯ááºááá¯á·á cloud ááœáẠááŸááá±ááŒá±á¬ááºáž á¡á á®áááºáá¶áááºá áááºážááœáẠááá¯ááá¯á·áá±á¬ á¡ááá¯ááºážáá»á¬ážááŸááááºá áá áºá á¯á¶áá áºáá¯ááᯠáá»áœááºá¯ááºááá¯á· ááŒáááºážáááºááá¯ááºáá±á¬á¡áá«á á¡á á¯á¡ááœá²á·ááẠá¡áááºáááᯠA ááœáẠáá»áœááºá¯ááºááá¯á·ááẠá¡ááŸáẠ2á 3 ááŸáá·áº 2 ááá¯á·ááᯠááŒáááºážáááºááá¯ááºááŒá±á¬ááºáž 3-4 á áá¹ááá·áºá¡ááŒá¬ááœáẠá¡á á®áááºáá¶ááẠ- ááá¯ááá¯áááºááŸá¬ á¡ááŒá¬ážáá±áá¬á ááºáá¬áá»á¬ážááœáẠáá»áœááºá¯ááºááá¯á·ááẠáááºááá·áºá¡ááŒá±á¡áá±áá»áá¯ážááœááºáá»áŸ shard áá áºáá¯áááºážáá¬ááŸááá±á¬ á¡ááá¯áá« node áá»á¬ážááᯠááŒáááºážáááºááá¯ááºáááºááá¯ááºáá±á áá²á
- ááááºá á¡ááŒá¯á¡áá°á ááá±á¬ááá¬áááᯠááááŸáááŒááºážááŒáá·áº ááá¯ááºážáá¶á·áá¬ážáá±á¬ á¡áá¯ááºá¡áá±á¡ááœááºááᯠá¡ááœááºááá¯áá áá¯áẠááŒáá·áºááŸá¯áá«áááºá á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº á¡áá¯ááºáá áºáá¯ááẠá¡áá»áááºáá®ááá¯ááºáá¯á¶ážáá«áá á¡áá»áá¯á·áá±á¬ á¡áá±ážáá±á«áºá¡ááŒá±á¡áá±áá»á¬ážááœáẠáá®á¡áá¯áá®á¡áá á¥ááá¬á¡á¬ážááŒáá·áºá áá°áááœáẠáá¯á¶á á¶áá° shard áá áºáá¯ááᯠááŒáŸáá·áºáááºááŒááºážááẠá¡áá¯ááºááá¯ááºáá±á¬ááŒá±á¬áá·áºá ááá¯á·ááŒá±á¬áá·áº indexing ááẠá¡áá¯ááºááá¯ááºáá±á¬á·áá±á
- áá»áœááºá¯ááºááá¯á·ááẠá¡ááŸáá¯ááºá á¯áá±á¬ááºážáá°áá»á¬ážá ááŸá±á¬áá·áºááŸá±ážááŸá¯áá»á¬ážááá¯áááºáž á¡ááœááºá¡áá®ážáááºááŒáá·áºááŸá¯áá±áá«áááºá
- ááááºááá¯á·áá±ááá·áºáá±áá¬ááᯠááŒáá¯áááºáá¬ážáááºááẠááŒáá¯ážááŒáá·áº ááŒááºážáááºáááºá
- áá±á¬ááºážááŒá®á ááŒá±áá¯á¶á RAM ááŸáá·áº I/O áá²á·ááá¯á·áá±á¬ á á¶áááºááŸááºáá»ááºáá»á¬ážá
á¡áá±á¬ááºá¡á¡á¯á¶ááᯠá á±á¬áá·áºááŒáá·áºááá·áºá¡áá«á Elasticsearch ááŸá Thread Pool áá¡ááºá¹áá«áááºáá»á¬ážááᯠááá·áºááœááºážá ááºážá á¬ážááá«áááºá ááŸá¬ááœá±ááŒááºážááŸáá·áº á¡ááœáŸááºážááŒá¯áá¯ááºááŒááºážá¡ááœáẠáá¯á¶áá±ááœá±ážáá»ááºááŸá¯áá»á¬ážááŸáá·áº áá¯á¶áá±áááºááá¯ážáá»á¬ážááᯠáá±á¬áºááŒáá±á¬áºáááºáž thread_pool.management ááŸáá·áº áááºáááºá áá¯á¶ážá ááŸá¯ááºááááºáá±áá«áááºá á¡áá°ážáááŒáá·áº á€á¡ááŒá±á¬ááºážá¡áá¬áá»á¬ážááẠá á±á¬áá·áºááŒáá·áºáá±ážáá±ážáá¬ážáá¬ááœáẠá¡áá¯á¶ážááŒá¯áá¡áááºááŒá±ááá·áº _cat/shards ááŸáá·áº á¡ááŒá¬ážá¡áá¬ážáá°áá±ážááœááºážáá»á¬ážáá²á·ááá¯á· áá¯ááºáááºážá ááºáá»á¬ážááŒá áºáááºá á¡á á¯á¡áá±ážááŒá®ážáá±á ááá¯ááá¯á·áá±á¬áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááᯠá¡áá»áááºáá°áá áºáá áºáá¯á á®ááœáẠáá¯ááºáá±á¬ááºáá±áá±á á¡áááºáá±á¬áºááŒáá« thread_pool.management ááẠááá¬ážáááºá á¬ááœááºá á¬áááºážááœáẠáá±á¬áºááŒáá¯á¶áá¬áááá² áá¯á¶ááŸááºá¡á¬ážááŒáá·áº 5 threads ááá¯áá« ááá·áºáááºáá¬ážáááºá áááºážááᯠá¡ááœááºáá»ááºááŒááºá áœá¬áááºááŸá¬ážááŒá®ážáá±á¬ááºá áááºááá·áºá á±á¬áá·áºááŒáá·áºááŸá¯ ááŸááºáááºá áœá¬ á¡áá¯ááºááá¯ááºáá±á¬á·áá«á
áááá¯á¶ážáá»á¯ááºá¡áá±áá²á·ááŒá±á¬áá»ááºáá¬á áá«ááá¯á·áá¯ááºáá²á·áá¬á áá»áœááºá¯ááºááá¯á·ááẠáá»áœááºá¯ááºááá¯á·á áááá¯ááááºáá¬áá»á¬ážááŸáá·áº áá±á¬á·ááºáá²áá±ážáá¬ážáá°áá»á¬ážááᯠáááºááá·áºá¡ááŒá±á¡áá±áá»áá¯ážááœááºáááᯠáá¯ááºáá¯ááºááŸá¯ááœáẠááŒá áºáá»ááºáá±áááºááŸáá·áºáááºáááºááá·áº á¡áá»ááºá¡áááºáá»á¬ážááᯠáá»ááºááŒááºá áœá¬ áá¯á¶ááŒááºá áááºáá»á áœá¬ áá±ážá áœááºážááá¯ááºááá·áº áááááá¬áá áºáᯠáá±ážá áœááºážááá¯ááºáá²á·áá«áááºá
áá¯ááºáááºá á¡á²áá«á á¡áá±á¬áºáá±áž ááŸá¯ááºááœá±ážáá¬áá±ááá·áºá áááºááá¯áá²ááŒá áºááŒá áºá áá»áœááºá¯ááºááá¯á·áᬠááá¯áá·áºá¡ááœáẠáá¬áá±ážááŒá®áž ááŒááºáá±ážá áá¬áááá¯áá² ááŸáááŒá®ážáá¬áž áá¯ááºáá¯ááºááœá±áá²á· ááá¯ááºáá®á¡á±á¬áẠá á®áá¶áá¬ážáá«áááºá
source: www.habr.com