Prometheus 2 ááŸá á¡áá»áááºá
á®ážáá®ážáá±áá¬áá±á·á
Ạ(TSDB) ááẠáá±áá¬á
á¯áá±á¬ááºážááŸá¯ááŒááºááŸá¯ááºážá á
á¯á¶á
ááºážááŸá¯áá¯ááºáá±á¬ááºááŸá¯ááŸáá·áº á¡áááºážá¡ááŒá
áºáááá±á¬ááºááŸá¯ááá¯á·ááŸáá·áºáááºáááºá Prometheus 2 ááŸá v1 ááá¯ááŸá±á¬ááºááŸá¯á¡áá±á«áº ááŒá®ážáá¬ážáá±á¬ááá¯ážáááºááŸá¯áá»á¬ážááᯠáá±ážáá±á¬ááºááá·áº á¡ááºáá»ááºáá®áá¬ááŒá±ááŸááºážáá»ááºá á¡áá±á¬ááºážáá¯á¶ážá¥ááá¬áá
áºáá¯ááŒá
áºáááºá áá»áœááºá¯ááºááá¯á·ááẠPercona Monitoring and Management (PMM) ááœáẠPrometheus 2 ááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºáá±ááŒá®áž Prometheus 2 TSDB á á
áœááºážáá±á¬ááºáááºááᯠáá¬ážáááºááœáá·áºááá²á·áááºá áá®áá±á¬ááºážáá«ážááŸá¬ áá®áá±á·áá¬ááœá±á·ááŸááá»ááºááœá±áá²á· ááááºááœá±ááᯠááŒá±á¬ááŒáá«áááºá
áá»ááºážáá»áŸ Prometheus á¡áá¯ááºáááº
áá±áá°áá»áááºááœááºáá»ááºáá±áá¬áá±á·á
áºáá»á¬ážááŸáá·áºáááºáá¶áá¬ááœááºá¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡ááœááºá áá¯á¶ááŸáẠPrometheus á¡áá¯ááºáá¬áááºáááºá¡ááœááºá
áááºáááºá
á¬ážá
áá¬áá±á¬ááºážáááºá áá±áá¬á
á¯áá±á¬ááºážááŸá¯ááŸá¯ááºážááẠáááºááŒáááºáá±á·ááŸááááº- á¡áá»á¬ážá¡á¬ážááŒáá·áº áááºá
á±á¬áá·áºááŒáá·áºááá·áºáááºáá±á¬ááºááŸá¯áá»á¬ážááẠááá·áºááŸááºážááŒá±á¡á¬ážááŒáá·áºáá°áá®áá±á¬ áááºááá
áºá¡áá±á¡ááœááºááᯠáá±ážááá¯á·ááŒááŒá®áž á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶áá»á¬áž ááŒá±á¬ááºážáá²ááŒááºážááŸá¬ á¡áá±á¬áºáá±ážááŸá±ážááœá±ážáá«áááºá
ááááºážá¡áá»ááºá¡áááºáá±á¬ááºážááá¯ááŸá¯áá»á¬ážááẠá¡áááºážá¡ááŒá
áºá¡áá»áá¯ážáá»áá¯ážá០áá¬ááá¯ááºáááºá ááááá±ážáá»ááºáá»á¬ážáá²á·ááá¯á·áá±á¬ áááºážááá¯á·áá²ááŸá¡áá»áá¯á·ááẠáááºááŒáááºááŒá®áž ááŒáá¯áááºááá·áºááŸááºážááá¯ááºáá±á¬áááºááá¯ážááᯠááŒáá¯ážáááºážááŒáááºá á¡áá¯á¶ážááŒá¯áá°áá±á¬ááºážááá¯ááŸá¯áá»á¬ážáá²á·ááá¯á·áá±á¬ á¡ááŒá¬ážá¡áá¬áá»á¬ážááẠá¡áá¯ááºáá¬áááºá¡áá»á¬ážá
á¯á¡ááœáẠááá¯ááºáá±á¬áºáááºáž áá±á«ááºááœá²á
á±ááá¯ááºáááºá
Load á ááºážáá«á
á
ááºážáááºáá±á
ááºá¡ááœááºáž áá±áá¬á
á¯áá±á¬ááºážááá¯ááºá
áœááºážááᯠá¡á¬áá¯á¶á
áá¯ááºáá²á·áááºá á€á
ááá
áºááá¯á¡áá¯á¶ážááŒá¯á Linode áááºáá±á¬ááºááŸá¯ááœáẠGo 2.3.2 (PMM 1.10.1 á áá
áºá
áááºáá
áºááá¯ááºážá¡ááŒá
áº) ááŸáá·áº á
á¯á
ááºážáá¬ážáá±á¬ Prometheus 1.14 ááᯠá¡áá¯á¶ážáá»áá²á·áááº- . áááºááœá±á·á¡áá»áá¯á¶áž áááºáá»áá¯ážáááºá¡ááœááºá á€á¡áá¬ááᯠá¡áá¯á¶ážááŒá¯áá«á á¡á
á
áºá¡ááŸáẠload (Sysbench TPC-C Test) ááŒáá·áº MySQL node á¡áá»á¬ážá¡ááŒá¬ážááᯠá
áááºá¡áá¯á¶ážááŒá¯áá²á·ááŒá®áž áá
áºáá¯á
á®ááẠLinux/MySQL node 10 áá¯ááᯠá¡áá¯áá°áá²á·áááºá
á¡á±á¬ááºáá«á
ááºážáááºááŸá¯áá»á¬ážá¡á¬ážáá¯á¶ážááᯠvirtual cores ááŸá
áºáá¯ááŸáá·áº 32 GB memory áá«ááŸááá±á¬ Linode áá¬áá¬ááœáẠááŒá¯áá¯ááºáá²á·ááŒá®áž MySQL instances ááŸá
áºáá¬ááᯠá
á±á¬áá·áºááŒáá·áºá
á
áºáá±ážááá·áº load simulations 20 áᯠáá¯ááºáá±á¬ááºáá²á·áááºá ááá¯á·ááá¯áẠPrometheus áá±á«áá¬áá¡á áá
áºááŸáẠáááá áá
áºá
áá¹ááá·áºáá»áŸáẠááá ááŒá
áºá áá
áºá
áá¹ááá·áºáá»áŸáẠááŸááºáááºáž ááááááá ááŸáá·áº áááºááŒáœáá±á¬á¡áá»áááºá
á®ážáá®áž á.á áááºážá
áá¯á¶á á¶
Prometheus 1.x ááŸá¡áá¯á¶ážááŒá¯áá±á¬ á¡á
ááºá¡áá¬áá±áá¬áá±á·á
áºáá»á¬ážá áá¯á¶ááŸááºáá»ááºážáááºáááºážááŸá¬á . áááºááᯠááá¯ááºááœááºááẠááá¯á¶áá±á¬ááºáá«áá áááºááẠááŒáá·áºáá¬ážáá±á¬ latencies áá»á¬ážááᯠááœá±á·ááŒá¯á¶áááŒá®áž á¡áá»áá¯á·áá±á¬ áá±á¬ááºážááá¯ááŸá¯áá»á¬áž áá»ááŸá¯á¶ážáááá·áºáááºá Prometheus 2 ááœáẠMemory á¡áá¯á¶ážááŒá¯ááŸá¯ááᯠáá±á¬á·ááŒáá·áº ááŒááºáááºááá¯ááºáááºá storage.tsdb.min-block-durationáá
áºááºááá¯á·áááœáŸáá·áºáá® áááºáá»áŸááŒá¬á¡á±á¬áẠá¡áá¶ááœááºážáá¬ážáááºááᯠáá¯á¶ážááŒááºáá±ážááẠ(áá°áááẠ2 áá¬áá®ááŒá
áºáááº)á ááá¯á¡ááºáá±á¬ áááºááá¯áá®ááá¬áááẠááá¯ááºááœááºá¡áááºá
á®ážááŒá±á¬ááºážááœáẠááá·áºáá¬ážáá±á¬ á¡áá»áááºá
á®ážáá®ážáá»á¬ážá á¡ááœáŸááºážáá»á¬ážááŸáá·áº ááŒá
áºáá¬áá»á¬ážáá±á«áºááœáẠáá°áááºáá«áááºá disk space áá
ááºážáááºážáá»ááºáá»á¬ážá¡á Prometheus ááẠá
á¶áá»áááºáá
áºáá¯áá»áŸáẠ3 bytes (ááá°áá¬) ááá¯á¡áá¯á¶ážááŒá¯ááẠáááºááœááºáááºá á¡ááŒá¬ážáá
áºáááºááœááºá ááŸááºáá¬ááºááá¯á¡ááºáá»ááºáá»á¬ážááá¯ááá¯ááŒáá·áºáá¬ážáááºá
block á¡ááœááºá¡á
á¬ážááᯠconfigure áá¯ááºááẠááŒá
áºááá¯ááºáá±á¬áºáááºážá áááºážááᯠmanually configure áá¯ááºááẠá¡ááŒá¶ááŒá¯áá¬ážááŒááºáž áááŸáááá·áºá¡ááœááºááŒá±á¬áá·áº Prometheus ááẠááá·áºáá¯ááºáááºážáá¬áááºá¡ááœáẠááá¯á¡ááºááá±á¬áẠmemory ááᯠáá±ážááááºááŒá
áºáá«áááºá
á¡áááºáááºááá
áºá
á®ážááŒá±á¬ááºážááᯠáá¶á·ááá¯ážááẠáá¯á¶áá±á¬ááºáá±á¬ memory áááŸááá«áá Prometheus ááẠááŸááºáá¬ááºáá²á០áá»ááœá¬ážáááá·áºááẠááá¯á·ááá¯áẠOOM áá°áááºááá¬ážááẠáááºážááᯠáá±á¬ááºááœá¬ážáááºááŒá
áºáááºá
Prometheus áááºááá¯áá®áá¯ááºááœá¬ážáá±á¬á¡áá« áá»ááºá
á®ážááŸá¯ááŸá±á¬áá·áºááŸá±ážá
á±ááẠswap áá±á«ááºážááá·áºááŒááºážááẠá¡ááŸááºáááẠá¡áá±á¬ááºá¡áá°áááŒá
áºááá¯ááºáá«á á¡ááŒá±á¬ááºážááŸá¬ á€áá¯ááºáá±á¬ááºáá»ááºááá¯á¡áá¯á¶ážááŒá¯ááŒááºážááŒáá·áº ááŸááºáá¬ááºáá¯á¶ážá
áœá²ááŸá¯ááᯠáá±á«ááºááœá²á
á±áá«áááºá Goá áááºážáá¡ááŸáá¯ááºá
á¯áá±á¬ááºážáá°ááŸáá·áº swap áááºáá¶áá¯á¶ááá¯á·ááŸáá·áº áááºááá¯ááºáááºáᯠáá»áœááºáá±á¬áºáááºáá«áááºá
áá±á¬ááºáááºá
áááºáááºá
á¬ážááœááºáááºážáááºážááŸá¬ áá¯ááºáááºážá
ááºá¡á
ááŸáá±ááœááºááá·áºá¡á
á¬áž áá
áºáá»áááºáááºážááœáẠáá
áºááºááá¯á· ááœáá·áºá
ááºááœá¬ážá
á±ááẠáŠážáá±á«ááºážááá±á¬ááºááᯠá
á®á
ááºáááºááŸááºáááºááŒá
áºáááºá
ááááºá០áááºááœá±á·ááŒááºáááá·áºá¡ááá¯ááºážá ááŸá
áºáá¬áá®ááá¯ááºáž áá
áºááºááá¯á· á
á®ážáááºážáááºá min-block-duration parameter ááᯠáá
áºáá¬áá®ááá¯á·ááŒá±á¬ááºážáá«áá áá¬áá®áááºá¡ááŒá¬ááŸá
áááºá á€ááŒááºáááºáááºááŸááºááŸá¯áá»á¬ážááẠáá¬áá®ááá¯ááºážááœáẠááŒá
áºáá±á«áºáááºááŒá
áºáá«áááºá
áááºá Prometheus áááºáááºááŸá¯ááœáẠá€ááŸáá·áº á¡ááŒá¬ážááááºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááá¯áá«áá áááºááẠáááºážááᯠá¡áá¯á¶ážááŒá¯ááá¯ááºáááºá . áááºážááᯠPMM á¡ááœáẠáá®ááá¯ááºážáá¯ááºáá¬ážáá±á¬áºáááºáž á¡áááºážáááºáá±á¬ ááŒá¯ááŒááºááœááºážáá¶ááŸá¯áá»á¬ážááŒáá·áº Prometheus áááºáááºááŸá¯ááœáẠááá¯ááºáááºáá«áááºá
áá»áœááºá¯ááºááá¯á·ááœáẠmemory ááœááºááááºážáááºážáá¬ážááá·áº head block áá¯áá±á«áºáá±á¬ áááºááŒáœáá±á¬ááá±á¬ááºáá
áºáá¯ááŸááááºá áá±áá¬á¡áá±á¬ááºážáá»á¬ážááŒáá·áº ááááºááá¯á·ááŒááºážáá»á¬ážááŸáááá·áº áááŸáááá¯ááºáá«áááºá mmap(). áááºážááẠáááºááŸáºááᯠáá®ážááŒá¬ážá
á®ááŒááºáááºááẠááá¯á¡ááºááŸá¯ááᯠáááºááŸá¬ážáá±ážáá±á¬áºáááºážá head block ááœáẠáá¬ážááŸáááá¯ááºááá·áº áá±áá¬áá»á¬ážááẠá¡áá±á¬ááºážáá»á¬ážááᯠááŸá¬ááœá±ááá¯áá«á áááºáááºááŸá¯á
áá
ẠáááºááŸáºá¡ááœáẠáá±áá¬á¡áá¯á¶á¡áá±á¬áẠáá»ááºáá¬ážááẠááá¯á¡ááºáááºáᯠááá¯ááá¯áááºá
áááºážááẠPrometheus virtual memory áá¯á¶ážá
áœá²ááŸá¯ááẠá¡ááœááºááŒáá·áºáá¬ážáá±áááºááᯠááá¯ááá¯áááºá áááºážááẠá
áá¯ážááááºá
áá¬ááá¯ááºáá«á
áá±á¬ááºáááºá
áááºáááºá
á¬ážá
áá¬áá±á¬ááºážáá²á· áá®ááá¯ááºážá¡áá»ááºááá±á¬á· WAL ááá¯á¡áá¯á¶ážááŒá¯ááŒááºáž (ááŸá±á·ááŸááºááá¯ááºááá¯áá±ážáá«)á ááá¯ááŸá±á¬ááºááŸá¯á
á¬ááœááºá
á¬áááºážáá»á¬ážá០áááºááœá±á·ááŒááºáááá·áºá¡ááá¯ááºážá áá»ááºá
á®ážááŸá¯áá»á¬ážááŸá±á¬ááºááŸá¬ážááẠPrometheus ááẠWAL ááá¯á¡áá¯á¶ážááŒá¯áááºá áá±áá¬ááŸááºáááºááá¯ááºááŸá¯ááᯠá¡á¬ááá¶ááá·áº áá®ážááŒá¬ážááá¹ááá¬ážáá»á¬ážááẠáá¶ááá±á¬ááºážá
áœá¬ááŒáá·áºá áá±á¬ááºážá
áœá¬ááŸááºáááºážáááºáá¬ážááŒááºážáááŸááá«á Prometheus áá¬ážááŸááºáž 2.3.2 ááẠWAL ááᯠ10 á
áá¹ááá·áºááá¯ááºáž áá
áºááºááá¯á· áááºáá¯ááºááŒá®áž á€ááœá±ážáá»ááºááŸá¯ááᯠá¡áá¯á¶ážááŒá¯áá°á¡á¬áž ááŒááºáááºáááºááŸááºááááá«á
áá»á áºáá»á áºáá»á áºáá»á áº
Prometheus TSDB ááẠLSM (Log Structured Merge) á ááá¯ážááá¯ááºáá²á·ááá¯á· áá®ááá¯ááºážáá¯ááºáá¬ážáááº- áá±á«ááºážáá¯á¶ážááᯠáá áºááºááá¯á· á¡áá«á¡á¬ážáá»á±á¬áºá áœá¬ áááºáá¯ááºáá¬ážááŒá®áž á á¯á¶á ááºážáá±ážááŒááºážááŸá¯áá»á¬ážá¡ááœááºáž áá»á¬ážááŒá¬ážááœááºážáá±á¬ ááá±á¬ááºáá»á¬ážááᯠá áááºááºáááºááŒááºážá០ááŸá±á¬ááºááŸá¬ážááẠáá±ážáááºáá±á¬á¡áá¯á¶ážáá»á¬ážá áœá¬ááᯠá¡áá°ááᜠáá±á«ááºážá ááºáá¬ážáááºá á€áá±áá¬ááœáẠáá áºáááºáá¬áá¯ááºáá±á¬ááºááŒá®ážáá±á¬áẠá ááºážáááºááŸá¯á áá áºááœáẠáá»áœááºá¯ááºáááááŒá¯áááá±á¬ áá¯ááºááœááºá¡áá±á¡ááœááºááᯠá€áá±áá¬ááœáẠááœá±á·ááŒááºááá¯ááºáááºá
á
ááá¯ážááá¯ááºá¡ááŒá±á¬ááºáž ááá¯ááá¯áá±á·áá¬ááá¯áá«áá áááŸáááá¯ááºáá±á¬ááááºááá¯á·ááŸá¯áá»á¬ážááŸáá·áº áááºážááá¯á·ááẠáááºááá¯á·ááŒá
áºáááºáá¬áá¯á¶áá»á¬ážáá«ááŸááá±á¬ meta.json ááá¯ááºááᯠá
á
áºáá±ážááá¯ááºáá«áááºá
{
"ulid": "01CPZDPD1D9R019JS87TPV5MPE",
"minTime": 1536472800000,
"maxTime": 1536494400000,
"stats": {
"numSamples": 8292128378,
"numSeries": 1673622,
"numChunks": 69528220
},
"compaction": {
"level": 2,
"sources": [
"01CPYRY9MS465Y5ETM3SXFBV7X",
"01CPYZT0WRJ1JB1P0DP80VY5KJ",
"01CPZ6NR4Q3PDP3E57HEH760XS"
],
"parents": [
{
"ulid": "01CPYRY9MS465Y5ETM3SXFBV7X",
"minTime": 1536472800000,
"maxTime": 1536480000000
},
{
"ulid": "01CPYZT0WRJ1JB1P0DP80VY5KJ",
"minTime": 1536480000000,
"maxTime": 1536487200000
},
{
"ulid": "01CPZ6NR4Q3PDP3E57HEH760XS",
"minTime": 1536487200000,
"maxTime": 1536494400000
}
]
},
"version": 1
}Prometheus ááŸá á¡ááá¯ááºážáá»á¬ážááᯠáŠážáá±á«ááºážááá±á¬ááºá¡á¬áž áá áºááºááá¯á· ááœá²áá¯ááºááá·áºá¡áá»áááºááŸáá·áº áá»áááºáááºáá¬ážáááºá á€á¡áá»áááºááœáẠááá¯ááá¯á·áá±á¬ áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážá áœá¬ááᯠáá±á¬ááºááœááºááá¯ááºáá«áááºá
á¡ááœááºá¡á
á¬áž ááá·áºáááºáá»ááºáá»á¬ážááẠáááºááá·áºáááºážááŸáá·áºáá»áŸ ááá·áºáááºááá¬ážáá² áá¯ááºáá±á¬ááºáá±á
ááºá¡ááœááºáž ááŒá®ážáá¬ážáá±á¬ disk I/O spikes áá»á¬ážááŒá
áºáá±á«áºá
á±ááá¯ááºáááºááᯠááœá±á·ááŸáááááºá
CPU load áá»á¬ážááŒááºážá
áá¯ááºáá«áááºá áááºážááẠá
áá
áºáá¡ááŒááºááŸá¯ááºážá¡áá±á«áº á¡áá±á¬áºáá±ážá¡áá»ááºááá±á¬áá±á¬ááºááá·áºá¡áá»áá¯ážáááºáá±á¬ááºááŸá¯ááŸáááŒá®áž LSM ááá¯ááŸá±á¬ááºááŸá¯á¡ááœáẠááŒá®ážáá¬ážáá±á¬á
áááºáá±á«áºááŸá¯áá
áºáááºáááºáž ááŒá
áºáááº- ááŒáá·áºáá¬ážáá±á¬áá±á¬ááºážááá¯ááŸá¯ááŸá¯ááºážáá¬ážáá»á¬ážááᯠááŒáá·áºáá¬ážá
áœá¬áááŒá
áºá
á±áá² ááŒáá·áºáá¬ážáá±á¬áá±á¬ááºážááá¯ááŸá¯ááŸá¯ááºážáá¬ážáá»á¬ážááᯠáá¶á·ááá¯ážááẠáá±ážáááºáá±á¬ááá¬áááᯠáááºááá¯á·áá¯ááºáá±á¬ááºááááºáááºážá
compaction áá¯ááºáááºážá
ááºááœáẠmemory ááá¯á¡áá¯á¶ážááŒá¯ááŒááºážáááºáááºáž á
áááºáááºá
á¬ážá
áá¬áá±á¬ááºážááŸáááºá
á
á¯á
ááºážááŒá®ážáá±á¬ááºá ááŸááºáá¬ááºá¡áá»á¬ážá
á¯ááẠCached á០Free ááá¯á· ááŒá±á¬ááºážáá²ááœá¬ážáááºááᯠáá»áœááºá¯ááºááá¯á·ááŒááºááá¯ááºáááº- ááá¯ááá¯áááºááŸá¬ á¡ááá¯ážáááºáá±á¬á¡áá»ááºá¡áááºáá»á¬ážááᯠááá¯áá±áá¬á០áááºááŸá¬ážááá¯ááºááŒá®ááŒá
áºáááºá áá®ááŸá¬áá¯á¶ážááẠáááá»ááºáááºá fadvice() ááá¯á·ááá¯áẠá¡ááŒá¬ážáá±á¬ áá±ážáááºá¡á±á¬ááºááŒá¯áá¯ááºáááºážá¡áá»áá¯á·á ááá¯á·ááá¯áẠááŒáááºááœá²áá±á
ááºá¡ááœááºáž áááºááŸáºáá»á¬ážááᯠáá»ááºáá®ážáá¶áááá·áº áá¯á¶ážáá»á¬ážá០ááœááºááŒá±á¬ááºááœá¬ážááŒááºážááŒá±á¬áá·áºáá¬ážá
ááŸá¯á¶ážáááá·áºááŒá®ážáá±á¬áẠááŒááºáááºáá°áá±á¬ááºáá±áž
áá»ááŸá¯á¶ážááŸá¯ááœá±ááá± ááŒááºáááºááá°ááá¯á· á¡áá»áááºáá°áááŒá®áž á¡ááŒá±á¬ááºážááŒáá»ááºáá±á¬ááºážáá«á áá áºá áá¹ááá·áºáá»áŸáẠá á¶áá»áááºáá áºáááºážá á¡áááºá á®ážááŒá±á¬ááºážáá áºáá¯á¡ááœááºá SSD drive ááᯠááá·áºááœááºážá ááºážá á¬ážááŒá®áž ááŒááºáááºááá°ááŒááºážááᯠáá¯ááºáá±á¬ááºáá±á ááºááœáẠáá»áœááºá¯ááºááẠ25 áááá áºááá·áº á á±á¬áá·áºáá²á·ááááºá
level=info ts=2018-09-13T13:38:14.09650965Z caller=main.go:222 msg="Starting Prometheus" version="(version=2.3.2, branch=v2.3.2, revision=71af5e29e815795e9dd14742ee7725682fa14b7b)"
level=info ts=2018-09-13T13:38:14.096599879Z caller=main.go:223 build_context="(go=go1.10.1, user=Jenkins, date=20180725-08:58:13OURCE)"
level=info ts=2018-09-13T13:38:14.096624109Z caller=main.go:224 host_details="(Linux 4.15.0-32-generic #35-Ubuntu SMP Fri Aug 10 17:58:07 UTC 2018 x86_64 1bee9e9b78cf (none))"
level=info ts=2018-09-13T13:38:14.096641396Z caller=main.go:225 fd_limits="(soft=1048576, hard=1048576)"
level=info ts=2018-09-13T13:38:14.097715256Z caller=web.go:415 component=web msg="Start listening for connections" address=:9090
level=info ts=2018-09-13T13:38:14.097400393Z caller=main.go:533 msg="Starting TSDB ..."
level=info ts=2018-09-13T13:38:14.098718401Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536530400000 maxt=1536537600000 ulid=01CQ0FW3ME8Q5W2AN5F9CB7R0R
level=info ts=2018-09-13T13:38:14.100315658Z caller=web.go:467 component=web msg="router prefix" prefix=/prometheus
level=info ts=2018-09-13T13:38:14.101793727Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536732000000 maxt=1536753600000 ulid=01CQ78486TNX5QZTBF049PQHSM
level=info ts=2018-09-13T13:38:14.102267346Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536537600000 maxt=1536732000000 ulid=01CQ78DE7HSQK0C0F5AZ46YGF0
level=info ts=2018-09-13T13:38:14.102660295Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536775200000 maxt=1536782400000 ulid=01CQ7SAT4RM21Y0PT5GNSS146Q
level=info ts=2018-09-13T13:38:14.103075885Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536753600000 maxt=1536775200000 ulid=01CQ7SV8WJ3C2W5S3RTAHC2GHB
level=error ts=2018-09-13T14:05:18.208469169Z caller=wal.go:275 component=tsdb msg="WAL corruption detected; truncating" err="unexpected CRC32 checksum d0465484, want 0" file=/opt/prometheus/data/.prom2-data/wal/007357 pos=15504363
level=info ts=2018-09-13T14:05:19.471459777Z caller=main.go:543 msg="TSDB started"
level=info ts=2018-09-13T14:05:19.471604598Z caller=main.go:603 msg="Loading configuration file" filename=/etc/prometheus.yml
level=info ts=2018-09-13T14:05:19.499156711Z caller=main.go:629 msg="Completed loading of configuration file" filename=/etc/prometheus.yml
level=info ts=2018-09-13T14:05:19.499228186Z caller=main.go:502 msg="Server is ready to receive web requests."ááŒááºáááºááá°ááŒááºážáá¯ááºáááºážá ááºá á¡áááááŒá¿áá¬ááŸá¬ ááŸááºáá¬ááºáá¯á¶ážá áœá²ááŸá¯ ááŒáá·áºáá¬ážáááºá áá¯á¶ááŸááºá¡ááŒá±á¡áá±ááœáẠáá¬áá¬ááẠáá°áá®áá±á¬ááŸááºáá¬ááºááá¬áááŒáá·áº áááºááŒáááºá áœá¬á¡áá¯ááºáá¯ááºááá¯ááºáá±á¬áºáááºáž áááºážááẠOOM ááŒá±á¬áá·áº áá»ááºá á®ážááœá¬ážáá«á ááŒááºáááºáá±á¬ááºážááœááºáá¬áááºááá¯ááºáá±á áá»áœááºá¯ááºááœá±á·áá±á¬ áá áºáá¯áááºážáá±á¬ ááŒá±ááŸááºážáá»ááºááŸá¬ áá±áá¬á á¯áá±á¬ááºážááŒááºážááᯠááááºáááºá áá¬áá¬ááᯠáá°áá±á¬ááºáá¬áááºá áááºážááᯠááŒááºáááºááá°ááŒá®áž á á¯á ááºážááŸá¯ááᯠááœáá·áºáá¬ážááŒááºážááŒáá·áº ááŒááºáááºá áááºáááºááŒá áºáááºá
áá°ááœá±ážáá¬áááºá
ááœá±ážáá°áá»áááºá¡ááœááºáž ááááá¬ážáááá·áº áá±á¬ááºáááºá¡ááŒá¯á¡áá°áá áºáá¯ááŸá¬ á áááºááŒá®ážáá±á¬áẠá áœááºážáá±á¬ááºáááºáááá·áºááŒááºážááŸáá·áº á¡áááºážá¡ááŒá áºáá¯á¶ážá áœá²ááŸá¯ ááŒáá·áºáá¬ážááŒááºážááŒá¬áž áááºááœááºááŸá¯ááŒá áºáááºá áá«áá±ááá·áº á áááºááŸá¯á¡á¬ážáá¯á¶ážááá¯ááºáá±ááá·áº CPU áá²á· Memory á¡áá±á«áºááŸá¬ áá±ážáááºáá²á·áááºááᯠáááááŒá¯áááá«áááºá
áááºááá¯áá®á¡áá¯á¶ážááŒá¯ááŸá¯ááœáẠááœá¬ááá»ááºá Prometheus ááẠá
á¯á
ááºážááŸá¯á¡á¬ážáá¯á¶ážááᯠá¡á
ááŸá
á ááááºááŸááºááá¯ááºáá² á¡áá»áá¯á·áá±á¬á¡áá»ááºá¡áááºáá»á¬áž áá¯á¶ážááŸá¯á¶ážááœá¬ážááŒá±á¬ááºáž áá±á¬áºááŒáááºá
ááŒáá·áºáá¬ážáá±á¬ CPU ááŸáá·áº Memory load á¡ááœáẠá¡ááŒá±á¬ááºážáááºážá¡ááá¡áá»ááᯠáá»áœááºá¯ááºááááá«á áá«á ááŒáááºááŸá¯ááºážááŒáá·áºáá²á· head block áá²ááŸá¬ time series á¡áá
áºáááºáá®ážááŸá¯ááŒá±á¬áá·áºááá¯á· áá»áœááºáá±á¬áº áá¶ááááŒá
áºáááá«áááºá
CPU load áá»á¬ážáá¬áááºá
á¡ááœááºááŒáá·áºáá¬ážáá±á¬ I/O load ááá¯áááºáá®ážáá±ážááá·áº compactions á¡ááŒááºá CPU load ááœáẠááŸá áºáááá áºááá¯ááºáž ááŒááºážáááºá áœá¬ spikes áá»á¬ážááᯠáááááŒá¯áááá«áááºá Input á á®ážáááºážááŸá¯ ááŒáá·áºáá¬ážááŒá®áž Go á á¡ááŸáá¯ááºá á¯áá±á¬ááºážááŸá¯ááŒá±á¬áá·áº ááŒá áºáá±á«áºáá¬áá¯á¶áááŒá®áž á¡áááºážáá¯á¶áž core á¡áá»áá¯á·ááᯠá¡ááŒáá·áºááá·áºáá¬ážáá±á¬á¡áá«ááœáẠáá±á«ááºááœá²ááŸá¯áá»á¬ážááẠááá¯ááŸááºáááºá
áá®áá¯ááºááœá±á ááááºá¡áá±ážááá«áá«áá°ážá áááºážááá¯á·ááŒá
áºáá±á«áºááá·áºá¡áá« Prometheus á á¡ááœááºážáááºáá±á«ááºá¡ááŸááºááŸáá·áº áááºááá
áºáá»á¬ážááẠááááŸáááá¯ááºáá±á¬á·áá² áááºážá¡áá»áááºáá¬ááá»á¬ážá¡ááœááºáž áá±áá¬ááœá¬áááŸá¯áá»á¬ážááᯠááŒá
áºá
á±áááºá
Prometheus áááºááá¯á·áá°ááẠáá
áºá
áá¹ááá·áºáá»áŸ ááááºááœá¬ážáááºááᯠáááááŒá¯ááááá¯ááºáááºá
á¡ááŸáá¯ááºá
á¯áá±á¬ááºážááŒááºáž (GC) ááŸáá·áº áááºááœááºááŸá¯ááᯠáá»áœááºá¯ááºááá¯á· áááááŒá¯ááááá¯ááºáá«áááºá
áá±á¬ááºáá»ááº
Prometheus 2 ááŸá TSDB ááẠá¡áá»áááºá á®ážáá®ážáá±á«ááºáž áááºážáá±á«ááºážáá»á¬ážá áœá¬ááᯠááá¯ááºááœááºááŒá±ááŸááºážááá¯ááºá áœááºážááŸáááŒá®áž áá áºá áá¹ááá·áºáá»áŸáẠááŸááºáááºážáá±á¬ááºáá±á«ááºážáá»á¬ážá áœá¬ááᯠáá áºáá»áááºáááºážááœáẠá¡ááœááºáá±ážáááºáá±á¬ áá¬á·ááºáá²ááᯠá¡áá¯á¶ážááŒá¯áá¬ážáááºá CPU ááŸáá·áº disk I/O á¡áá¯á¶ážáá»ááŸá¯ááẠá¡áááºááŒá®ážá áá¬áá±á¬ááºážáááºá áá»áœááºá¯ááºáááá°áá¬ááœáẠcore áá áºáá¯áá»áŸáẠ200 áááºááá áºááŸá¯ááºážá¡áá ááŒááá²á·áááºá
áá»á²á·ááœááºááẠá¡á á®á¡á ááºááœá²áááºá áá¯á¶áá±á¬ááºáá±á¬ ááŸááºáá¬ááºááá¬áááᯠááŸááºáá¬ážáá¬ážááẠááá¯á¡ááºááŒá®áž áááºážááẠááŸááºáááºáá±á¬ ááŸááºáá¬ááºááŒá áºááá«áááºá áá»áœááºá¯ááºáá±á·áá¬ááœá±á·ááŸááá²á·áá±á¬ á¡áá¯á¶ážááŒá¯áá²á·áá±á¬ áááºááá¯áá®ááá¬áááẠá¡áááºá á®ážááŒá±á¬ááºážá áá áºá áá¹ááá·áºáá»áŸáẠááŸááºáááºáž 5 áá»áŸáẠ100 GB ááá·áºááŸáááŒá®áž áááºáááºááŸá¯á áá ẠáááºááŸáºááŸáá·áºá¡áá° ááááºážááá¯ááºáá¬ážáá±á¬ áááºááá¯áá® 000 GB ááá·áºááᯠáá±ážáá±á¬ááºáááºá
áá¯ááºáá«áááºá CPU áá²á· disk I/O spikes ááœá±ááᯠááááºážááŸáááá¯á· áá¯ááºáá±á¬ááºá
áá¬ááœá± á¡áá»á¬ážááŒá®ážááŸááá±áá±ážááŒá®áž áááºááœááºáá²á· TSDB Prometheus 2 ááᯠInnoDB, TokuDB, RocksDB, WiredTiger áá²á· ááŸáá¯ááºážááŸááºááŒáá·áºáá²á·á¡áá« áá«á á¡á¶á·ááŒá
áá¬áá±á¬á· ááá¯ááºáá«áá°ážá áá°ááá¯á·áá²á·áááá¶ááá¬á¡á
á±á¬ááá¯ááºážááŸá¬ ááŒá¿áá¬áá»á¬ážá
source: www.habr.com