
Prometheus 2 áážá áĄááťáááşá
áŽá¸ááŽá¸ááąááŹááąáˇá
áş (TSDB) áááş ááąááŹá
áŻááąáŹááşá¸áážáŻááźááşáážáŻááşá¸á á
áŻáśá
ááşá¸áážáŻááŻááşááąáŹááşáážáŻáážááˇáş áĄáááşá¸áĄááźá
áşááááąáŹááşáážáŻáááŻáˇáážááˇáşáááşáááşá Prometheus 2 áážá v1 áááŻáážáąáŹááşáážáŻáĄááąáŤáş ááźáŽá¸ááŹá¸ááąáŹáááŻá¸áááşáážáŻááťáŹá¸ááᯠááąá¸ááąáŹááşáááˇáş áĄááşááťááşááŽááŹááźáąáážááşá¸ááťááşá áĄááąáŹááşá¸ááŻáśá¸áĽáááŹáá
áşááŻááźá
áşáááşá ááťá˝ááşáŻááşáááŻáˇáááş Percona Monitoring and Management (PMM) áá˝ááş Prometheus 2 ááᯠáĄááąáŹááşáĄáááşááąáŹáşááąááźáŽá¸ Prometheus 2 TSDB á á
á˝ááşá¸ááąáŹááşáááşááᯠááŹá¸áááşáá˝ááˇáşááá˛áˇáááşá ááŽááąáŹááşá¸ááŤá¸áážáŹ ááŽááąáˇááŹáá˝áąáˇáážáááťááşáá˝áąáá˛áˇ ááááşáá˝áąááᯠááźáąáŹááźááŤáááşá
ááťááşá¸ááťáž Prometheus áĄááŻááşáááş
ááąáá°ááťáááşáá˝ááşááťááşááąááŹááąáˇá
áşááťáŹá¸áážááˇáşáááşááśááŹáá˝ááşáĄááŻáśá¸ááźáŻáá°ááťáŹá¸áĄáá˝ááşá ááŻáśáážááş Prometheus áĄááŻááşááŹáááşáááşáĄáá˝ááşá
áááşáááşá
áŹá¸á
ááŹááąáŹááşá¸áááşá ááąááŹá
áŻááąáŹááşá¸áážáŻáážáŻááşá¸áááş áááşááźáááşááąáˇáážááááş- áĄááťáŹá¸áĄáŹá¸ááźááˇáş áááşá
áąáŹááˇáşááźááˇáşáááˇáşáááşááąáŹááşáážáŻááťáŹá¸áááş áááˇáşáážááşá¸ááźáąáĄáŹá¸ááźááˇáşáá°ááŽááąáŹ áááşááá
áşáĄááąáĄáá˝ááşááᯠááąá¸áááŻáˇááźááźáŽá¸ áĄááźáąááśáĄááąáŹááşáĄáĄáŻáśááťáŹá¸ ááźáąáŹááşá¸áá˛ááźááşá¸áážáŹ áĄááąáŹáşááąá¸áážáąá¸áá˝áąá¸ááŤáááşá
ááááşá¸áĄááťááşáĄáááşááąáŹááşá¸áááŻáážáŻááťáŹá¸áááş áĄáááşá¸áĄááźá
áşáĄááťááŻá¸ááťááŻá¸ááž ááŹáááŻááşáááşá áááááąá¸ááťááşááťáŹá¸áá˛áˇáááŻáˇááąáŹ áááşá¸áááŻáˇáá˛áážáĄááťááŻáˇáááş áááşááźáááşááźáŽá¸ ááźááŻáááşáááˇáşáážááşá¸áááŻááşááąáŹáááşáááŻá¸ááᯠááźááŻá¸áááşá¸ááźáááşá áĄááŻáśá¸ááźáŻáá°ááąáŹááşá¸áááŻáážáŻááťáŹá¸áá˛áˇáááŻáˇááąáŹ áĄááźáŹá¸áĄááŹááťáŹá¸áááş áĄááŻááşááŹáááşáĄááťáŹá¸á
áŻáĄáá˝ááş áááŻááşááąáŹáşáááşá¸ ááąáŤááşáá˝á˛á
áąáááŻááşáááşá
Load á ááşá¸ááŤá
á
ááşá¸áááşááąá
ááşáĄáá˝ááşá¸ ááąááŹá
áŻááąáŹááşá¸áááŻááşá
á˝ááşá¸ááᯠáĄáŹááŻáśá
ááŻááşáá˛áˇáááşá á¤á
ááá
áşáááŻáĄááŻáśá¸ááźáŻá Linode áááşááąáŹááşáážáŻáá˝ááş Go 2.3.2 (PMM 1.10.1 á áá
áşá
áááşáá
áşáááŻááşá¸áĄááźá
áş) áážááˇáş á
áŻá
ááşá¸ááŹá¸ááąáŹ Prometheus 1.14 ááᯠáĄááŻáśá¸ááťáá˛áˇáááş- . áááşáá˝áąáˇáĄááťááŻáśá¸ áááşááťááŻá¸áááşáĄáá˝ááşá á¤áĄááŹááᯠáĄááŻáśá¸ááźáŻááŤá MySQL node áĄááťáŹá¸áĄááźáŹá¸ááᯠreal load áá˛áˇ (Sysbench TPC-C Test) á
áááşáá˛áˇááźáŽá¸á áĄá˛áᎠnode áá
áşááŻááťááşá¸á
áŽá node áá ááŻááᯠemulate ááŻááşáá˛áˇááŤáááşá Linux/MySQLá
áĄáąáŹááşááŤá
ááşá¸áááşáážáŻááťáŹá¸áĄáŹá¸ááŻáśá¸ááᯠvirtual cores áážá
áşááŻáážááˇáş 32 GB memory ááŤáážáááąáŹ Linode ááŹááŹáá˝ááş ááźáŻááŻááşáá˛áˇááźáŽá¸ MySQL instances áážá
áşááŹááᯠá
áąáŹááˇáşááźááˇáşá
á
áşááąá¸áááˇáş load simulations 20 áᯠááŻááşááąáŹááşáá˛áˇáááşá áááŻáˇáááŻááş Prometheus ááąáŤááŹááĄá áá
áşáážááş áááá áá
áşá
áášáááˇáşááťážááş ááá ááźá
áşá áá
áşá
áášáááˇáşááťážááş áážááşáááşá¸ ááááááá áážááˇáş áááşááźá˝ááąáŹáĄááťáááşá
áŽá¸ááŽá¸ á.á áááşá¸á
ááŻáśá áś
Prometheus 1.x áážáĄááŻáśá¸ááźáŻááąáŹ áĄá
ááşáĄááŹááąááŹááąáˇá
áşááťáŹá¸á ááŻáśáážááşááťááşá¸áááşáááşá¸áážáŹá . áááşááᯠáááŻááşáá˝ááşáááş áááŻáśááąáŹááşááŤáá áááşáááş ááźááˇáşááŹá¸ááąáŹ latencies ááťáŹá¸ááᯠáá˝áąáˇááźáŻáśáááźáŽá¸ áĄááťááŻáˇááąáŹ ááąáŹááşá¸áááŻáážáŻááťáŹá¸ ááťáážáŻáśá¸ááááˇáşáááşá Prometheus 2 áá˝ááş Memory áĄááŻáśá¸ááźáŻáážáŻááᯠááąáŹáˇááźááˇáş ááźááşáááşáááŻááşáááşá storage.tsdb.min-block-durationáá
áşááşáááŻáˇááá˝ážááˇáşáᎠáááşááťážááźáŹáĄáąáŹááş áĄááśáá˝ááşá¸ááŹá¸áááşááᯠááŻáśá¸ááźááşááąá¸áááş (áá°ááááş 2 ááŹááŽááźá
áşáááş)á áááŻáĄááşááąáŹ áááşáááŻááŽáááŹááááş áááŻááşáá˝ááşáĄáááşá
áŽá¸ááźáąáŹááşá¸áá˝ááş áááˇáşááŹá¸ááąáŹ áĄááťáááşá
áŽá¸ááŽá¸ááťáŹá¸á áĄáá˝ážááşá¸ááťáŹá¸áážááˇáş ááźá
áşááŹááťáŹá¸ááąáŤáşáá˝ááş áá°áááşááŤáááşá disk space áá
ááşá¸áááşá¸ááťááşááťáŹá¸áĄá Prometheus áááş á
áśááťáááşáá
áşááŻááťážááş 3 bytes (ááá°ááŹ) áááŻáĄááŻáśá¸ááźáŻáááş áááşáá˝ááşáááşá áĄááźáŹá¸áá
áşáááşáá˝ááşá áážááşááŹááşáááŻáĄááşááťááşááťáŹá¸áááŻáááŻááźááˇáşááŹá¸áááşá
block áĄáá˝ááşáĄá
áŹá¸ááᯠconfigure ááŻááşáááş ááźá
áşáááŻááşááąáŹáşáááşá¸á áááşá¸ááᯠmanually configure ááŻááşáááş áĄááźáśááźáŻááŹá¸ááźááşá¸ ááážááááˇáşáĄáá˝ááşááźáąáŹááˇáş Prometheus áááş áááˇáşááŻááşáááşá¸ááŹáááşáĄáá˝ááş áááŻáĄááşáááąáŹááş memory ááᯠááąá¸ááááşááźá
áşááŤáááşá
áĄáááşáááşááá
áşá
áŽá¸ááźáąáŹááşá¸ááᯠááśáˇáááŻá¸áááş ááŻáśááąáŹááşááąáŹ memory ááážáááŤáá Prometheus áááş áážááşááŹááşáá˛ááž ááťáá˝áŹá¸ááááˇáşáááş áááŻáˇáááŻááş OOM áá°áááşáááŹá¸áááş áááşá¸ááᯠááąáŹááşáá˝áŹá¸áááşááźá
áşáááşá
Prometheus áááşáááŻááŽááŻááşáá˝áŹá¸ááąáŹáĄá፠ááťááşá
áŽá¸áážáŻáážáąáŹááˇáşáážáąá¸á
áąáááş swap ááąáŤááşá¸áááˇáşááźááşá¸áááş áĄáážááşááááş áĄááąáŹááşáĄáá°áááźá
áşáááŻááşááŤá áĄááźáąáŹááşá¸áážáŹ á¤ááŻááşááąáŹááşááťááşáááŻáĄááŻáśá¸ááźáŻááźááşá¸ááźááˇáş áážááşááŹááşááŻáśá¸á
á˝á˛áážáŻááᯠááąáŤááşáá˝á˛á
áąááŤáááşá Goá áááşá¸ááĄáážááŻááşá
áŻááąáŹááşá¸áá°áážááˇáş swap áááşááśááŻáśáááŻáˇáážááˇáş áááşáááŻááşáááşáᯠááťá˝ááşááąáŹáşáááşááŤáááşá
ááąáŹááşáááşá
áááşáááşá
áŹá¸áá˝ááşáááşá¸áááşá¸áážáŹ ááŻááşáááşá¸á
ááşáĄá
áážááąáá˝ááşáááˇáşáĄá
áŹá¸ áá
áşááťáááşáááşá¸áá˝ááş áá
áşááşáááŻáˇ áá˝ááˇáşá
ááşáá˝áŹá¸á
áąáááş áŚá¸ááąáŤááşá¸áááąáŹááşááᯠá
áŽá
ááşáááşáážááşáááşááźá
áşáááşá

ááááşááž áááşáá˝áąáˇááźááşááááˇáşáĄáááŻááşá¸á áážá
áşááŹááŽáááŻááşá¸ áá
áşááşáááŻáˇ á
áŽá¸áááşá¸áááşá min-block-duration parameter ááᯠáá
áşááŹááŽáááŻáˇááźáąáŹááşá¸ááŤáá ááŹááŽáááşáĄááźáŹáážá
áááşá á¤ááźááşáááşáááşáážááşáážáŻááťáŹá¸áááş ááŹááŽáááŻááşá¸áá˝ááş ááźá
áşááąáŤáşáááşááźá
áşááŤáááşá
áááşá Prometheus áááşáááşáážáŻáá˝ááş á¤áážááˇáş áĄááźáŹá¸ááááşááťáŹá¸ááᯠáĄááŻáśá¸ááźáŻáááŻááŤáá áááşáááş áááşá¸ááᯠáĄááŻáśá¸ááźáŻáááŻááşáááşá . áááşá¸ááᯠPMM áĄáá˝ááş ááŽáááŻááşá¸ááŻááşááŹá¸ááąáŹáşáááşá¸ áĄáááşá¸áááşááąáŹ ááźáŻááźááşáá˝ááşá¸ááśáážáŻááťáŹá¸ááźááˇáş Prometheus áááşáááşáážáŻáá˝ááş áááŻááşáááşááŤáááşá
ááťá˝ááşáŻááşáááŻáˇáá˝ááş memory áá˝ááşááááşá¸áááşá¸ááŹá¸áááˇáş head block ááŻááąáŤáşááąáŹ áááşááźá˝ááąáŹáááąáŹááşáá
áşááŻáážááááşá ááąááŹáĄááąáŹááşá¸ááťáŹá¸ááźááˇáş ááááşáááŻáˇááźááşá¸ááťáŹá¸áážááááˇáş ááážááááŻááşááŤáááşá mmap(). áááşá¸áááş áááşáážáşááᯠááŽá¸ááźáŹá¸á
áŽááźááşáááşáááş áááŻáĄááşáážáŻááᯠáááşáážáŹá¸ááąá¸ááąáŹáşáááşá¸á head block áá˝ááş ááŹá¸áážááááŻááşáááˇáş ááąááŹááťáŹá¸áááş áĄááąáŹááşá¸ááťáŹá¸ááᯠáážáŹáá˝áąáááŻááŤá áááşáááşáážáŻá
áá
áş áááşáážáşáĄáá˝ááş ááąááŹáĄááŻáśáĄááąáŹááş ááťááşááŹá¸áááş áááŻáĄááşáááşáᯠáááŻáááŻáááşá
áááşá¸áááş Prometheus virtual memory ááŻáśá¸á
á˝á˛áážáŻáááş áĄáá˝ááşááźááˇáşááŹá¸ááąáááşááᯠáááŻáááŻáááşá áááşá¸áááş á
ááŻá¸ááááşá
ááŹáááŻááşááŤá

ááąáŹááşáááşá
áááşáááşá
áŹá¸á
ááŹááąáŹááşá¸áá˛áˇ ááŽáááŻááşá¸áĄááťááşáááąáŹáˇ WAL áááŻáĄááŻáśá¸ááźáŻááźááşá¸ (áážáąáˇáážááşáááŻááşáááŻááąá¸ááŤ)á áááŻáážáąáŹááşáážáŻá
áŹáá˝ááşá
áŹáááşá¸ááťáŹá¸ááž áááşáá˝áąáˇááźááşááááˇáşáĄáááŻááşá¸á ááťááşá
áŽá¸áážáŻááťáŹá¸áážáąáŹááşáážáŹá¸áááş Prometheus áááş WAL áááŻáĄááŻáśá¸ááźáŻáááşá ááąááŹáážááşáááşáááŻááşáážáŻááᯠáĄáŹáááśáááˇáş ááŽá¸ááźáŹá¸ááášáááŹá¸ááťáŹá¸áááş ááśáááąáŹááşá¸á
á˝áŹááźááˇáşá ááąáŹááşá¸á
á˝áŹáážááşáááşá¸áááşááŹá¸ááźááşá¸ááážáááŤá Prometheus ááŹá¸áážááşá¸ 2.3.2 áááş WAL ááᯠ10 á
áášáááˇáşáááŻááşá¸ áá
áşááşáááŻáˇ áááşááŻááşááźáŽá¸ á¤áá˝áąá¸ááťááşáážáŻááᯠáĄááŻáśá¸ááźáŻáá°áĄáŹá¸ ááźááşáááşáááşáážááşáááááŤá
ááťá áşááťá áşááťá áşááťá áş
Prometheus TSDB áááş LSM (Log Structured Merge) á áááŻá¸áááŻááşáá˛áˇáááŻáˇ ááŽáááŻááşá¸ááŻááşááŹá¸áááş- ááąáŤááşá¸ááŻáśá¸ááᯠáá áşááşáááŻáˇ áĄááŤáĄáŹá¸ááťáąáŹáşá á˝áŹ áááşááŻááşááŹá¸ááźáŽá¸ á áŻáśá ááşá¸ááąá¸ááźááşá¸áážáŻááťáŹá¸áĄáá˝ááşá¸ ááťáŹá¸ááźáŹá¸áá˝ááşá¸ááąáŹ áááąáŹááşááťáŹá¸ááᯠá áááşááşáááşááźááşá¸ááž áážáąáŹááşáážáŹá¸áááş ááąá¸áááşááąáŹáĄááŻáśá¸ááťáŹá¸á á˝áŹááᯠáĄáá°ááá˝ ááąáŤááşá¸á ááşááŹá¸áááşá á¤ááąááŹáá˝ááş áá áşáááşááŹááŻááşááąáŹááşááźáŽá¸ááąáŹááş á ááşá¸áááşáážáŻá áá áşáá˝ááş ááťá˝ááşáŻááşáááááźáŻááááąáŹ ááŻááşáá˝ááşáĄááąáĄáá˝ááşááᯠá¤ááąááŹáá˝ááş áá˝áąáˇááźááşáááŻááşáááşá

á
áááŻá¸áááŻááşáĄááźáąáŹááşá¸ áááŻáááŻááąáˇááŹáááŻááŤáá ááážááááŻááşááąáŹááááşáááŻáˇáážáŻááťáŹá¸áážááˇáş áááşá¸áááŻáˇáááş áááşáááŻáˇááźá
áşáááşááŹááŻáśááťáŹá¸ááŤáážáááąáŹ meta.json áááŻááşááᯠá
á
áşááąá¸áááŻááşááŤáááşá
{
"ulid": "01CPZDPD1D9R019JS87TPV5MPE",
"minTime": 1536472800000,
"maxTime": 1536494400000,
"stats": {
"numSamples": 8292128378,
"numSeries": 1673622,
"numChunks": 69528220
},
"compaction": {
"level": 2,
"sources": [
"01CPYRY9MS465Y5ETM3SXFBV7X",
"01CPYZT0WRJ1JB1P0DP80VY5KJ",
"01CPZ6NR4Q3PDP3E57HEH760XS"
],
"parents": [
{
"ulid": "01CPYRY9MS465Y5ETM3SXFBV7X",
"minTime": 1536472800000,
"maxTime": 1536480000000
},
{
"ulid": "01CPYZT0WRJ1JB1P0DP80VY5KJ",
"minTime": 1536480000000,
"maxTime": 1536487200000
},
{
"ulid": "01CPZ6NR4Q3PDP3E57HEH760XS",
"minTime": 1536487200000,
"maxTime": 1536494400000
}
]
},
"version": 1
}Prometheus áážá áĄáááŻááşá¸ááťáŹá¸ááᯠáŚá¸ááąáŤááşá¸áááąáŹááşáĄáŹá¸ áá áşááşáááŻáˇ áá˝á˛ááŻááşáááˇáşáĄááťáááşáážááˇáş ááťáááşáááşááŹá¸áááşá á¤áĄááťáááşáá˝ááş áááŻáááŻáˇááąáŹ ááŻááşááąáŹááşááťááşááťáŹá¸á á˝áŹááᯠááąáŹááşáá˝ááşáááŻááşááŤáááşá

áĄáá˝ááşáĄá
áŹá¸ áááˇáşáááşááťááşááťáŹá¸áááş áááşáááˇáşáááşá¸áážááˇáşááťáž áááˇáşáááşáááŹá¸áᲠááŻááşááąáŹááşááąá
ááşáĄáá˝ááşá¸ ááźáŽá¸ááŹá¸ááąáŹ disk I/O spikes ááťáŹá¸ááźá
áşááąáŤáşá
áąáááŻááşáááşááᯠáá˝áąáˇáážáááááşá

CPU load ááťáŹá¸ááźááşá¸á

ááŻááşááŤáááşá áááşá¸áááş á
áá
áşááĄááźááşáážáŻááşá¸áĄááąáŤáş áĄááąáŹáşááąá¸áĄááťááşáááąáŹááąáŹááşáááˇáşáĄááťááŻá¸áááşááąáŹááşáážáŻáážáááźáŽá¸ LSM áááŻáážáąáŹááşáážáŻáĄáá˝ááş ááźáŽá¸ááŹá¸ááąáŹá
áááşááąáŤáşáážáŻáá
áşáááşáááşá¸ ááźá
áşáááş- ááźááˇáşááŹá¸ááąáŹááąáŹááşá¸áááŻáážáŻáážáŻááşá¸ááŹá¸ááťáŹá¸ááᯠááźááˇáşááŹá¸á
á˝áŹáááźá
áşá
áąáᲠááźááˇáşááŹá¸ááąáŹááąáŹááşá¸áááŻáážáŻáážáŻááşá¸ááŹá¸ááťáŹá¸ááᯠááśáˇáááŻá¸áááş ááąá¸áááşááąáŹáááŹáááᯠáááşáááŻáˇááŻááşááąáŹááşááááşáááşá¸á
compaction ááŻááşáááşá¸á
ááşáá˝ááş memory áááŻáĄááŻáśá¸ááźáŻááźááşá¸áááşáááşá¸ á
áááşáááşá
áŹá¸á
ááŹááąáŹááşá¸áážáááşá

á
áŻá
ááşá¸ááźáŽá¸ááąáŹááşá áážááşááŹááşáĄááťáŹá¸á
áŻáááş Cached ááž Free áááŻáˇ ááźáąáŹááşá¸áá˛áá˝áŹá¸áááşááᯠááťá˝ááşáŻááşáááŻáˇááźááşáááŻááşáááş- áááŻáááŻáááşáážáŹ áĄáááŻá¸áááşááąáŹáĄááťááşáĄáááşááťáŹá¸ááᯠáááŻááąááŹááž áááşáážáŹá¸áááŻááşááźáŽááźá
áşáááşá ááŽáážáŹááŻáśá¸áááş ááááťááşáááşá fadvice() áááŻáˇáááŻááş áĄááźáŹá¸ááąáŹ ááąá¸áááşáĄáąáŹááşááźáŻááŻááşáááşá¸áĄááťááŻáˇá áááŻáˇáááŻááş ááźáááşáá˝á˛ááąá
ááşáĄáá˝ááşá¸ áááşáážáşááťáŹá¸ááᯠááťááşááŽá¸ááśááááˇáş ááŻáśá¸ááťáŹá¸ááž áá˝ááşááźáąáŹááşáá˝áŹá¸ááźááşá¸ááźáąáŹááˇáşááŹá¸á
áážáŻáśá¸ááááˇáşááźáŽá¸ááąáŹááş ááźááşáááşáá°ááąáŹááşááąá¸
ááťáážáŻáśá¸áážáŻáá˝áąáááą ááźááşáááşááá°áááŻáˇ áĄááťáááşáá°áááźáŽá¸ áĄááźáąáŹááşá¸ááźááťááşááąáŹááşá¸ááŤá áá áşá áášáááˇáşááťážááş á áśááťáááşáá áşáááşá¸á áĄáááşá áŽá¸ááźáąáŹááşá¸áá áşááŻáĄáá˝ááşá SSD drive ááᯠáááˇáşáá˝ááşá¸á ááşá¸á áŹá¸ááźáŽá¸ ááźááşáááşááá°ááźááşá¸ááᯠááŻááşááąáŹááşááąá ááşáá˝ááş ááťá˝ááşáŻááşáááş 25 áááá áşáááˇáş á áąáŹááˇáşáá˛áˇááááşá
level=info ts=2018-09-13T13:38:14.09650965Z caller=main.go:222 msg="Starting Prometheus" version="(version=2.3.2, branch=v2.3.2, revision=71af5e29e815795e9dd14742ee7725682fa14b7b)"
level=info ts=2018-09-13T13:38:14.096599879Z caller=main.go:223 build_context="(go=go1.10.1, user=Jenkins, date=20180725-08:58:13OURCE)"
level=info ts=2018-09-13T13:38:14.096624109Z caller=main.go:224 host_details="(Linux 4.15.0-32-generic #35-Ubuntu SMP Fri Aug 10 17:58:07 UTC 2018 x86_64 1bee9e9b78cf (none))"
level=info ts=2018-09-13T13:38:14.096641396Z caller=main.go:225 fd_limits="(soft=1048576, hard=1048576)"
level=info ts=2018-09-13T13:38:14.097715256Z caller=web.go:415 component=web msg="Start listening for connections" address=:9090
level=info ts=2018-09-13T13:38:14.097400393Z caller=main.go:533 msg="Starting TSDB ..."
level=info ts=2018-09-13T13:38:14.098718401Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536530400000 maxt=1536537600000 ulid=01CQ0FW3ME8Q5W2AN5F9CB7R0R
level=info ts=2018-09-13T13:38:14.100315658Z caller=web.go:467 component=web msg="router prefix" prefix=/prometheus
level=info ts=2018-09-13T13:38:14.101793727Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536732000000 maxt=1536753600000 ulid=01CQ78486TNX5QZTBF049PQHSM
level=info ts=2018-09-13T13:38:14.102267346Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536537600000 maxt=1536732000000 ulid=01CQ78DE7HSQK0C0F5AZ46YGF0
level=info ts=2018-09-13T13:38:14.102660295Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536775200000 maxt=1536782400000 ulid=01CQ7SAT4RM21Y0PT5GNSS146Q
level=info ts=2018-09-13T13:38:14.103075885Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536753600000 maxt=1536775200000 ulid=01CQ7SV8WJ3C2W5S3RTAHC2GHB
level=error ts=2018-09-13T14:05:18.208469169Z caller=wal.go:275 component=tsdb msg="WAL corruption detected; truncating" err="unexpected CRC32 checksum d0465484, want 0" file=/opt/prometheus/data/.prom2-data/wal/007357 pos=15504363
level=info ts=2018-09-13T14:05:19.471459777Z caller=main.go:543 msg="TSDB started"
level=info ts=2018-09-13T14:05:19.471604598Z caller=main.go:603 msg="Loading configuration file" filename=/etc/prometheus.yml
level=info ts=2018-09-13T14:05:19.499156711Z caller=main.go:629 msg="Completed loading of configuration file" filename=/etc/prometheus.yml
level=info ts=2018-09-13T14:05:19.499228186Z caller=main.go:502 msg="Server is ready to receive web requests."ááźááşáááşááá°ááźááşá¸ááŻááşáááşá¸á ááşá áĄáááááźáżááŹáážáŹ áážááşááŹááşááŻáśá¸á á˝á˛áážáŻ ááźááˇáşááŹá¸áááşá ááŻáśáážááşáĄááźáąáĄááąáá˝ááş ááŹááŹáááş áá°ááŽááąáŹáážááşááŹááşáááŹáááźááˇáş áááşááźáááşá á˝áŹáĄááŻááşááŻááşáááŻááşááąáŹáşáááşá¸ áááşá¸áááş OOM ááźáąáŹááˇáş ááťááşá áŽá¸áá˝áŹá¸ááŤá ááźááşáááşááąáŹááşá¸áá˝ááşááŹáááşáááŻááşááąá ááťá˝ááşáŻááşáá˝áąáˇááąáŹ áá áşááŻáááşá¸ááąáŹ ááźáąáážááşá¸ááťááşáážáŹ ááąááŹá áŻááąáŹááşá¸ááźááşá¸ááᯠááááşáááşá ááŹááŹááᯠáá°ááąáŹááşááŹáááşá áááşá¸ááᯠááźááşáááşááá°ááźáŽá¸ á áŻá ááşá¸áážáŻááᯠáá˝ááˇáşááŹá¸ááźááşá¸ááźááˇáş ááźááşáááşá áááşáááşááźá áşáááşá
áá°áá˝áąá¸ááŹáááşá
áá˝áąá¸áá°ááťáááşáĄáá˝ááşá¸ áááááŹá¸ááááˇáş ááąáŹááşáááşáĄááźáŻáĄáá°áá áşááŻáážáŹ á áááşááźáŽá¸ááąáŹááş á á˝ááşá¸ááąáŹááşáááşááááˇáşááźááşá¸áážááˇáş áĄáááşá¸áĄááźá áşááŻáśá¸á á˝á˛áážáŻ ááźááˇáşááŹá¸ááźááşá¸ááźáŹá¸ áááşáá˝ááşáážáŻááźá áşáááşá ááŤááąáááˇáş á áááşáážáŻáĄáŹá¸ááŻáśá¸áááŻááşááąáááˇáş CPU áá˛áˇ Memory áĄááąáŤáşáážáŹ ááąá¸áááşáá˛áˇáááşááᯠáááááźáŻááááŤáááşá


áááşáááŻááŽáĄááŻáśá¸ááźáŻáážáŻáá˝ááş áá˝áŹáááťááşá Prometheus áááş á
áŻá
ááşá¸áážáŻáĄáŹá¸ááŻáśá¸ááᯠáĄá
áážá
á ááááşáážááşáááŻááşáᲠáĄááťááŻáˇááąáŹáĄááťááşáĄáááşááťáŹá¸ ááŻáśá¸áážáŻáśá¸áá˝áŹá¸ááźáąáŹááşá¸ ááąáŹáşááźáááşá
ááźááˇáşááŹá¸ááąáŹ CPU áážááˇáş Memory load áĄáá˝ááş áĄááźáąáŹááşá¸áááşá¸áĄáááĄááťááᯠááťá˝ááşáŻááşáááááŤá ááŤá ááźáááşáážáŻááşá¸ááźááˇáşáá˛áˇ head block áá˛áážáŹ time series áĄáá
áşáááşááŽá¸áážáŻááźáąáŹááˇáşáááŻáˇ ááťá˝ááşááąáŹáş ááśááááźá
áşááááŤáááşá
CPU load ááťáŹá¸ááŹáááşá
áĄáá˝ááşááźááˇáşááŹá¸ááąáŹ I/O load áááŻáááşááŽá¸ááąá¸áááˇáş compactions áĄááźááşá CPU load áá˝ááş áážá áşáááá áşáááŻááşá¸ ááźááşá¸áááşá á˝áŹ spikes ááťáŹá¸ááᯠáááááźáŻááááŤáááşá Input á áŽá¸áááşá¸áážáŻ ááźááˇáşááŹá¸ááźáŽá¸ Go á áĄáážááŻááşá áŻááąáŹááşá¸áážáŻááźáąáŹááˇáş ááźá áşááąáŤáşááŹááŻáśáááźáŽá¸ áĄáááşá¸ááŻáśá¸ core áĄááťááŻáˇááᯠáĄááźááˇáşáááˇáşááŹá¸ááąáŹáĄááŤáá˝ááş ááąáŤááşáá˝á˛áážáŻááťáŹá¸áááş áááŻáážááşáááşá


ááŽááŻááşáá˝áąá ááááşáĄááąá¸áááŤááŤáá°á¸á áááşá¸áááŻáˇááźá
áşááąáŤáşáááˇáşáĄá፠Prometheus á áĄáá˝ááşá¸áááşááąáŤááşáĄáážááşáážááˇáş áááşááá
áşááťáŹá¸áááş áááážááááŻááşááąáŹáˇáᲠáááşá¸áĄááťáááşááŹáááťáŹá¸áĄáá˝ááşá¸ ááąááŹáá˝áŹááážáŻááťáŹá¸ááᯠááźá
áşá
áąáááşá

Prometheus áááşáááŻáˇáá°áááş áá
áşá
áášáááˇáşááťáž ááááşáá˝áŹá¸áááşááᯠáááááźáŻáááááŻááşáááşá

áĄáážááŻááşá
áŻááąáŹááşá¸ááźááşá¸ (GC) áážááˇáş áááşáá˝ááşáážáŻááᯠááťá˝ááşáŻááşáááŻáˇ áááááźáŻáááááŻááşááŤáááşá

ááąáŹááşááťááş
Prometheus 2 áážá TSDB áááş áĄááťáááşá áŽá¸ááŽá¸ááąáŤááşá¸ áááşá¸ááąáŤááşá¸ááťáŹá¸á á˝áŹááᯠáááŻááşáá˝ááşááźáąáážááşá¸áááŻááşá á˝ááşá¸áážáááźáŽá¸ áá áşá áášáááˇáşááťážááş áážááşáááşá¸ááąáŹááşááąáŤááşá¸ááťáŹá¸á á˝áŹááᯠáá áşááťáááşáááşá¸áá˝ááş áĄáá˝ááşááąá¸áááşááąáŹ ááŹáˇááşáá˛ááᯠáĄááŻáśá¸ááźáŻááŹá¸áááşá CPU áážááˇáş disk I/O áĄááŻáśá¸ááťáážáŻáááş áĄáááşááźáŽá¸á ááŹááąáŹááşá¸áááşá ááťá˝ááşáŻááşáááá°ááŹáá˝ááş core áá áşááŻááťážááş 200 áááşááá áşáážáŻááşá¸áĄáá ááźááá˛áˇáááşá
ááťá˛áˇáá˝ááşáááş áĄá áŽáĄá ááşáá˝á˛áááşá ááŻáśááąáŹááşááąáŹ áážááşááŹááşáááŹáááᯠáážááşááŹá¸ááŹá¸áááş áááŻáĄááşááźáŽá¸ áááşá¸áááş áážááşáááşááąáŹ áážááşááŹááşááźá áşáááŤáááşá ááťá˝ááşáŻááşááąáˇááŹáá˝áąáˇáážááá˛áˇááąáŹ áĄááŻáśá¸ááźáŻáá˛áˇááąáŹ áááşáááŻááŽáááŹááááş áĄáááşá áŽá¸ááźáąáŹááşá¸á áá áşá áášáááˇáşááťážááş áážááşáááşá¸ 5 ááťážááş 100 GB áááˇáşáážáááźáŽá¸ áááşáááşáážáŻá áá áş áááşáážáşáážááˇáşáĄáá° ááááşá¸áááŻááşááŹá¸ááąáŹ áááşáááŻáᎠ000 GB áááˇáşááᯠááąá¸ááąáŹááşáááşá
ááŻááşááŤáááşá CPU áá˛áˇ disk I/O spikes áá˝áąááᯠááááşá¸áážááááŻáˇ ááŻááşááąáŹááşá
ááŹáá˝áą áĄááťáŹá¸ááźáŽá¸áážáááąááąá¸ááźáŽá¸ áááşáá˝ááşáá˛áˇ TSDB Prometheus 2 ááᯠInnoDB, TokuDB, RocksDB, WiredTiger áá˛áˇ áážááŻááşá¸áážááşááźááˇáşáá˛áˇáĄá፠ááŤá áĄáśáˇááźá
ááŹááąáŹáˇ áááŻááşááŤáá°á¸á áá°áááŻáˇáá˛áˇááááśáááŹáĄá
áąáŹáááŻááşá¸áážáŹ ááźáżááŹááťáŹá¸á
source: www.habr.com
