Grafana ์˜คํ”ˆ ์ฝ”๋“œ OnCall ์‚ฌ๊ณ  ๋Œ€์‘ ์‹œ์Šคํ…œ

Grafana ๋ฐ์ดํ„ฐ ์‹œ๊ฐํ™” ํ”Œ๋žซํผ๊ณผ Prometheus ๋ชจ๋‹ˆํ„ฐ๋ง ์‹œ์Šคํ…œ์„ ๊ฐœ๋ฐœํ•˜๋Š” Grafana Labs๋Š” ํŒ€ ๊ฐ„ ํ˜‘์—…์„ ํ†ตํ•ด ์‚ฌ๊ณ ๋ฅผ ํ•ด๊ฒฐํ•˜๊ณ  ๋ถ„์„ํ•  ์ˆ˜ ์žˆ๋„๋ก ์„ค๊ณ„๋œ OnCall ์‚ฌ๊ณ  ๋Œ€์‘ ์‹œ์Šคํ…œ์˜ ์˜คํ”ˆ ์†Œ์Šค๋ฅผ ๋ฐœํ‘œํ–ˆ์Šต๋‹ˆ๋‹ค. OnCall์€ ์ด์ „์— ๋…์  ์ œํ’ˆ์œผ๋กœ ์ œ๊ณต๋˜์—ˆ์œผ๋ฉฐ Amixr Inc ์ธ์ˆ˜์˜ ์ผํ™˜์œผ๋กœ Grafana์— ์ธ์ˆ˜๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ž‘๋…„. ํ”„๋กœ์ ํŠธ ์ฝ”๋“œ๋Š” Python์œผ๋กœ ์ž‘์„ฑ๋˜์—ˆ์œผ๋ฉฐ AGPLv3 ๋ผ์ด์„ ์Šค์— ๋”ฐ๋ผ ๊ณต๊ฐœ๋ฉ๋‹ˆ๋‹ค.

์ด ์‹œ์Šคํ…œ์„ ์‚ฌ์šฉํ•˜๋ฉด ๋‹ค์–‘ํ•œ ๋ชจ๋‹ˆํ„ฐ๋ง ์‹œ์Šคํ…œ์—์„œ ์ด์ƒ ํ˜„์ƒ ๋ฐ ์ด๋ฒคํŠธ์— ๋Œ€ํ•œ ์ •๋ณด๋ฅผ ์ˆ˜์ง‘ํ•œ ํ›„ ์ž๋™์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ๊ทธ๋ฃนํ™”ํ•˜๊ณ  ๋‹ด๋‹น ๊ทธ๋ฃน์— ์•Œ๋ฆผ์„ ๋ณด๋‚ด๊ณ  ๋ฌธ์ œ ํ•ด๊ฒฐ ์ƒํƒœ๋ฅผ ์ถ”์ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ชจ๋‹ˆํ„ฐ๋ง ์‹œ์Šคํ…œ Grafana, Prometheus, AlertManager ๋ฐ Zabbix์™€์˜ ํ†ตํ•ฉ์ด ์ง€์›๋ฉ๋‹ˆ๋‹ค. ๋ชจ๋‹ˆํ„ฐ๋ง ์‹œ์Šคํ…œ์—์„œ ์ˆ˜์‹ ๋œ ์ •๋ณด์—์„œ ์‚ฌ์†Œํ•˜๊ณ  ์ค‘์š”ํ•˜์ง€ ์•Š์€ ์ด๋ฒคํŠธ๋Š” ํ•„ํ„ฐ๋ง๋˜๊ณ , ์ค‘๋ณต๋œ ์ด๋ฒคํŠธ๋Š” ์ง‘๊ณ„๋˜๋ฉฐ, ์‚ฌ๋žŒ์˜ ๊ฐœ์ž… ์—†์ด ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋Š” ๋ฌธ์ œ๋Š” ์ œ๊ฑฐ๋ฉ๋‹ˆ๋‹ค.

๊ณผ๋„ํ•œ ์ •๋ณด ๋…ธ์ด์ฆˆ๊ฐ€ ์ œ๊ฑฐ๋œ ์ค‘์š”ํ•œ ์ด๋ฒคํŠธ๋Š” ์•Œ๋ฆผ ์ „์†ก ํ•˜์œ„ ์‹œ์Šคํ…œ์œผ๋กœ ์ „์†ก๋ฉ๋‹ˆ๋‹ค. ์ด ํ•˜์œ„ ์‹œ์Šคํ…œ์€ ์‹๋ณ„๋œ ๋ฌธ์ œ ๋ฒ”์ฃผ๋ฅผ ํ•ด๊ฒฐํ•  ์ฑ…์ž„์ด ์žˆ๋Š” ์ง์›์„ ์‹๋ณ„ํ•˜๊ณ  ์ž‘์—… ์ผ์ •๊ณผ ๊ณ ์šฉ ์ •๋„๋ฅผ ๊ณ ๋ คํ•˜์—ฌ ์•Œ๋ฆผ์„ ๋ณด๋ƒ…๋‹ˆ๋‹ค(์บ˜๋ฆฐ๋” ํ”Œ๋ž˜๋„ˆ์˜ ๋ฐ์ดํ„ฐ๊ฐ€ ํ‰๊ฐ€๋จ). ์—ฌ๋Ÿฌ ์ง์› ๊ฐ„์— ์‚ฌ๊ฑด์„ ์ˆœํ™˜์‹œํ‚ค๊ณ  ํŠนํžˆ ์ค‘์š”ํ•˜๊ฑฐ๋‚˜ ํ•ด๊ฒฐ๋˜์ง€ ์•Š์€ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฅธ ํŒ€ ๊ตฌ์„ฑ์›์ด๋‚˜ ๋” ๋†’์€ ์ˆ˜์ค€์˜ ์ง์›์—๊ฒŒ ์—์Šค์ปฌ๋ ˆ์ด์…˜ํ•˜๋Š” ๊ฒƒ์ด ์ง€์›๋ฉ๋‹ˆ๋‹ค.

Grafana ์˜คํ”ˆ ์ฝ”๋“œ OnCall ์‚ฌ๊ณ  ๋Œ€์‘ ์‹œ์Šคํ…œ

์‚ฌ๊ฑด์˜ ์‹ฌ๊ฐ๋„์— ๋”ฐ๋ผ ์ „ํ™” ํ†ตํ™”, SMS, ์ด๋ฉ”์ผ, ์Šค์ผ€์ค„๋Ÿฌ ์บ˜๋ฆฐ๋”์—์„œ ์ด๋ฒคํŠธ ์ƒ์„ฑ, Slack ๋ฐ Telegram ์ธ์Šคํ„ดํŠธ ๋ฉ”์‹ ์ €๋ฅผ ํ†ตํ•ด ์•Œ๋ฆผ์„ ๋ณด๋‚ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋™์‹œ์— ์‚ฌ๊ณ  ํ•ด๊ฒฐ๊ณผ ๊ด€๋ จ๋œ ๋ฌธ์ œ๋ฅผ ๋…ผ์˜ํ•˜๊ธฐ ์œ„ํ•ด Slack์—์„œ ์ฑ„๋„์„ ์ž๋™์œผ๋กœ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๊ฐœ๋ณ„ ์ง์›๊ณผ ์ „์ฒด ํŒ€์ด ์ž๋™์œผ๋กœ ์—ฐ๊ฒฐ๋ฉ๋‹ˆ๋‹ค.

์‹œ์Šคํ…œ์€ ์œ ์—ฐํ•œ ํ™•์žฅ ๋ฐ ์‚ฌ์šฉ์ž ์ •์˜ ์˜ต์…˜์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค(์˜ˆ๋ฅผ ๋“ค์–ด, ์„ ํ˜ธ๋„์— ๋งž๊ฒŒ ์ด๋ฒคํŠธ ๊ทธ๋ฃนํ™” ๋ฐ ๋ผ์šฐํŒ…์„ ๊ตฌ์„ฑํ•˜๊ณ  ์•Œ๋ฆผ ์ „๋‹ฌ์„ ์œ„ํ•œ ๊ทœ์น™ ๋ฐ ์ฑ„๋„์„ ์ •์˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค). ์™ธ๋ถ€ ์‹œ์Šคํ…œ๊ณผ์˜ ํ†ตํ•ฉ์„ ์œ„ํ•ด API ๋ฐ Terraform ์ง€์›์ด ์ œ๊ณต๋ฉ๋‹ˆ๋‹ค. ์ž‘๋™์€ ์›น ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ํ†ตํ•ด ์ œ์–ด๋ฉ๋‹ˆ๋‹ค.

Grafana ์˜คํ”ˆ ์ฝ”๋“œ OnCall ์‚ฌ๊ณ  ๋Œ€์‘ ์‹œ์Šคํ…œ


์ถœ์ฒ˜ : opennet.ru

์ฝ”๋ฉ˜ํŠธ๋ฅผ ์ถ”๊ฐ€