โ€œํฌ๋ง์€ ๋‚˜์œ ์ „๋žต์ด๋‹ค.โ€ SRE ์ง‘์ค‘ ๋ชจ์Šคํฌ๋ฐ”, 3์›” 5-XNUMX์ผ

์šฐ๋ฆฌ๋Š” ๋Ÿฌ์‹œ์•„ ์ตœ์ดˆ์˜ SRE ์‹ค๋ฌด ๊ณผ์ •์„ ๋ฐœํ‘œํ•ฉ๋‹ˆ๋‹ค. ์Šฌ๋Ÿผ SRE.

์ง‘์ค‘ ๊ณผ์ • ๋™์•ˆ ์šฐ๋ฆฌ๋Š” ์˜ํ™” ํ‹ฐ์ผ“ ํŒ๋งค๋ฅผ ์œ„ํ•œ ํ†ตํ•ฉ ์›น์‚ฌ์ดํŠธ๋ฅผ ๊ตฌ์ถ•, ์ค‘๋‹จ, ์ˆ˜๋ฆฌ ๋ฐ ๊ฐœ์„ ํ•˜๋Š” ๋ฐ XNUMX์ผ์„ ์†Œ๋น„ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค.

โ€œํฌ๋ง์€ ๋‚˜์œ ์ „๋žต์ด๋‹ค.โ€ SRE ์ง‘์ค‘ ๋ชจ์Šคํฌ๋ฐ”, 3์›” 5-XNUMX์ผ

์šฐ๋ฆฌ๊ฐ€ ํ‹ฐ์ผ“ ํ†ตํ•ฉ ์„œ๋น„์Šค๋ฅผ ์„ ํƒํ•œ ์ด์œ ๋Š” ๋ฐฉ๋ฌธ์ž์˜ ์œ ์ž…๊ณผ DDoS ๊ณต๊ฒฉ, ์ค‘์š”ํ•œ ๋งˆ์ดํฌ๋กœ์„œ๋น„์Šค(์Šน์ธ, ์˜ˆ์•ฝ, ๊ฒฐ์ œ ์ฒ˜๋ฆฌ) ์ค‘ ํ•˜๋‚˜์˜ ์‹คํŒจ, ์—ฌ๋Ÿฌ ์˜ํ™”๊ด€ ์ค‘ ํ•˜๋‚˜์˜ ์ด์šฉ ๋ถˆ๊ฐ€(์ •๋ณด ๊ตํ™˜ ๋“ฑ) ๋“ฑ ๋งŽ์€ ์‹คํŒจ ์‹œ๋‚˜๋ฆฌ์˜ค๊ฐ€ ์žˆ๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ์ด์šฉ ๊ฐ€๋Šฅํ•œ ์ขŒ์„ ๋ฐ ์˜ˆ์•ฝ) ๋ชฉ๋ก ์•„๋ž˜๋กœ ๋” ๋‚ด๋ ค๊ฐ€์„ธ์š”.

์šฐ๋ฆฌ๋Š” ์—”์ง€๋‹ˆ์–ด๋ง ๋ถ„์•ผ์—์„œ ์ถ”๊ฐ€๋กœ ๊ฐœ๋ฐœํ•  ์• ๊ทธ๋ฆฌ๊ฒŒ์ดํ„ฐ ์‚ฌ์ดํŠธ์— ๋Œ€ํ•œ ์‹ ๋ขฐ์„ฑ ๊ฐœ๋…์„ ๊ณต์‹ํ™”ํ•˜๊ณ , SRE ๊ด€์ ์—์„œ ์„ค๊ณ„๋ฅผ ๋ถ„์„ํ•˜๊ณ , ์ง€ํ‘œ๋ฅผ ์„ ํƒํ•˜๊ณ , ๋ชจ๋‹ˆํ„ฐ๋ง์„ ์„ค์ •ํ•˜๊ณ , ์ƒˆ๋กœ์šด ์‚ฌ๊ณ ๋ฅผ ์ œ๊ฑฐํ•˜๊ณ , ์‚ฌ๊ณ ์— ๋Œ€ํ•œ ํŒ€ ์ž‘์—…์„ ์œ„ํ•œ ๊ต์œก์„ ์ˆ˜ํ–‰ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ „ํˆฌ์— ๊ฐ€๊นŒ์šด ์ƒํ™ฉ์—์„œ๋Š” ๋ณด๊ณ ๋ฅผ ์กฐ์งํ•˜์‹ญ์‹œ์˜ค.

์ด ํ”„๋กœ๊ทธ๋žจ์€ Booking.com๊ณผ Google์˜ ์ง์›์ด ์šด์˜ํ•ฉ๋‹ˆ๋‹ค.
์ด๋ฒˆ์—๋Š” ์›๊ฒฉ ์ฐธ์—ฌ๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. ์ด ๊ณผ์ •์€ ๊ฐœ์ธ ์ƒํ˜ธ ์ž‘์šฉ๊ณผ ํŒ€์›Œํฌ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๊ตฌ์„ฑ๋ฉ๋‹ˆ๋‹ค.

์ปท ์•„๋ž˜์˜ ์„ธ๋ถ€์ •๋ณด

์Šคํ”ผ์ปค

์ด๋ฐ˜ ํฌ๋ฃจ๊ธ€๋กœํ”„
Booking.com ์ˆ˜์„ ๊ฐœ๋ฐœ์ž(๋„ค๋œ๋ž€๋“œ)
2013๋…„ Booking.com์— ํ•ฉ๋ฅ˜ํ•œ ์ดํ›„ ๋ถ„์‚ฐ ๋ฉ”์‹œ์ง€ ์ „๋‹ฌ ๋ฐ ์ฒ˜๋ฆฌ, ๋น…๋ฐ์ดํ„ฐ ๋ฐ ์›น์Šคํƒ, ๊ฒ€์ƒ‰ ๋“ฑ ์ธํ”„๋ผ ํ”„๋กœ์ ํŠธ๋ฅผ ์ง„ํ–‰ํ•ด ์™”์Šต๋‹ˆ๋‹ค.
ํ˜„์žฌ ๋‚ด๋ถ€ ํด๋ผ์šฐ๋“œ ๋ฐ ์„œ๋น„์Šค ๋ฉ”์‹œ ๊ตฌ์ถ• ๋ฌธ์ œ๋ฅผ ์ž‘์—… ์ค‘์ž…๋‹ˆ๋‹ค.

๋ฒค ํƒ€์ผ๋Ÿฌ
Booking.com(๋ฏธ๊ตญ) ์ˆ˜์„ ๊ฐœ๋ฐœ์ž
Booking.com ํ”Œ๋žซํผ ๋‚ด๋ถ€ ๊ฐœ๋ฐœ์— ์ฐธ์—ฌํ–ˆ์Šต๋‹ˆ๋‹ค.
์„œ๋น„์Šค ๋ฉ”์‹œ/์„œ๋น„์Šค ๊ฒ€์ƒ‰, ๋ฐฐ์น˜ ์ž‘์—… ์˜ˆ์•ฝ, ์‚ฌ๊ณ  ๋Œ€์‘ ๋ฐ ์‚ฌํ›„ ํ”„๋กœ์„ธ์Šค๋ฅผ ์ „๋ฌธ์œผ๋กœ ํ•ฉ๋‹ˆ๋‹ค.
๋Ÿฌ์‹œ์•„์–ด๋กœ ๋งํ•˜๊ณ  ๊ฐ€๋ฅด์นฉ๋‹ˆ๋‹ค.

์˜ˆ๋ธŒ๊ฒŒ๋‹ˆ ๋ฐ”๋ผ๋ฐ”
Google(์ƒŒํ”„๋ž€์‹œ์Šค์ฝ”)์˜ ์ผ๋ฐ˜ ๊ฐœ๋ฐœ์ž์ž…๋‹ˆ๋‹ค.
๊ณ ๋ถ€ํ•˜ ์›น ํ”„๋กœ์ ํŠธ๋ถ€ํ„ฐ ์ปดํ“จํ„ฐ ๋น„์ „ ๋ฐ ๋กœ๋ด‡๊ณตํ•™ ์—ฐ๊ตฌ๊นŒ์ง€ ๊ฒฝํ—˜ํ•ด ๋ณด์„ธ์š”.
2011๋…„๋ถ€ํ„ฐ ๊ทธ๋Š” Google์—์„œ ๋ถ„์‚ฐ ์‹œ์Šคํ…œ์˜ ์ƒ์„ฑ ๋ฐ ์šด์˜์— ์ฐธ์—ฌํ•ด ์™”์œผ๋ฉฐ ํ”„๋กœ์ ํŠธ์˜ ์ „์ฒด ์ˆ˜๋ช… ์ฃผ๊ธฐ(๊ฐœ๋…ํ™”, ๋””์ž์ธ ๋ฐ ์•„ํ‚คํ…์ฒ˜, ์ถœ์‹œ, ์ ‘๊ธฐ ๋ฐ ๋ชจ๋“  ์ค‘๊ฐ„ ๋‹จ๊ณ„)์— ์ฐธ์—ฌํ–ˆ์Šต๋‹ˆ๋‹ค.

์—๋‘์•„๋ฅด๋“œ ๋ฉ”๋“œ๋ฒ ๋ฐํ”„
Tungsten Labs(๋…์ผ) CTO
StackStorm์—์„œ ์—”์ง€๋‹ˆ์–ด๋กœ ์ผํ•˜๋ฉด์„œ ํ”Œ๋žซํผ์˜ ChatOps ๊ธฐ๋Šฅ์„ ๋‹ด๋‹นํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์„ผํ„ฐ ์ž๋™ํ™”๋ฅผ ์œ„ํ•œ ChatOps๋ฅผ ๊ฐœ๋ฐœํ•˜๊ณ  ๊ตฌํ˜„ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋Ÿฌ์‹œ์•„ ๋ฐ ๊ตญ์ œ ํšŒ์˜์˜ ์—ฐ์‚ฌ.

ํ”„๋กœ๊ทธ๋žจ

ํ”„๋กœ๊ทธ๋žจ์ด ํ™œ๋ฐœํžˆ ๊ฐœ๋ฐœ๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ง€๊ธˆ์€ ์ด๋ ‡์Šต๋‹ˆ๋‹ค. XNUMX์›”์—๋Š” ๊ฐœ์„ ๋˜๊ณ  ํ™•์žฅ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ฃผ์ œ #1: SRE์˜ ๊ธฐ๋ณธ ์›๋ฆฌ ๋ฐ ๋ฐฉ๋ฒ•

  • SRE๊ฐ€ ๋˜๋ ค๋ฉด ๋ฌด์—‡์ด ํ•„์š”ํ•ฉ๋‹ˆ๊นŒ?
  • DevOps์™€ SRE
  • ๊ฐœ๋ฐœ์ž๊ฐ€ SRE๋ฅผ ์ค‘์š”ํ•˜๊ฒŒ ์ƒ๊ฐํ•˜๊ณ  ํ”„๋กœ์ ํŠธ์— ์ฐธ์—ฌํ•˜์ง€ ์•Š์„ ๋•Œ ๋งค์šฐ ์Šฌํผํ•˜๋Š” ์ด์œ 
  • SLI, SLO ๋ฐ SLA
  • ์˜ค๋ฅ˜ ์˜ˆ์‚ฐ๊ณผ SRE์—์„œ์˜ ์—ญํ• 

์ฃผ์ œ #2: ๋ถ„์‚ฐ ์‹œ์Šคํ…œ ์„ค๊ณ„

  • ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ์•„ํ‚คํ…์ฒ˜ ๋ฐ ๊ธฐ๋Šฅ
  • ๋น„์ถ”์ƒ์ ์ธ ๋Œ€ํ˜• ์‹œ์Šคํ…œ ์„ค๊ณ„
  • ์ž‘๋™์„ฑ/์‹คํŒจ์— ๋Œ€๋น„ํ•œ ์„ค๊ณ„
  • gRPC ๋˜๋Š” REST
  • ๋ฒ„์ „ ๊ด€๋ฆฌ ๋ฐ ์ด์ „ ๋ฒ„์ „๊ณผ์˜ ํ˜ธํ™˜์„ฑ

์ฃผ์ œ #3: SRE ํ”„๋กœ์ ํŠธ๊ฐ€ ์Šน์ธ๋˜๋Š” ๋ฐฉ๋ฒ•

  • SRE์˜ ๋ชจ๋ฒ” ์‚ฌ๋ก€
  • ํ”„๋กœ์ ํŠธ ์Šน์ธ ์ฒดํฌ๋ฆฌ์ŠคํŠธ
  • ๋กœ๊น…, ์ธก์ •ํ•ญ๋ชฉ, ์ถ”์ 
  • CI/CD๋ฅผ ์šฐ๋ฆฌ ์†์œผ๋กœ ๊ฐ€์ ธ๊ฐ€์„ธ์š”

์ฃผ์ œ 4: ๋ถ„์‚ฐ ์‹œ์Šคํ…œ์˜ ์„ค๊ณ„ ๋ฐ ์ถœ์‹œ

  • ๋ฆฌ๋ฒ„์Šค ์—”์ง€๋‹ˆ์–ด๋ง - ์‹œ์Šคํ…œ์€ ์–ด๋–ป๊ฒŒ ์ž‘๋™ํ•˜๋‚˜์š”?
  • ์šฐ๋ฆฌ๋Š” SLI์™€ SLO์— ๋™์˜ํ•ฉ๋‹ˆ๋‹ค.
  • ์šฉ๋Ÿ‰ ๊ณ„ํš ์—ฐ์Šต
  • ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ๋Œ€ํ•œ ํŠธ๋ž˜ํ”ฝ์„ ์‹œ์ž‘ํ•˜๋ฉด ์‚ฌ์šฉ์ž๋Š” ์ด๋ฅผ "์‚ฌ์šฉ"ํ•˜๊ธฐ ์‹œ์ž‘ํ•ฉ๋‹ˆ๋‹ค.
  • Prometheus, Grafana, Elastic ์ถœ์‹œ

์ฃผ์ œ #5: ๋ชจ๋‹ˆํ„ฐ๋ง, ๊ด€์ฐฐ ๊ฐ€๋Šฅ์„ฑ ๋ฐ ๊ฒฝ๊ณ 

  • ๋ชจ๋‹ˆํ„ฐ๋ง ๋Œ€ ๊ด€์ฐฐ ๊ฐ€๋Šฅ์„ฑ
  • Prometheus๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ชจ๋‹ˆํ„ฐ๋ง ๋ฐ ์•Œ๋ฆผ ์„ค์ •
  • SLI ๋ฐ SLO์˜ ์‹ค์ œ ๋ชจ๋‹ˆํ„ฐ๋ง
  • ์ฆ์ƒ ๋Œ€. ์›์ธ
  • ๋ธ”๋ž™๋ฐ•์Šค vs. ํ™”์ดํŠธ๋ฐ•์Šค ๋ชจ๋‹ˆํ„ฐ๋ง
  • ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๋ฐ ์„œ๋ฒ„ ๊ฐ€์šฉ์„ฑ์˜ ๋ถ„์‚ฐ ๋ชจ๋‹ˆํ„ฐ๋ง
  • 4๊ฐœ์˜ ๊ณจ๋“  ์‹ ํ˜ธ(์ด์ƒ ํƒ์ง€)

์ฃผ์ œ 6: ์‹œ์Šคํ…œ ์‹ ๋ขฐ์„ฑ ํ…Œ์ŠคํŠธ ์‹ค์Šต

  • ์••๋ฐ•๊ฐ ์†์—์„œ ์ผํ•˜๊ธฐ
  • ์‹คํŒจ ์ฃผ์ž…
  • ์นด์˜ค์Šค ๋ชฝํ‚ค

์ฃผ์ œ #7: ์‚ฌ๊ณ  ๋Œ€์‘ ์—ฐ์Šต

  • ์ŠคํŠธ๋ ˆ์Šค ๊ด€๋ฆฌ ์•Œ๊ณ ๋ฆฌ์ฆ˜
  • ์‚ฌ๊ฑด ์ฐธ๊ฐ€์ž ๊ฐ„์˜ ์ƒํ˜ธ ์ž‘์šฉ
  • ํฌ์ŠคํŠธ๋ชจ๋ฅดํ…œ
  • ์ง€์‹ ๊ณต์œ 
  • ๋ฌธํ™”๋ฅผ ํ˜•์„ฑํ•˜๋‹ค
  • ๊ฒฐํ•จ ๋ชจ๋‹ˆํ„ฐ๋ง
  • ๋ฌด์ฑ…์ž„ํ•œ ๋ณด๊ณ  ์‹ค์‹œ

์ฃผ์ œ #8: ๋ถ€ํ•˜ ๊ด€๋ฆฌ ๊ด€ํ–‰

  • ๋ถ€ํ•˜ ๋ถ„์‚ฐ
  • ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๋‚ด๊ฒฐํ•จ์„ฑ: ์žฌ์‹œ๋„, ํƒ€์ž„์•„์›ƒ, ์‹คํŒจ ์ฃผ์ž…, ํšŒ๋กœ ์ฐจ๋‹จ๊ธฐ
  • DDoS(๋ถ€ํ•˜ ์ƒ์„ฑ) + ์—ฐ์‡„ ์žฅ์• 

์ฃผ์ œ #9: ์‚ฌ๊ณ  ๋Œ€์‘

  • ๋ฐ ๋ธŒ๋ฆฌํ•‘
  • ๋Œ€๊ธฐ์‹ค ์‹ค์Šต
  • ๋‹ค์–‘ํ•œ ์œ ํ˜•์˜ ์‚ฌ๊ณ (ํ…Œ์ŠคํŠธ, ๊ตฌ์„ฑ ๋ณ€๊ฒฝ, ํ•˜๋“œ์›จ์–ด ์˜ค๋ฅ˜)
  • ์‚ฌ๊ณ  ๊ด€๋ฆฌ ํ”„๋กœํ† ์ฝœ

์ฃผ์ œ #10: ์ง„๋‹จ ๋ฐ ๋ฌธ์ œ ํ•ด๊ฒฐ

  • ๋ฒŒ์ฑ„ ๋ฐ˜์ถœ
  • ๋””๋ฒ„๊น…
  • ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ๋Œ€ํ•œ ๋ถ„์„ ๋ฐ ๋””๋ฒ„๊น…์„ ์—ฐ์Šตํ•˜์„ธ์š”.

์ฃผ์ œ #11: ์‹œ์Šคํ…œ ์‹ ๋ขฐ์„ฑ ํ…Œ์ŠคํŠธ

  • ์ŠคํŠธ๋ ˆ์Šค ํ…Œ์ŠคํŠธ
  • ๊ตฌ์„ฑ ํ…Œ์ŠคํŠธ
  • ์„ฑ๋Šฅ ์‹œํ—˜
  • ์นด๋‚˜๋ฆฌ์•„ ๋ฆด๋ฆฌ์Šค

์ฃผ์ œ 12: ๋…๋ฆฝ์ ์ธ ์ž‘์—… ๋ฐ ๊ฒ€ํ† 

์ฐธ๊ฐ€์ž๋ฅผ ์œ„ํ•œ ๊ถŒ์žฅ ์‚ฌํ•ญ ๋ฐ ์š”๊ตฌ ์‚ฌํ•ญ

SRE๋Š” ํŒ€ ๋…ธ๋ ฅ์ž…๋‹ˆ๋‹ค. ํŒ€ ๋‹จ์œ„๋กœ ๊ฐ•์ขŒ๋ฅผ ์ˆ˜๊ฐ•ํ•˜๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค. ์ด๊ฒƒ์ด ๋ฐ”๋กœ ์šฐ๋ฆฌ๊ฐ€ ์ค€๋น„๋œ ํŒ€์—๊ฒŒ ํฐ ํ• ์ธ์„ ์ œ๊ณตํ•˜๋Š” ์ด์œ ์ž…๋‹ˆ๋‹ค.

์ฝ”์Šค ๊ฐ€๊ฒฉ์€ 60์ธ๋‹น 000โ‚ฝ์ž…๋‹ˆ๋‹ค.
ํšŒ์‚ฌ๊ฐ€ 5๋ช… ์ด์ƒ์˜ ๊ทธ๋ฃน์„ ๋ณด๋‚ด๋Š” ๊ฒฝ์šฐ - 40 โ‚ฝ.

์ด ๊ณผ์ •์€ Kubernetes๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๊ตฌ์ถ•๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ํ†ต๊ณผํ•˜๋ ค๋ฉด Kubernetes์— ๋Œ€ํ•œ ๊ธฐ๋ณธ ์ˆ˜์ค€์„ ์•Œ์•„์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ์™€ ํ•จ๊ป˜ ์ผํ•˜์ง€ ์•Š๋Š”๋‹ค๋ฉด Slurm Basic(ะพะฝะปะฐะนะฝ ๋˜๋Š” ์ง‘์ค‘ 18์›” 20~XNUMX์ผ).
๋˜ํ•œ Linux์— ๋Šฅ์ˆ™ํ•ด์•ผ ํ•˜๋ฉฐ Gitlab๊ณผ Prometheus์— ๋Œ€ํ•ด์„œ๋„ ์•Œ์•„์•ผ ํ•ฉ๋‹ˆ๋‹ค.

๋“ฑ๋ก

์˜ˆ๋ฅผ ๋“ค์–ด CEO, CTO ๋ฐ ๊ฐœ๋ฐœ์ž ํŒ€์ด ๊ณผ์ •์— ์ฐธ์—ฌํ•˜๊ณ  ๊ด€๋ฆฌ ๋ถ„์•ผ๋ฅผ ๊ณ ๋ คํ•˜์—ฌ ์ธํ„ด์‹ญ์„ ์ง„ํ–‰ํ•˜๋Š” ๋“ฑ ์ฐธ์—ฌ์— ๋Œ€ํ•œ ๋ณต์žกํ•œ ์•„์ด๋””์–ด๊ฐ€ ์žˆ๋Š” ๊ฒฝ์šฐ ๊ฐœ์ธ ๋ฉ”์‹œ์ง€๋กœ ์ €์—๊ฒŒ ํŽธ์ง€๋ฅผ ๋ณด๋‚ด์ฃผ์„ธ์š”.

์ถœ์ฒ˜ : habr.com

์ฝ”๋ฉ˜ํŠธ๋ฅผ ์ถ”๊ฐ€