Slurm์ ๋ณด์ ํ Southbridge๋ ๋ฌ์์์์ ์ ์ผํ๊ฒ
์ฌ๋ผ์ ํ ์ด์ด์์. ์ด ๊ธฐ๊ฐ ๋์ 800๋ช ์ด Kubernetes ์ง์ค ๊ณผ์ ์ ์ด์ํ์ต๋๋ค. ํ๊ณ ๋ก ์ฐ๊ธฐ๋ฅผ ์์ํ ์๊ฐ์ ๋๋ค.
9์ 11~XNUMX์ผ ์ํธํํ ๋ฅด๋ถ๋ฅดํฌ์ Selectel ์ปจํผ๋ฐ์ค ํ์์
์ฌ๋ผ , ์ฐ์ ๋ค์ฏ ๋ฒ์งธ์ ๋๋ค. Kubernetes์ ๋ํ ์๊ฐ๊ฐ ์์ ์์ ์ ๋๋ค. ๊ฐ ์ฐธ๊ฐ์๋ Selectel ํด๋ผ์ฐ๋์ ํด๋ฌ์คํฐ๋ฅผ ์์ฑํ๊ณ ๊ฑฐ๊ธฐ์ ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ฐฐํฌํ๊ฒ ๋ฉ๋๋ค.
์ปท ์๋์๋ ์์ด๋์ด๋ถํฐ ํ์ฌ๊น์ง Slurm์ ์ญ์ฌ๊ฐ ๋ด๊ฒจ ์์ต๋๋ค.
Slurm-4 ๊ฐ๋ด ๋น์ Pavel Selivanov
๊ทธ๋ฆฌ๊ณ ์ฟ ๋ฒ๋คํฐ์ค๊ฐ ๊ฐํํ๋ค
2014๋ ์๋ Kubernetes์ ์ฒซ ๋ฒ์งธ ๋ฒ์ ์ด ์ถ์๋์์ต๋๋ค. 2018๋ ๋ฌ์์์์๋ ๊ณผ๋ ๊ด๊ณ ๊ฐ ์ผ์ด๋ฌ์ต๋๋ค. Yandex์์๋ Kubernetes์ ๋ํ ์์ฒญ ์๊ฐ ์ 1000๊ฑด์์ 5000๊ฑด์ผ๋ก ์ฆ๊ฐํ์ผ๋ฉฐ ์ด ๋จ์ด๋ ํ์์์ ์ ์ ๋ ์์ฃผ ๋ค๋ ธ์ต๋๋ค. ๊ธฐ์ ์์๋ ์์ง Kubernetes๋ฅผ ๋ฏฟ์ง ์์์ง๋ง ์ด๋ฏธ ์ ๊ทน์ ์ผ๋ก ์ดํด๋ณด๊ณ ์์์ต๋๋ค.
2018๋ ์ ์ฐ๋ฆฌ๋ Kubernetes๊ฐ ์ถ์ง๋ ฅ์ ์ป๊ณ ์๋ ๊ฒ์ ํ์ธํ์ผ๋ฉฐ ํ์ฌ ๋ด ์์์ ์ง์๋ง์ด ์ด๋ฅผ ์์ ํ ์์ ํ์ต๋๋ค. ๋ ์ฌ๋์ด ์๋ ๊ฒ๋ณด๋ค๋ ํจ์ฌ ๋ซ์ง๋ง ์ฐ๋ฆฌ์๊ฒ ํ์ํ ๊ฒ๋ณด๋ค๋ ํจ์ฌ ์ ์ต๋๋ค. ์์ฅ์๋ ๊ด์ฐฎ์ ์ฝ์ค๊ฐ ์์ต๋๋ค. ์ฌ๋์ ๋ณด๋ผ ๊ณณ์ด ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ฐ๋ฆฌ๋ ๋ถ๋ช ํ ๊ฒฐ์ ์ ๋ด๋ ธ์ต๋๋ค. ๋ง์คํฐ๋ค์ด ๋ค๋ฅธ ์ฌ๋๋ค์ ๊ฐ๋ฅด์น ์ ์๋๋ก ๋ด๋ถ ๊ฐ์ข๋ฅผ ์งํํ๋ค๋ ๊ฒ์ ๋๋ค.
์ด๊ณ ๋ฅด ์ฌ๋ ์ค์ฝ์ด
์ฌ์ฐ์ค๋ธ๋ฆฌ์ง CEO
ํ์ง๋ง ๊ทธ๋ฅ ๊ฐ์ ์ฌ๋๋ค์ ๊ฐ๋ฅด์น ์๋ ์์ต๋๋ค. Southbridge์์๋ ๋ชจ๋ ์ฌ๋์ด ์๊ฒฉ์ผ๋ก ์์ ํ๋ฏ๋ก ์ฌ๋ฌด์ค์ ์ฌ๋๋ค์ ๋ชจ์ ์ ์์ผ๋ฉฐ ์ฒผ๋ด๋น์คํฌ, ํ๋ฐ๋กญ์คํฌ, ์นผ๋ฆฌ๋๊ทธ๋ผ๋์์ ์ด๋ํด์ผ ํฉ๋๋ค. Kubernetes๋ ๋ณต์กํ ์ฃผ์ ์ ๋๋ค. ๋ช ์๊ฐ ์์ ๋ง์คํฐํ ์ ์์ผ๋ฉฐ ๋ชจ๋ ์ฌ๋์ด ๋ชจ๋ ๊ฒ์ ์ผ์ฃผ์ผ ๋์ ๋ฏธ๋ฃฐ ์๋ ์์ต๋๋ค.
๊ทธ๋ฆฌ๊ณ ์ง์์ ์ ๋ฌํ๋ ๊ฒ์ ๊ทธ๋ฆฌ ์ฝ์ง ์์ต๋๋ค. ์น์บ ์์ ์์ ์์ ์ด ์๋ ๋ชจ๋ ๊ฒ์ ๋๋ฃ์ ๋จธ๋ฆฌ์ ์ ๋ ฅํ ์๋ ์์ต๋๋ค. ์๋ฃ๋ฅผ ๊ตฌ์ฑํ๊ณ , ๊ฐ์๋ฅผ ๊ณํํ๊ณ , ํ๋ ์ ํ ์ด์ ์ ์ค๋นํ๊ณ , ์ค์ฉ์ ์ธ ๊ณผ์ ๋ฅผ ์๊ฐํด ๋ด์ผ ํฉ๋๋ค.
ํ๋ จ์ ์งํํ๋ ค๋ฉด ํ๋ก๊ทธ๋จ์ ์ค๋นํ๊ณ ํธํ ์ ์๋ํ๊ณ ๋ชจ๋ ์ฌ๋์ ์ผ์์์ ๋ฒ์ด๋ ํ์์ค์ ์ํ ๋ค์ ๋น ๋ฅธ ๋ฐฉ๋ฒ์ ์ฌ์ฉํ์ฌ ์ง์์ ๋จธ๋ฆฌ์ ๋ค์ด๋ก๋ํด์ผ ํฉ๋๋ค.
๊ทธ๋ฆฌ๊ณ ์ฐ๋ฆฌ๊ฐ ํธํ ๊ณผ ํ์์ค์ ์๋ํ๋ค๋ฉด ์์ญ ๊ณณ์ ํ์ง ์๊ฒ ์ต๋๊น? ํฐ์ผ ์ด ๋์ ์ข ๋ฒ์ด๋ณด์.
๊ทธ๋ฆฌํ์ฌ Slurm์ ์์ด๋์ด๊ฐ ํ์ํ์ต๋๋ค.
"Slurm 1": ์ฒ์์ ์ธ์ ๋ ์ํ๋ค
์ฒซ ๋ฒ์งธ Slurm์ ๊ฐ๋ ์ ๋์์์ด ๋ฐ๋์์ต๋๋ค. ํค๋กํ(Kirov) ๊ทผ์ฒ ํ๋ก๊ทธ๋๋จธ ๋น๋ฆฌ์ง(Programmers' Village)์์ ๊ฐ์ตํ ์์ ์ ๋๋ค. ์๋์, ์ฐ๋ฆฌ๋ ๋ชจ์คํฌ๋ฐ ๊ทผ์ฒ ํธํ ๋ก ์ด์ฌํ ์์ ์ด์์. ์ฐ๋ฆฌ๋ ์ผ์ฃผ์ผ ๋์ ํ๋ก๊ทธ๋จ์ ๋ง๋ญ๋๋ค. ์๋์, 3์ผ ๋์์. ์ฐ๋ฆฌ๋ 30๋ช ์ ์ฐธ๊ฐ์๋ฅผ ์์ํ๊ณ ์์ต๋๋ค. ์๋์, 50. ์ฐ๋ฆฌ๋ ๋ ธํธ๋ถ์ผ๋ก ์ฐ์ตํด์. ์๋์, ํด๋ผ์ฐ๋ ํด๋ฌ์คํฐ์์์.
์ ๋ ์ด๋ฏธ ์ฌ๋๋ค์๊ฒ Kubernetes ์ฌ์ฉ๋ฒ์ ๊ฐ๋ฅด์น ๊ฒฝํ์ด ์์๊ธฐ ๋๋ฌธ์ ์ฒซ ๋ฒ์งธ ํ๋ก๊ทธ๋จ์ ์ ๊ฐ ์ฃผ๋ก ๋๋ฃ ๊ด๋ฆฌ์๋ค์๊ฒ ๊ฐ๋ฅด์ณค๋ ๋ด์ฉ์ผ๋ก ๊ตฌ์ฑ๋์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๊ทธ๊ฒ์ ์ผ์ฃผ์ผ ๋์ ์ค๊ณ๋์์ต๋๋ค. ๊ทธ๋ฌ๋ค๊ฐ ์๋ฌด๋ ์ฐ๋ฆฌ ํ๋ จ์ ์ํด ์์ ์ ์ถ์์ ์ผ์ฃผ์ผ์ ๋นผ์๊ณ ์ถ์ดํ์ง ์๋๋ค๋ ๊ฒ์ด ๋ฐํ์ก๊ณ ์ฐ๋ฆฌ๋ ํจ๊ป ํ๋ก๊ทธ๋จ์ 3์ผ๋ก ์ค์์ต๋๋ค. ์ฐ๋ฆฌ๋ ๋ชจ๋ ๋ฌผ์ ์ ๊ฑฐํ๊ณ ๊ฐ๋ฅํ ํ ์ด๋ก ์ ์ค์ ์์ ์ผ๋ก ๋์ฒดํ์ผ๋ฉฐ ๋์์ ๊ด๋ฆฌ์๋ฟ๋ง ์๋๋ผ k8s์์ ์ ํ๋ฆฌ์ผ์ด์ ์ ์คํํ๋ ๊ฐ๋ฐ์์๊ฒ๋ ์ ์ฉํ๋๋ก ํ๋ก๊ทธ๋จ์ ์ฌ๊ตฌ์ฑํ์ต๋๋ค.
ํ๋ฒจ ์ ๋ฆฌ๋ฐ๋ ธํ
์คํผ์ปค ์ฌ๋ผ
Southbridge ์ง์๋ค์ด ์ฒ์์ผ๋ก ์ง์ ๋ง๋ฌ์ต๋๋ค.
Southbridge์์ 20๋ช ์ด Slurm์์ ๊ณต๋ถํ๊ธฐ ์ํด ์์ต๋๋ค. ์ฐ๋ฆฌ๋ ์ค์ง์ ์ผ๋ก ๊ด๊ณ ์์ด 30๋ฃจ๋ธ์ 25์ฅ์ ํฐ์ผ์ ๋ ํ์๊ณ (์์๋ฅผ ๊ณ ๋ คํ๋ฉด ๋งค์ฐ ์ ๋ ดํจ), ๋ ๋ค๋ฅธ 000๋ช ์ด ๋๊ธฐ์ค์ ๋ฑ๋กํ์ต๋๋ค. ๊ทธ๋ฌํ ๊ฐ์ข์ ๋ํ ์์๊ฐ ์์ฒญ๋๋ค๋ ๊ฒ์ด ๋ถ๋ช ํด์ก์ต๋๋ค.
2๋ 2018์ XNUMX์ผ, ์ฐธ๊ฐ์๋ค์ด ํธํ ์ ๋์ฐฉํ๊ณ , ์กฐ์ง์ ์ธ ๋ฌธ์ ์ ๊ณต์ธ๊ฐ ์ฐ๋ฆฌ๋ฅผ ๊ณ ํต์ค๋ฝ๊ฒ ๋ฎ์นฉ๋๋ค.
Slurm์ด ์งํ๋ ํ์์ค์ ์์ง ์์ฑ๋์ง ์์์ต๋๋ค. ํ ์ด๋ธ์ด ์์ต๋๋ค. ์ด์ผ์ ๋ฐฐ์ก์ด ์ง์ฐ๋์๊ฑฐ๋ ํธํ ์์ ๊ตฌ๋งคํ์ง ์์ ์์ ์ด์ด์ ์ฐ๋ฆฌ๋ฅผ ์์์ต๋๋ค. ๋ฐฉ์ XNUMX/XNUMX์ ์ฌ๋์ด ์ด ์ ์์ต๋๋ค. ํธํ ๊ฒฝ์์ง์ ๊ด๊ณ ๋ฅผ ์ฐฉ์ ํ ๊ฒ์ด ๋ถ๊ณผ ์ด์ ์ธ ๊ฒ์ฒ๋ผ ๋ณด์ด๊ณ , ๋ฆฌ์ ์ ์ ์๋ ์๋ ๋ค์ ๊ฐ์ ๊ด๊ณ ์ฒ๋ผ ๊ณ ๋ฌธ์ ๋นํฉ๋๋ค.
20์๊ฐ ํ์ ์ด ํ์์ Slurm์ด ์์๋ฉ๋๋ค
์ฒซ ๋ฒ์งธ Slurm ์ดํ ๋ฒ ํธ๋จ ์ฆํ๊ตฐ์ด ๋ฐ์ํ์ต๋๋ค. ๋๋ ์ฐ๋ฆฌ๊ฐ ์๋ํ ๋ฐฉ์ ์ง์ ํ์ธํ๊ณ , ํ ์ด๋ธ ์๋ฅผ ์ธ๊ณ , ํ์ง ์์์ ์๊ณ , ์์์ ๋ง๋ณด๊ณ , ๋ฐฉ์ ๋ณด์ฌ๋ฌ๋ผ๊ณ ์์ฒญํฉ๋๋ค.
์ํค ์ค์ฝ๋น
์ปค๋จธ์ ๋๋ ํฐ ์ฌ์ฐ์ค๋ธ๋ฆฟ์ง
์ฐ๋ฆฌ๋ ๊ฑฐ์ ์๋ก์ ๋ฌด๋ฆ ์์ ์์ ์๋ ๊ฒ ๊ฐ์์
๊ทธ๋ฌ๋ ์ฒซ๋ ๋ชจ๋ ๊ธด๊ธ ๋ฌธ์ ๊ฐ ํด๊ฒฐ๋์์ต๋๋ค. ํธํ ์ ์ฒด์์ ํ ์ด๋ธ์ ๋ชจ์ ๋ฆฌ์ ์ ๊ณผ ์๋น์ "๊ฐํ"ํ์ผ๋ฉฐ ๋์์ ๊ฐ์ฅ ์ํฅ์๋ฐ์ ์๋์ Serpukhov ๊ทผ์ฒ์ "Korston"์ ์์ฉ๋์์ต๋๋ค. ๊ทธ๋ค์ ํ์๋น๋ฅผ ์ง๋ถํ๊ณ ๋ฌผ ๊ณต๊ธ๊ณผ ์์์ ๋ง๋ จํ์ต๋๋ค.
๋์งธ ๋ ์ํฉ์ด ์ง์ ๋์ ์๋๋ค๊ป ์ฌ๊ณผ๋ฅผ ํด์ผ๊ฒ ๋ค๊ณ ํ๋จํ์ต๋๋ค. ์ฐ๋ฆฌ๋ ๋ฉํธ๋ก์ ๊ฐ์ ๊ธฐ๋ค์ค 100๋ฆฌํฐ๋ฅผ ์์ต๋๋ค. ํ๊ณผ ๋ฐฉ์์ ํธ์ํจ์ ์ ๊ณตํ ์๋ ์๋๋ผ๋ ์ต์ํ ์ฌ๋๋ค์ ์ ๋ ์ ๋ฐ๊ฒ ํด์ค ๊ฒ์ ๋๋ค.
์ด๊ณ ๋ฅด ์ฌ๋ ์ค์ฝ์ด
๊ด๋ฆฌ์๋ ์ง์ฅ์์ ํ๋ ํ๋ฃจ๋ฅผ ๋ณด๋ธ ํ ๋ฌด์์ ํฉ๋๊น?
๋ชจ๋ ๋ฌธ์ ์๋ ๋ถ๊ตฌํ๊ณ ์ฌ๋๋ค์ ์์ ๋ค์ด ์ํ๋ ๋ชฉ์ , ์ฆ ์ฝํ ์ธ ๋ฅผ ์ข์ํ์ต๋๋ค. ๋ฐ๋ผ์ Slurm ์ ์งธ ๋ ์๋ ๊ฐ์์๋ ๋ฐ๋ณตํ๊ธฐ๋ก ๊ฒฐ์ ํ์ต๋๋ค. ๊ทธ ๊ณผ์ ์์ ์ฐ๋ฆฌ๋ ๊ด์ฌ ์ฃผ์ ์ ๊ดํด ์ฐธ๊ฐ์๋ค์ ์ธํฐ๋ทฐํ๊ณ ๊ณ ๊ธ ํ๋ก๊ทธ๋จ์ ์ํ ๊ธฐ์ด๋ฅผ ์์งํ์ต๋๋ค. ์ฐ๋ฆฌ๋ ๊ทธ๊ฒ์ "๋ฉ๊ฐ์ฌ๋ผ(MegaSlurm)"์ด๋ผ๊ณ ๋ถ๋ ์ต๋๋ค.
Slurm-2: ์ค์์ ๋ํ ์์
Slurm์๋ ์ ์ ํ ํธํ ์ด ํ์ํฉ๋๋ค. ์ฐ๋ฆฌ๋ ๋ณ XNUMX๊ฐ์ง๋ฆฌ "Tsargrad"๋ฅผ ์ ํํ์ต๋๋ค.
ํ์ด ์์ฉํ ์ ์๋ ๊ฒ๋ณด๋ค ์ง์์๊ฐ ๋ ๋ง๊ณ , ๋ชจ๋ ์ฌ๋์ด ์ถ์ฅ์ ๊ฐ ์ฌ์ ๊ฐ ์๋ ๊ฒ์ ์๋๋๋ค. ์ฐ๋ฆฌ๋ ์จ๋ผ์ธ ๋ฐฉ์ก, ์ ๋ณด ์ฑ๋์ ํตํ ์ปค๋ฎค๋์ผ์ด์ , ์๊ฒฉ ํ์๋ค์ ๋๊ธฐ ์ํ ์ง์ ๊ทธ๋ฃน ๋ฑ ์๊ฒฉ ์์ ์ ์กฐ์งํฉ๋๋ค.
ํ์์ด ํจ์ฌ ๋ ๋ง์ต๋๋ค. ์ฐ๋ฆฌ๋ ํด๋ฌ์คํฐ ์์ฑ, ์ก์ธ์ค ๋ฐฐํฌ, ์ฒญ์ค์ผ๋ก๋ถํฐ ์ง๋ฌธ ์์ง ๋ฑ์ ํ๋ก์ธ์ค๋ฅผ ์ฒด๊ณํํ๊ณ ์๋ํํฉ๋๋ค.
์ฐ๋ฆฌ๋ ๋ ์ด์ ์กฐ์ง์ ์ธ ๊ฒฐ์ ์ ์๋๋ฅด์ง ์๊ณ ์ด๋ฒคํธ๋ฅผ ์ํ ๊ธฐ์ ์ ๋ง๋ค์์ต๋๋ค.
์ฌ๊ธฐ์๋ ์ด๋ฏธ ๊ด์ฐฎ์ ํ์ด ์๊ณ ๋ชจ๋๋ฅผ์ํ ์ถฉ๋ถํ ํ
์ด๋ธ์ด ์์ต๋๋ค
์ด์ ๊ฐ๋ ์ ๋ฌธ์ ๊ฐ ๋๋ฌ๋ฉ๋๋ค.
์ฌ๋๋ค์ ์๊ณจ ํธํ ์ ๊ฐ๊ณ ์ถ์ดํ์ง ์์ต๋๋ค. ์ฐ๋ฆฌ๋ ๊ทธ๊ฒ์ด ๋ฉ์ง๋ค๊ณ ์๊ฐํ์ต๋๋ค. ์ผ์์์ ๋ฒ์ด๋ ์ผ๊ณผ ์ง์์ผ์ด ๋ฐ๋ผ์ก์ ์ ์๋ ๊ณณ์ผ๋ก ๊ฐ์ Kubernetes์ ์์ ํ ๋น ์ ธ๋๋ ๊ฒ์ ๋๋ค. ์ด๊ฒ์ ์ถ๊ฐ์ ์ธ ๋ถ๋ด์ด๋ผ๋ ๊ฒ์ด ๋ฐํ์ก์ต๋๋ค. ๊ฒ๋ค๊ฐ ํธํ ์ ํ์ฌ ์์ฐ์ ํ๊ฒฉ์ ์ค๋๋ค.
์ฌ๋ฌด ๋ถ์์์๋ ์จ๋ผ์ธ์ ๋ ์ ๋ ดํ ์ต์ ์ด ์๋๋ฐ ์ง์๋ค์๊ฒ ๊ฐ์์ค์์ ๊ณต๋ถํ๋๋ก ๋น์ฉ์ ์ง๋ถํ๊ณ ์ถ์ดํ์ง ์์ต๋๋ค. ๊ทธ๋ฌ๋ ์ฐ๋ฆฌ๋ ๋ฌ์์์ ๋ค๋ฅธ ๋๋ผ์ ๋จผ ๊ตฌ์์ ์ฌ๋ ์ฌ๋๋ค์ ์ํ ์ํ ์๋จ์ผ๋ก ์จ๋ผ์ธ์ ๊ตฌ์ํ์ผ๋ฉฐ Slurm์ XNUMX์ผ ๊ฐ์ ์น ์ธ๋ฏธ๋๋ก ๋ง๋ค ์๋๋ ์์์ต๋๋ค.
์ฒ์์๋ 40~15๋ช ์ ์์ํ์ง๋ง 20๋ช ์ด MegaSlurm์ ์์ ํนํ ๊ธฐ๋ปค์ต๋๋ค. ๊ทธ ์ค์๋ ์ฒซ ๋ฒ์งธ Slurm์ ์ฐธ๊ฐ์๋ ๋ง์ด ์์ต๋๋ค.
์ฒซ ๋ฒ์งธ ํ๋งค๋ ๋ง์ผํ ์ ๋๋ค. ๋ ๋ฒ์งธ ํ๋งค๋ ์ ํ์ ํ์ง์ ๋๋ค. ๋ ๋ฒ์งธ Slurm ์ดํ ์ฐ๋ฆฌ๋ ์ฐ๋ฆฌ์ ๋ชจ๋ ํ๋ก๊ทธ๋จ์ ๋ฑ๋กํ ์ฌ๋๋ค๊ณผ ์ฐ๋ฆฌ์๊ฒ ์ง์์ ๊ณ์ํด์ ํ๊ฒฌํ๋ ํ์ฌ๋ฅผ ๊ธฐ์ค์ผ๋ก ์ฐ๋ฆฌ์ ์ ๋ฌด๋ฅผ ์ธก์ ํ์ต๋๋ค. ์ฐ๋ฆฌ๋ ์ด๋ฏธ ๊ณต์์ ์ผ๋ก ํด๋ฝ ํ ์ธ์ ์ค์ํ์ต๋๋ค.
์ํค ์ค์ฝ๋น
Slurm-3: ์๋ , ํผํฐ!
์ฐ๋ฆฌ๋ ์ํธํํ ๋ฅด๋ถ๋ฅดํฌ์์ Slurm์ ๊ฐ์ตํฉ๋๋ค. ์ฐ๋ฆฌ๋ "์ค์๊ฐ" ์ฐธ์ฌ์ ์๊ฒฉ ์ฐธ์ฌ์ ๋ํด ๋์ผํ ๊ฐ๊ฒฉ์ ์ฑ ์ ํฉ๋๋ค.
๊ทธ๋ฆฌ๊ณ ์ฐ๋ฆฌ๋ ํ์ ํฌ๊ธฐ๋ฅผ ๊ทธ๋ฆฌ์ํฉ๋๋ค.
์ฐ๋ฆฌ๋ 50๋ช ์ ์์ฉํ ์ ์๋ ์๊ณ ๊น๋ํ ๋ฐฉ์ ์ ํํฉ๋๋ค. ์ง์์๊ฐ ์กฐ๊ธ์ฉ ๋ค์ด์ค๋๋ ๊ฐ์๊ธฐ 18์ ๋ง์ด ๋์ต๋๋ค. ๊ธฐ์ ๋ค์ XNUMX๋ ์ ์์ฐ์ ๋น ๋ฅด๊ฒ ํ์ฉํ๊ณ ๋ง ๊ทธ๋๋ก ์ผ์ฃผ์ผ ๋ง์ ๋ชจ๋ ์ฅ์๋ฅผ ๋งค์ ํ๊ณ ์์ต๋๋ค.
20์ ๋ด๋ด ์ฌ๋๋ค์ ๋ค์๊ณผ ๊ฐ์ด ์ผ์ต๋๋ค. "์ฐ๋ฆฌ๋ ์ํธํํ ๋ฅด๋ถ๋ฅดํฌ ์ถ์ ์ ๋๋ค. ๋ฐฉ๊ธ ์๊ฒ ๋์์ต๋๋ค. ์ฒด์ก๊ด์ ๊ฐ๊ณ ์ถ์ต๋๋ค. ์ฅ์๋ฅผ ์ฐพ์์ฃผ์ธ์." ๊ทธ๋ฆฌ๊ณ ์ฐ๋ฆฌ๋ XNUMX๊ฐ์ ์ฅ์๋ฅผ ๋ ์ถ๊ฐํ๊ณ ์์ต๋๋ค. ๊ณ์ฐ์ ๋ฐ๋ฅด๋ฉด ๋ชจ๋ ์ฌ๋์ด ๋ง์ ๊ฒ์ผ๋ก ๋ฐํ์ก์ง๋ง ํ ์ด๋ธ ๋ฐฐ์ด์ ์์ํ๋ฉด ๋งค์ฐ ๋น์ข์ ๊ฒ์ผ๋ก ๋ํ๋ฌ์ต๋๋ค.
์ธ ๋ฒ์งธ Slurm์์๋ ํ์ ํฌ๊ธฐ, ๋ ์ด์์ ๋ฐ ์ฅ๋น์ ๋ํ ์๊ตฌ ์ฌํญ์ด ๊ตฌ์ฒดํ๋ฉ๋๋ค.
๋ ๊ทธ๋ ๋ฏ์ด ๋ฌธ์ ์ ์๋ก์ด ์ธต์๊ฐ ๋๋ฌ๋ฌ์ต๋๋ค. ์ฐ๋ฆฌ ์คํผ์ปค๋ ๊ธฐ์ ์๋งํผ ๋ฉ์ง์ง๋ง ๊ต์ฌ๋งํผ์ ์๋๋๋ค. ์ข์ ํ๋ก๊ทธ๋จ์ ๋ง๋๋ ๊ฒ๋ง์ผ๋ก๋ ์ถฉ๋ถํ์ง ์๊ณ , ์ด๋ฅผ ์ฒญ์ค์๊ฒ ์ ๋ฌํด์ผ ํฉ๋๋ค.
์ธ ๋ฒ์งธ Slurm ์ดํ ํ๋ก์ ํธ๋ ๋ฐฉ๋ฒ๋ก ์ ์ง์์ ๋ฐ์ต๋๋ค.
๋ด ์ฌ๋์์ ๊ต์ก ๋ถ์ผ์์ ์ผํ๊ณ ์์ต๋๋ค. ๊ทธ๋ ๋ ๋ง์คํฐ ํด๋์ค, ์ธ๋ฏธ๋ ๋ฐ ์ง์ค ๊ณผ์ ์ ์กฐ์งํ๊ณ ์งํํฉ๋๋ค. ์ฌ๊ธฐ์๋ ํ๊ต ๊ต์ฌ์ ์ฐ์ฌ ํ๋ จ์ด ํฌํจ๋ฉ๋๋ค. ๋๋ ๊ทธ๋ ์๊ฒ ๋์์ ์์ฒญํ์ต๋๋ค.
์ํค ์ค์ฝ๋น
์ ๋ ๊ฐ์ฌ๋ค๊ณผ ํจ๊ป ์ผํ๋ฉด์ ๊ต์ก ๊ณผ์ ์ด ์ด๋ค ๊ฒ์ธ์ง ์ค๋ช ํ๊ณ , ๋ํํ ๊ฐ์๊ฐ ๋ฌด์์ธ์ง, ํ์๋ค์ ์ฃผ์๋ฅผ ๋ ์ ์๋ ๋ฐฉ๋ฒ์ ์๋ ค์ฃผ์์ต๋๋ค. ์๋ฅผ ๋ค์ด, ์ค๋ซ๋์ ์ฌ์ง ์๊ณ ์ด์ผ๊ธฐํ๋ค๋ฉด ์ฌ๋๋ค์ด ๊ทธ ์ค ์ ๋ฐ์ ๋์น๊ฒ ๋ ๊ฒ์ ๋๋ค. ์ฐ๋ฆฌ๋ ํ๋ ์ ํ ์ด์ ๊ณผ ์ธํฐ๋ํฐ๋ธ ํ๋์ ์งํํ์ต๋๋ค. ์ฐ๋ฆฌ๋ ์์ด๋ค์ ์ํ ๋์ค ์ฐ์ค ์์ ์ ์กฐ์งํ์ต๋๋ค.
๋์์ ์ฐ๋ฆฌ๋ ์ฌ์ฐ์ค๋ธ๋ฆฌ์ง์ ๊ฒฝํ๊ณผ ๊ดํ์ ์ฝ๋งค์ด์ง ์๊ธฐ ์ํด ์ธ๋ถ ์ฐ์ฌ๋ฅผ ์ด์ฒญํ๊ธฐ๋ก ๊ฒฐ์ ํ์ต๋๋ค.
์ฌ๊ฐ ์ค์ฝ๋น๋
๊ฐ๋ฆฌ๊ต ์ฌ๋ผ
์ค๋นํ ๋, ์ฐ์ ๋ ์์ ์ด ์ด๋ป๊ฒ ์ด ์ง์์ ์ป๊ฒ ๋์๋์ง ์ดํดํ๋ ค๊ณ ๋ ธ๋ ฅํฉ๋๋ค. ์ ํ์ํ๊ณ ์ด๋ค ์ด๋ ค์์ ๊ฒช์์ต๋๊น? ๊ทธ๋ฐ ๋ค์ ์ด ๋ชจ๋ ๊ฒ์ ์ฒด๊ณํํ๊ณ ๋ฌธ์๋ฅผ ์ฐธ์กฐํ์ฌ ์ด์ ์ ์ฃผ์๋ฅผ ๊ธฐ์ธ์ด์ง ์์๋ ๋ช ๊ฐ์ง ์ฌํญ์ ์ค์ค๋ก ๋ช ํํ ํ๋ ค๊ณ ๋ ธ๋ ฅํฉ๋๋ค. ์ฌ๋๋ค์ด ๋ฃ๊ธฐ๋ง ํ๋ ๊ฒ์ด ์๋๋ผ ์์ผ๋ก ์ง์ ํด ๋ณผ ์ ์๋๋ก ์ค์ฒ์ ์ธ ์ผ์ ๊ผญ ์๊ฐํฉ๋๋ค. ๊ทธ๋ฐ ๋ค์ ๊ฐ์ฅ ๋ณต์กํ ์ฌํญ์ ์ฌ๋ผ์ด๋์ ์๊ฐํํด์ผ ํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ค์ ์ฌ๋๋ค๊ณผ ๋ฆฌํ์ค์ ์งํํ์ธ์. ์ผ๋ฐ์ ์ผ๋ก ์ฐ๋ฆฌ๋ ๋๋ฃ ์ค ํ ๋ช ์๊ฒ ์๋ฃ๋ฅผ ๋ฃ๊ณ ์ค์ ์์ ์ ์ํํ๋ฉฐ ๋ชจ๋ ๊ฒ์ด ์ผ๋ง๋ ๋ช ํํ๊ณ ์ด๋ ต๊ณ ์ ์ฉํ์ง ํํํ๋๋ก ์์ฒญํฉ๋๋ค.
ํ๋ฒจ ์ ๋ฆฌ๋ฐ๋ ธํ
Slurm 4: ๋ฒ๋ฐ๊ธฐ๊ฐ ๋๋น๋ก ๋ณํ์ต๋๋ค
๋ค ๋ฒ์งธ Slurm์ ๋ํ๊ตฌ์์ต๋๋ค. ํ์ ์ฐธ์ํ 120๋ช ์ ์ฐธ๊ฐ์, ๋ฐํ์, ๋ฐฉ๋ฒ๋ก ์, 20๋ช ์ ์ง์ ๊ทธ๋ฃน ๋ฑ ๋ชจ๋ ๊ฒ์ด ๋ค๋ฌ์ด์ง๊ณ ๋ฆฌํ์ค๋์์ต๋๋ค.
... ๋ชจ์คํฌ๋ฐ์ Slurm-4๋ฅผ ๊ธฐ์ตํฉ๋๋ค. ์ ์ง ์ฒ์์ผ๋ก ์์ ์ ์ด๋ป๊ฒ ์งํํ ๊ฒ์ธ์ง, ๋ณธ๋ฌธ์ ๋ชจ๋ ๊ฒ์ ๋งํ ๊ฒ์ธ์ง, ์๋ฌด๊ฒ๋ ์์ ๊ฒ์ธ์ง๊ฐ ์๋๋ผ ์ฒญ์ทจ์๋ค์ด ๋๋ฅผ ์ผ๋ง๋ ์ ์ดํดํ๋์ง์ ๋ํด ์๊ฐํ๊ธฐ ์์ํ์ต๋๋ค. ๋ด ์๊ฐ์ ์ ๋ฌํ๊ณ ๊ธฐ์ ์ด ์ด๋ป๊ฒ ์๋ํ๋์ง ์ค๋ช ํ ์ ์์๋ ํ. ์ด๊ฒ์ ๋ด ์์์ ์ผ์ด๋ ๋งค์ฐ ํฅ๋ฏธ๋ก์ด ๋ณํ์ ๋๋ค. ์ ๋ ์ค๋น ๊ณผ์ ๊ณผ ๊ณผ์ ์์ฒด๋ฅผ ๋ค๋ฅด๊ฒ ๋ณด๊ธฐ ์์ํ์ต๋๋ค.
ํ๋ฒจ ์ ๋ฆฌ๋ฐ๋ ธํ
์ฐ๋ฆฌ๋ ์ฒซ ๋ฒ์งธ Slurm์์ ์ผ๋ง๋ ๋ฉ๋ฆฌ ์๋์ง...
์ฝ๊ฐ์ ๋ถ๋๋ฌ์๋ ์์์ต๋๋ค. "์ฐ๋ฆฌ๋ ๊ด๋ฆฌ์์ด์ ๋คํธ์ํฌ ์ฌ์ฉ์์ ๋๋ค. ์ด์ ์ํผ Wi-Fi๋ฅผ ํ์ฐํ๊ฒ ์ต๋๋ค."๋ผ๋ ๋ง๋ก ์ก์ธ์ค ํฌ์ธํธ๋ฅผ ์ค์นํ ๋ค์ ๋๊ตฐ๊ฐ Mikrotik์ผ๋ก ๊ฐ๋ ๋คํธ์ํฌ ์ ์ ๋ฐ๋ก ๊ฑด๋๋ฆฌ๊ณ Wi-Fi๋ฅผ ํตํด ์ฐ๊ฒฐํ์ต๋๋ค. ์ธ์ ์ง์ ์ด ์๊ฒจ ๊ณ ๋ฆฌ๊ฐ ํ์ฑ๋์์ต๋๋ค. ๊ทธ ๊ฒฐ๊ณผ ์๋ฐ๊ธฐ ๋์ '์ฐ๋ฆฌ์ ๋ฉ์ง Wi-Fi'๋ ๊ฑฐ์ ์๋ํ์ง ์์์ต๋๋ค.
๋ด ์ธ์ ์ ์ฒด์ ์ด์ผ๊ธฐ: ์๋ํ๊ธฐ ์์ํ์๋ง์ ์น์ดํ fakup์ด ๋ฐ์ํฉ๋๋ค. ๋ ์์ํ ์ฅ๋น๊ฐ ์๋ค๊ณ ํด์ ์๋ํ๋ ์๋ฃจ์ ์ ๋ณ๊ฒฝํ ํ์๋ ์์์ต๋๋ค. <โฆ>
๊ทธ๋ฐ๋ฐ ์ฌ๋๋ค์ด ๊ธฐ๋ณธ ์ฝ์ค๋ฅผ ์๊ฐํ๋ฉด์ ๊ณ ๊ธ ์ฝ์ค ํฐ์ผ๋ ๊ตฌ๋งคํด์ค์ ๊ธฐ๋ปค์ด์. ์ฐ๋ฆฌ ์ฐ์ฌ๋ฅผ ๋ฃ๋ ์ฌ๋์ด ์ง๊ธ ์ฌ๊ธฐ์์ 45์ผ ๋ ๋ฃ๊ธฐ ์ํด 3๋ฌ๋ฌ๋ฅผ ์ง๋ถํ ์ค๋น๊ฐ ๋์ด ์๋ค๋ฉด ์ด๋ ์๋ฏธ๊ฐ ์์ต๋๋ค.์ํค ์ค์ฝ๋น
์ฑ๊ณต์ ๋น๊ฒฐ
50๋
์ ์ฐ๋ฆฌ๋ ์๋น์์ ํ
์ด๋ธ์ ํ์ณ XNUMX๋ช
์ ์ฐธ๊ฐ์๋ฅผ ์ํ์ต๋๋ค.
์ด์ Cloud Native Computing Foundation์ ์ธ์ฆ์ ๋ฐ์์ต๋๋ค.
๋ค์ Slurm์ XNUMX์์ ์ํธํํ
๋ฅด๋ถ๋ฅดํฌ์์ ์ด๋ฆฌ๋ฉฐ Selectel์ ์ฐ๋ฆฌ๋ฅผ ํ์์ค๋ก ์ด๋ํ์ต๋๋ค.
์จ๋ผ์ธ ๋ฒ์ ์ ๊ฐ์ข๊ฐ ๊ธฐ๋ก๋๊ณ ํ๋งค๋ฉ๋๋ค.
์ฐ๋ฆฌ๋ ์ธ๊ตญ์ ๋ฐ๋ผ๋ณด๊ณ ์์ต๋๋ค. ์ฐ๋ฆฌ๋ ์นด์ํ์คํ, ๋
์ผ๊ณผ ํ์ํ๊ณ ์์ต๋๋ค.
์ด์ ์ฑ๊ณต์ ๋น๊ฒฐ์ ๊ณต๊ฐํ ์๊ฐ์
๋๋ค.
๊ทธ๋ฌ๋ ๊ทธ๋ ์๋๋๋ค.
๋น์ ์ ๋จ์ง ๋น์ ์ ์ผ์ ์ํ๋ฉด ๋๋ค๊ณ ๋งํ ์ ์์ต๋๋ค. ํ์ง๋ง ๋๋ ์ด๋ฉด์ ์ข์ ์ผ์ ๋ง์ด ํ๋๋ฐ, ๋ฌด์จ ์์ฉ์ด ์๊ฒ ์ต๋๊น? ํ์ด ๊ฒฐ์ ํ๋ค๊ณ ๋งํ ์ ์์ต๋๋ค. ํ์ง๋ง ๋ด ์ธ์์๋ ๋ฐ๋ฅ์์ ๋ฒ์ด๋์ง ๋ชปํ ๋๋ํ ํ์ด์์์ต๋๋ค. ๋ชจ๋ ์ฑ๊ณต ์ฌ๋ก์๋ ์ด์ด ์ข์ ์ํฉ์ด ํฉ์ณ์ง๋ ๊ฒ์ ๋ด ๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ฐ๋ฆฌ์ ๊ฒฝ์ฐ - ์ฐ์ .
์ํค ์ค์ฝ๋น
์ ์ ํ ์๊ธฐ์ ๋จ๊ฑฐ์ด ํ์ ๊ฐ ๋ ์ฌ๋์ต๋๋ค. ๊ทธ๊ฒ์ ์ค๋ช ํด์ค ์ ๋ฌธ๊ฐ๋ค์ด ์์์ต๋๋ค. ๊ทธ๋ค์ ๋ฐํ์๊ฐ ๋๊ธฐ๋ก ๋์ํ์ต๋๋ค. ์กฐ์ง์ ์ํ ๋์ด ์์์ต๋๋ค. ์ฐ๋ฆฌ๊ฐ ์ฌ์ง์ ์ฐ์ ๋๋ง๋ค ์ ํฉํ ์ฌ๋์ด ์งํ์ ์ ๋ํ๋ฌ์ต๋๋ค. ๋ชจ๋ ๊ฒ์ด ๊ฐ์ฅ ์ ๋ฆฌํ ๋ฐฉ์์ผ๋ก ์ผ์นํ์ต๋๋ค.
๊ทธ๋ฆฌ๊ณ ๊ฐ์ฅ ์ค์ํ ๊ฒ์ - ํ๋ฅญํ ์ฒญ์ค์ ๋๋ค. ์ฐ๋ฆฌ๊ฐ ๋์ผ๋ก, ์ด๋ฆ์ผ๋ก ๊ธฐ์ตํ๊ณ , ์ฐ์ฐํ ๋ง๋๋ฉด ๋ฐ๊ฐ๊ฒ ๋ง์ดํ๋ ์ฌ๋๋ค. ๋นํ์ด ์กฐ๊ธ ๋ ๋ง์๊ณ ๊ฐ์ฌ์ ๋ง์์ด ์กฐ๊ธ ๋ ์์๋ค๋ฉด ์ฐ๋ฆฌ๋ ์ฒซ ๋ฒ์งธ Slurm ์ดํ ๊ณ์๋๋ ์ํ์ ๋ฌด๋ฆ ์ฐ์ง ์์์ ๊ฒ์ ๋๋ค.
ํ์ง๋ง ์์งโฆ
์ฌ๊ณ ๋ ๋ฌด์์๊ฐ ์๋๋๋ค.
์ฐ๊ทธ์จ์ด
๋๊น์ง ์ฝ์ผ์
จ๋ค๋ฉด ์ ์ฒญํด์ฃผ์ธ์
์ถ์ฒ : habr.com