์ ์ด๋ฆ์ Sasha์ด๊ณ ์ฌ๋๋ค์ ๊ฐ๋ฅด์น๋ ๊ฒ๋ฟ๋ง ์๋๋ผ ๊ธฐ๊ณ ํ์ต๋ ์ข์ํฉ๋๋ค. ํ์ฌ ์ ๋ ์ปดํจํฐ ๊ณผํ ์ผํฐ์ ๊ต์ก ํ๋ก๊ทธ๋จ์ ๊ฐ๋ ํ๊ณ ์์ผ๋ฉฐ ์ํธํํ ๋ฅด๋ถ๋ฅดํฌ ์ฃผ๋ฆฝ๋ํ๊ต์์ ๋ฐ์ดํฐ ๋ถ์ ํ์ฌ ํ๋ก๊ทธ๋จ์ ์ง๋ํ๊ณ ์์ต๋๋ค. ๊ทธ ์ ์๋ Yandex์์ ๋ถ์๊ฐ๋ก ์ผํ๊ณ , ๊ทธ ์ด์ ์๋ ๊ณผํ์๋ก ์ผํ์ต๋๋ค. ๊ทธ๋ SB RAS์ ์ปดํจํฐ ๊ณผํ ์ฐ๊ตฌ์์์ ์ํ์ ๋ชจ๋ธ๋ง์ ์ฐธ์ฌํ์ต๋๋ค.
์ด ๊ฒ์๋ฌผ์์๋ ํ์, ๋ ธ๋ณด์๋น๋ฅด์คํฌ ์ฃผ๋ฆฝ ๋ํ ์กธ์ ์ ๋ฐ ๊ธฐํ ๋ชจ๋ ์ฌ๋์ ์ํ ๊ธฐ๊ณ ํ์ต ๊ต์ก์ ์์ํ๋ ค๋ ์์ด๋์ด์์ ๋์จ ๋ด์ฉ์ ๋ง์๋๋ฆฌ๊ณ ์ถ์ต๋๋ค.
์ ๋ ์ค๋ซ๋์ Kaggle ๋ฐ ๊ธฐํ ํ๋ซํผ์์ ๋ฐ์ดํฐ ๋ถ์ ๋ํ๋ฅผ ์ค๋นํ๋ ํน๋ณ ๊ณผ์ ์ ์กฐ์งํ๊ณ ์ถ์์ต๋๋ค. ์ด๊ฒ์ ์ข์ ์์ด๋์ด์ฒ๋ผ ๋ณด์์ต๋๋ค.
- ํ์๊ณผ ๊ด์ฌ ์๋ ์ฌ๋์ ๋๊ตฌ๋ ์ด๋ก ์ ์ง์์ ์ค์ ๋ก ์ ์ฉํ๊ณ ๊ณต๊ฐ ๋ํ์์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๊ฒฝํ์ ์์ ๊ฒ์ ๋๋ค.
- ์ด๋ฌํ ๋ํ์์ ์์๊ถ์ ์ฐจ์งํ ํ์๋ค์ ์ง์์, ํ์ ๋ฐ ์กธ์ ์์๊ฒ NSU์ ๋งค๋ ฅ์ ์ข์ ์ํฅ์ ๋ฏธ์นฉ๋๋ค. ์คํฌ์ธ ํ๋ก๊ทธ๋๋ฐ ํ๋ จ์์๋ ๊ฐ์ ์ผ์ด ์ผ์ด๋ฉ๋๋ค.
- ์ด ํน๋ณ ๊ณผ์ ์ ๊ธฐ๋ณธ ์ง์์ ์๋ฒฝํ๊ฒ ๋ณด์ํ๊ณ ํ์ฅํฉ๋๋ค. ์ฐธ๊ฐ์๋ ๋ ๋ฆฝ์ ์ผ๋ก ๊ธฐ๊ณ ํ์ต ๋ชจ๋ธ์ ๊ตฌํํ๊ณ ์ข ์ข ๊ธ๋ก๋ฒ ์์ค์์ ๊ฒฝ์ํ๋ ํ์ ๊ตฌ์ฑํฉ๋๋ค.
- ์ด๋ฏธ ๋ค๋ฅธ ๋ํ์์๋ ์ด๋ฐ ํ๋ จ์ ์งํํ๊ณ ์์๊ธฐ ๋๋ฌธ์ NSU ํน๋ณ๊ณผ์ ์ด ์ฑ๊ณตํ๊ธฐ๋ฅผ ๋ฐ๋๋ค.
์ถ์
๋
ธ๋ณด์๋น๋ฅด์คํฌ์ Akademgorodok์ ์ปดํจํฐ ๊ณผํ ์ผํฐ์ ํ์, ์กธ์
์ ๋ฐ ๊ต์ฌ์ FIT, MMF, FF์ ๊ฐ์ ๊ฐ๋ ฅํ ๊ธฐ์ ๊ต์์ง, NSU ํ์ ๋ถ์ ๊ฐ๋ ฅํ ์ง์, ํ๋ฐํ ODS ์ปค๋ฎค๋ํฐ, ์๋ จ๋ ์์ง๋์ด ๋ฑ ์ด๋ฌํ ๋
ธ๋ ฅ์ ์ํ ๋งค์ฐ ๋น์ฅํ ๊ธฐ๋ฐ์ ๊ฐ์ถ๊ณ ์์ต๋๋ค. ๋ค์ํ IT ๊ธฐ์
์ ๋ถ์๊ฐ๋ค์ด ์์ต๋๋ค. ๋น์ทํ ์๊ธฐ์ ์ฐ๋ฆฌ๋ ๋ณด์กฐ๊ธ ํ๋ก๊ทธ๋จ์ ๋ํด ์๊ฒ ๋์์ต๋๋ค.
์ฐ๋ฆฌ๋ ์ฃผ๊ฐ ํ์๋ฅผ ์ํด NSU์์ ์ฒญ์ค์ ์ฐพ๊ณ , ํ ๋ ๊ทธ๋จ์ ์ฑํ ์ ๋ง๋ค๊ณ , CS ์ผํฐ์ ํ์ ๋ฐ ์กธ์ ์๊ณผ ํจ๊ป 1์ 19์ผ์ ์์ํ์ต๋๋ค. ์ฒซ ์์ ์๋ 31๋ช ์ด ์์ต๋๋ค. ๊ทธ ์ค XNUMX๋ช ์ด ์ ๊ธฐ์ ์ผ๋ก ํ๋ จ์ ์ฐธ์ฌํ์ต๋๋ค. ์ด XNUMX๋ช ์ด ํ๊ธฐ ์ค ์ต์ ํ ๋ฒ ์ด์ ํ์์ ์ฐธ์ํ์ต๋๋ค.
์ฒซ ๋ฒ์งธ ๊ฒฐ๊ณผ
๊ทธ ์ฌ๋๋ค๊ณผ ๋๋ ๋ง๋ฌ๊ณ , ๊ฒฝํ์ ๊ตํํ๊ณ , ๋ํ์ ๋ํด ๋ ผ์ํ๊ณ ๋ฏธ๋์ ๋ํ ๋๋ต์ ์ธ ๊ณํ์ ๋ ผ์ํ์ต๋๋ค. ์ฐ๋ฆฌ๋ ๋ฐ์ดํฐ ๋ถ์ ๋ํ์์ ์๋ฆฌ๋ฅผ ๋๊ณ ์ธ์ฐ๋ ๊ฒ์ด ๋ฌด๊ธ ์ ๊ท์ง๊ณผ ์ ์ฌํ์ง๋ง ๋งค์ฐ ํฅ๋ฏธ๋กญ๊ณ ํฅ๋ฏธ๋ก์ด ์ ๊ท์ ์ด๊ณ ํ๋ ์ผ์ด๋ผ๋ ๊ฒ์ ์์ฃผ ๋นจ๋ฆฌ ๊นจ๋ฌ์์ต๋๋ค. ๐ ์ฐธ๊ฐ์ ์ค ํ ๋ช ์ธ Kaggle ๋ง์คํฐ Maxim์ ๋จผ์ ๊ฐ๋ณ์ ์ผ๋ก ๋ํ์ ์ง์ถํ๋ผ๊ณ ์กฐ์ธํ์ต๋๋ค. , ๋ถ๊ณผ ๋ช ์ฃผ ํ์ ๊ณต๊ฐ ์ ์๋ฅผ ๊ณ ๋ คํ์ฌ ํ์ผ๋ก ํตํฉ๋ฉ๋๋ค. ๊ทธ๊ฒ์ด ์ฐ๋ฆฌ๊ฐ ํ ์ผ์ ๋๋ค! ๋๋ฉด ๊ต์ก ๋์ ์ฐ๋ฆฌ๋ ๋ชจ๋ธ, ๊ณผํ ๊ธฐ์ฌ ๋ฐ Python ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋ณต์ก์ฑ์ ๋ํด ๋ ผ์ํ๊ณ ๋ฌธ์ ๋ฅผ ํจ๊ป ํด๊ฒฐํ์ต๋๋ค.
๊ฐ์ ํ๊ธฐ ๊ฒฐ๊ณผ๋ Kaggle์ ๋ ๋ํ์์ XNUMX๊ฐ์ ์๋ฉ๋ฌ์ ํ๋ํ์ต๋๋ค.
ํน๋ณ ๊ณผ์ ์ ๋ ๋ค๋ฅธ ๋งค์ฐ ์ค์ํ ๊ฐ์ ์ ๊ฒฐ๊ณผ๋ NSU VKI ํด๋ฌ์คํฐ์ ์ถ์ ๋ฐ ๊ตฌ์ฑ์ด์์ต๋๋ค. ์ปดํจํ ์ฑ๋ฅ์ CPU 40๊ฐ, 755Gb RAM, NVIDIA Tesla V8 GPU 100๊ฐ ๋ฑ ๊ฒฝ์ ์ํ์ ํฌ๊ฒ ํฅ์์์ผฐ์ต๋๋ค.
๊ทธ ์ ์ ์ฐ๋ฆฌ๋ ์ต์ ์ ๋คํด ์ด์ ๋จ์์ต๋๋ค. ๊ฐ์ธ ๋
ธํธ๋ถ๊ณผ ๋ฐ์คํฌํฑ, Google Colab ๋ฐ Kaggle ์ปค๋์์ ๊ณ์ฐํ์ต๋๋ค. ํ ํ์๋ ๋ชจ๋ธ์ ์๋์ผ๋ก ์ ์ฅํ๊ณ ์๊ฐ ์ ํ์ผ๋ก ์ธํด ์ค๋จ๋ ๊ณ์ฐ์ ๋ค์ ์์ํ๋ ์์ฒด ์์ฑ ์คํฌ๋ฆฝํธ๋ ์์์ต๋๋ค.
๋ด ํ๊ธฐ์๋ ์ฐ๋ฆฌ๋ ๊ณ์ํด์ ๋ชจ์ฌ์ ์ฑ๊ณต์ ์ธ ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ๊ตํํ๊ณ ๋ํ์ ๋ํ ํด๊ฒฐ์ฑ
์ ๋ํด ์ด์ผ๊ธฐํ์ต๋๋ค. ์๋ก์ด ๊ด์ฌ ์๋ ์ฐธ๊ฐ์๋ค์ด ์ฐ๋ฆฌ์๊ฒ ์ค๊ธฐ ์์ํ์ต๋๋ค. ๋ด ํ๊ธฐ ๋์ ์ฐ๋ฆฌ๋ Kaggle์ XNUMX๊ฐ ๋ํ์์ ๊ธ๋ฉ๋ฌ XNUMX๊ฐ, ์๋ฉ๋ฌ XNUMX๊ฐ, ๋๋ฉ๋ฌ XNUMX๊ฐ๋ฅผ ํ๋ํ์ต๋๋ค.
๊ต์ก ์ฐธ๊ฐ์๋ค์ด ๋งํ๋ ๊ฒ
โ์ด๋ฌํ ํ๋์ด ์ด๊ณณ ์๋ฒ ๋ฆฌ์์์ ์งํ๋๋ค๋ ์ฌ์ค์ด ๋งค์ฐ ๊ธฐ์ฉ๋๋ค. ๋ํ์ ์ฐธ๊ฐํ๋ ๊ฒ์ด ML์ ๋ง์คํฐํ๋ ๊ฐ์ฅ ๋น ๋ฅธ ๋ฐฉ๋ฒ์ด๋ผ๊ณ ๋ฏฟ๊ธฐ ๋๋ฌธ์
๋๋ค. ์ด๋ฌํ ๋ํ์์๋ ํ๋์จ์ด๋ฅผ ์ง์ ๊ตฌ์
ํ๋ ๋ฐ ๋น์ฉ์ด ๋ง์ด ๋ค์ง๋ง ์ฌ๊ธฐ์๋ ๋ฌด๋ฃ๋ก ์์ด๋์ด๋ฅผ ์ํํด ๋ณผ ์ ์์ต๋๋ค.โ
โML ํ๋ จ์ด ๋ฑ์ฅํ๊ธฐ ์ ์๋ ํ๋ จ๊ณผ ํ๋ ๋ํ๋ฅผ ์ ์ธํ๊ณ ๋ ํน๋ณํ ๋ํ์ ์ฐธ๊ฐํ์ง ์์์ต๋๋ค. ML ๋ถ์ผ์์ ์ผํ๊ณ ๊ทธ๊ฒ์ ๋ํด ์ ์๊ณ ์์๊ธฐ ๋๋ฌธ์ ์์ ์ ๋ณด์ง ๋ชปํ์ต๋๋ค. ๋ด๊ฐ ํ์์ผ๋ก ๋ค๋
๋ ์ฒซ ํ๊ธฐ๋. ๊ทธ๋ฆฌ๊ณ XNUMXํ๊ธฐ๋ถํฐ ์ปดํจํฐ ์์์ด ๋์ค์๋ง์ ์ฐธ์ฌํด ๋ณด๋ฉด ์ด๋จ๊น ํ๋ ์๊ฐ์ด ๋ค์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๊ทธ๊ฒ์ ๋๋ฅผ ๋งค๋ฃ์์ผฐ์ต๋๋ค. ์์
, ๋ฐ์ดํฐ ๋ฐ ๋ฉํธ๋ฆญ์ ๊ทํ๋ฅผ ์ํด ๊ณ ์๋๊ณ ์ค๋น๋์์ต๋๋ค. ๊ณ์ํด์ MO์ ๋ชจ๋ ๊ธฐ๋ฅ์ ํ์ฉํ๊ณ ์ต์ฒจ๋จ ๋ชจ๋ธ๊ณผ ๊ธฐ์ ์ ํ์ธํ์ญ์์ค. ๊ต์ก๊ณผ ๋ง์ฐฌ๊ฐ์ง๋ก ์ค์ํ ์ปดํจํ
๋ฆฌ์์ค๊ฐ ์๋์๋ค๋ฉด ์ ๋ ๊ณง ์ฐธ์ฌ๋ฅผ ์์ํ์ง ๋ชปํ์ ๊ฒ์
๋๋ค.โ
โ๋๋ฉด ML ๊ต์ก์ ๊ฐ์ ์๊ฐ์ ๊ฐ์ง ์ฌ๋๋ค์ ์ฐพ๋ ๋ฐ ๋์์ด ๋์๊ณ , ๊ทธ๋ค๊ณผ ํจ๊ป ๊ธฐ๊ณ ํ์ต ๋ฐ ๋ฐ์ดํฐ ๋ถ์ ๋ถ์ผ์ ๋ํ ์ง์์ ์ฌํํ ์ ์์์ต๋๋ค. ์ด๋ ๋ํ ์ฃผ์ ์ ๋ํด ๋
๋ฆฝ์ ์ผ๋ก ๋ถ์ํ๊ณ ๋ชฐ์
ํ ์ ์๋ ์์ ์๊ฐ์ด ๋ง์ง ์์ง๋ง ์ฌ์ ํ ํด๋น ์ฃผ์ ์ ์ฐธ์ฌํ๊ณ ์ถ์ ์ฌ๋๋ค์๊ฒ ํ์ํ ์ ํ์
๋๋ค.โ
์ฐ๋ฆฌ์ ํจ๊ป
Kaggle ๋ฐ ๊ธฐํ ํ๋ซํผ์์์ ๋ํ๋ ์ค์ฉ์ ์ธ ๊ธฐ์ ์ ์ฐ๋งํ๊ณ ๋ฐ์ดํฐ ๊ณผํ ๋ถ์ผ์ ํฅ๋ฏธ๋ก์ด ์์ ์ผ๋ก ๋น ๋ฅด๊ฒ ์ ํ๋ฉ๋๋ค. ์ด๋ ค์ด ๊ฒฝ์์ ํจ๊ป ์ฐธ์ฌํ ์ฌ๋๋ค์ ์ข ์ข ๋๋ฃ๊ฐ ๋์ด ์ ๋ฌด ๊ด๋ จ ๋ฌธ์ ๋ฅผ ์ฑ๊ณต์ ์ผ๋ก ํด๊ฒฐํด ๋๊ฐ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ์ด๋ฐ ์ผ์ด ์ฐ๋ฆฌ์๊ฒ๋ ์ผ์ด๋ฌ์ต๋๋ค. Mikhail Karchevsky๋ ํ์ ์น๊ตฌ์ ํจ๊ป ์ถ์ฒ ์์คํ ์ ํตํด ๊ฐ์ ํ์ฌ์์ ์ผํ์ต๋๋ค.
์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ์ฐ๋ฆฌ๋ ๊ณผํ ์ถํ๋ฌผ๊ณผ ๊ธฐ๊ณ ํ์ต ์ปจํผ๋ฐ์ค ์ฐธ์ฌ๋ฅผ ํตํด ์ด ํ๋์ ํ์ฅํ ๊ณํ์
๋๋ค. ๋
ธ๋ณด์๋น๋ฅด์คํฌ์ ์ฐธ๊ฐ์ ๋๋ ์ ๋ฌธ๊ฐ๋ก ์ฐธ์ฌํ์ธ์ - ์ฐ๊ธฐ
๋ค์์ ์ฒซ ๋ฒ์งธ ๋จ๊ณ๋ฅผ ์ํํ๋ ๋ฐ ๋์์ด ๋๋ ๊ฐ๋จํ ์นํธ ์ํธ์ ๋๋ค.
- ์ ๊ท ์์ ์ ์ํด ํธ๋ฆฌํ ์ฅ์์ ์๊ฐ์ ๊ณ ๋ คํ์ธ์. ์ต์ ์ ์ผ์ฃผ์ผ์ 1-2ํ์ ๋๋ค.
- ์ฒซ ๋ฒ์งธ ํ์์ ๋ํด ์ ์ฌ์ ์ผ๋ก ๊ด์ฌ์ด ์๋ ์ฐธ๊ฐ์์๊ฒ ํธ์ง๋ฅผ ์ฐ์ธ์. ์ฐ์ ์ด๋ค์ ๊ธฐ์ ๋ํ์ ํ์๋ค, ODS ์ฐธ๊ฐ์๋ค์ ๋๋ค.
- ์์ฌ ๋ฌธ์ ์ ๋ํด ํ ๋ก ํ๊ธฐ ์ํด ์ฑํ ์ ์์ํ์ธ์. Telegram, VK, WhatsApp ๋๋ ๋๋ถ๋ถ์ ์ฌ๋๋ค์๊ฒ ํธ๋ฆฌํ ๊ธฐํ ๋ฉ์ ์ ์ ๋๋ค.
- ๊ณต๊ฐ์ ์ผ๋ก ์ ๊ทผ ๊ฐ๋ฅํ ๊ฐ์ ๊ณํ, ๋ํ ๋ฐ ์ฐธ๊ฐ์ ๋ชฉ๋ก์ ์ ์งํ๊ณ ๊ฒฐ๊ณผ๋ฅผ ๋ชจ๋ํฐ๋งํฉ๋๋ค.
- ์ธ๊ทผ ๋ํ, ์ฐ๊ตฌ ๊ธฐ๊ด ๋๋ ํ์ฌ์์ ๋ฌด๋ฃ ์ปดํจํ ์ฑ๋ฅ์ ์ฐพ๊ฑฐ๋ ์ด์ ๋ํ ๋ณด์กฐ๊ธ์ ๋ฐ์ผ์ธ์.
- ์ด์ต!
์ถ์ฒ: www.habr.com