์ถ์ฒ :
์ ํ ํ๊ท๋ ๋ฐ์ดํฐ ๋ถ์๊ณผ ๊ด๋ จ๋ ์ฌ๋ฌ ๋ถ์ผ์ ๊ธฐ๋ณธ ์๊ณ ๋ฆฌ์ฆ ์ค ํ๋์ ๋๋ค. ๊ทธ ์ด์ ๋ ๋ถ๋ช ํฉ๋๋ค. ์ด๊ฒ์ ์๋ฐฑ ๋ ์ ์๋๋๋ผ๋ ์์ญ ๋ ๋์ ๋๋ฆฌ ์ฌ์ฉ๋๋ ๋ฐ ๊ธฐ์ฌํ ๋งค์ฐ ๊ฐ๋จํ๊ณ ์ดํดํ๊ธฐ ์ฌ์ด ์๊ณ ๋ฆฌ์ฆ์ ๋๋ค. ์์ด๋์ด๋ ํ ๋ณ์๊ฐ ๋ค๋ฅธ ๋ณ์ ์งํฉ์ ๋ํ ์ ํ ์์กด์ฑ์ ๊ฐ์ ํ๊ณ ์ด ์์กด์ฑ์ ๋ณต์ํ๋ ค๊ณ ์๋ํ๋ค๋ ๊ฒ์ ๋๋ค.
ํ์ง๋ง ์ด ๊ธ์ ์ค์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ์ ํ ํ๊ท๋ฅผ ์ฌ์ฉํ๋ ๊ฒ์ ๊ดํ ๊ฒ์ด ์๋๋๋ค. ์ฌ๊ธฐ์์๋ ๋ณต๊ตฌ๋ฅผ ์ํ ๋ถ์ฐ ์๊ณ ๋ฆฌ์ฆ ๊ตฌํ์ ํฅ๋ฏธ๋ก์ด ๊ธฐ๋ฅ์ ๊ณ ๋ คํ ๊ฒ์
๋๋ค.
์ฐ๋ฆฌ๊ฐ ๋ฌด์จ ์๋ฆฌํ๋๊ฑฐ์ผ?
์ฐ๋ฆฌ๋ ์ ํ์ ์์กด์ฑ์ ํ๋ณตํด์ผ ํ๋ ๊ณผ์ ์ ์ง๋ฉดํด ์์ต๋๋ค. ์ ๋ ฅ ๋ฐ์ดํฐ๋ก๋ ๋ ๋ฆฝ ๋ณ์๋ก ๊ตฌ์ฑ๋ ๋ฒกํฐ ์ธํธ๊ฐ ์ ๊ณต๋๋ฉฐ, ๊ฐ ๋ฒกํฐ๋ ์ข ์ ๋ณ์์ ํน์ ๊ฐ๊ณผ ์ฐ๊ด๋์ด ์์ต๋๋ค. ์ด ๋ฐ์ดํฐ๋ ๋ ๊ฐ์ง ํ๋ ฌ์ ํํ๋ก ํํ๋ ์ ์์ต๋๋ค.
์ด์ ์ข ์์ฑ์ด ๊ฐ์ ๋๊ณ ๋์ฑ์ด ์ ํ์ด๋ฏ๋ก ๊ฐ์ ์ ํ๋ ฌ ๊ณฑ์ ํํ๋ก ์์ฑํ๊ฒ ์ต๋๋ค(๊ธฐ๋ก์ ๋จ์ํํ๊ธฐ ์ํด ์ฌ๊ธฐ์ ์๋์์๋ ๋ฐฉ์ ์์ ์์ ํญ์ด ๋ค์ ์จ๊ฒจ์ ธ ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค). , ๊ทธ๋ฆฌ๊ณ ํ๋ ฌ์ ๋ง์ง๋ง ์ด ๋จ์ ํฌํจ):
์ ํ ๋ฐฉ์ ์ ์์คํ
์ฒ๋ผ ๋ค๋ฆฌ์ง ์๋์? ๊ทธ๋ด ๊ฒ ๊ฐ์ง๋ง, ๊ทธ๋ฌํ ๋ฐฉ์ ์ ์์คํ
์ ๋ํ ํด๊ฒฐ์ฑ
์ ์์ ๊ฐ๋ฅ์ฑ์ด ๋์ต๋๋ค. ๊ทธ ์ด์ ๋ ๊ฑฐ์ ๋ชจ๋ ์ค์ ๋ฐ์ดํฐ์ ์กด์ฌํ๋ ๋
ธ์ด์ฆ ๋๋ฌธ์
๋๋ค. ๋ ๋ค๋ฅธ ์ด์ ๋ ์๋ ๋ณ์์ ๋น์ ํ์ ์ผ๋ก ์์กดํ๋ ์ถ๊ฐ ๋ณ์๋ฅผ ๋์
ํ์ฌ ํด๊ฒฐํ ์ ์๋ ์ ํ ์์กด์ฑ์ด ๋ถ์กฑํ๊ธฐ ๋๋ฌธ์ผ ์ ์์ต๋๋ค. ๋ค์ ์๋ฅผ ๊ณ ๋ คํ์ญ์์ค.
์ถ์ฒ :
์ด๊ฒ์ ์ถ์ ๋ฐ๋ผ ํ๋์ ๋ณ์์ ๊ด๊ณ๋ฅผ ๋ณด์ฌ์ฃผ๋ ์ ํ ํ๊ท์ ๊ฐ๋จํ ์์
๋๋ค. ) ๋ค๋ฅธ ๋ณ์์์ (์ถ์ ๋ฐ๋ผ) ). ์ด ์์ ํด๋นํ๋ ์ ํ ๋ฐฉ์ ์ ์์คํ
์ด ํด๋ฅผ ์ป์ผ๋ ค๋ฉด ๋ชจ๋ ์ ์ด ์ ํํ ๋์ผํ ์ง์ ์์ ์์ด์ผ ํฉ๋๋ค. ๊ทธ๋ฌ๋ ๊ทธ๊ฒ์ ์ฌ์ค์ด ์๋๋๋ค. ๊ทธ๋ฌ๋ ๊ทธ๊ฒ๋ค์ ์ก์ ๋๋ฌธ์(๋๋ ์ ํ ๊ด๊ณ์ ๋ํ ๊ฐ์ ์ด ์๋ชป๋์๊ธฐ ๋๋ฌธ์) ์ ํํ๊ฒ ๋์ผํ ์ง์ ์์ ๋์ฌ ์์ง ์์ต๋๋ค. ๋ฐ๋ผ์ ์ค์ ๋ฐ์ดํฐ๋ก๋ถํฐ ์ ํ ๊ด๊ณ๋ฅผ ๋ณต์ํ๋ ค๋ฉด ์ผ๋ฐ์ ์ผ๋ก ํ ๊ฐ์ง ๊ฐ์ ์ ๋ ๋์
ํด์ผ ํฉ๋๋ค. ์ฆ, ์
๋ ฅ ๋ฐ์ดํฐ์๋ ๋
ธ์ด์ฆ๊ฐ ํฌํจ๋์ด ์์ผ๋ฉฐ ์ด ๋
ธ์ด์ฆ๋
์ต๋ ๊ฐ๋ฅ์ฑ ๋ฐฉ๋ฒ
๊ทธ๋์ ์ฐ๋ฆฌ๋ ๋ฌด์์๋ก ์ ๊ท ๋ถํฌ๋ ์ก์์ด ์๋ค๊ณ ๊ฐ์ ํ์ต๋๋ค. ์ด๋ฐ ์ํฉ์์๋ ์ด๋ป๊ฒ ํด์ผ ํ ๊น์? ์ด ๊ฒฝ์ฐ ์ํ์๋ ๋๋ฆฌ ์ฌ์ฉ๋ฉ๋๋ค.
์ ์์ ์ธ ๋ ธ์ด์ฆ๊ฐ ์๋ ๋ฐ์ดํฐ๋ก๋ถํฐ ์ ํ ๊ด๊ณ๋ฅผ ๋ณต์ํ๋ ๊ฒ์ผ๋ก ๋์๊ฐ๋๋ค. ๊ฐ์ ๋ ์ ํ ๊ด๊ณ๋ ์ํ์ ๊ธฐ๋์น์ ๋๋ค. ๊ธฐ์กด ์ ๊ท๋ถํฌ. ๋์์, ๊ด์ฐฐ ๊ฐ๋ฅ ํญ๋ชฉ์ ์กด์ฌ ์ฌ๋ถ์ ๋ฐ๋ผ ํ๋์ ๊ฐ ๋๋ ๋ค๋ฅธ ๊ฐ์ ์ทจํฉ๋๋ค. ๋ค์๊ณผ ๊ฐ์ด ๋ณด์ ๋๋ค.
์ด์ ๋์ ๋์ฒดํด๋ณด์ ะธ ์ฐ๋ฆฌ์๊ฒ ํ์ํ ๋ณ์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์ด์ ๋จ์ ๊ฒ์ ๋ฒกํฐ๋ฅผ ์ฐพ๋ ๊ฒ๋ฟ์ด๋ค. , ์ด ํ๋ฅ ์ด ์ต๋์ ๋๋ค. ์ด๋ฌํ ํจ์๋ฅผ ์ต๋ํํ๋ ค๋ฉด ๋จผ์ ๋ก๊ทธ๋ฅผ ์ทจํ๋ ๊ฒ์ด ํธ๋ฆฌํฉ๋๋ค(ํจ์์ ๋ก๊ทธ๋ ํจ์ ์์ฒด์ ๋์ผํ ์ง์ ์์ ์ต๋๊ฐ์ ๋๋ฌํฉ๋๋ค).
๊ฒฐ๊ณผ์ ์ผ๋ก ๋ค์ ๊ธฐ๋ฅ์ด ์ต์ํ๋ฉ๋๋ค.
๊ทธ๋ฐ๋ฐ ์ด๊ฒ์ ๋ฉ์๋๋ผ๊ณ ํฉ๋๋ค.
QR ๋ถํด
์ ํจ์์ ์ต์๊ฐ์ ์ด ํจ์์ ๊ธฐ์ธ๊ธฐ๊ฐ XNUMX์ด ๋๋ ์ ์ ์ฐพ์ ๊ตฌํ ์ ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๊ทธ๋ผ๋ฐ์ด์ ์ ๋ค์๊ณผ ๊ฐ์ด ์์ฑ๋ฉ๋๋ค.
๊ทธ๋์ ์ฐ๋ฆฌ๋ ํ๋ ฌ์ ๋ถํดํฉ๋๋ค ํ๋ ฌ์ ะธ ์ผ๋ จ์ ๋ณํ์ ์ํํฉ๋๋ค(์ฌ๊ธฐ์์๋ QR ๋ถํด ์๊ณ ๋ฆฌ์ฆ ์์ฒด๋ ๊ณ ๋ คํ์ง ์๊ณ ํ์ฌ ์์ ๊ณผ ๊ด๋ จ๋ ์ฌ์ฉ๋ง ๊ณ ๋ คํฉ๋๋ค).
๋งคํธ๋ฆญ์ค ์ง๊ตํฉ๋๋ค. ์ด๋ฅผ ํตํด ์์ ์ ์ ๊ฑฐํ ์ ์์ต๋๋ค. :
๊ทธ๋ฆฌ๊ณ ๊ต์ฒดํ๋ฉด ์ , ๊ทธ๋ฌ๋ฉด ์๋ํฉ๋๋ค . ๊ณ ๋ คํด ๋ณด๋ฉด ์๋ถ ์ผ๊ฐ ํ๋ ฌ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์ด๋ ๋์ฒด ๋ฐฉ๋ฒ์ ์ฌ์ฉํ์ฌ ํด๊ฒฐํ ์ ์์ต๋๋ค. ์์ ๋ค์๊ณผ ๊ฐ์ด ์์นํ๊ณ ์์ต๋๋ค , ์ด์ ์์ ๋ค์๊ณผ ๊ฐ์ด ์์นํ๊ณ ์์ต๋๋ค ๋ฑ.
QR ๋ถํด๋ฅผ ์ฌ์ฉํ์ฌ ๊ฒฐ๊ณผ ์๊ณ ๋ฆฌ์ฆ์ ๋ณต์ก์ฑ์ด ๋ค์๊ณผ ๊ฐ๋ค๋ ์ ์ ์ฌ๊ธฐ์ ์ฃผ๋ชฉํ ๊ฐ์น๊ฐ ์์ต๋๋ค. . ๊ฒ๋ค๊ฐ ํ๋ ฌ ๊ณฑ์ ์ฐ์ฐ์ด ๋ณ๋ ฌํ๋์ด ์๋ค๋ ์ฌ์ค์๋ ๋ถ๊ตฌํ๊ณ ์ด ์๊ณ ๋ฆฌ์ฆ์ ํจ๊ณผ์ ์ธ ๋ถ์ฐ ๋ฒ์ ์ ์์ฑํ๋ ๊ฒ์ ๋ถ๊ฐ๋ฅํฉ๋๋ค.
๊ฒฝ์ฌํ๊ฐ๋ฒ
ํจ์ ์ต์ํ์ ๋ํด ์ด์ผ๊ธฐํ ๋ ํญ์ (ํ๋ฅ ์ ) ๊ฒฝ์ฌํ๊ฐ๋ฒ์ ๊ธฐ์ตํ๋ ๊ฒ์ด ์ข์ต๋๋ค. ์ด๋ ํ ์ ์์ ํจ์์ ๊ธฐ์ธ๊ธฐ๋ฅผ ๋ฐ๋ณต์ ์ผ๋ก ๊ณ์ฐํ ๋ค์ ์ด๋ฅผ ๊ธฐ์ธ๊ธฐ์ ๋ฐ๋ ๋ฐฉํฅ์ผ๋ก ์ด๋์ํค๋ ๊ฐ๋จํ๊ณ ํจ๊ณผ์ ์ธ ์ต์ํ ๋ฐฉ๋ฒ์ ๋๋ค. ์ด๋ฌํ ๊ฐ ๋จ๊ณ๋ ์๋ฃจ์ ์ ์ต์๊ฐ์ ๋ ๊ฐ๊น๊ฒ ๋ง๋ญ๋๋ค. ๊ทธ๋๋์ธํธ๋ ์ฌ์ ํ ๋์ผํ๊ฒ ๋ณด์ ๋๋ค.
์ด ๋ฐฉ๋ฒ์ ๋ํ ๊ธฐ์ธ๊ธฐ ์ฐ์ฐ์์ ์ ํ ํน์ฑ์ผ๋ก ์ธํด ๋ณ๋ ฌํ ๋ฐ ๋ถ์ฐ์ด ์๋ฉ๋๋ค. ์ ๊ณต์์์ ํฉ๊ณ ๊ธฐํธ ์๋์๋ ๋ ๋ฆฝ๋ ํญ์ด ์๋ค๋ ์ ์ ์ ์ํ์ธ์. ์ฆ, ๋ชจ๋ ์ธ๋ฑ์ค์ ๋ํด ๋ ๋ฆฝ์ ์ผ๋ก ๊ทธ๋๋์ธํธ๋ฅผ ๊ณ์ฐํ ์ ์์ต๋๋ค. ์ฒ์๋ถํฐ , ์ด์ ๋ณํํ์ฌ ๋ค์๊ณผ ๊ฐ์ ์ธ๋ฑ์ค์ ๋ํ ๊ธฐ์ธ๊ธฐ๋ฅผ ๊ณ์ฐํฉ๋๋ค. ์ . ๊ทธ๋ฐ ๋ค์ ๊ฒฐ๊ณผ ๊ทธ๋ผ๋์ธํธ๋ฅผ ์ถ๊ฐํฉ๋๋ค. ๋ง์ ์ โโ๊ฒฐ๊ณผ๋ ์ฒซ ๋ฒ์งธ๋ถํฐ ์ธ๋ฑ์ค์ ๋ํ ๊ธฐ์ธ๊ธฐ๋ฅผ ์ฆ์ ๊ณ์ฐํ ๊ฒ๊ณผ ๋์ผํฉ๋๋ค. . ๋ฐ๋ผ์ ๋ฐ์ดํฐ๊ฐ ์ฌ๋ฌ ๋ฐ์ดํฐ ์กฐ๊ฐ์ ๋ถ์ฐ๋์ด ์๋ ๊ฒฝ์ฐ ๊ฐ ์กฐ๊ฐ์ ๋ํด ๋ ๋ฆฝ์ ์ผ๋ก ๊ธฐ์ธ๊ธฐ๋ฅผ ๊ณ์ฐํ ์ ์์ผ๋ฉฐ ์ด๋ฌํ ๊ณ์ฐ ๊ฒฐ๊ณผ๋ฅผ ํฉ์ฐํ์ฌ ์ต์ข ๊ฒฐ๊ณผ๋ฅผ ์ป์ ์ ์์ต๋๋ค.
๊ตฌํ ๊ด์ ์์ ๋ณผ ๋ ์ด๋ ํจ๋ฌ๋ค์์ ์ ํฉํฉ๋๋ค.
MapReduce ํจ๋ฌ๋ค์์ ๊ตฌํ ์ฉ์ด์ฑ๊ณผ ์คํ ๋ฅ๋ ฅ์๋ ๋ถ๊ตฌํ๊ณ ๊ฒฝ์ฌํ๊ฐ๋ฒ์๋ ๋จ์ ๋ ์์ต๋๋ค. ํนํ, ์ตํฉ์ ๋ฌ์ฑํ๋ ๋ฐ ํ์ํ ๋จ๊ณ ์๊ฐ ๋ค๋ฅธ ๋ณด๋ค ์ ๋ฌธ์ ์ธ ๋ฐฉ๋ฒ์ ๋นํด ํจ์ฌ ๋์ต๋๋ค.
LSQR
LSQR ๋ฐฉ๋ฒ์ ๋ค์์ ๊ธฐ๋ฐ์ผ๋ก ํฉ๋๋ค.
ํ์ง๋ง ํ๋ ฌ์ด ๋ค์๊ณผ ๊ฐ๋ค๊ณ ๊ฐ์ ํ๋ฉด ์ํ์ผ๋ก ๋ถํ ๋ ๊ฒฝ์ฐ ๊ฐ ๋ฐ๋ณต์ ๋ ๊ฐ์ MapReduce ๋จ๊ณ๋ก ํ์๋ ์ ์์ต๋๋ค. ์ด๋ฌํ ๋ฐฉ์์ผ๋ก ๊ฐ ๋ฐ๋ณต ๋์ ๋ฐ์ดํฐ ์ ์ก์ ์ต์ํํ๋ ๊ฒ์ด ๊ฐ๋ฅํฉ๋๋ค(๋ฏธ์ง์ ์์ ๊ธธ์ด๊ฐ ๊ฐ์ ๋ฒกํฐ๋ง ํด๋น).
์ ํ ํ๊ท๋ฅผ ๊ตฌํํ ๋ ์ฌ์ฉ๋๋ ์ ๊ทผ ๋ฐฉ์์
๋๋ค.
๊ฒฐ๋ก
์ ํ ํ๊ท ๋ณต๊ตฌ ์๊ณ ๋ฆฌ์ฆ์๋ ์ฌ๋ฌ ๊ฐ์ง๊ฐ ์์ง๋ง ๋ชจ๋ ์กฐ๊ฑด์ ๋ชจ๋ ์ ์ฉํ ์๋ ์์ต๋๋ค. ๋ฐ๋ผ์ QR ๋ถํด๋ ์์ ๋ฐ์ดํฐ ์ธํธ์ ๋ํ ์ ํํ ์๋ฃจ์
์ ํ์ํฉ๋๋ค. ๊ฒฝ์ฌํ๊ฐ๋ฒ์ ๊ตฌํ์ด ๊ฐ๋จํ๋ฉฐ ๋๋ต์ ์ธ ์๋ฃจ์
์ ๋น ๋ฅด๊ฒ ์ฐพ์ ์ ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ LSQR์ ๋ถ์ฐ์ด ๊ฐ๋ฅํ๊ณ ๊ฒฝ์ฌํ๊ฐ๋ฒ์ ๋นํด ๋น ๋ฅด๊ฒ ์๋ ดํ๋ฉฐ QR ๋ถํด์ ๋ฌ๋ฆฌ ์๊ณ ๋ฆฌ์ฆ์ ์กฐ๊ธฐ์ ์ค์งํ์ฌ ๊ทผ์ฌํด๋ฅผ ์ฐพ์ ์ ์๋ค๋ ์ ์์ ์ด์ ๋ ์๊ณ ๋ฆฌ์ฆ์ ๊ฐ์ฅ ์ข์ ํน์ฑ์ ๊ฒฐํฉํฉ๋๋ค.
์ถ์ฒ : habr.com