์ผํ๋ชฐ ๊ณ ๊ฐ ๋ฐ์ดํฐ์ธํธ โ ๋งค์ฅ ๋ฐฉ๋ฌธ์ ๋ฐ์ดํฐ: ID, ์ฑ๋ณ, ์ฐ๋ น, ์๋, ์ง์ถ ๋ฑ๊ธ. (์ ์ฒญ ์ต์ :๋จธ์ ๋ฌ๋์ ํ์ฉํ ๊ณ ๊ฐ ์ธ๋ถํ ํ๋ก์ ํธ )Iris ๋ฐ์ดํฐ ์ธํธ โ ๋ค์ํ ๊ฝ์ ๊ฝ๋ฐ์นจ๊ณผ ๊ฝ์ ํฌ๊ธฐ๊ฐ ํฌํจ๋ ์ด๋ณด์์ฉ ๋ฐ์ดํฐ์ธํธ์ ๋๋ค.MNIST ๋ฐ์ดํฐ์ โ ์์ผ๋ก ์ด ์ซ์์ ๋ฐ์ดํฐ์ธํธ์ ๋๋ค. 60๊ฐ์ ํ๋ จ ์ด๋ฏธ์ง์ 000๊ฐ์ ํ ์คํธ ์ด๋ฏธ์ง.๋ณด์คํด ์ฃผํ ๋ฐ์ดํฐ์ธํธ ํจํด ์ธ์์ ์ํ ์ธ๊ธฐ ์๋ ๋ฐ์ดํฐ ์ธํธ์ ๋๋ค. ๋ณด์คํด์ ์ฃผํ์ ๋ํ ์ ๋ณด(์ํํธ ์, ์๋ ๊ฐ๊ฒฉ, ๋ฒ์ฃ ์ง์)๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.๊ฐ์ง ๋ด์ค ํ์ง ๋ฐ์ดํฐ์ธํธ โ ๋ด์ค ํ์(์ฐธ ๋๋ ๊ฑฐ์ง)๊ฐ ์๋ 7796๊ฐ์ ํญ๋ชฉ์ ํฌํจํฉ๋๋ค. (Python์ ์์ค ์ฝ๋๊ฐ ํฌํจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ต์ :๊ฐ์ง ๋ด์ค ํ์ง Python ํ๋ก์ ํธ )์์ธ ํ์ง ๋ฐ์ดํฐ์ธํธ โ ์์ธ์ ๋ํ ์ ๋ณด๋ฅผ ํฌํจํฉ๋๋ค: 4898๊ฐ์ ๋งค๊ฐ๋ณ์๊ฐ ์๋ 14๊ฐ์ ๋ ์ฝ๋.SOCR ๋ฐ์ดํฐ โ ์ ์ฅ ๋ฐ ์ฒด์ค ๋ฐ์ดํฐ์ธํธ - ์์ํ๊ธฐ์ ์ข์ ์ต์ ์ ๋๋ค. 25์ธ์ ํค์ ๋ชธ๋ฌด๊ฒ์ ๋ํ 000๊ฐ์ ๊ธฐ๋ก์ด ํฌํจ๋์ด ์์ต๋๋ค.
์ด ๊ธฐ์ฌ๋ EDISON Software์ ์ง์์ผ๋ก ๋ฒ์ญ๋์์ต๋๋ค.์ค๊ตญ ๋จ๋ถ์ ์ฃผ๋ฌธ์ โํ๋ฅญํ๊ฒโ ์ดํํฉ๋๋ค. ๊ณผ์น ์ ํ๋ฆฌ์ผ์ด์ ๋ฐ ์น์ฌ์ดํธ ๊ฐ๋ฐ .ํํจ์จ ๋ฐ์ดํฐ์ธํธ โ ํํจ์จ๋ณ ํ์ ๊ธฐ๋ก 195๊ฐ, ๋ถ์ ๋งค๊ฐ๋ณ์ 25๊ฐ. ์ํ ์ฌ๋๊ณผ ๊ฑด๊ฐํ ์ฌ๋์ ์ฐจ์ด๋ฅผ ์๋น ํ๊ฐํ๋ ๋ฐ ์ฌ์ฉํ ์ ์์ต๋๋ค. (Python์ ์์ค ์ฝ๋๊ฐ ํฌํจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ต์ :ํํจ์จ๋ณ ์ง๋จ์ ์ํ ๋จธ์ ๋ฌ๋ ํ๋ก์ ํธ )ํ์ดํ๋ ๋ฐ์ดํฐ์ธํธ โ ์น๊ฐ์ ๋ํ ์ ๋ณด(๋์ด, ์ฑ๋ณ, ํ์นํ ์น์ฒ ๋ฑ)๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. ํ๋ จ ์ธํธ์๋ 891๊ฐ, ํ ์คํธ ์ธํธ์๋ 418๊ฐ๊ฐ ์์ต๋๋ค.Uber ํฝ์ ๋ฐ์ดํฐ์ธํธ โ 4.5๋ 2014๋ง ๊ฑด, 14๋ 2015๋ง ๊ฑด์ Uber ์ดํ์ ๋ํ ์ ๋ณด์ ๋๋ค. (R์ ์์ค ์ฝ๋๊ฐ ํฌํจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ต์ :R์ Uber ๋ฐ์ดํฐ ๋ถ์ ํ๋ก์ ํธ )Chars74k ๋ฐ์ดํฐ์ธํธ โ 64๊ฐ ํด๋์ค(0-9, AZ, az)์ ์๊ตญ ๋ฐ ์บ๋๋ค ๊ธฐํธ ์ด๋ฏธ์ง๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. 7700๊ฐ์ 7.7k ์์ฐ ์ด๋ฏธ์ง, 3400k ์๊ธ์จ, 62000๊ฐ์ ์ปดํจํฐ ํฉ์ฑ ๊ธ๊ผด.์ ์ฉ์นด๋ ์ฌ๊ธฐ ํ์ง ๋ฐ์ดํฐ์ธํธ โ ์์๋ ์ ์ฉ ์นด๋ ๊ฑฐ๋์ ๋ํ ์ ๋ณด๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. (์์ค๊ฐ ์๋ ์ ์ฉ ์ต์ :์ ์ฉ์นด๋ ์ฌ๊ธฐ ํ์ง ๋จธ์ ๋ฌ๋ ํ๋ก์ ํธ )์ฑ๋ด ์๋ ๋ฐ์ดํฐ์ธํธ โ Greetings, Goodbye, Hospital_search, pharmaco_search ๋ฑ ๋ค์ํ ํ๊ทธ๊ฐ ํฌํจ๋ JSON ํ์ผ์ ๋๋ค. ์ง๋ฌธ-๋ต๋ณ ํ ํ๋ฆฟ ์ธํธ๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. (Python์ ์์ค ์ฝ๋๊ฐ ํฌํจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ต์ :Python์ ์ฑ๋ด ํ๋ก์ ํธ )Enron ์ด๋ฉ์ผ ๋ฐ์ดํฐ์ธํธ โ 150๋ช ์ ์๋ก ๊ด๋ฆฌ์๊ฐ ๋ณด๋ธ XNUMX๋ง ํต์ ํธ์ง๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.Yelp ๋ฐ์ดํฐ์ธํธ โ ์ฝ 1,2๋ง ๊ฐ ์กฐ์ง์ 1,6๋ง ์ฌ์ฉ์๋ก๋ถํฐ 1,2๋ง ๊ฐ์ ์ถ์ฒ์ด ํฌํจ๋์ด ์์ต๋๋ค.์ํ ๋ฐ์ดํฐ ์ธํธ โ ์ธ๊ธฐ TV ๊ฒ์์ 200๊ฐ ์ด์์ ์ง๋ฌธ๊ณผ ๋ต๋ณ ๋ น์.์ถ์ฒ ์์คํ ๋ฐ์ดํฐ ์ธํธ โ UCSD ๋ํ์ ๋ฐ์ดํฐ ์ธํธ ์ปฌ๋ ์ ์ด ํฌํจ๋ ํฌํธ์ ๋๋ค. ์ธ๊ธฐ ์ฌ์ดํธ(Goodreads, Amazon)์ ๋ํ ๋ฆฌ๋ทฐ ๊ธฐ๋ก์ด ํฌํจ๋์ด ์์ต๋๋ค. ์ถ์ฒ ์์คํ ์ ๋ง๋๋ ๋ฐ ์ ํฉํฉ๋๋ค. (R์ ์์ค ์ฝ๋๊ฐ ํฌํจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ต์ :R์ ์ํ ์ถ์ฒ ์์คํ ํ๋ก์ ํธ )UCI ์คํธ๋ฒ ์ด์ค ๋ฐ์ดํฐ์ธํธ โ ์คํธ ํ์ง๋ฅผ ์ํ ํ๋ จ ๋ฐ์ดํฐ์ธํธ์ ๋๋ค. 4601๊ฐ์ ๋ฉํ๋ฐ์ดํฐ ๋งค๊ฐ๋ณ์์ ํจ๊ป 57๊ฐ์ ๋ฌธ์๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.Flickr 30k ๋ฐ์ดํฐ ์ธํธ โ 30๊ฐ ์ด์์ ์ด๋ฏธ์ง์ ์บก์ . (Flickr 8k ๋ฐ์ดํฐ ์ธํธ โ 8000๊ฐ์ ์ด๋ฏธ์ง. Python ์์ค ํ๋ก์ ํธ:์ด๋ฏธ์ง ์บก์ ์์ฑ๊ธฐ Python ํ๋ก์ ํธ )IMDB ๋ฆฌ๋ทฐ โ ํ๋ จ ์ธํธ์ 25๊ฐ์ ์ํ ๋ฆฌ๋ทฐ๊ฐ ์๊ณ ํ ์คํธ ์ธํธ์ 000๊ฐ๊ฐ ์์ต๋๋ค. (R์ ์์ค ์ฝ๋๊ฐ ํฌํจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ต์ :๊ฐ์ฑ ๋ถ์ ๋ฐ์ดํฐ ์ฌ์ด์ธ์ค ํ๋ก์ ํธ )MS COCO ๋ฐ์ดํฐ ์ธํธ โ 1,5๋ง ๊ฐ์ ํ๊ทธ๋ ์ด๋ฏธ์ง.CIFAR-10 ๋ฐ CIFAR-100 ๋ฐ์ดํฐ ์ธํธ โ CIFAR-10์๋ 60,000*32 ํฝ์ ์ซ์ 32-0์ ์์ ์ด๋ฏธ์ง 9๊ฐ๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. CIFAR-100 - ๊ฐ๊ฐ 0-100.GTSRB(๋ ์ผ ๊ตํต ํ์ง ์ธ์ ๋ฒค์น๋งํฌ) ๋ฐ์ดํฐ ์ธํธ โ 50๊ฐ์ ๋๋ก ํ์งํ ์ด๋ฏธ์ง 000๊ฐ. (Python์ ์์ค ์ฝ๋๊ฐ ํฌํจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ต์ :๊ตํต ํ์งํ ์ธ์ Python ํ๋ก์ ํธ )ImageNet ๋ฐ์ดํฐ ์ธํธ โ 100๊ฐ ์ด์์ ๋ฌธ๊ตฌ์ ๋ฌธ๊ตฌ๋น ์ฝ 000๊ฐ์ ์ด๋ฏธ์ง๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.์ ๋ฐฉ ์กฐ์ง๋ณ๋ฆฌํ ์ด๋ฏธ์ง ๋ฐ์ดํฐ์ธํธ โ ๋ฐ์ดํฐ ์ธํธ์๋ ์ ๋ฐฉ์ ์ํ ์ด๋ฏธ์ง๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. (์์ค์ฝ๋๊ฐ ํฌํจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ต์ ์ ๋ฐฉ์ ๋ถ๋ฅ Python ํ๋ก์ ํธ )Cityscapes ๋ฐ์ดํฐ ์ธํธ โ ๋ค์ํ ๋์ ๊ฑฐ๋ฆฌ์ ๋น๋์ค ์ํ์ค์ ๋ํ ๊ณ ํ์ง ์ฃผ์์ด ํฌํจ๋์ด ์์ต๋๋ค.์ญํ ๋ฐ์ดํฐ์ธํธ - ์ฝ 6,5๋ง๊ฐ์ ๊ณ ํ์ง ๋์์์ ๋ํ URL ๋งํฌ๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.MPII ์ธ๊ฐ ํฌ์ฆ ๋ฐ์ดํฐ ์ธํธ โ ๋ฐ์ดํฐ ์ธํธ์๋ ๊ณต๋ ์ฃผ์์ด ํฌํจ๋ ์ธ๊ฐ ํฌ์ฆ ์ด๋ฏธ์ง 25๊ฐ๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.20์ต ์ ๋์ ๋ญ๊ฐ ๋ฐ์ดํฐ์ธํธ v2 - ์ฌ๋์ด ํน์ ์์ ์ ์ํํ๋ ๋ฐฉ๋ฒ์ ๋ณด์ฌ์ฃผ๋ ๊ณ ํ์ง ๋น๋์ค ์ธํธ์ ๋๋ค.Object 365 ๋ฐ์ดํฐ์ธํธ โ ๊ฐ์ฒด ๊ฒฝ๊ณ ์์๊ฐ ์๋ ๊ณ ํ์ง ์ด๋ฏธ์ง ๋ฐ์ดํฐ ์ธํธ์ ๋๋ค.์ฌ์ง ์ค์ผ์น ๋ฐ์ดํฐ ์ธํธ โ ๊ฐ์ ๊ทธ๋ฆผ๊ณผ ํจ๊ป 1000๊ฐ ์ด์์ ์ด๋ฏธ์ง๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.CQ500 ๋ฐ์ดํฐ์ธํธ โ ๋ฐ์ดํฐ ์ธํธ์๋ 491๊ฐ์ ์ฌ๋ผ์ด์ค๋ก ๊ตฌ์ฑ๋ ๋จธ๋ฆฌ์ 193๊ฐ CT ์ค์บ์ด ํฌํจ๋์ด ์์ต๋๋ค.IMDB-์ํค ๋ฐ์ดํฐ์ธํธ โ ์ฑ๋ณ๊ณผ ์ฐ๋ น๋ณ๋ก ํ์๋ 5๋ง ๊ฐ ์ด์์ ์ผ๊ตด ์ด๋ฏธ์ง๊ฐ ํฌํจ๋ ๋ฐ์ดํฐ์ธํธ์ ๋๋ค. (์์ค์ฝ๋๊ฐ ํฌํจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ต์ ์ฑ๋ณ ๋ฐ ์ฐ๋ น ๊ฐ์ง Python ํ๋ก์ ํธ )์ ํ๋ธ 8M ๋ฐ์ดํฐ์ธํธ - 6,1๋ง ๊ฐ์ YouTube ๋์์ ID๊ฐ ํฌํจ๋ ๋ผ๋ฒจ์ด ์ง์ ๋ ๋์์ ๋ฐ์ดํฐ์ธํธUrban Sound 8K ๋ฐ์ดํฐ ์ธํธ โ ๋์ ์๋ฆฌ ๋ฐ์ดํฐ ์ธํธ(8732๊ฐ ํด๋์ค์ 10๊ฐ ๋์ ์๋ฆฌ ํฌํจ)LSUN ๋ฐ์ดํฐ์ธํธ - ์ฅ๋ฉด๊ณผ ์ฌ๋ฌผ์ ๋ํ ์๋ฐฑ๋ง ๊ฐ์ ์ปฌ๋ฌ ์ด๋ฏธ์ง๋ก ๊ตฌ์ฑ๋ ๋ฐ์ดํฐ ์ธํธ(์ฝ 59๋ง ๊ฐ์ ์ด๋ฏธ์ง, 10๊ฐ์ ๋ค์ํ ์ฅ๋ฉด ์นดํ ๊ณ ๋ฆฌ ๋ฐ 20๊ฐ์ ๋ค์ํ ๊ฐ์ฒด ์นดํ ๊ณ ๋ฆฌ).RAVDESS ๋ฐ์ดํฐ์ธํธ โ ๊ฐ์ ์ ์ฐ์ค์ ์์ฒญ๊ฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค. (์์ค์ฝ๋๊ฐ ํฌํจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ต์ ์์ฑ ๊ฐ์ ์ธ์ Python ํ๋ก์ ํธ )Librispeech ๋ฐ์ดํฐ์ธํธ โ ๋ฐ์ดํฐ ์ธํธ์๋ ๋ค์ํ ์ ์ผํธ๊ฐ ํฌํจ๋ 1000์๊ฐ์ ์์ด ์์ฑ์ด ํฌํจ๋์ด ์์ต๋๋ค.Baidu Apolloscape ๋ฐ์ดํฐ์ธํธ โ ์์จ์ฃผํ ๊ธฐ์ ๊ฐ๋ฐ์ ์ํ ๋ฐ์ดํฐ์ธํธ์ ๋๋ค.Quandl ๋ฐ์ดํฐ ํฌํธ โ ๊ฒฝ์ ๋ฐ ๊ธ์ต ๋ฐ์ดํฐ ์ ์ฅ์(๋ฌด๋ฃ ๋ฐ ์ ๋ฃ ์ฝํ ์ธ ๊ฐ ์์)์ธ๊ณ์ํ ๊ฐ๋ฐฉํ ๋ฐ์ดํฐ ํฌํธ โ ์ธ๊ณ์ํ์ด ๊ฐ๋ฐ๋์๊ตญ์ ๋ฐํํ ๋์ถ์ ๊ดํ ์ ๋ณด.IMF ๋ฐ์ดํฐ ํฌํธ ๊ตญ์ ๊ธ์ต, ๋ถ์ฑ๋น์จ, ํฌ์, ์ธํ๋ณด์ ์ก, ์์์ฌ ๋ฑ์ ๊ดํ ๋ฐ์ดํฐ๋ฅผ ๊ฒ์ํ๋ ๊ตญ์ ํตํ๊ธฐ๊ธ ํฌํธ์ ๋๋ค.๋ฏธ๊ตญ ๊ฒฝ์ ํํ(AEA) ๋ฐ์ดํฐ ํฌํธ - ๋ฏธ๊ตญ ๊ฑฐ์๊ฒฝ์ ๋ฐ์ดํฐ ๊ฒ์์ ์ํ ๋ฆฌ์์ค์ ๋๋ค.Google ํธ๋ ๋ ๋ฐ์ดํฐ ํฌํธ - ๊ตฌ๊ธ ํธ๋ ๋ ๋ฐ์ดํฐ๋ฅผ ํ์ฉํ์ฌ ๋ฐ์ดํฐ๋ฅผ ์๊ฐ์ ์ผ๋ก ํ์ํ๊ณ ๋ถ์ํ ์ ์์ต๋๋ค.Financial Times ์์ฅ ๋ฐ์ดํฐ ํฌํธ ์ ์ธ๊ณ ๊ธ์ต์์ฅ์ ๋ํ ์ต์ ์ ๋ณด๋ฅผ ์ ๊ณตํ๋ ๋ฆฌ์์ค์ ๋๋ค.Data.gov ํฌํธ - ๋ฏธ๊ตญ ์ ๋ถ ์คํ ๋ฐ์ดํฐ ํฌํธ(๋์ , ๋ณด๊ฑด, ๊ธฐํ, ๊ต์ก, ์๋์ง, ๊ธ์ต, ๊ณผํ ๋ฐ ์ฐ๊ตฌ ๋ฑ).๋ฐ์ดํฐ ํฌํธ: ๊ณต๊ฐ ์ ๋ถ ๋ฐ์ดํฐ(์ธ๋) ์ธ๋์ ๊ฐ๋ฐฉํ ์ ๋ถ ๋ฐ์ดํฐ ํ๋ซํผ์ ๋๋ค.์ํ ํ๊ฒฝ Atlas ๋ฐ์ดํฐ ํฌํธ โ ๋ฏธ๊ตญ์ ์์์ ๊ดํ ์ฐ๊ตฌ ๋ฐ์ดํฐ๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.๊ฑด๊ฐ ๋ฐ์ดํฐ ํฌํธ ๋ฏธ๊ตญ ๋ณด๊ฑด๋ณต์ง๋ถ์ ํฌํธ์ ๋๋ค.์ง๋ณํต์ ์๋ฐฉ์ผํฐ ๋ฐ์ดํฐ ํฌํธ - ๊ฑด๊ฐ๊ณผ ๊ด๋ จ๋ ๋ค์ํ ๋ฐ์ดํฐ๋ฅผ ๋ด๊ณ ์์ต๋๋ค.๋ฐ๋ ๋ฐ์ดํฐ์คํ ์ด ํฌํธ - ๋ฐ๋ ์ฌ๋๋ค์ ์ถ์ ๋ํ ๋ฐ์ดํฐ.์บ๋๋ค ์ ๋ถ ๊ณต๊ฐ ๋ฐ์ดํฐ ํฌํธ - ์บ๋๋ค์ธ์ ๊ดํ ๊ณต๊ฐ ๋ฐ์ดํฐ ํฌํธ(๋์ , ์์ , ์์ , ๊ต์ก, ์ ๋ถ, ์๋ฃ ๋ฑ)
๋ ์ฝ์ด๋ณด๊ธฐ
๋ฐ์ดํฐ ๊ณผํ ๊ธฐ์ ์ ํฅ์์ํค๋ 14๊ฐ์ง ์คํ ์์ค ํ๋ก์ ํธ(์ฌ์, ๋ณดํต, ์ด๋ ค์) ํ๋ฐํธ์๋ ๋์ฅ: ๊ฐ๋ฐ์ ๊ธฐ์ ์ ๊ต์กํ๋ ํ๋ก์ ํธ(์ ๊ท 5๊ฐ + ๊ธฐ์กด 43๊ฐ) ๊ฐ์ฅ ํฅ๋ฏธ๋ก์ด IT ๋์ ์ธํฌ๊ทธ๋ํฝ ์์ 12๊ฐ
์ถ์ฒ : habr.com