Цэнтральны працэсар у некалькі разоў абышоў па прадукцыйнасці звязак адразу з васьмі графічных працэсараў пры глыбокім навучанні нейросетей. Гучыць як нешта з навуковай фантастыкі, ці не так? Але даследнікі з Універсітэта Райса (Rice University) з дапамогай Intel Xeon даказалі, што гэта рэальна.
Графічныя працэсары заўсёды нашмат лепш падыходзілі для глыбокага навучання нейросетей, чым цэнтральныя працэсары. Гэта злучана з архітэктурай GPU, якія складаюцца з мноства дробных ядраў, якія здольныя раўналежна выконваць вельмі шмат невялікіх задач, што як раз і патрабуецца для трэніроўкі нейросетей. Але аказалася, што і цэнтральныя працэсары пры належным падыходзе могуць быць вельмі эфектыўныя ў глыбокім навучанні.
Паведамляецца, што пры выкарыстанні алгарытму глыбокага навучання SLIDE працэсар Intel Xeon з 44 ядрамі апынуўся ў 3,5 разы больш прадукцыйна, чым звязак з васьмі паскаральнікаў вылічэнняў NVIDIA Tesla V100. Мабыць, гэта першы раз, калі CPU не толькі зраўняўся з GPU у падобным сцэнары, але і перасягнуў іх, прычым вельмі заўважна.
У выпушчаным універсітэтам прэс-рэлізе гаворыцца, што алгарытм SLIDE не мае патрэбы ў графічных працэсарах, бо выкарыстоўвае зусім іншы падыход. Звычайна пры навучанні нейросетей выкарыстоўваецца методыка зваротнага распаўсюджвання памылкі навучання, якая выкарыстоўвае перамнажэнне матрыц, якое з'яўляецца ідэальнай нагрузкай для GPU. У сваю чаргу SLIDE ператварае навучанне ў праблему пошуку, якая вырашаецца з дапамогай хэш-табліц.
Па словах даследнікаў, гэта значна змяншае вылічальныя выдаткі на навучанне нейросетей. Для таго, каб атрымаць кропку адліку, даследнікі выкарыстоўвалі наяўную ў лабараторыі Універсітэта Райса сістэму з васьмю паскаральнікамі Tesla V100 для навучання нейрасеткі з выкарыстаннем бібліятэкі Google TensorFlow. Працэс заняў 3,5 гадзіны. Пасля, аналагічная нейрасетка была навучана з дапамогай алгарытму SLIDE на сістэме з адным 44-ядзерным працэсарам Xeon, і гэта заняло ўсяго толькі 1 гадзіну.
Тут варта адзначыць, што ў асартыменце Intel зараз няма 44-ядзерных мадэляў працэсараў. Магчыма, даследнікі выкарыстоўвалі нейкі кастамны ці яшчэ не які выйшаў чып, але гэта малаверагодна. Куды больш верагодна, што тут была скарыстана сістэма з двума 22-ядзернымі Intel Xeon, ці проста ў прэс-рэлізе дапушчаная памылка, і гаворка ідзе пра 44 струмені, якія забяспечыў адзін 22-ядзерны працэсар. Але ў любым выпадку гэта не прымяншае самога дасягненні.
Вядома, алгарытму SLIDE яшчэ трэба прайсці мноства праверак і даказаць сваю эфектыўнасць, а таксама адсутнасць якіх-небудзь асаблівасцяў і падводных камянёў. Аднак тое, што мы бачым зараз, вельмі ўражвае і сапраўды можа моцна паўплываць на развіццё індустрыі.
Крыніца: 3dnews.ru