Ang gitnang processor ay ilang beses na mas mabilis sa pagganap kaysa sa kumbinasyon ng walong graphics processor nang sabay-sabay kapag malalim ang pag-aaral ng mga neural network. Parang isang bagay na wala sa science fiction, hindi ba? Ngunit ang mga mananaliksik mula sa Rice University, gamit ang Intel Xeon, ay napatunayan na ito ay posible.
Ang mga GPU ay palaging mas angkop para sa malalim na pag-aaral ng mga neural network kaysa sa mga CPU. Ito ay dahil sa arkitektura ng mga GPU, na binubuo ng maraming maliliit na core na may kakayahang magsagawa ng maraming maliliit na gawain nang magkatulad, na eksakto kung ano ang kinakailangan para sa pagsasanay ng mga neural network. Ngunit lumabas na ang mga sentral na processor, na may tamang diskarte, ay maaaring maging napaka-epektibo sa malalim na pag-aaral.
Iniulat na kapag gumagamit ng SLIDE deep learning algorithm, ang isang Intel Xeon processor na may 44 na mga core ay 3,5 beses na mas produktibo kaysa sa kumbinasyon ng walong NVIDIA Tesla V100 computing accelerators. Ito marahil ang unang pagkakataon na hindi lamang naabutan ng CPU ang GPU sa gayong senaryo, ngunit nalampasan din sila, at kapansin-pansin.
Ang isang press release na inilabas ng unibersidad ay nagsasaad na ang SLIDE algorithm ay hindi nangangailangan ng mga GPU dahil ito ay gumagamit ng isang ganap na naiibang diskarte. Kadalasan, kapag nagsasanay ng mga neural network, ginagamit ang pamamaraan ng backpropagation ng error sa pagsasanay, na gumagamit ng matrix multiplication, na isang perpektong load para sa GPU. Ang SLIDE, sa kabilang banda, ay ginagawa ang pag-aaral sa isang problema sa paghahanap na nalutas gamit ang mga hash table.
Ayon sa mga mananaliksik, makabuluhang binabawasan nito ang computational cost ng pagsasanay sa mga neural network. Upang makakuha ng baseline, ginamit ng mga mananaliksik ang umiiral na sistema ng Rice University lab na may walong Tesla V100 accelerators upang sanayin ang isang neural network gamit ang TensorFlow library ng Google. Ang proseso ay tumagal ng 3,5 oras. Pagkatapos, ang isang katulad na neural network ay sinanay gamit ang SLIDE algorithm sa isang system na may isang solong 44-core Xeon processor, at tumagal lamang ng 1 oras.
Ito ay nagkakahalaga na tandaan dito na ang Intel ay kasalukuyang walang 44-core na mga modelo ng processor sa hanay ng produkto nito. Posible na ang mga mananaliksik ay gumamit ng ilang uri ng custom o unreleased chip, ngunit ito ay malamang na hindi. Mas malamang na ginamit dito ang isang system na may dalawang 22-core Intel Xeon, o nagkaroon lang ng error sa press release, at pinag-uusapan natin ang tungkol sa 44 na mga thread na ibinigay ng isang 22-core processor. Ngunit sa anumang kaso, hindi ito nakakabawas sa tagumpay mismo.
Siyempre, ang SLIDE algorithm ay kailangan pa ring dumaan sa maraming pagsubok at patunayan ang pagiging epektibo nito, pati na rin ang kawalan ng anumang mga kakaiba at pitfalls. Gayunpaman, ang nakikita natin ngayon ay lubhang kahanga-hanga at maaari talagang magkaroon ng malaking epekto sa pag-unlad ng industriya.
Pinagmulan: 3dnews.ru