Centralni procesor je bil pri globokem učenju nevronskih mrež nekajkrat hitrejši od kombinacije osmih grafičnih procesorjev hkrati. Sliši se kot nekaj iz znanstvene fantastike, kajne? Toda raziskovalci z univerze Rice so z uporabo Intel Xeon dokazali, da je to mogoče.
GPU-ji so bili vedno veliko bolj primerni za globoko učenje nevronskih mrež kot CPE-ji. To je posledica arhitekture grafičnih procesorjev, ki so sestavljeni iz številnih majhnih jeder, ki so sposobna vzporedno izvajati številne majhne naloge, kar je točno tisto, kar je potrebno za usposabljanje nevronskih mrež. Izkazalo pa se je, da so centralni procesorji s pravim pristopom lahko zelo učinkoviti pri globokem učenju.
Poroča se, da je bil pri uporabi algoritma globokega učenja SLIDE procesor Intel Xeon s 44 jedri 3,5-krat bolj produktiven kot kombinacija osmih računalniških pospeševalnikov NVIDIA Tesla V100. To je morda prvič, da je CPE v takšnem scenariju ne le dohitel GPE, ampak jih je tudi presegel, in to zelo opazno.
Sporočilo za javnost, ki ga je izdala univerza, navaja, da algoritem SLIDE ne potrebuje grafičnih procesorjev, saj uporablja popolnoma drugačen pristop. Običajno se pri usposabljanju nevronskih mrež uporablja tehnika povratnega širjenja napak pri usposabljanju, ki uporablja matrično množenje, kar je idealna obremenitev za GPE. SLIDE po drugi strani spremeni učenje v problem iskanja, ki se reši z uporabo zgoščenih tabel.
Po mnenju raziskovalcev to bistveno zmanjša računske stroške usposabljanja nevronskih mrež. Da bi dobili izhodišče, so raziskovalci uporabili obstoječi sistem laboratorija univerze Rice z osmimi pospeševalniki Tesla V100 za usposabljanje nevronske mreže z uporabo Googlove knjižnice TensorFlow. Postopek je trajal 3,5 ure. Nato je bila podobna nevronska mreža naučena z uporabo algoritma SLIDE na sistemu z enim samim 44-jedrnim procesorjem Xeon, kar je trajalo le 1 uro.
Tukaj velja omeniti, da Intel trenutno v svoji ponudbi izdelkov nima 44-jedrnih modelov procesorjev. Možno je, da so raziskovalci uporabili nekakšen prilagojen ali neobjavljen čip, vendar je to malo verjetno. Veliko bolj verjetno je, da je bil tukaj uporabljen sistem z dvema 22-jedrnima Intel Xeonoma ali pa je preprosto prišlo do napake v sporočilu za javnost, govorimo pa o 44 nitih, ki jih je zagotavljal en 22-jedrni procesor. A v vsakem primeru to ne zmanjša samega dosežka.
Seveda pa mora algoritem SLIDE opraviti še veliko testov in dokazati svojo učinkovitost ter odsotnost kakršnih koli posebnosti in pasti. Vendar je to, kar vidimo zdaj, zelo impresivno in lahko res močno vpliva na razvoj industrije.
Vir: 3dnews.ru