Središnji procesor bio je nekoliko puta brži u performansama od kombinacije osam grafičkih procesora odjednom pri dubinskom učenju neuronskih mreža. Zvuči kao iz znanstvene fantastike, zar ne? No istraživači sa Sveučilišta Rice, koristeći Intel Xeon, dokazali su da je to moguće.
GPU-i su uvijek bili mnogo prikladniji za dubinsko učenje neuronskih mreža od CPU-a. To je zbog arhitekture GPU-a koji se sastoji od mnogo malih jezgri koje su sposobne paralelno obavljati mnogo malih zadataka, što je upravo ono što je potrebno za obuku neuronskih mreža. No pokazalo se da središnji procesori, uz pravi pristup, mogu biti vrlo učinkoviti u dubokom učenju.
Prijavljeno je da je pri korištenju algoritma dubokog učenja SLIDE procesor Intel Xeon s 44 jezgre bio 3,5 puta produktivniji od kombinacije osam NVIDIA Tesla V100 računalnih akceleratora. Ovo je možda prvi put da je CPU ne samo sustigao GPU u takvom scenariju, nego ih je i nadmašio, i to vrlo osjetno.
Priopćenje za tisak koje je izdalo sveučilište navodi da SLIDE algoritam ne zahtijeva GPU jer koristi potpuno drugačiji pristup. Tipično, kada se treniraju neuronske mreže, koristi se tehnika backpropagacije pogreške obuke, koja koristi matrično množenje, što je idealno opterećenje za GPU. SLIDE, s druge strane, pretvara učenje u problem pretraživanja koji se rješava uporabom hash tablica.
Prema istraživačima, ovo značajno smanjuje računalne troškove treniranja neuronskih mreža. Kako bi dobili osnovnu vrijednost, istraživači su koristili postojeći sustav laboratorija Sveučilišta Rice s osam Tesla V100 akceleratora za treniranje neuronske mreže koristeći Googleovu biblioteku TensorFlow. Proces je trajao 3,5 sata. Nakon toga, slična neuronska mreža trenirana je korištenjem SLIDE algoritma na sustavu s jednim 44-jezgrenim Xeon procesorom, a trajalo je samo 1 sat.
Ovdje je vrijedno napomenuti da Intel trenutno nema modele procesora s 44 jezgre u svojoj paleti proizvoda. Moguće je da su istraživači koristili neku vrstu prilagođenog ili neobjavljenog čipa, ali to je malo vjerojatno. Puno je vjerojatnije da je ovdje korišten sustav s dva 22-jezgrena Intel Xeona ili je jednostavno došlo do greške u priopćenju, a riječ je o 44 threada koje je osiguravao jedan 22-jezgreni procesor. Ali u svakom slučaju to ne umanjuje samo postignuće.
Naravno, SLIDE algoritam još mora proći kroz mnoge testove i dokazati svoju učinkovitost, kao i nepostojanje bilo kakvih posebnosti i zamki. Međutim, ono što sada vidimo vrlo je impresivno i doista može imati veliki utjecaj na razvoj industrije.
Izvor: 3dnews.ru