Centralni procesor je bio nekoliko puta brži u performansama od kombinacije osam grafičkih procesora odjednom kada je dubinsko učenje neuronskih mreža. Zvuči kao nešto iz naučne fantastike, zar ne? Ali istraživači sa Univerziteta Rice, koristeći Intel Xeon, dokazali su da je to moguće.
GPU-ovi su uvijek bili mnogo bolje prilagođeni neuronskim mrežama dubinskog učenja od CPU-a. To je zbog arhitekture GPU-a, koji se sastoje od mnogo malih jezgara koje su sposobne da obavljaju mnoge male zadatke paralelno, što je upravo ono što je potrebno za obuku neuronskih mreža. Ali pokazalo se da centralni procesori, sa pravim pristupom, mogu biti veoma efikasni u dubokom učenju.
Izvještava se da je korištenjem SLIDE algoritma dubokog učenja, Intel Xeon procesor sa 44 jezgra bio 3,5 puta produktivniji od kombinacije osam NVIDIA Tesla V100 računarskih akceleratora. Ovo je možda prvi put da je CPU ne samo sustigao GPU u takvom scenariju, već ih je i nadmašio, i to vrlo primjetno.
U saopštenju za javnost koje je izdao univerzitet navodi se da SLIDE algoritam ne zahtijeva GPU jer koristi potpuno drugačiji pristup. Tipično, kada se treniraju neuronske mreže, koristi se tehnika povratnog širenja greške u obučavanju, koja koristi množenje matrice, što je idealno opterećenje za GPU. SLIDE, s druge strane, pretvara učenje u problem traženja koji se rješava korištenjem hash tablica.
Prema istraživačima, ovo značajno smanjuje računske troškove obuke neuronskih mreža. Da bi dobili osnovnu liniju, istraživači su koristili postojeći sistem laboratorije Univerziteta Rice sa osam Tesla V100 akceleratora za obuku neuronske mreže koristeći Google-ovu TensorFlow biblioteku. Proces je trajao 3,5 sata. Nakon toga, slična neuronska mreža je obučena korištenjem SLIDE algoritma na sistemu sa jednim 44-jezgarnim Xeon procesorom, i to je trajalo samo 1 sat.
Ovdje je vrijedno napomenuti da Intel trenutno nema modele procesora sa 44 jezgra u svom asortimanu proizvoda. Moguće je da su istraživači koristili neku vrstu prilagođenog ili neobjavljenog čipa, ali to je malo vjerovatno. Mnogo je verovatnije da je ovde korišćen sistem sa dva Intel Xeona od 22 jezgra ili je jednostavno došlo do greške u saopštenju za javnost, a reč je o 44 threada koje je obezbedio jedan 22-jezgarni procesor. Ali u svakom slučaju, to ne umanjuje samo postignuće.
Naravno, SLIDE algoritam još mora proći kroz mnoge testove i dokazati svoju efikasnost, kao i odsustvo bilo kakvih posebnosti i zamki. Međutim, ono što sada vidimo je vrlo impresivno i zaista može imati veliki utjecaj na razvoj industrije.
izvor: 3dnews.ru