Centrinis procesorius buvo kelis kartus greitesnis nei aštuonių grafikos procesorių derinys vienu metu, kai giliai mokėsi neuroninių tinklų. Skamba kaip kažkas iš mokslinės fantastikos, ar ne? Tačiau mokslininkai iš Rice universiteto, naudodami Intel Xeon, įrodė, kad tai įmanoma.
GPU visada buvo daug geriau pritaikyti gilaus mokymosi neuroniniams tinklams nei CPU. Taip yra dėl GPU architektūros, kurią sudaro daugybė mažų branduolių, galinčių lygiagrečiai atlikti daug smulkių užduočių, o tai yra būtent tai, ko reikia neuroniniams tinklams lavinti. Tačiau paaiškėjo, kad centriniai procesoriai, laikantis teisingo požiūrio, gali būti labai veiksmingi giluminiam mokymuisi.
Pranešama, kad naudojant SLIDE giluminio mokymosi algoritmą, Intel Xeon procesorius su 44 branduoliais buvo 3,5 karto produktyvesnis nei aštuonių NVIDIA Tesla V100 skaičiavimo greitintuvų derinys. Tai bene pirmas kartas, kai CPU ne tik pasivijo GPU pagal tokį scenarijų, bet ir juos pranoko, ir labai pastebimai.
Universiteto išplatintame pranešime spaudai rašoma, kad SLIDE algoritmas nereikalauja GPU, nes taiko visiškai kitokį požiūrį. Paprastai treniruojant neuroninius tinklus naudojama mokymo klaidų atgalinio propagavimo technika, kuri naudoja matricos dauginimą, o tai yra ideali apkrova GPU. Kita vertus, SLIDE mokymasis paverčiamas paieškos problema, kuri išsprendžiama naudojant maišos lenteles.
Tyrėjų teigimu, tai žymiai sumažina neuroninių tinklų mokymo skaičiavimo sąnaudas. Norėdami gauti pradinį tašką, mokslininkai naudojo esamą Rice universiteto laboratorijos sistemą su aštuoniais Tesla V100 greitintuvais, kad apmokytų neuroninį tinklą naudodami Google TensorFlow biblioteką. Procesas truko 3,5 val. Vėliau panašus neuroninis tinklas buvo apmokytas naudojant SLIDE algoritmą sistemoje su vienu 44 branduolių Xeon procesoriumi, ir tai užtruko tik 1 valandą.
Čia verta paminėti, kad šiuo metu „Intel“ savo gaminių asortimente neturi 44 branduolių procesorių modelių. Gali būti, kad mokslininkai naudojo kokį nors pritaikytą ar neišleistą lustą, tačiau tai mažai tikėtina. Daug didesnė tikimybė, kad čia buvo naudojama sistema su dviem 22 branduolių Intel Xeonais arba tiesiog pranešime spaudai įvyko klaida, o kalbame apie 44 gijas, kurias parūpino vienas 22 branduolių procesorius. Bet bet kuriuo atveju tai nesumenkina paties pasiekimo.
Žinoma, SLIDE algoritmas dar turi praeiti daugybę testų ir įrodyti savo efektyvumą bei ypatumų ir spąstų nebuvimą. Tačiau tai, ką matome dabar, yra labai įspūdinga ir tikrai gali turėti didelės įtakos pramonės plėtrai.
Šaltinis: 3dnews.ru