Procesorul central a fost de câteva ori mai rapid ca performanță decât o combinație de opt procesoare grafice simultan, atunci când rețelele neuronale de deep learning. Sună ca ceva din science fiction, nu-i așa? Dar cercetătorii de la Universitatea Rice, folosind Intel Xeon, au demonstrat că este posibil.
GPU-urile au fost întotdeauna mult mai potrivite pentru rețelele neuronale de învățare profundă decât CPU-urile. Acest lucru se datorează arhitecturii GPU-urilor, care constau din multe nuclee mici care sunt capabile să efectueze multe sarcini mici în paralel, ceea ce este exact ceea ce este necesar pentru antrenarea rețelelor neuronale. Dar s-a dovedit că procesoarele centrale, cu abordarea corectă, pot fi foarte eficiente în deep learning.
Se raportează că atunci când se folosește algoritmul de învățare profundă SLIDE, un procesor Intel Xeon cu 44 de nuclee a fost de 3,5 ori mai productiv decât o combinație de opt acceleratoare de calcul NVIDIA Tesla V100. Aceasta este poate prima dată când CPU nu numai că a ajuns din urmă cu GPU-ul într-un astfel de scenariu, dar le-a depășit și foarte vizibil.
Un comunicat de presă emis de universitate afirmă că algoritmul SLIDE nu necesită GPU, deoarece folosește o abordare complet diferită. De obicei, atunci când antrenați rețele neuronale, este utilizată tehnica de backpropagation a erorii de antrenament, care utilizează multiplicarea matricei, care este o sarcină ideală pentru GPU. SLIDE, pe de altă parte, transformă învățarea într-o problemă de căutare care este rezolvată folosind tabele hash.
Potrivit cercetătorilor, acest lucru reduce semnificativ costul de calcul al antrenării rețelelor neuronale. Pentru a obține o linie de bază, cercetătorii au folosit sistemul existent al laboratorului Rice University cu opt acceleratoare Tesla V100 pentru a antrena o rețea neuronală folosind biblioteca TensorFlow de la Google. Procesul a durat 3,5 ore. Ulterior, o rețea neuronală similară a fost antrenată folosind algoritmul SLIDE pe un sistem cu un singur procesor Xeon cu 44 de nuclee și a durat doar 1 oră.
Este de remarcat aici că Intel nu are în prezent modele de procesoare cu 44 de nuclee în gama sa de produse. Este posibil ca cercetătorii să fi folosit un fel de cip personalizat sau nelansat, dar acest lucru este puțin probabil. Este mult mai probabil ca aici să fi fost folosit un sistem cu două Intel Xeon cu 22 de nuclee, sau pur și simplu să fi fost o eroare în comunicatul de presă și vorbim despre 44 de fire care au fost furnizate de un procesor cu 22 de nuclee. Dar, în orice caz, acest lucru nu afectează realizarea în sine.
Desigur, algoritmul SLIDE mai trebuie să treacă prin multe teste și să-și demonstreze eficacitatea, precum și absența oricăror particularități și capcane. Totuși, ceea ce vedem acum este foarte impresionant și poate avea într-adevăr un impact mare asupra dezvoltării industriei.
Sursa: 3dnews.ru
