El processador central va ser diverses vegades més ràpid en rendiment que una combinació de vuit processadors gràfics alhora quan les xarxes neuronals d'aprenentatge profund. Sembla una cosa de ciència ficció, no? Però els investigadors de la Universitat Rice, que utilitzen Intel Xeon, han demostrat que és possible.
Les GPU sempre han estat molt més adequades per a xarxes neuronals d'aprenentatge profund que les CPU. Això es deu a l'arquitectura de les GPU, que consisteixen en molts nuclis petits que són capaços de realitzar moltes tasques petites en paral·lel, que és exactament el que es requereix per entrenar xarxes neuronals. Però va resultar que els processadors centrals, amb l'enfocament adequat, poden ser molt efectius en l'aprenentatge profund.
S'informa que quan s'utilitza l'algoritme d'aprenentatge profund SLIDE, un processador Intel Xeon amb 44 nuclis era 3,5 vegades més productiu que una combinació de vuit acceleradors de computació NVIDIA Tesla V100. Aquesta és potser la primera vegada que la CPU no només es posa al dia amb la GPU en aquest escenari, sinó que també la supera, i molt notablement.
Un comunicat de premsa emès per la universitat afirma que l'algorisme SLIDE no requereix GPU, ja que utilitza un enfocament completament diferent. Normalment, quan s'entrenen xarxes neuronals, s'utilitza la tècnica de retropropagació d'errors d'entrenament, que utilitza la multiplicació de matrius, que és una càrrega ideal per a la GPU. SLIDE, d'altra banda, converteix l'aprenentatge en un problema de cerca que es resol mitjançant taules hash.
Segons els investigadors, això redueix significativament el cost computacional de la formació de xarxes neuronals. Per obtenir una línia de base, els investigadors van utilitzar el sistema existent del laboratori de la Rice University amb vuit acceleradors Tesla V100 per entrenar una xarxa neuronal mitjançant la biblioteca TensorFlow de Google. El procés va durar 3,5 hores. Després, es va entrenar una xarxa neuronal similar utilitzant l'algoritme SLIDE en un sistema amb un únic processador Xeon de 44 nuclis, i només va trigar 1 hora.
Val la pena assenyalar aquí que Intel actualment no té models de processadors de 44 nuclis a la seva gamma de productes. És possible que els investigadors hagin utilitzat algun tipus de xip personalitzat o inèdit, però això és poc probable. És molt més probable que aquí s'utilitzi un sistema amb dos Intel Xeons de 22 nuclis, o simplement hi hagi un error al comunicat de premsa, i estem parlant de 44 fils proporcionats per un processador de 22 nuclis. Però, en qualsevol cas, això no perjudica l'assoliment en si.
Per descomptat, l'algoritme SLIDE encara ha de passar per moltes proves i demostrar la seva eficàcia, així com l'absència de peculiaritats i inconvenients. Tanmateix, el que veiem ara és molt impressionant i realment pot tenir un gran impacte en el desenvolupament de la indústria.
Font: 3dnews.ru