Il processore centrale era molte volte più veloce in termini di prestazioni rispetto a una combinazione di otto processori grafici contemporaneamente durante l'apprendimento profondo delle reti neurali. Sembra qualcosa uscito dalla fantascienza, vero? Ma i ricercatori della Rice University, utilizzando Intel Xeon, hanno dimostrato che è possibile.
Le GPU sono sempre state molto più adatte alle reti neurali di deep learning rispetto alle CPU. Ciò è dovuto all’architettura delle GPU, composta da tanti piccoli core in grado di eseguire molti piccoli compiti in parallelo, che è esattamente ciò che è necessario per l’addestramento delle reti neurali. Ma si è scoperto che i processori centrali, con il giusto approccio, possono essere molto efficaci nel deep learning.
È stato riferito che quando si utilizza l'algoritmo di deep learning SLIDE, un processore Intel Xeon con 44 core è stato 3,5 volte più produttivo di una combinazione di otto acceleratori di elaborazione NVIDIA Tesla V100. Questa è forse la prima volta che la CPU non solo ha raggiunto la GPU in uno scenario del genere, ma l'ha anche superata, e in modo molto evidente.
Un comunicato stampa diffuso dall'università afferma che l'algoritmo SLIDE non richiede GPU poiché utilizza un approccio completamente diverso. In genere, durante l'addestramento delle reti neurali, viene utilizzata la tecnica di backpropagation dell'errore di addestramento, che utilizza la moltiplicazione di matrici, che è un carico ideale per la GPU. SLIDE, d'altra parte, trasforma l'apprendimento in un problema di ricerca che viene risolto utilizzando le tabelle hash.
Secondo i ricercatori, ciò riduce significativamente il costo computazionale dell’addestramento delle reti neurali. Per ottenere una linea di base, i ricercatori hanno utilizzato il sistema esistente del laboratorio della Rice University con otto acceleratori Tesla V100 per addestrare una rete neurale utilizzando la libreria TensorFlow di Google. Il processo ha richiesto 3,5 ore. Successivamente, una rete neurale simile è stata addestrata utilizzando l’algoritmo SLIDE su un sistema con un singolo processore Xeon a 44 core e ci è voluta solo 1 ora.
Vale la pena notare qui che Intel attualmente non ha modelli di processori a 44 core nella sua gamma di prodotti. È possibile che i ricercatori abbiano utilizzato qualche tipo di chip personalizzato o inedito, ma ciò è improbabile. È molto più probabile che qui sia stato utilizzato un sistema con due Intel Xeon a 22 core, o semplicemente c'era un errore nel comunicato stampa, e stiamo parlando di 44 thread forniti da un processore a 22 core. Ma in ogni caso ciò non toglie nulla al risultato stesso.
Naturalmente, l'algoritmo SLIDE deve ancora superare molti test e dimostrare la sua efficacia, nonché l'assenza di peculiarità e insidie. Tuttavia, ciò che vediamo ora è davvero impressionante e può davvero avere un grande impatto sullo sviluppo del settore.
Fonte: 3dnews.ru
