Centrální procesor byl při hlubokém učení neuronových sítí ve výkonu několikanásobně rychlejší než kombinace osmi grafických procesorů najednou. Zní to jako něco ze sci-fi, že? Ale vědci z Rice University pomocí Intel Xeon dokázali, že je to možné.
GPU byly vždy mnohem vhodnější pro neuronové sítě s hlubokým učením než CPU. To je způsobeno architekturou GPU, která se skládají z mnoha malých jader, která jsou schopna vykonávat mnoho malých úkolů paralelně, což je přesně to, co je vyžadováno pro trénování neuronových sítí. Ukázalo se ale, že centrální procesory se správným přístupem mohou být velmi efektivní v hlubokém učení.
Uvádí se, že při použití algoritmu hlubokého učení SLIDE byl procesor Intel Xeon se 44 jádry 3,5krát produktivnější než kombinace osmi výpočetních akcelerátorů NVIDIA Tesla V100. Je to snad poprvé, co CPU v takovém scénáři GPU nejen dohnalo, ale i překonalo, a to velmi znatelně.
Tisková zpráva vydaná univerzitou uvádí, že algoritmus SLIDE nevyžaduje GPU, protože používá zcela odlišný přístup. Typicky se při trénování neuronových sítí používá technika trénování zpětného šíření chyb, která využívá násobení matic, což je ideální zátěž pro GPU. Na druhé straně SLIDE mění učení na vyhledávací problém, který se řeší pomocí hashovacích tabulek.
Podle výzkumníků to výrazně snižuje výpočetní náklady na trénink neuronových sítí. K získání základní linie použili vědci stávající systém laboratoře Rice University s osmi urychlovači Tesla V100 k trénování neuronové sítě pomocí knihovny TensorFlow společnosti Google. Proces trval 3,5 hodiny. Poté byla podobná neuronová síť trénována pomocí algoritmu SLIDE na systému s jedním 44jádrovým procesorem Xeon a trvalo to pouze 1 hodinu.
Zde stojí za zmínku, že Intel v současné době nemá ve své produktové nabídce 44jádrové modely procesorů. Je možné, že výzkumníci použili nějaký vlastní nebo nevydaný čip, ale to je nepravděpodobné. Mnohem pravděpodobnější je, že zde byl použit systém se dvěma 22jádrovými Intel Xeony nebo prostě došlo k chybě v tiskové zprávě a to se bavíme o 44 vláknech, které obstaral jeden 22jádrový procesor. To ale v žádném případě neubírá na samotném úspěchu.
Algoritmus SLIDE musí samozřejmě ještě projít mnoha testy a prokázat svou účinnost, stejně jako absenci jakýchkoliv zvláštností a úskalí. To, co nyní vidíme, je však velmi působivé a může mít skutečně velký vliv na rozvoj odvětví.
Zdroj: 3dnews.ru