Intel Xeon превъзхожда осем Tesla V100 няколко пъти при обучение на невронна мрежа

Централният процесор беше няколко пъти по-бърз в производителността от комбинация от осем графични процесора наведнъж при дълбоко обучение на невронни мрежи. Звучи като нещо от научната фантастика, нали? Но изследователи от университета Райс, използващи Intel Xeon, доказаха, че това е възможно.

Графичните процесори винаги са били много по-подходящи за невронни мрежи за дълбоко обучение, отколкото процесорите. Това се дължи на архитектурата на графичните процесори, които се състоят от много малки ядра, които са способни да изпълняват много малки задачи паралелно, което е точно това, което се изисква за обучение на невронни мрежи. Но се оказа, че централните процесори, с правилния подход, могат да бъдат много ефективни при задълбочено обучение.

Съобщава се, че при използване на алгоритъма за дълбоко обучение SLIDE, процесор Intel Xeon с 44 ядра е 3,5 пъти по-производителен от комбинация от осем изчислителни ускорителя NVIDIA Tesla V100. Това е може би първият път, когато CPU не само настигна GPU в такъв сценарий, но и ги надмина, и то много забележимо.

В съобщение за пресата, издадено от университета, се посочва, че алгоритъмът SLIDE не изисква графични процесори, тъй като използва напълно различен подход. Обикновено при обучение на невронни мрежи се използва техниката за обратно разпространение на грешката при обучение, която използва матрично умножение, което е идеално натоварване за GPU. SLIDE, от друга страна, превръща обучението в проблем за търсене, който се решава с помощта на хеш-таблици.

Според изследователите това значително намалява изчислителните разходи за обучение на невронни мрежи. За да получат базова линия, изследователите са използвали съществуващата система на лабораторията на университета Райс с осем ускорителя Tesla V100, за да обучат невронна мрежа, използвайки библиотеката TensorFlow на Google. Процесът отне 3,5 часа. След това подобна невронна мрежа беше обучена с помощта на алгоритъма SLIDE на система с един 44-ядрен процесор Xeon и това отне само 1 час.

Тук си струва да се отбележи, че в момента Intel няма 44-ядрени модели процесори в продуктовата си гама. Възможно е изследователите да са използвали някакъв персонализиран или неиздаван чип, но това е малко вероятно. Много по-вероятно е тук да е използвана система с два 22-ядрени Intel Xeon или просто е имало грешка в прессъобщението и говорим за 44 нишки, които са били осигурени от един 22-ядрен процесор. Но във всеки случай това не омаловажава самото постижение.

Разбира се, алгоритъмът SLIDE все още трябва да премине през много тестове и да докаже своята ефективност, както и липсата на каквито и да било особености и капани. Това, което виждаме сега, обаче е много впечатляващо и наистина може да окаже голямо влияние върху развитието на индустрията.

Източник: 3dnews.ru