Централни процесор је био неколико пута бржи у перформансама од комбинације осам графичких процесора одједном када је неуронске мреже дубоког учења. Звучи као нешто из научне фантастике, зар не? Али истраживачи са Универзитета Рајс, користећи Интел Ксеон, доказали су да је то могуће.
ГПУ-ови су увек били много боље прилагођени неуронским мрежама дубоког учења од ЦПУ-а. Ово је због архитектуре ГПУ-а, који се састоје од много малих језгара која су способна да обављају многе мале задатке паралелно, што је управо оно што је потребно за обуку неуронских мрежа. Али показало се да централни процесори, са правим приступом, могу бити веома ефикасни у дубоком учењу.
Пријављено је да је када се користи СЛИДЕ алгоритам дубоког учења, Интел Ксеон процесор са 44 језгра био је 3,5 пута продуктивнији од комбинације осам НВИДИА Тесла В100 рачунарских акцелератора. Ово је можда први пут да је ЦПУ не само сустигао ГПУ у таквом сценарију, већ их је и надмашио, и то веома приметно.
У саопштењу за штампу које је издао универзитет наводи се да СЛИДЕ алгоритам не захтева ГПУ јер користи потпуно другачији приступ. Типично, када се обучавају неуронске мреже, користи се техника пропагације уназад, која користи множење матрице, што је идеално оптерећење за ГПУ. СЛИДЕ, са друге стране, претвара учење у проблем тражења који се решава коришћењем хеш табела.
Према истраживачима, ово значајно смањује трошкове рачунара за обуку неуронских мрежа. Да би добили основну линију, истраживачи су користили постојећи систем лабораторије Универзитета Рајс са осам Тесла В100 акцелератора за обуку неуронске мреже користећи Гоогле-ову библиотеку ТенсорФлов. Процес је трајао 3,5 сата. Након тога, слична неуронска мрежа је обучена коришћењем СЛИДЕ алгоритма на систему са једним Ксеон процесором од 44 језгра, и то је трајало само 1 сат.
Овде је вредно напоменути да Интел тренутно нема моделе процесора са 44 језгра у свом асортиману производа. Могуће је да су истраживачи користили неку врсту прилагођеног или необјављеног чипа, али то је мало вероватно. Много је вероватније да је овде коришћен систем са два Интел Ксеона од 22 језгра или је једноставно дошло до грешке у саопштењу за јавност, а реч је о 44 нити које је обезбедио један 22-језгарни процесор. Али у сваком случају, то не умањује само достигнуће.
Наравно, СЛИДЕ алгоритам тек треба да прође кроз многе тестове и докаже своју ефикасност, као и одсуство било каквих посебности и замки. Међутим, оно што сада видимо је веома импресивно и заиста може имати велики утицај на развој индустрије.
Извор: 3дневс.ру