在训练神经网络时,英特尔至强的性能多次优于 100 个 Tesla VXNUMX

在深度学习神经网络时,中央处理器的性能比同时使用八个图形处理器的组合快几倍。听起来像是科幻小说中的东西,不是吗?但莱斯大学的研究人员使用英特尔至强已经证明这是可能的。

在训练神经网络时,英特尔至强的性能多次优于 100 个 Tesla VXNUMX

GPU 一直比 CPU 更适合深度学习神经网络。这是由于 GPU 的架构所致,它由许多小核心组成,能够并行执行许多小任务,这正是训练神经网络所需的。但事实证明,采用正确的方法,中央处理器在深度学习中可以非常有效。

据悉,在使用 SLIDE 深度学习算法时,具有 44 个核心的英特尔至强处理器的生产力是八个 NVIDIA Tesla V3,5 计算加速器组合的 100 倍。这也许是 CPU 第一次在这种情况下不仅赶上了 GPU,而且还非常明显地超越了它们。

该大学发布的一份新闻稿称,SLIDE 算法不需要 GPU,因为它使用完全不同的方法。通常,在训练神经网络时,会使用训练误差反向传播技术,该技术使用矩阵乘法,这是 GPU 的理想负载。另一方面,SLIDE 将学习转变为使用哈希表解决的查找问题。


在训练神经网络时,英特尔至强的性能多次优于 100 个 Tesla VXNUMX

研究人员表示,这显着降低了训练神经网络的计算成本。为了获得基线,研究人员使用莱斯大学实验室的现有系统和八个 Tesla V100 加速器来训练使用 Google TensorFlow 库的神经网络。该过程耗时3,5小时。随后,在具有单 44 核 Xeon 处理器的系统上使用 SLIDE 算法训练了类似的神经网络,仅花费了 1 个小时。

这里值得注意的是,英特尔目前的产品系列中并没有44核处理器型号。研究人员有可能使用某种定制或未发布的芯片,但这不太可能。更有可能的是,这里使用的是具有两个 22 核 Intel Xeon 的系统,或者只是新闻稿中的一个错误,我们正在谈论由一个 44 核处理器提供的 22 个线程。但无论如何,这并不减损成就本身。

当然,SLIDE算法还需要经过多次测试并证明其有效性,并且不存在任何特殊性和陷阱。然而,我们现在看到的情况非常令人印象深刻,确实能够对行业的发展产生很大的影响。



来源: 3dnews.ru

添加评论