Intel Xeon은 신경망을 훈련할 때 Tesla V100 XNUMX대보다 여러 번 성능이 뛰어났습니다.

중앙 프로세서는 신경망 딥러닝을 할 때 그래픽 프로세서 XNUMX개를 한 번에 조합하는 것보다 성능이 몇 배 더 빨랐습니다. 공상과학 소설에서나 나올 것 같지 않나요? 그러나 라이스 대학의 연구원들은 Intel Xeon을 사용하여 이것이 가능하다는 것을 입증했습니다.

GPU는 항상 CPU보다 딥러닝 신경망에 훨씬 더 적합했습니다. 이는 많은 작은 작업을 병렬로 수행할 수 있는 많은 작은 코어로 구성된 GPU 아키텍처 때문이며, 이는 바로 신경망 훈련에 필요한 것입니다. 그러나 올바른 접근 방식을 사용하면 중앙 프로세서가 딥 러닝에 매우 효과적일 수 있다는 것이 밝혀졌습니다.

SLIDE 딥 러닝 알고리즘을 사용할 때 44개 코어의 Intel Xeon 프로세서는 3,5개의 NVIDIA Tesla V100 컴퓨팅 가속기를 조합한 것보다 생산성이 XNUMX배 더 높은 것으로 보고되었습니다. 이러한 시나리오에서 CPU가 GPU를 따라잡았을 뿐만 아니라 이를 매우 눈에 띄게 능가한 것은 아마도 이번이 처음일 것입니다.

대학에서 발행한 보도 자료에 따르면 SLIDE 알고리즘은 완전히 다른 접근 방식을 사용하므로 GPU가 필요하지 않습니다. 일반적으로 신경망을 훈련할 때 GPU에 이상적인 부하인 행렬 곱셈을 사용하는 훈련 오류 역전파 기술이 사용됩니다. 반면에 SLIDE는 학습을 해시 테이블을 사용하여 해결되는 조회 문제로 전환합니다.

연구원들에 따르면, 이는 신경망 훈련에 드는 계산 비용을 크게 줄여줍니다. 기준선을 얻기 위해 연구원들은 100개의 Tesla V3,5 가속기가 포함된 Rice University 연구소의 기존 시스템을 사용하여 Google의 TensorFlow 라이브러리를 사용하여 신경망을 훈련했습니다. 이 과정은 44시간이 걸렸습니다. 이후 단일 1코어 Xeon 프로세서가 장착된 시스템에서 SLIDE 알고리즘을 사용하여 유사한 신경망을 학습시켰는데, 소요 시간은 단 XNUMX시간이었습니다.

Intel의 현재 제품군에 44코어 프로세서 모델이 없다는 점은 주목할 가치가 있습니다. 연구원들이 일종의 맞춤형 칩이나 출시되지 않은 칩을 사용했을 가능성이 있지만 그럴 가능성은 낮습니다. 여기에는 22코어 Intel Xeon 44개가 탑재된 시스템이 사용되었거나 보도 자료에 단순히 오류가 있었을 가능성이 훨씬 높으며, 22코어 프로세서 XNUMX개가 제공한 XNUMX개의 스레드에 대해 이야기하고 있습니다. 그러나 어떤 경우에도 이것이 성취 자체를 손상시키지는 않습니다.

물론 SLIDE 알고리즘은 여전히 ​​많은 테스트를 거쳐 그 효율성을 입증해야 하며, 특이성과 함정이 없음을 입증해야 합니다. 그러나 지금 우리가 보고 있는 것은 매우 인상적이며 실제로 업계 발전에 큰 영향을 미칠 수 있습니다.

출처 : 3dnews.ru