Procesor centralny był kilkakrotnie szybszy w działaniu niż kombinacja ośmiu procesorów graficznych jednocześnie w przypadku sieci neuronowych głębokiego uczenia. Brzmi jak coś z science fiction, prawda? Jednak naukowcy z Rice University, korzystając z Intel Xeon, udowodnili, że jest to możliwe.
Procesory graficzne zawsze znacznie lepiej nadawały się do sieci neuronowych głębokiego uczenia się niż procesory CPU. Wynika to z architektury procesorów graficznych, które składają się z wielu małych rdzeni, które są w stanie wykonywać wiele małych zadań równolegle, co jest dokładnie tym, czego potrzeba do uczenia sieci neuronowych. Okazało się jednak, że centralne procesory, przy odpowiednim podejściu, mogą być bardzo skuteczne w głębokim uczeniu.
Podano, że przy zastosowaniu algorytmu głębokiego uczenia się SLIDE procesor Intel Xeon z 44 rdzeniami był 3,5 razy bardziej produktywny niż kombinacja ośmiu akceleratorów obliczeniowych NVIDIA Tesla V100. To chyba pierwszy raz, kiedy procesor w takim scenariuszu nie tylko dogonił GPU, ale także go prześcignął i to bardzo zauważalnie.
W komunikacie prasowym wydanym przez uczelnię czytamy, że algorytm SLIDE nie wymaga procesorów graficznych, gdyż wykorzystuje zupełnie inne podejście. Zazwyczaj podczas uczenia sieci neuronowych wykorzystywana jest technika wstecznej propagacji błędów szkoleniowych, która wykorzystuje mnożenie macierzy, co stanowi idealne obciążenie dla procesora graficznego. Z drugiej strony SLIDE zamienia naukę w problem wyszukiwania, który można rozwiązać za pomocą tablic mieszających.
Według naukowców znacznie zmniejsza to koszt obliczeniowy szkolenia sieci neuronowych. Aby uzyskać punkt odniesienia, badacze wykorzystali istniejący system laboratorium Rice University z ośmioma akceleratorami Tesla V100 do szkolenia sieci neuronowej przy użyciu biblioteki TensorFlow firmy Google. Proces trwał 3,5 godziny. Następnie podobną sieć neuronową wytrenowano przy użyciu algorytmu SLIDE w systemie z pojedynczym 44-rdzeniowym procesorem Xeon, co zajęło tylko 1 godzinę.
Warto w tym miejscu zaznaczyć, że Intel nie posiada obecnie w swojej ofercie modeli procesorów 44-rdzeniowych. Możliwe, że badacze wykorzystali jakiś niestandardowy lub niewydany dotąd chip, ale jest to mało prawdopodobne. Znacznie bardziej prawdopodobne jest, że zastosowano tu układ z dwoma 22-rdzeniowymi procesorami Intel Xeon lub po prostu wkradł się błąd w informacji prasowej, a mówimy o 44 wątkach, które zapewniał jeden 22-rdzeniowy procesor. Ale w żadnym wypadku nie umniejsza to samego osiągnięcia.
Oczywiście algorytm SLIDE musi jeszcze przejść wiele testów i udowodnić swoją skuteczność, a także brak jakichkolwiek osobliwości i pułapek. Jednak to, co widzimy teraz, robi wrażenie i naprawdę może mieć duży wpływ na rozwój branży.
Źródło: 3dnews.ru