A központi processzor teljesítménye többször gyorsabb volt, mint az egyszerre nyolc grafikus processzor kombinációja, amikor a neurális hálózatokat mélyen tanulta. Úgy hangzik, mint valami sci-fi, nem? A Rice Egyetem kutatói azonban az Intel Xeon használatával bebizonyították, hogy ez lehetséges.
A GPU-k mindig is sokkal alkalmasabbak voltak a mélytanuló neurális hálózatokhoz, mint a CPU-k. Ez a GPU-k architektúrájának köszönhető, amelyek sok kis magból állnak, amelyek képesek párhuzamosan sok kis feladat elvégzésére, pontosan erre van szükség a neurális hálózatok betanításához. De kiderült, hogy a központi processzorok megfelelő megközelítéssel nagyon hatékonyak lehetnek a mély tanulásban.
A jelentések szerint a SLIDE mélytanulási algoritmus használatával egy 44 magos Intel Xeon processzor 3,5-szer termelékenyebb volt, mint nyolc NVIDIA Tesla V100 számítási gyorsító kombinációja. Talán ez az első alkalom, hogy a CPU nem csak utolérte a GPU-t egy ilyen forgatókönyvben, hanem felül is múlta őket, és nagyon észrevehetően.
Az egyetem által kiadott sajtóközleményben az áll, hogy a SLIDE algoritmus nem igényel GPU-t, mivel teljesen más megközelítést alkalmaz. A neurális hálózatok betanításakor jellemzően a tanítási hiba visszaterjesztési technikát alkalmazzák, amely mátrixszorzást használ, ami ideális terhelés a GPU számára. A SLIDE ezzel szemben a tanulást keresési problémává változtatja, amelyet hash táblák segítségével oldanak meg.
A kutatók szerint ez jelentősen csökkenti a neurális hálózatok képzésének számítási költségeit. Az alaphelyzet megállapításához a kutatók a Rice University laboratóriumának meglévő rendszerét használták nyolc Tesla V100 gyorsítóval, hogy neurális hálózatot képezzenek a Google TensorFlow könyvtárának segítségével. A folyamat 3,5 órát vett igénybe. Utána egy hasonló neurális hálózatot betanítottak a SLIDE algoritmussal egyetlen 44 magos Xeon processzorral rendelkező rendszeren, és ez mindössze 1 órát vett igénybe.
Itt érdemes megjegyezni, hogy az Intel jelenleg nem rendelkezik 44 magos processzoros modellekkel a termékpalettájában. Lehetséges, hogy a kutatók valamilyen egyedi vagy kiadatlan chipet használtak, de ez nem valószínű. Sokkal valószínűbb, hogy itt két 22 magos Intel Xeont tartalmazó rendszert használtak, vagy egyszerűen csak hiba volt a sajtóközleményben, és 44 szálról beszélünk, amit egy 22 magos processzor biztosított. De mindenesetre ez nem von le magából az eredményből.
Természetesen a SLIDE algoritmusnak még sok teszten kell keresztülmennie, és bizonyítania kell hatékonyságát, valamint a sajátosságok és buktatók hiányát. Azonban amit most látunk, az nagyon lenyűgöző, és valóban nagy hatással lehet az iparág fejlődésére.
Forrás: 3dnews.ru