Keskprotsessor oli närvivõrkude süvaõppe ajal mitu korda kiirem kui kaheksa graafikaprotsessori korraga kombinatsioon. Kõlab nagu midagi ulmekirjandusest, kas pole? Kuid Rice'i ülikooli teadlased, kasutades Intel Xeoni, on tõestanud, et see on võimalik.
GPU-d on süvaõppe närvivõrkude jaoks alati palju paremini sobinud kui protsessorid. Selle põhjuseks on GPU-de arhitektuur, mis koosneb paljudest väikestest tuumadest, mis on võimelised paralleelselt täitma paljusid väikeseid ülesandeid, mis on täpselt see, mida on vaja närvivõrkude treenimiseks. Kuid selgus, et keskprotsessorid võivad õige lähenemise korral olla süvaõppes väga tõhusad.
On teatatud, et SLIDE süvaõppe algoritmi kasutamisel oli 44 tuumaga Intel Xeoni protsessor 3,5 korda tootlikum kui kaheksa NVIDIA Tesla V100 andmekiirendi kombinatsioon. See on võib-olla esimene kord, kui CPU mitte ainult ei jõudnud GPU-le sellise stsenaariumi korral, vaid ületas neid ka ja seda väga märgatavalt.
Ülikooli pressiteates seisab, et SLIDE-algoritm ei nõua GPU-sid, kuna kasutab täiesti teistsugust lähenemist. Tavaliselt kasutatakse närvivõrkude treenimisel treeningvigade tagasilevitamise tehnikat, mis kasutab maatriksikorrutamist, mis on GPU jaoks ideaalne koormus. SLIDE aga muudab õppimise otsinguprobleemiks, mis lahendatakse räsitabelite abil.
Teadlaste sõnul vähendab see oluliselt närvivõrkude treenimise arvutuskulusid. Lähteseisundi saamiseks kasutasid teadlased Rice'i ülikooli labori olemasolevat süsteemi kaheksa Tesla V100 kiirendiga, et koolitada närvivõrku, kasutades Google'i TensorFlow raamatukogu. Protsess kestis 3,5 tundi. Seejärel treeniti sarnast närvivõrku SLIDE-algoritmi abil ühe 44-tuumalise Xeoni protsessoriga süsteemis ja selleks kulus vaid 1 tund.
Siinkohal tasub märkida, et Inteli tootevalikus pole hetkel 44-tuumalise protsessoriga mudeleid. Võimalik, et teadlased kasutasid mingit kohandatud või avaldamata kiipi, kuid see on ebatõenäoline. Palju tõenäolisem on, et siin kasutati kahe 22-tuumalise Inteli Xeoniga süsteemi või oli pressiteates lihtsalt viga ja jutt käib 44 lõimest, mille andis üks 22-tuumaline protsessor. Kuid igal juhul ei vähenda see saavutust ennast.
Loomulikult peab SLIDE-algoritm veel läbima palju teste ja tõestama oma tõhusust, samuti mingite iseärasuste ja lõkse puudumist. See, mida me praegu näeme, on aga väga muljetavaldav ja sellel võib olla tööstuse arengule tõesti suur mõju.
Allikas: 3dnews.ru