Keskusprosessori oli suorituskyvyltään useita kertoja nopeampi kuin kahdeksan grafiikkasuorittimen yhdistelmä kerralla, kun syväoppiminen hermoverkkoja. Kuulostaa joltain tieteiskirjallisuudesta, eikö niin? Mutta Rice Universityn tutkijat Intel Xeonia käyttävät ovat osoittaneet, että se on mahdollista.
GPU:t ovat aina soveltuneet paljon paremmin syväoppiviin hermoverkkoihin kuin CPU:t. Tämä johtuu GPU-arkkitehtuurista, joka koostuu monista pienistä ytimistä, jotka pystyvät suorittamaan monia pieniä tehtäviä rinnakkain, mikä on juuri sitä, mitä tarvitaan neuroverkkojen harjoittamiseen. Mutta kävi ilmi, että keskusprosessorit voivat olla oikealla lähestymistavalla erittäin tehokkaita syvässä oppimisessa.
On raportoitu, että SLIDE-syväoppimisalgoritmia käytettäessä 44 ytimen Intel Xeon -prosessori oli 3,5 kertaa tuottavampi kuin kahdeksan NVIDIA Tesla V100 -laskentakiihdytin yhdistelmä. Tämä on ehkä ensimmäinen kerta, kun CPU ei vain saavuttanut GPU:ta tällaisessa skenaariossa, vaan myös ylitti ne, ja erittäin selvästi.
Yliopiston julkaisemassa lehdistötiedotteessa todetaan, että SLIDE-algoritmi ei vaadi GPU:ita, koska se käyttää täysin erilaista lähestymistapaa. Tyypillisesti neuroverkkoja opetettaessa käytetään harjoitusvirheiden takaisinpropagation tekniikkaa, joka käyttää matriisikertolaskua, joka on ihanteellinen kuormitus GPU:lle. SLIDE puolestaan muuttaa oppimisen hakuongelmaksi, joka ratkaistaan hash-taulukoiden avulla.
Tutkijoiden mukaan tämä vähentää merkittävästi neuroverkkojen koulutuksen laskentakustannuksia. Perustason saamiseksi tutkijat käyttivät Rice Universityn laboratorion olemassa olevaa järjestelmää kahdeksalla Tesla V100 -kiihdyttimellä neuroverkon kouluttamiseen Googlen TensorFlow-kirjaston avulla. Prosessi kesti 3,5 tuntia. Myöhemmin samanlainen hermoverkko koulutettiin käyttämällä SLIDE-algoritmia järjestelmässä, jossa oli yksi 44-ytiminen Xeon-prosessori, ja se kesti vain 1 tunnin.
Tässä kannattaa huomioida, että Intelillä ei tällä hetkellä ole tuotevalikoimassaan 44-ydinprosessorimalleja. On mahdollista, että tutkijat käyttivät jonkinlaista mukautettua tai julkaisematonta sirua, mutta tämä on epätodennäköistä. On paljon todennäköisempää, että tässä käytettiin järjestelmää kahdella 22-ytimisellä Intel Xeonilla tai lehdistötiedotteessa oli vain virhe, ja puhumme 44 säikeestä, jotka toimitti yksi 22-ytiminen prosessori. Mutta joka tapauksessa tämä ei vähennä itse saavutusta.
Tietenkin SLIDE-algoritmin on vielä käytävä läpi monia testejä ja todistettava sen tehokkuus, samoin kuin erikoisuuksien ja sudenkuopat puuttuminen. Se, mitä nyt näemme, on kuitenkin erittäin vaikuttava ja sillä voi todella olla suuri vaikutus alan kehitykseen.
Lähde: 3dnews.ru