Anunțul procesorului Cerebras ― Cerebras Wafer Scale Engine (WSE) sau Cerebras Wafer Scale Engine ― ca parte a conferinței anuale Hot Chips 31. Privind acest monstru de siliciu, ceea ce este surprinzător nu este nici măcar faptul că l-ar putea elibera în carne și oase. Curajul designului și munca dezvoltatorilor care au riscat să dezvolte un cristal cu o suprafață de 46 de milimetri pătrați cu laturi de 225 cm sunt surprinzătoare. Este nevoie de o întreagă napolitana de 21,5 mm pentru a face un procesor. Cu cea mai mică greșeală, rata defectelor este de 300%, iar costul problemei este greu de imaginat.
Cerebras WSE este produs de TSMC. Proces tehnologic - 16 nm FinFET. Acest producător taiwanez merită și un monument pentru eliberarea Cerebrelor. Producerea unui astfel de cip a necesitat cea mai înaltă abilitate și rezolvarea multor probleme, dar a meritat, asigură dezvoltatorii. Cipul Cerebras este, în esență, un supercomputer pe un cip cu un randament incredibil, un consum minim de energie și un paralelism fantastic. Aceasta este acum soluția ideală de învățare automată care va permite cercetătorilor să înceapă să rezolve probleme de o complexitate extremă.
Fiecare matriță Cerebras WSE conține 1,2 trilioane de tranzistori, organizați în 400 de nuclee de calcul optimizate pentru AI și 000 GB de SRAM distribuită local. Toate acestea sunt conectate printr-o rețea mesh cu un debit total de 18 de petabiți pe secundă. Lățimea de bandă a memoriei ajunge la 100 PB/s. Ierarhia memoriei este pe un singur nivel. Nu există memorie cache, nu există suprapunere și întârzieri minime de acces. Este o arhitectură ideală pentru accelerarea sarcinilor legate de AI. Numere simple: în comparație cu cele mai moderne nuclee grafice, cipul Cerebras oferă de 9 de ori mai multă memorie pe cip și de 3000 de ori mai multă viteză de transfer a memoriei.
Miezurile de calcul Cerebras - SLAC (Sparse Linear Algebra Cores) - sunt complet programabile și pot fi optimizate pentru a lucra cu orice rețele neuronale. Mai mult, arhitectura nucleului filtrează în mod inerent datele reprezentate prin zerouri. Acest lucru eliberează resursele de calcul de nevoia de a efectua operații de multiplicare inactiv cu zero, ceea ce pentru încărcări rare de date înseamnă calcule mai rapide și eficiență energetică extremă. Astfel, procesorul Cerebras se dovedește a fi de sute sau chiar de mii de ori mai eficient pentru învățarea automată în ceea ce privește suprafața și consumul cipului decât soluțiile actuale pentru AI și învățarea automată.
Fabricarea unui cip de dimensiuni similare o mulțime de soluții unice. A trebuit chiar să fie împachetat în cutie aproape manual. Au existat probleme cu alimentarea cu energie a cristalului și cu răcirea acestuia. Îndepărtarea căldurii a devenit posibilă numai cu lichid și numai cu organizarea alimentării zonale cu circulație verticală. Totuși, toate problemele au fost rezolvate și cipul a ieșit funcțional. Va fi interesant să aflați despre aplicarea sa practică.
Sursa: 3dnews.ru