Oznámenie o procesore Cerebras ― Cerebras Wafer Scale Engine (WSE) alebo Cerebras wafer scale engine ― ako súčasť výročnej konferencie Hot Chips 31 Pri pohľade na toto kremíkové monštrum nie je prekvapujúce ani to, že ho mohli vypustiť do tela. Odvaha dizajnu a práca vývojárov, ktorí riskovali vývoj kryštálu s plochou 46 225 štvorcových milimetrov so stranami 21,5 cm, sú prekvapivé na výrobu jedného procesora. Pri najmenšej chybe je chybovosť 300% a náklady na vydanie je dokonca ťažké si predstaviť.
Cerebras WSE vyrába TSMC. Technologický proces - 16 nm FinFET. Tento taiwanský výrobca si zaslúži aj pomník za vydanie Cerebras. Výroba takéhoto čipu si vyžadovala najvyššiu zručnosť a riešenie mnohých problémov, ale stálo to za to, uisťujú vývojári. Čip Cerebras je v podstate superpočítač na čipe s neuveriteľnou priepustnosťou, minimálnou spotrebou energie a fantastickým paralelizmom. Toto je teraz ideálne riešenie strojového učenia, ktoré umožní výskumníkom začať riešiť problémy extrémnej zložitosti.
Každá matrica Cerebras WSE obsahuje 1,2 bilióna tranzistorov usporiadaných do 400 000 výpočtových jadier optimalizovaných pre AI a 18 GB lokálnej distribuovanej pamäte SRAM. To všetko je prepojené mesh sieťou s celkovou kapacitou 100 petabitov za sekundu. Šírka pásma pamäte dosahuje 9 PB/s. Hierarchia pamäte je jednoúrovňová. Neexistuje žiadna vyrovnávacia pamäť, žiadne prekrývanie a minimálne oneskorenia prístupu. Ide o ideálnu architektúru na urýchlenie úloh súvisiacich s AI. Holé čísla: v porovnaní s najmodernejšími grafickými jadrami poskytuje čip Cerebras 3000-krát väčšiu pamäť na čipe a 10 000-krát vyššiu rýchlosť prenosu pamäte.
Výpočtové jadrá Cerebras – SLAC (Sparse Linear Algebra Cores) – sú plne programovateľné a možno ich optimalizovať pre prácu s akýmikoľvek neurónovými sieťami. Okrem toho architektúra jadra vo svojej podstate filtruje údaje reprezentované nulami. To oslobodzuje výpočtové zdroje od nutnosti vykonávať nečinné násobenie nulovými operáciami, čo pri riedkom zaťažení dát znamená rýchlejšie výpočty a extrémnu energetickú efektivitu. Procesor Cerebras sa teda ukazuje ako stokrát alebo dokonca tisíckrát efektívnejší pre strojové učenie z hľadiska plochy čipu a spotreby ako súčasné riešenia pre AI a strojové učenie.
Výroba čipu podobnej veľkosti množstvo jedinečných riešení. Dokonca ho bolo treba do kufríka zabaliť takmer ručne. Vyskytli sa problémy s napájaním kryštálu a jeho chladením. Odvod tepla bol možný iba kvapalinou a iba organizáciou zónového zásobovania s vertikálnou cirkuláciou. Všetky problémy sa však vyriešili a čip fungoval. Bude zaujímavé dozvedieť sa o jeho praktickom použití.
Zdroj: 3dnews.ru