Anotace procesoru Cerebras ― Cerebras Wafer Scale Engine (WSE) nebo motoru Cerebras měřítka křemíkové desky ― na každoroční konferenci Hot Chips 31. Na tohoto křemíkového obra ohromuje nejen to, že se ho podařilo vyrobit. Ohromuje odvaha myšlenky a práce vývojářů, kteří se odvážili vyvinout krystal o ploše 46 225 čtverečních milimetrů se stranami 21,5 cm. Na výrobu jednoho procesoru je potřeba celá 300mm deska. Při sebemenší chybě je míra vadnosti 100 %, a cenu za tento projekt si ani nedokážeme představit.
Výrobou Cerebras WSE se zabývá společnost TSMC. Výrobní proces ― 16 nm FinFET. Tento tchajwanský výrobce si také zasloužil pomník za výrobu Cerebras. Výroba takového čipu vyžadovala nejvyšší dovednosti a řešení mnoha problémů, ale stálo to za to, ujistili vývojáři. Čip Cerebras ― to je vlastně superpočítač na čipu s neuvěřitelnou propustností, minimální spotřebou a fantastickým paralelismem. V současnosti je to ideální řešení pro strojové učení, které umožní vědcům začít řešit úkoly mimořádné složitosti.
Každý krystal Cerebras WSE obsahuje 1,2 bilionu tranzistorů, uspořádaných do 400 000 jáder optimalizovaných pro AI a 18 GB místní distribuované paměti SRAM. To vše je spojeno síťovou architekturou s celkovým výkonem 100 petabitů za sekundu. Propustnost paměti dosahuje 9 Pbyte/s. Hierarchie paměti je jednolayerová. Není zde žádná cache, žádné překrývání, latence přístupu jsou minimální. Toto je ideální architektura pro zrychlení úloh spojených s AI. Čistá čísla: ve srovnání s nejmodernějšími grafickými jádry čip Cerebras poskytuje 3000krát větší objem paměti na čipu a 10 000krát vyšší rychlost výměny s paměťmi.
Výpočetní jádra Cerebras – SLAC (Sparse Linear Algebra Cores) – jsou plně programovatelná a mohou být optimalizována pro práci s jakoukoli neuronovou sítí. Navíc architektura jader zpočátku filtruje data prezentovaná nulami. To uvolňuje výpočetní zdroje od nutnosti provádět zbytečné operace násobení nulou, což v případě zatížení sparse dat znamená urychlení výpočtů a maximální energetickou efektivitu. Tím je procesor Cerebras stovky nebo dokonce tisícekrát efektivnější pro strojové učení v poměru k využité ploše krystalu a jeho spotřebě než aktuální řešení pro AI a strojové učení.
Výroba čipu takové velikosti spoustu unikátních řešení. Dokonce se musel téměř ručně zabudovat do pouzdra. Vznikly problémy s napájením krystalu a jeho chlazením. Odvod tepla byl možný pouze pomocí kapaliny a to pouze za organizace zónového přívodu s vertikální cirkulací. Nicméně, všechny problémy byly vyřešeny a čip se ukázal jako funkční. Bude zajímavé zjistit jeho praktické využití.
Zdroj: 3dnews.ru
