Pranešimas apie Cerebras procesorių – Cerebras Wafer Scale Engine (WSE) arba Cerebras Wafer Scale Engine – kaip kasmetinės „Hot Chips 31“ konferencijos dalis. Stebina dizaino drąsa ir kūrėjų, kurie rizikavo sukurti 46 225 kvadratinių milimetrų kristalą, kurio kraštinės yra 21,5 cm, darbas. Vienam procesoriui pagaminti reikia visos 300 mm plokštelės. Su menkiausia klaida defektų procentas siekia 100%, o problemos kainą net sunku įsivaizduoti.
Cerebras WSE gamina TSMC. Technologinis procesas: 16 nm FinFET. Šis Taivano gamintojas taip pat nusipelnė paminklo už Cerebras išleidimą. Tokio lusto gamyba pareikalavo pačių aukščiausių įgūdžių ir daugybės problemų sprendimo, tačiau buvo verta, tikina kūrėjai. „Cerebras“ lustas iš esmės yra superkompiuteris su neįtikėtinu pralaidumu, minimaliu energijos suvartojimu ir fantastišku lygiagretumu. Dabar tai idealus sprendimas mašininiam mokymuisi ir leis mokslininkams pradėti spręsti itin sudėtingas problemas.
Kiekviename „Cerebras WSE“ diske yra 1,2 trilijono tranzistorių, suskirstytų į 400 000 AI optimizuotų skaičiavimo branduolių ir 18 GB vietinės paskirstytos SRAM. Visa tai sujungta tinkliniu tinklu, kurio bendras pralaidumas yra 100 pebabitų per sekundę. Atminties pralaidumas siekia 9 PB/s. Atminties hierarchija yra vieno lygio. Nėra talpyklos atminties, persidengimo ir minimalių prieigos delsų. Tai ideali architektūra su AI susijusioms užduotims paspartinti. Nuogas skaičius: lyginant su moderniausiais grafiniais branduoliais, „Cerebras“ lustas suteikia 3000 kartų daugiau lustinės atminties ir 10 000 kartų didesnį atminties perdavimo greitį.
Smegenų skaičiavimo branduoliai – SLAC (Sparse Linear Algebra Cores) – yra pilnai programuojami ir gali būti optimizuoti darbui su bet kokiais neuroniniais tinklais. Be to, branduolio architektūra iš esmės filtruoja duomenis, pavaizduotus nuliais. Tai atlaisvina skaičiavimo išteklius nuo poreikio atlikti tuščiosios eigos daugybos iš nulio operacijas, o tai, esant mažai duomenų, reiškia greitesnius skaičiavimus ir didelį energijos vartojimo efektyvumą. Taigi, „Cerebras“ procesorius yra šimtus ar net tūkstančius kartų efektyvesnis mašininiam mokymuisi pagal lusto plotą ir suvartojimą nei dabartiniai AI ir mašininio mokymosi sprendimai.
Panašaus dydžio lusto gamyba daug unikalių sprendimų. Jį net teko supakuoti į dėklą beveik rankomis. Kilo problemų tiekiant maitinimą kristalui ir jį aušinant. Šilumos pašalinimas tapo įmanomas tik skysčiu ir tik organizuojant zoninį tiekimą su vertikalia cirkuliacija. Tačiau visos problemos buvo išspręstos ir lustas pasirodė veikiantis. Bus įdomu sužinoti apie jo praktinį pritaikymą.
Šaltinis: 3dnews.ru