Анонс процесора Cerebras - Cerebras Wafer Scale Engine (WSE) або движка Cerebras масштабу кремнієвої пластини - в рамках щорічної конференції Hot Chips 31. Дивлячись на цього кремнієвого монстра, дивує навіть не те, що його змогли випустити в плоті. Дивує сміливість задуму і працю розробників, які ризикнули розробити кристал площею 46 квадратних міліметрів зі сторонами 225 см. На виготовлення одного процесора йде ціла 21,5-мм пластина. За найменшої помилки рівень шлюбу становить 300%, а ціну питання навіть важко уявити.
Випуском Cerebras WSE займається компанія TSMC. Техпроцес - 16 нм FinFET. Цей тайванський виробник теж заслужив пам'ятник за випуск Cerebras. Виробництво подібного чіпа зажадало вищої майстерності та вирішення маси проблем, але воно того варте, запевняють розробники. Чіп Cerebras ― це фактично суперкомп'ютер на чіпі з неймовірною пропускною здатністю, мінімальним споживанням та фантастичним паралелізмом. На даний момент це ідеальне рішення для машинного навчання, яке дозволить дослідникам розпочати вирішувати завдання надзвичайної складності.
Кожен кристал Cerebras WSE містить 1,2 трлн транзисторів, організованих у 400 000 ІІ-оптимізованих обчислювальних ядер та 18 Гбайт локальної розподіленої пам'яті SRAM. Все це пов'язано ніздрюватою мережею із загальною продуктивністю 100 петабіт на секунду. Пропускна здатність пам'яті сягає 9 Пбайт/с. Ієрархія пам'яті однорівнева. Кеш-пам'яті немає, перекриття немає, затримки звернення мінімальні. Це ідеальна архітектура для прискорення завдань, пов'язаних із ІІ. Голі цифри: у порівнянні з найсучаснішими графічними ядрами чіп Cerebras забезпечує у 3000 разів більший обсяг пам'яті на кристалі та у 10 000 велику швидкість обміну з пам'яттю.
Обчислювальні ядра Cerebras - SLAC (Sparse Linear Algebra Cores) - повністю програмовані і можуть бути оптимізовані для роботи з будь-якими нейронними мережами. Понад те, архітектура ядер спочатку фільтрує дані, представлені нулями. Це звільняє обчислювальні ресурси від необхідності проводити холости операції множення на нуль, що з навантаження розрідженими даними означає прискорення розрахунків і граничну енергоефективність. Тим самим процесор Cerebras виявляється у сотні або навіть тисячі разів ефективнішим для машинного навчання в термінах задіяної площі кристала та його споживання, ніж актуальні рішення для ІІ та машинного навчання.
Виготовлення чіпа подібного розміру безліч унікальних рішень. Його навіть пакувати в корпус довелося чи не вручну. Виникли проблеми з підведенням харчування до кристала та його охолодженням. Відведення тепла стало можливим лише рідиною і лише з організацією зональної подачі з вертикальною циркуляцією. Проте всі проблеми були вирішені і чіп вийшов робітником. Цікаво буде дізнатися про його практичне застосування.
Джерело: 3dnews.ru