Ankündigung des Cerebras-Prozessors – Cerebras Wafer Scale Engine (WSE) oder der Cerebras-Bereich auf Siliziumwafer. Im Rahmen der jährlichen Hot Chips 31-Konferenz. Es ist erstaunlich, dass dieser Silizium-Riese tatsächlich Realität geworden ist. Die Kühnheit der Idee und die Arbeit der Entwickler, die riskieren, einen Chip mit einer Fläche von 46.225 Quadratmillimetern und Seitenlängen von 21,5 cm zu entwickeln, beeindrucken. Für die Herstellung eines Prozessors wird eine gesamte 300-mm-Wafer benötigt. Bei einem minimalen Fehler beträgt die Ausschussquote 100 %, und die Kosten sind kaum vorstellbar.
Die Produktion des Cerebras WSE erfolgt durch das Unternehmen TSMC. Der Fertigungsprozess beträgt 16 nm FinFET. Dieser taiwanesische Hersteller hat ebenfalls ein Denkmal für die Herstellung von Cerebras verdient. Die Herstellung eines solchen Chips erforderte höchste Fertigungskunst und die Lösung zahlreicher Probleme, aber die Entwickler sind überzeugt, dass es sich gelohnt hat. Der Cerebras-Chip ist praktisch ein Supercomputer auf einem Chip mit unglaublicher Bandbreite, minimalem Stromverbrauch und fantastischer Parallelität. Derzeit stellt dies die ideale Lösung für maschinelles Lernen dar, die es Forschenden ermöglicht, extrem komplexe Probleme anzugehen.
Jeder Cerebras WSE-Chip enthält 1,2 Billionen Transistoren, die in 400.000 KI-optimierte Rechenkernen und 18 GB lokalem verteiltem SRAM-Speicher organisiert sind. All dies ist über ein Zellnetzwerk verbunden mit einer Gesamtleistung von 100 Petabit pro Sekunde. Die Speicherdurchsatzrate erreicht 9 Petabyte/s. Die Speicherhierarchie ist einstufig. Es gibt keinen Cache-Speicher, keine Überschneidungen, und die Zugriffsverzögerungen sind minimal. Diese Architektur ist ideal, um KI-bezogene Aufgaben zu beschleunigen. Die nackten Zahlen: Im Vergleich zu den modernsten Grafikprozessoren bietet der Cerebras-Chip 3.000-mal mehr Speicher auf dem Chip und eine 10.000-mal höhere Bandbreite im Speicherzugriff.
Die Cerebras-Rechenkerne – SLAC (Sparse Linear Algebra Cores) – sind vollständig programmierbar und können für alle Arten von neuronalen Netzen optimiert werden. Darüber hinaus filtert die Architektur der Kerne Daten, die Nullen repräsentieren, bereits im Vorfeld. Dadurch werden die Rechenressourcen von unnötigen Multiplikationen mit Null entlastet. Dies führt, besonders bei sparsamen Daten, zu einer Beschleunigung der Berechnungen und einer maximalen Energieeffizienz. Somit ist der Cerebras-Prozessor in Bezug auf den eingesetzten Chipbereich und dessen Verbrauch Hunderte oder sogar Tausende Male effizienter für das maschinelle Lernen als die aktuellen Lösungen für KI und maschinelles Lernen.
Die Herstellung eines so großen Chips eine Vielzahl einzigartiger Lösungen. Der Chip musste sogar fast von Hand verpackt werden. Es gab Probleme mit der Stromversorgung des Kristalls und dessen Kühlung. Die Wärmeableitung war nur durch Flüssigkeit möglich, und zwar mit einem zonalen Zufluss und vertikaler Zirkulation. Dennoch wurden alle Probleme gelöst, und der Chip wurde funktionsfähig. Es wird interessant sein, mehr über seine praktische Anwendung zu erfahren.
Quelle: 3dnews.ru
