Cerebras – ein KI-Prozessor von unglaublicher Größe und Fähigkeiten

Ankündigung des Cerebras-Prozessors – Cerebras Wafer Scale Engine (WSE) oder Cerebras Wafer Scale Engine – fand statt im Rahmen der jährlichen Hot Chips 31-Konferenz. Wenn man sich dieses Siliziummonster ansieht, ist das Überraschende nicht einmal die Tatsache, dass sie es in Fleisch und Blut freigeben konnten. Der Mut des Designs und die Arbeit der Entwickler, die es wagten, einen Kristall mit einer Fläche von 46 Quadratmillimetern und einer Seitenlänge von 225 cm zu entwickeln, überraschen. Für die Herstellung eines Prozessors ist ein ganzer 21,5-mm-Wafer erforderlich. Beim kleinsten Fehler liegt die Fehlerquote bei 300 %, und die Kosten des Problems sind kaum vorstellbar.

Cerebras WSE wird von TSMC hergestellt. Technologischer Prozess – 16 nm FinFET. Auch dieser taiwanesische Hersteller verdient ein Denkmal für die Veröffentlichung von Cerebras. Die Herstellung eines solchen Chips erforderte höchstes Können und die Lösung vieler Probleme, aber es habe sich gelohnt, versichern die Entwickler. Der Cerebras-Chip ist im Wesentlichen ein Supercomputer auf einem Chip mit unglaublichem Durchsatz, minimalem Stromverbrauch und fantastischer Parallelität. Dies ist nun die ideale Lösung für maschinelles Lernen, die es Forschern ermöglicht, mit der Lösung extrem komplexer Probleme zu beginnen.

Jeder Cerebras WSE-Chip enthält 1,2 Billionen Transistoren, organisiert in 400 KI-optimierten Rechenkernen und 000 GB lokal verteiltem SRAM. All dies ist durch ein Mesh-Netzwerk mit einem Gesamtdurchsatz von 18 Petabits pro Sekunde verbunden. Die Speicherbandbreite erreicht 100 PB/s. Die Speicherhierarchie ist einstufig. Es gibt keinen Cache-Speicher, keine Überlappung und minimale Zugriffsverzögerungen. Es handelt sich um eine ideale Architektur zur Beschleunigung KI-bezogener Aufgaben. Nackte Zahlen: Im Vergleich zu den modernsten Grafikkernen bietet der Cerebras-Chip 9-mal mehr On-Chip-Speicher und eine 3000-mal höhere Speicherübertragungsgeschwindigkeit.

Die Rechenkerne von Cerebras – SLAC (Sparse Linear Algebra Cores) – sind vollständig programmierbar und können für die Arbeit mit beliebigen neuronalen Netzen optimiert werden. Darüber hinaus filtert die Kernel-Architektur von Natur aus Daten, die durch Nullen dargestellt werden. Dadurch werden Rechenressourcen von der Notwendigkeit befreit, Leerlaufmultiplikationen mit Nulloperationen durchzuführen, was bei geringer Datenlast schnellere Berechnungen und extreme Energieeffizienz bedeutet. Somit erweist sich der Cerebras-Prozessor hinsichtlich Chipfläche und Verbrauch als hundert- oder sogar tausendmal effizienter für maschinelles Lernen als aktuelle Lösungen für KI und maschinelles Lernen.

Herstellung eines Chips ähnlicher Größe gefordert viele einzigartige Lösungen. Es musste sogar fast von Hand in den Koffer gepackt werden. Es gab Probleme bei der Stromversorgung des Kristalls und seiner Kühlung. Die Wärmeabfuhr wurde nur mit Flüssigkeit und nur durch die Organisation einer zonalen Versorgung mit vertikaler Zirkulation möglich. Allerdings wurden alle Probleme gelöst und der Chip funktionierte wieder. Es wird interessant sein, etwas über die praktische Anwendung zu erfahren.

Source: 3dnews.ru