Cerebrasプロセッサの発表 ― Cerebras Wafer Scale Engine (WSE) または Cerebras Wafer Scale Engine ― このシリコンの怪物を見ると、驚くべきことは、それを実際にリリースできたという事実ですらありません。面積31平方ミリメートル、一辺46cmの結晶を危険を冒して開発した設計の勇気と開発者の仕事には驚かされ、225つのプロセッサを作るのに21,5mmのウェハ全体が必要です。ほんの少しのミスでも不良率は300％となり、その費用は計り知れません。
Cerebras WSE は TSMC によって製造されています。技術プロセス: 16 nm FinFET。この台湾のメーカーは、Cerebras のリリースも記念碑に値します。このようなチップの製造には最高のスキルと多くの問題の解決が必要だったが、それだけの価値はあった、と開発者らは断言する。 Cerebras チップは本質的に、信じられないほどのスループット、最小限の電力消費、そして素晴らしい並列処理を備えたチップ上のスーパーコンピューターです。これは現在、研究者が非常に複雑な問題の解決を開始できる理想的な機械学習ソリューションです。
Cerebras WSE の各ダイには 1,2 兆個のトランジスタが含まれており、AI に最適化された 400 個のコンピューティング コアと 000 GB のローカル分散 SRAM で構成されています。これらすべては、総スループット 18 ペタビット/秒のメッシュ ネットワークによって接続されています。メモリ帯域幅は 100 PB/s に達します。メモリ階層は単一レベルです。キャッシュ メモリやオーバーラップはなく、アクセス遅延は最小限に抑えられます。これは、AI 関連のタスクを高速化するための理想的なアーキテクチャです。裸の数字: 最新のグラフィックス コアと比較して、Cerebras チップは 9 倍のオンチップ メモリと 3000 倍のメモリ転送速度を提供します。
Cerebras コンピューティング コア - SLAC (Sparse Linear Algebra Core) - は完全にプログラム可能で、あらゆるニューラル ネットワークで動作するように最適化できます。さらに、カーネル アーキテクチャは本質的に、ゼロで表されるデータをフィルタリングします。これにより、コンピューティング リソースがアイドル状態のゼロ乗算を実行する必要がなくなり、データ負荷が少ない場合、計算が高速になり、エネルギー効率が大幅に向上します。したがって、Cerebras プロセッサは、チップ面積と消費量の点で、現在の AI および機械学習ソリューションよりも機械学習において数百倍、さらには数千倍効率的であることが判明しました。
同様のサイズのチップの製造 ユニークなソリューションがたくさんあります。ケースへの詰め込みもほぼ手作業で行わなければなりませんでした。水晶への電力供給と冷却に問題がありました。熱除去は液体によってのみ、また垂直循環によるゾーン供給の組織化によってのみ可能になりました。しかし、すべての問題は解決され、チップは正常に動作するようになりました。その実際の応用について学ぶのは興味深いでしょう。
出所： 3dnews.ru