Cerebras - 놀라운 크기와 기능을 갖춘 AI 프로세서

Cerebras 프로세서 발표 ― Cerebras Wafer Scale Engine(WSE) 또는 Cerebras 웨이퍼 스케일 엔진 ― 일어났다 매년 열리는 Hot Chips 31 컨퍼런스의 일환으로 이 실리콘 괴물을 보면 놀라운 것은 실제로 출시할 수 있다는 사실조차 없습니다. 디자인의 용기와 한 변의 길이가 46cm인 225제곱밀리미터의 크리스탈을 개발한 개발자들의 노력은 놀랍습니다. 하나의 프로세서를 만드는 데 전체 21,5mm 웨이퍼가 필요합니다. 사소한 실수에도 불량률이 300%에 이르며, 문제 발생 비용은 상상조차 하기 어렵습니다.

Cerebras WSE는 TSMC에서 생산됩니다. 기술 프로세스 - 16nm FinFET. 이 대만 제조업체는 또한 Cerebras 출시에 대한 기념비를 받을 자격이 있습니다. 이러한 칩을 생산하려면 최고의 기술과 많은 문제 해결이 필요했지만 그만한 가치가 있었다고 개발자는 확신합니다. Cerebras 칩은 본질적으로 놀라운 처리량, 최소한의 전력 소비 및 환상적인 병렬성을 갖춘 칩 위의 슈퍼컴퓨터입니다. 이는 이제 연구자들이 극도로 복잡한 문제를 해결할 수 있게 해주는 이상적인 기계 학습 솔루션입니다.

각 Cerebras WSE 다이에는 1,2개의 AI 최적화 컴퓨팅 코어와 400GB의 로컬 분산 SRAM으로 구성된 000조 18천억 개의 트랜지스터가 포함되어 있습니다. 이 모든 것은 초당 총 100페타비트의 용량을 갖춘 메시 네트워크로 연결됩니다. 메모리 대역폭은 9PB/s에 도달합니다. 메모리 계층 구조는 단일 수준입니다. 캐시 메모리도 없고, 중복도 없으며, 액세스 지연도 최소화됩니다. AI 관련 작업을 가속화하는 데 이상적인 아키텍처입니다. 적나라한 숫자: 가장 현대적인 그래픽 코어와 비교하여 Cerebras 칩은 3000배 더 많은 온칩 메모리와 10배 더 많은 메모리 교환 속도를 제공합니다.

Cerebras 컴퓨팅 코어인 SLAC(Sparse Linear Algebra Cores)는 완전히 프로그래밍 가능하며 모든 신경망 작업에 최적화될 수 있습니다. 게다가 커널 아키텍처는 본질적으로 0으로 표시되는 데이터를 필터링합니다. 이를 통해 컴퓨팅 리소스를 제로 연산으로 유휴 곱셈을 수행할 필요가 없게 됩니다. 이는 희박한 데이터 로드의 경우 더 빠른 계산과 극도의 에너지 효율성을 의미합니다. 따라서 Cerebras 프로세서는 AI 및 기계 학습을 위한 현재 솔루션보다 칩 면적 및 소비 측면에서 기계 학습에 수백 배 또는 수천 배 더 효율적인 것으로 나타났습니다.

비슷한 크기의 칩 제조 요구 독특한 솔루션이 많이 있습니다. 심지어 거의 손으로 케이스에 포장해야 했습니다. 크리스탈에 전원을 공급하고 냉각하는 데 문제가 있었습니다. 열 제거는 액체와 수직 순환을 통한 구역 공급 조직을 통해서만 가능해졌습니다. 그러나 모든 문제가 해결되었고 칩이 작동하게 되었습니다. 실제 적용에 대해 배우는 것은 흥미로울 것입니다.

출처 : 3dnews.ru