Анонс на процесора Cerebras ― Cerebras Wafer Scale Engine (WSE) или движка Cerebras масштаба кремниевата пластина ― в рамките на годишната конференция Hot Chips 31. Гледайки на този кремниев монстър, удивлява не само, че е бил успешно произведен. Озадачава смелостта на концепцията и труда на разработчиците, които са се осмелили да създадат кристал с площ 46 225 квадратни милиметра и страни от 21,5 см. За производството на един процесор е необходима цяла 300-mm пластина. При най-малката грешка, нивото на дефектите е 100%, а цената на въпроса е трудно да се представи.
Производството на Cerebras WSE се осъществява от компанията TSMC. Технологичният процес е 16 nm FinFET. Този тайвански производител също заслужава паметник за производството на Cerebras. Изработването на подобен чип изискваше висше майсторство и решение на множество проблеми, но си е струвало, уверяват разработчиците. Чипът Cerebras е фактически суперкомпютър на чип с невероятна пропускна способност, минимално потребление и фантастичен паралелизъм. В момента това е идеалното решение за машинно обучение, което ще позволи на изследователите да започнат да решават изключително сложни задачи.
Всеки кристал Cerebras WSE съдържа 1,2 трлн транзистора, организирани в 400 000 AI-оптимизирани изчислителни ядра и 18 GB локална разпределена памет SRAM. Всичко това е свързано с клетъчна мрежа с обща производителност от 100 петабита в секунда. Пропускната способност на паметта достига 9 Пбайт/с. Иерархията на паметта е едноуровнева. Кеш паметта липсва, припокриването е отсъства, закъсненията при достъп са минимални. Това е идеалната архитектура за ускоряване на задачи, свързани с AI. Статистически данни: в сравнение с най-съвременните графични ядра, чипът Cerebras осигурява 3000 пъти по-голям обем памет на кристала и 10 000 пъти по-бърза обменна скорост с паметта.
Изчислителните ядра Cerebras ― SLAC (Sparse Linear Algebra Cores) ― са напълно програмируеми и могат да бъдат оптимизирани за работа с всякакви невронни мрежи. Освен това, архитектурата на ядрата първоначално филтрира данните, представени с нули. Това освобождава изчислителните ресурси от необходимостта да извършват холости операции по умножение с нула, което за натоварването с разредени данни означава ускорение на изчисленията и максимална енергийна ефективност. По този начин процесорът Cerebras се оказва стотици или дори хиляди пъти по-ефективен за машинно обучение по отношение на заетата площ на кристала и неговото потребление в сравнение с актуалните решения за ИИ и машинно обучение.
Производството на чип с такъв размер множество уникални решения. Дори опаковането му в корпус се наложи да се извърши почти ръчно. Появиха се проблеми с подаването на захранване към кристала и неговото охлаждане. Отводът на топлината стана възможен само с течност и единствено с организиране на зоново подаване с вертикална циркулация. Въпреки това, всички проблеми бяха решени и чипът излезе работещ. Ще бъде интересно да научим за неговото практическо приложение.
Източник: 3dnews.ru
