Jazykový model s 28,9 milióna parametrov pracoval na ESP32-S3
Vývojár Vyacheslav Serbov, vystupujúci pod prezývkou slvDev, predviedol úplne lokálnu generáciu textu na mikrokontroléri ESP32-S3. Ním vytvorený jazykový model obsahuje 28,9 milióna parametrov a produkuje približne 9,9 tokenu za sekundu, bez toho, aby sa obracal na server alebo iné vonkajšie výpočtové zdroje. Generované krátke príbehy sa zobrazujú na pripojenom OLED displeji. Projekt esp32-ai bol testovaný na module ESP32-S3 N16R8, ktorý disponuje […]
