Model językowy z 28,9 mln parametrów działał na ESP32-S3
Deweloper Wjaczesław Serbow, działający pod pseudonimem slvDev, zaprezentował całkowitą lokalną generację tekstu na mikrokontrolerze ESP32-S3. Stworzony przez niego model językowy zawiera 28,9 mln parametrów i generuje około 9,9 tokena na sekundę, nie polegając na serwerze ani innych zewnętrznych zasobach obliczeniowych. Wygenerowane krótkie opowiadania są wyświetlane na podłączonym wyświetlaczu OLED. Projekt esp32-ai został przetestowany na module ESP32-S3 N16R8, który ma […]
