Sproglige modellen med 28,9 millioner parametre kørte på ESP32-S3
Udvikleren Vjatseslav Serbov, kendt under pseudonymet slvDev, demonstrerede fuldstændig lokal tekstgenerering på mikrokontrolleren ESP32-S3. Den sprogmodel, han har skabt, indeholder 28,9 millioner parametre og producerer cirka 9,9 tokens pr. sekund uden at benytte serveren eller andre eksterne compute-ressourcer. De genererede korte historier vises på en tilsluttet OLED-skærm. Projektet esp32-ai er blevet testet på modulet ESP32-S3 N16R8, der har […]
