Modelul lingvistic cu 28,9 milioane de parametri a funcționat pe ESP32-S3
Dezvoltatorul Viacheslav Serbov, care activează sub pseudonimul slvDev, a demonstrat generarea complet locală de texte pe microcontrolerul ESP32-S3. Modelul său lingvistic conține 28,9 milioane de parametri și generează aproximativ 9,9 tokeni pe secundă, fără a apela la servere sau alte resurse externe de calcul. Povestirile scurte generate sunt afișate pe un display OLED conectat. Proiectul esp32-ai a fost testat pe modulul ESP32-S3 N16R8, care dispune de […]
