Een taalmodel met 28,9 miljoen parameters werkt op de ESP32-S3
Ontwikkelaar Vyacheslav Serbov, onder het pseudoniem slvDev, demonstreerde volledige lokale tekstgeneratie op de microcontroller ESP32-S3. Het door hem gemaakte taalmodel bevat 28,9 miljoen parameters en genereert ongeveer 9,9 tokens per seconde, zonder verbinding te maken met een server of andere externe rekencapaciteiten. De gegenereerde korte verhalen worden weergegeven op een aangesloten OLED-scherm. Het esp32-ai-project is getest op de ESP32-S3 N16R8-module, die […]
