Un modèle linguistique de 28,9 millions de paramètres fonctionne sur l'ESP32-S3
Le développeur Vyacheslav Serbov, connu sous le pseudonyme slvDev, a démontré la génération de texte entièrement locale sur le microcontrôleur ESP32-S3. Le modèle linguistique qu'il a créé contient 28,9 millions de paramètres et produit environ 9,9 tokens par seconde, sans se connecter à un serveur ou à d'autres ressources de calcul externes. Les courtes histoires générées sont affichées sur un écran OLED connecté. Le projet esp32-ai a été testé sur le module ESP32-S3 N16R8, qui dispose de […]
