SprÄkmodellen med 28,9 miljoner parametrar fungerar pÄ ESP32-S3
Utvecklaren Vyacheslav Serbov, som gĂ„r under pseudonymen slvDev, har demonstrerat helt lokal textgenerering pĂ„ mikrokontrollern ESP32-S3. Den sprĂ„kmodell som han har skapat innehĂ„ller 28,9 miljoner parametrar och producerar cirka 9,9 tokens per sekund utan att ansluta till en server eller andra externa berĂ€kningsresurser. De genererade korta berĂ€ttelserna visas pĂ„ en ansluten OLED-skĂ€rm. Projektet esp32-ai har testats pĂ„ modulen ESP32-S3 N16R8, som har […]
