{"id":182824,"date":"2026-08-11T04:54:15","date_gmt":"2026-08-11T02:54:15","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3"},"modified":"2026-08-12T18:21:41","modified_gmt":"2026-08-12T16:21:41","slug":"yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/news\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","title":{"rendered":"Un modello linguistico con 28,9 milioni di parametri \u00e8 stato implementato su ESP32-S3","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

<\/i><\/a>
\nLo sviluppatore Viacheslav Serbov, che opera sotto lo pseudonimo di slvDev, ha dimostrato<\/a> ha creato una generazione di testo completamente locale su microcontrollore ESP32-S3. Il modello linguistico da lui sviluppato conta 28,9 milioni di parametri e genera circa 9,9 token al secondo, senza fare riferimento a server o altre risorse di calcolo esterne. I racconti brevi generati vengono visualizzati su un display OLED connesso.<\/p>\n

 <\/p>\n

Progetto esp32-ai<\/a> \u00e8 stato testato su un modulo ESP32-S3 N16R8, dotato di 512 KB di SRAM integrata, 8 MB di PSRAM e 16 MB di memoria flash. Il modello quantizzato a quattro bit occupa 14,9 MB. Nel repository sono pubblicati il codice sorgente dell'ambiente di esecuzione in C, gli strumenti di addestramento e quantizzazione del modello, il firmware, i test e gli scenari per il suo caricamento sulla scheda.<\/p>\n

 <\/p>\n

I 28,9 milioni di parametri dichiarati non devono essere confrontati direttamente con il numero di parametri di LLM desktop comuni. Secondo il dettagliato rapporto dello sviluppatore<\/a>, il modello \u00e8 composto da un nucleo computazionale denso di circa 559 mila parametri, uno strato di uscita di 3,1 milioni di parametri e una tabella di rappresentazioni vettoriali per strato di circa 25 milioni di parametri. \u00c8 proprio quest'ultima a fornire la maggior parte della dimensione formale del modello, ma non viene elaborata completamente nella generazione di ogni token.<\/p>\n

 <\/p>\n

Per l'allocazione del modello vengono utilizzati tre livelli di memoria. I dati pi\u00f9 frequentemente utilizzati si trovano nella SRAM interna, lo strato di uscita, la cache KV e i buffer temporanei nella PSRAM, mentre la tabella da 25 milioni rimane nella memoria flash ed \u00e8 accessibile tramite mappatura nello spazio degli indirizzi. Per ogni token vengono lette solo circa sei righe per un totale di circa 450 byte.<\/p>\n

 <\/p>\n

Questo dispositivo si basa sulla tecnologia Per-Layer Embeddings, utilizzata da Google in Gemma 3n. Secondo la documentazione di Google<\/a>, i parametri PLE possono essere memorizzati al di fuori della memoria operativa del modello e aggiunti nel processo di output man mano che vengono elaborati singoli strati. In esp32-ai questo approccio \u00e8 stato trasferito nella gerarchia di memoria del microcontrollore, dove la SRAM veloce \u00e8 particolarmente limitata.<\/p>\n

 <\/p>\n

La prima versione corretta dell'ambiente di esecuzione scritto in C restituiva solo 0,57 token al secondo. Dopo aver collocato lo strato di uscita nella PSRAM, passando a attivazioni a otto bit, distribuendo i calcoli tra due core Xtensa LX7 e altre ottimizzazioni, il ritardo \u00e8 stato ridotto a 94,9 ms per passo del modello. La velocit\u00e0 misurata finale ha raggiunto 9,88 token al secondo tenendo conto del processo di generazione completo. Il principale vincolo ora \u00e8 stata la larghezza di banda della PSRAM nella lettura dello strato di uscita.<\/p>\n

 <\/p>\n

Il modello \u00e8 stato addestrato su un insieme di dati sintetico TinyStories<\/a>, composto da semplici racconti in inglese con un vocabolario limitato. Pertanto, \u00e8 in grado di continuare frasi e comporre piccole storie coerenti, ma non \u00e8 progettato per rispondere a domande, eseguire istruzioni, programmare o riprodurre conoscenze fattuali. Lo sviluppatore considera il lavoro principalmente come una dimostrazione dell'efficace collocamento del modello nella memoria di un microcontrollore e non come un chatbot autonomo finale.<\/p>\n

 <\/p>\n

Nella documentazione attuale, l'autore sottolinea separatamente che esp32-ai \u00e8 uno sviluppo autonomo. I progetti llama2.c<\/a> di Andrei Karpathy e il lancio precedente del modello da 260.000 parametri su ESP32-S3 sono forniti solo come riferimenti ed esempi di lavori precedenti: il codice, i checkpoint e la metodologia non sono stati direttamente presi da essi. Il codice sorgente di esp32-ai \u00e8 distribuito con licenza MIT<\/a>.<\/p>\n

 <\/p>\n

Fonte: linux.org.ru<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0412\u044f\u0447\u0435\u0441\u043b\u0430\u0432 \u0421\u0435\u0440\u0431\u043e\u0432, \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u044e\u0449\u0438\u0439 \u043f\u043e\u0434 \u043f\u0441\u0435\u0432\u0434\u043e\u043d\u0438\u043c\u043e\u043c slvDev, \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u043c\u0438\u043a\u0440\u043e\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0435 ESP32-S3. \u0421\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u0438\u043c \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 28,9 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0432\u044b\u0434\u0430\u0451\u0442 \u043e\u043a\u043e\u043b\u043e 9,9 \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u043d\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0443 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u043c \u0432\u043d\u0435\u0448\u043d\u0438\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c. \u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b \u0432\u044b\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u0439 OLED-\u0434\u0438\u0441\u043f\u043b\u0435\u0439.   \u041f\u0440\u043e\u0435\u043a\u0442 esp32-ai \u0438\u0441\u043f\u044b\u0442\u0430\u043d \u043d\u0430 \u043c\u043e\u0434\u0443\u043b\u0435 ESP32-S3 N16R8, \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0449\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":9,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-182824","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Il modello linguistico con 28,9 milioni di parametri ha funzionato su ESP32-S3 | ProHoster","description":".","canonical_url":"https:\/\/prohoster.info\/it\/blog\/news\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u042f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 28,9 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043d\u0430 ESP32-S3 | ProHoster","og:description":".","og:url":"https:\/\/prohoster.info\/it\/blog\/news\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2026-08-11T02:54:15+00:00","article:modified_time":"2026-08-12T16:21:41+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"182824","title":null,"description":null,"keywords":null,"keyphrases":{"focus":[],"additional":[]},"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2026-08-11 06:43:49","updated":"2026-08-11 06:43:49","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/182824","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=182824"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/182824\/revisions"}],"predecessor-version":[{"id":182897,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/182824\/revisions\/182897"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=182824"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=182824"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=182824"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}