{"id":182824,"date":"2026-08-11T04:54:15","date_gmt":"2026-08-11T02:54:15","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3"},"modified":"2026-08-12T18:21:41","modified_gmt":"2026-08-12T16:21:41","slug":"yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","title":{"rendered":"Das Sprachmodell mit 28,9 Millionen Parametern funktioniert auf der ESP32-S3","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

<\/i><\/a>
\nDer Entwickler Wjatscheslaw Serbow, der unter dem Pseudonym slvDev auftritt, demonstrierte<\/a> eine vollst\u00e4ndig lokale Texterzeugung auf dem Mikrocontroller ESP32-S3. Das von ihm entwickelte Sprachmodell enth\u00e4lt 28,9 Millionen Parameter und gibt etwa 9,9 Tokens pro Sekunde aus, ohne auf einen Server oder andere externe Rechenressourcen zuzugreifen. Die generierten Kurzgeschichten werden auf einem angeschlossenen OLED-Display ausgegeben.<\/p>\n

 <\/p>\n

Projekt esp32-ai<\/a> wurde auf dem Modul ESP32-S3 N16R8 mit 512 KB integrierter SRAM, 8 MB PSRAM und 16 MB Flash-Speicher getestet. Das auf vier Bits quantisierte Modell ben\u00f6tigt 14,9 MB. Im Repository wurden der Quellcode der Laufzeitumgebung in C, die Trainings- und Quantisierungswerkzeuge f\u00fcr das Modell, die Firmware, Tests und Szenarien f\u00fcr das Laden auf die Platine ver\u00f6ffentlicht.<\/p>\n

 <\/p>\n

Die angegebenen 28,9 Millionen Parameter sollten nicht direkt mit der Anzahl der Parameter herk\u00f6mmlicher Desktop-LLMs verglichen werden. Laut dem detaillierten Bericht des Entwicklers<\/a>, besteht das Modell aus einem dichten Rechenkern mit etwa 559.000 Parametern, einer Ausgabeschicht mit 3,1 Millionen Parametern und einer Tabelle mit schichtbezogenen Vektorrepr\u00e4sentationen von etwa 25 Millionen Parametern. Letztere stellt den Gro\u00dfteil der formalen Gr\u00f6\u00dfe des Modells dar, wird jedoch nicht vollst\u00e4ndig bei der Erzeugung jedes Tokens verarbeitet.<\/p>\n

 <\/p>\n

F\u00fcr die Unterbringung des Modells werden drei Speicherebenen genutzt. Die am h\u00e4ufigsten verwendeten Daten befinden sich in der internen SRAM, die Ausgabeschicht, der KV-Cache und tempor\u00e4re Pufferspeicher in der PSRAM, w\u00e4hrend die 25-Millionen-Tabelle im Flash-Speicher bleibt und \u00fcber eine Abbildung in den Adressraum zug\u00e4nglich ist. F\u00fcr jedes Token werden nur etwa sechs Zeilen mit einem Gesamtvolumen von ungef\u00e4hr 450 Byte gelesen.<\/p>\n

 <\/p>\n

Eine solche Vorrichtung basiert auf der Technologie der Per-Layer Embeddings, die von Google in Gemma 3n angewendet wurde. Laut der Google-Dokumentation<\/a>, k\u00f6nnen PLE-Parameter au\u00dferhalb des Arbeitsspeichers des Modells gespeichert und w\u00e4hrend des Ausgabeverfahrens hinzugef\u00fcgt werden, w\u00e4hrend einzelne Schichten verarbeitet werden. In esp32-ai wurde dieser Ansatz in die Speicherhierarchie des Mikrocontrollers \u00fcbertragen, wo die schnelle SRAM besonders begrenzt ist.<\/p>\n

 <\/p>\n

Die erste korrekte Version der unter C geschriebenen Laufzeitumgebung gab nur 0,57 Token pro Sekunde aus. Nach der Platzierung der Ausgabeschicht im PSRAM, dem Wechsel zu achtbitigen Aktivierungen, der Verteilung der Berechnungen zwischen zwei Xtensa LX7-Kernen und weiteren Optimierungen wurde die Verz\u00f6gerung auf 94,9 ms pro Modellschritt reduziert. Die endg\u00fcltig gemessene Geschwindigkeit erreichte 9,88 Token pro Sekunde unter Ber\u00fccksichtigung des gesamten Generierungsprozesses. Das Hauptlimit ist jetzt die Bandbreite des PSRAM beim Lesen der Ausgabeschicht.<\/p>\n

 <\/p>\n

Das Modell wurde auf einem synthetischen Datensatz trainiert TinyStories<\/a>, der aus einfachen englischsprachigen Geschichten mit begrenztem Wortschatz besteht. Deshalb ist es in der Lage, S\u00e4tze fortzusetzen und kleine zusammenh\u00e4ngende Geschichten zu erfinden, ist jedoch nicht f\u00fcr die Beantwortung von Fragen, die Ausf\u00fchrung von Anweisungen, Programmierung oder das Wiedergeben von tats\u00e4chlichem Wissen gedacht. Der Entwickler betrachtet die Arbeit in erster Linie als Demonstration der effektiven Unterbringung des Modells im Speicher eines Mikrocontrollers und nicht als fertigen autonomen Chatbot.<\/p>\n

 <\/p>\n

In der aktuellen Dokumentation hebt der Autor hervor, dass esp32-ai eine eigenst\u00e4ndige Entwicklung ist. Projekte llama2.c<\/a> von Andrei Karpathy und der fr\u00fchere Start eines 260.000-Modelle auf dem ESP32-S3 werden nur als Orientierung und Beispiele f\u00fcr fr\u00fchere Arbeiten angef\u00fchrt: Der Code, die Kontrollpunkte und die Methodik stammen nicht direkt von ihnen. Der Quellcode von esp32-ai wird unter der MIT-Lizenz verbreitet<\/a>.<\/p>\n

 <\/p>\n

Quelle: linux.org.ru<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0412\u044f\u0447\u0435\u0441\u043b\u0430\u0432 \u0421\u0435\u0440\u0431\u043e\u0432, \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u044e\u0449\u0438\u0439 \u043f\u043e\u0434 \u043f\u0441\u0435\u0432\u0434\u043e\u043d\u0438\u043c\u043e\u043c slvDev, \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u043c\u0438\u043a\u0440\u043e\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0435 ESP32-S3. \u0421\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u0438\u043c \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 28,9 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0432\u044b\u0434\u0430\u0451\u0442 \u043e\u043a\u043e\u043b\u043e 9,9 \u0442\u043e\u043a\u0435\u043d\u0430 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u043d\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0443 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u043c \u0432\u043d\u0435\u0448\u043d\u0438\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c. \u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b \u0432\u044b\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u0439 OLED-\u0434\u0438\u0441\u043f\u043b\u0435\u0439.   \u041f\u0440\u043e\u0435\u043a\u0442 esp32-ai \u0438\u0441\u043f\u044b\u0442\u0430\u043d \u043d\u0430 \u043c\u043e\u0434\u0443\u043b\u0435 ESP32-S3 N16R8, \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0449\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":9,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-182824","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Das Sprachmodell mit 28,9 Millionen Parametern lief auf dem ESP32-S3 | ProHoster","description":".","canonical_url":"https:\/\/prohoster.info\/de\/blog\/news\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u042f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 28,9 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043d\u0430 ESP32-S3 | ProHoster","og:description":".","og:url":"https:\/\/prohoster.info\/de\/blog\/news\/yazykovaya-model-s-289-mln-parametrov-zarabotala-na-esp32-s3","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2026-08-11T02:54:15+00:00","article:modified_time":"2026-08-12T16:21:41+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"182824","title":null,"description":null,"keywords":null,"keyphrases":{"focus":[],"additional":[]},"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2026-08-11 06:43:49","updated":"2026-08-11 06:43:49","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/182824","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=182824"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/182824\/revisions"}],"predecessor-version":[{"id":182897,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/182824\/revisions\/182897"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=182824"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=182824"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=182824"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}