ESP32-S3-তে ২৮.৯ মিলিয়ন প্যারামিটার সম্বলিত একটি ল্যাঙ্গুয়েজ মডেল চালু করা হয়েছিল।

বিকাশকারী ব্যাচেস্লাভ সার্বভ, যিনি ছদ্মনাম slvDev দ্বারা যান, প্রদর্শিত একটি ESP32-S3 মাইক্রোকন্ট্রোলারে সম্পূর্ণ স্থানীয়ভাবে টেক্সট তৈরি করা হয়। এর ফলে প্রাপ্ত ল্যাঙ্গুয়েজ মডেলে ২.৮৯ কোটি প্যারামিটার থাকে এবং এটি কোনো সার্ভার বা অন্য বাহ্যিক কম্পিউটিং রিসোর্স ব্যবহার না করেই প্রতি সেকেন্ডে প্রায় ৯.৯টি টোকেন তৈরি করে। তৈরি হওয়া ছোট গল্পগুলো একটি সংযুক্ত OLED ডিসপ্লেতে দেখানো হয়।

প্রকল্পটি esp32-ai ৫১২ কিলোবাইট অনবোর্ড SRAM, ৮ মেগাবাইট PSRAM এবং ১৬ মেগাবাইট ফ্ল্যাশ মেমরি সহ একটি ESP32-S3 N16R8 মডিউলে এটি পরীক্ষা করা হয়েছে। ৪-বিট কোয়ান্টাইজড মডেলটি ১৪.৯ মেগাবাইট জায়গা নেয়। রিপোজিটরিটিতে C রানটাইম সোর্স কোড, ট্রেনিং ও কোয়ান্টাইজেশন টুলস, ফার্মওয়্যার, টেস্ট এবং বোর্ডে এটি আপলোড করার জন্য স্ক্রিপ্ট রয়েছে।

দাবিকৃত ২৮.৯ মিলিয়ন প্যারামিটারকে প্রচলিত ডেস্কটপ এলএলএম-এর প্যারামিটার সংখ্যার সাথে সরাসরি তুলনা করা উচিত নয়। বিস্তারিত ডেভেলপার রিপোর্টমডেলটিতে প্রায় ৫,৫৯,০০০ প্যারামিটার বিশিষ্ট একটি ডেন্স কম্পিউটেশনাল কার্নেল, ৩১ লক্ষ প্যারামিটার বিশিষ্ট একটি আউটপুট লেয়ার এবং প্রায় ২.৫ কোটি প্যারামিটার বিশিষ্ট একটি লেয়ার্ড ভেক্টর রিপ্রেজেন্টেশনের টেবিল রয়েছে। এই শেষোক্ত অংশটিই মডেলটির আনুষ্ঠানিক আকারের সিংহভাগ গঠন করে, কিন্তু প্রতিটি টোকেন তৈরি করার সময় এটি সম্পূর্ণরূপে প্রক্রিয়াজাত করা হয় না।

মডেলটি সংরক্ষণের জন্য তিনটি মেমরি লেভেল ব্যবহার করা হয়। সবচেয়ে বেশি ব্যবহৃত ডেটা অভ্যন্তরীণ SRAM-এ থাকে, আউটপুট লেয়ার, KV ক্যাশে এবং অস্থায়ী বাফারগুলো PSRAM-এ থাকে, এবং ২৫ মিলিয়ন আইটেমের টেবিলটি ফ্ল্যাশ মেমরিতে থাকে যা অ্যাড্রেস স্পেস ম্যাপিংয়ের মাধ্যমে অ্যাক্সেসযোগ্য। প্রতিটি টোকেনের জন্য, এটি থেকে মাত্র প্রায় ছয়টি সারি পড়া হয়, যার মোট পরিমাণ প্রায় ৪৫০ বাইট।

এই ডিভাইসটি গুগলের জেমা ৩এন (Gemma 3n)-এ ব্যবহৃত পার-লেয়ার এমবেডিংস (Per-Layer Embeddings) প্রযুক্তির উপর ভিত্তি করে নির্মিত। গুগল ডকুমেন্টেশনPLE প্যারামিটারগুলো মডেলের ওয়ার্কিং মেমরির বাইরে সংরক্ষণ করা যায় এবং প্রতিটি লেয়ার প্রসেস করার সময় ইনফারেন্স প্রক্রিয়ায় যোগ করা যায়। esp32-ai-তে এই পদ্ধতিটি মাইক্রোকন্ট্রোলারের মেমরি হায়ারার্কি পর্যন্ত প্রসারিত করা হয়েছে, যেখানে দ্রুতগতির SRAM বিশেষভাবে সীমিত।

সি-ভিত্তিক রানটাইমের প্রথম সঠিক সংস্করণটি প্রতি সেকেন্ডে মাত্র ০.৫৭টি টোকেন তৈরি করত। আউটপুট লেয়ারকে PSRAM-এ স্থাপন, আট-বিট অ্যাক্টিভেশনে পরিবর্তন, দুটি Xtensa LX7 কোরের মধ্যে গণনা বন্টন এবং অন্যান্য অপ্টিমাইজেশনের পর, প্রতি মডেল স্টেপে ল্যাটেন্সি কমে ৯৪.৯ মিলিসেকেন্ডে নেমে আসে। সম্পূর্ণ জেনারেশন প্রক্রিয়াটি বিবেচনায় নিলে, চূড়ান্ত পরিমাপকৃত থ্রুপুট প্রতি সেকেন্ডে ৯.৮৮টি টোকেনে পৌঁছায়। আউটপুট লেয়ার পড়ার সময় PSRAM ব্যান্ডউইথই এখন প্রধান সীমাবদ্ধতা হয়ে দাঁড়ায়।

মডেলটিকে একটি কৃত্রিম ডেটাসেটের উপর প্রশিক্ষণ দেওয়া হয়েছিল। টিনিস্টোরিজএটি সীমিত শব্দভান্ডারসহ সহজ ইংরেজি গল্পের সমন্বয়ে গঠিত। তাই, এটি বাক্য চালিয়ে যেতে এবং ছোট, সুসংহত গল্প রচনা করতে পারলেও, এটি প্রশ্নের উত্তর দেওয়া, নির্দেশ অনুসরণ করা, প্রোগ্রাম করা বা বাস্তব জ্ঞান পুনরুৎপাদনের জন্য ডিজাইন করা হয়নি। ডেভেলপার এই কাজটিকে একটি তৈরি, স্বায়ত্তশাসিত চ্যাটবট হিসেবে না দেখে, বরং মাইক্রোকন্ট্রোলার মেমরিতে মডেলটির কার্যকর স্থাপনের একটি প্রদর্শনী হিসেবেই প্রধানত বিবেচনা করেন।

বর্তমান ডকুমেন্টেশনে, লেখক বিশেষভাবে জোর দিয়েছেন যে esp32-ai একটি স্বাধীন উন্নয়ন প্রকল্প। লামা২.সি আন্দ্রেজ কার্পাথির কাজ এবং ESP32-S3-তে ২৬০,০০০তম মডেলের পূর্ববর্তী লঞ্চটি শুধুমাত্র নির্দেশিকা এবং পূর্ববর্তী কাজের উদাহরণ হিসেবে প্রদান করা হয়েছে: কোড, চেকপয়েন্ট এবং পদ্ধতি সরাসরি সেখান থেকে ধার করা হয়নি। esp32-ai সোর্স কোড এমআইটি লাইসেন্সের অধীনে বিতরণ করা হয়েছে.

উত্স: linux.org.ru