Ixtisoslashgan va umumiy maqsadli ilovalar uchun chatbotlarni yaratishni soddalashtirish uchun mo'ljallangan ochiq manbali asboblar to'plami OpenChatKit taqdim etildi. Tizim savollarga javob berish, koʻp bosqichli dialoglar oʻtkazish, umumlashtirish, maʼlumotlarni ajratib olish va matnni tasniflash kabi vazifalarga moslashtirilgan. Kod Python-da yozilgan va Apache 2.0 litsenziyasi ostida tarqatiladi. Loyiha tayyor modelni, o'z modelingizni o'rgatish uchun kodni, modelning ishlashini sinab ko'rish uchun yordamchi dasturlarni, tashqi indeksdan kontekst bilan modelni to'ldirish vositalarini va muayyan muammolarni hal qilish uchun asosiy modelni moslashtirishni o'z ichiga oladi.
Bot taxminan 20 milliard parametrni o'z ichiga olgan til modelidan foydalangan holda yaratilgan va so'zlashuv muloqoti uchun optimallashtirilgan asosiy mashinani o'rganish modeliga (GPT-NeoXT-Chat-Base-20B) asoslangan. Modelni o'qitish uchun LAION, Together va Ontocord.ai loyihalari ma'lumotlaridan foydalanilgan.
Mavjud bilimlar bazasini kengaytirish uchun tashqi omborlar, API va boshqa manbalardan qo'shimcha ma'lumotlarni olish mumkin bo'lgan tizim taklif etiladi. Misol uchun, ma'lumotni Vikipediya ma'lumotlari va yangiliklar tasmalari yordamida yangilash mumkin. 6 milliard parametrdan foydalangan holda o'qitiladigan va GPT-JT modeliga asoslangan moderatsiya modeli ham mavjud bo'lib, u nomaqbul savollarni filtrlash yoki muayyan mavzulardagi muhokamalarni cheklash uchun mo'ljallangan.
ChatGPT-ga o'xshash aqlli yordamchilarni yaratish uchun kutubxonani taklif qiluvchi ChatLLaMA loyihasi alohida e'tiborga loyiqdir. Loyiha maxsus apparat vositalarida ishlash va muayyan tajriba sohalarini (masalan, tibbiyot, huquq, oʻyin, ilmiy tadqiqotlar va boshqalar) qamrab olish uchun moʻljallangan shaxsiylashtirilgan yechimlarni yaratish maqsadida ishlab chiqilmoqda. ChatLLaMA kodi GPLv3 litsenziyasi ostida litsenziyalangan.
Loyiha Meta tomonidan taklif etilgan LLaMA (Large Language Model Meta AI) arxitekturasi asosidagi modellardan foydalanishni qo‘llab-quvvatlaydi. To'liq LLaMA modeli 65 milliard parametrni qamrab oladi, lekin ChatLLaMA uchun tavsiya etilgan variantlar 7 va 13 milliard parametrli variantlar yoki GPTJ (6 milliard), GPTNeoX (1.3 milliard), 20BOPT (13 milliard), BLOOM (7.1 milliard) va Galactica (6.7 milliard) modellaridir. Dastlab, LLaMA modellari tadqiqotchilar uchun faqat maxsus so'rov bo'yicha mavjud edi, biroq torrentlar ma'lumotlarni yetkazib berish uchun ishlatilganligi sababli, ishqibozlar modelni har kimga yuklab olish imkonini beruvchi skript tayyorladilar.
Manba: opennet.ru
