Predstavljen je OpenChatKit open source alat koji ima za cilj pojednostavljenje kreiranja chatbotova za specijaliziranu i opću upotrebu. Sistem je prilagođen za obavljanje zadataka kao što su odgovaranje na pitanja, vođenje višestepenih dijaloga, sumiranje, izdvajanje informacija i klasifikacija teksta. Kod je napisan u Python-u i distribuiran pod licencom Apache 2.0. Projekat uključuje gotov model, kod za obuku vašeg modela, uslužne programe za testiranje rezultata modela, alate za dopunu modela kontekstom iz eksternog indeksa i prilagođavanje osnovnog modela za rješavanje vlastitih problema.
Bot je baziran na osnovnom modelu mašinskog učenja (GPT-NeoXT-Chat-Base-20B), izgrađenom pomoću jezičkog modela koji pokriva oko 20 milijardi parametara i optimizovan za razgovornu komunikaciju. Za obuku modela korišteni su podaci dobiveni iz zbirki projekata LAION, Together i Ontocord.ai.
Za proširenje postojeće baze znanja, predložen je sistem koji može dohvatiti dodatne informacije iz vanjskih spremišta, API-ja i drugih izvora. Na primjer, moguće je ažurirati informacije koristeći podatke sa Wikipedije i novosti. Dostupan je opcioni model moderiranja, obučen na 6 milijardi parametara i zasnovan na GPT-JT modelu, za filtriranje neprikladnih pitanja ili ograničavanje diskusija na određene teme.
Odvojeno, možemo spomenuti ChatLLaMA projekat, koji nudi biblioteku za kreiranje inteligentnih asistenata sličnih ChatGPT-u. Projekt se razvija s osvrtom na mogućnost rada na vlastitoj opremi i kreiranja personaliziranih rješenja dizajniranih da pokriju uska područja znanja (na primjer, medicina, pravo, igre, naučna istraživanja itd.). ChatLLaMA kod je licenciran pod GPLv3.
Projekat podržava upotrebu modela zasnovanih na arhitekturi LLaMA (Large Language Model Meta AI) koju je predložila Meta. Puni LLaMA model pokriva 65 milijardi parametara, ali se za ChatLLaMA preporučuje korištenje opcija sa 7 i 13 milijardi parametara ili GPTJ (6 milijardi), GPTNeoX (1.3 milijarde), 20BOPT (13 milijardi), BLOOM (7.1 milijardi) i Galactica (6.7 milijardi) modela). U početku, LLaMA modeli su se isporučivali samo istraživačima na poseban zahtjev, ali pošto su se za isporuku podataka koristili torenti, entuzijasti su pripremili skriptu koja je svakome omogućavala preuzimanje modela.
izvor: opennet.ru