Predstavljen je paket alata otvorenog koda OpenChatKit s ciljem pojednostavljivanja izrade chatbota za specijaliziranu i opću upotrebu. Sustav je prilagođen obavljanju zadataka kao što su odgovaranje na pitanja, vođenje višefaznih dijaloga, sažimanje, izdvajanje informacija i klasificiranje teksta. Kod je napisan u Pythonu i distribuiran pod licencom Apache 2.0. Projekt uključuje gotov model, kod za obuku vašeg modela, pomoćne programe za testiranje rezultata modela, alate za dopunjavanje modela kontekstom iz vanjskog indeksa i prilagodbu osnovnog modela za rješavanje vlastitih problema.
Bot se temelji na osnovnom modelu strojnog učenja (GPT-NeoXT-Chat-Base-20B), izgrađen pomoću jezičnog modela koji pokriva oko 20 milijardi parametara i optimiziran za razgovornu komunikaciju. Za obuku modela korišteni su podaci dobiveni iz zbirki projekata LAION, Together i Ontocord.ai.
Kako bi se proširila postojeća baza znanja, predlaže se sustav koji može dohvatiti dodatne informacije iz vanjskih repozitorija, API-ja i drugih izvora. Na primjer, moguće je ažurirati informacije pomoću podataka s Wikipedije i feedova vijesti. Dostupan je dodatni model moderiranja, obučen na 6 milijardi parametara i temeljen na GPT-JT modelu, za filtriranje neprikladnih pitanja ili ograničavanje rasprava na određene teme.
Zasebno možemo spomenuti projekt ChatLLaMA, koji nudi biblioteku za stvaranje inteligentnih pomoćnika sličnih ChatGPT-u. Projekt se razvija s obzirom na mogućnost rada na vlastitoj opremi i kreiranja personaliziranih rješenja dizajniranih za pokrivanje uskih područja znanja (na primjer, medicina, pravo, igre, znanstvena istraživanja itd.). Kod ChatLLaMA je licenciran pod GPLv3.
Projekt podržava korištenje modela temeljenih na LLaMA (Large Language Model Meta AI) arhitekturi koju predlaže Meta. Puni model LLaMA pokriva 65 milijardi parametara, ali za ChatLLaMA se preporučuje korištenje opcija sa 7 i 13 milijardi parametara ili GPTJ (6 milijardi), GPTNeoX (1.3 milijarde), 20BOPT (13 milijardi), BLOOM (7.1 milijarda) i Galactica (6.7 milijardi) modela). U početku su se modeli LLaMA dostavljali samo istraživačima na poseban zahtjev, ali budući da su se za dostavu podataka koristili torrenti, entuzijasti su pripremili skriptu koja je svakome omogućila preuzimanje modela.
Izvor: opennet.ru