OpenChatKit on avalikustatud, tööriistakomplekt juturoboteid loomiseks

Avatud tööriistakomplekt OpenChatKit, mille eesmärk on lihtsustada juturoboteid nii spetsialiseeritud kui ka üldiseks kasutamiseks. Süsteem on kohandatud selliste ülesannete täitmiseks nagu küsimustele vastamine, mitmeastmeliste dialoogide juhtimine, kokkuvõtete tegemine, teabe väljavõttemine ja teksti klassifitseerimine. Kood on kirjutatud Pythonis ja levitatakse Apache 2.0 litsentsi alusel. Projekti koosseisu kuulub valmis mudel, kood oma mudeli treenimiseks, tööriistad mudeli töö tulemuste testimiseks, vahendid mudeli täiendamiseks välisest indeksist ning baasmudeli kohandamiseks oma ülesannete lahendamiseks.

Boti aluseks on masinõppe baasmudel (GPT-NeoXT-Chat-Base-20B), mis on loodud keelemudeli abil, mis katab umbes 20 miljardit parameetrit ja on optimeeritud vestluste jaoks. Mudeli treenimiseks on kasutatud andmeid, mis on saadud projektide LAION, Together ja Ontocord.ai kogudest.

Olemasoleva teadmistebaasi laiendamiseks on ette nähtud süsteem, mis suudab ekstraktida täiendavat teavet välisest hoidlatest, API-dest ja muudest allikatest. Näiteks on võimalik teabe ajakohastamine, kasutades andmeid Wikipedia-st ja uudistevoogudest. Lisaks on saadaval mudel modereerimiseks, mis on treenitud 6 miljardi parameetriga, põhineb mudelil GPT-JT ja on mõeldud sobimatute küsimuste filtreerimiseks või arutelude piiramiseks teatud teemade raames.

Eraldi väärib märkimist projekt ChatLLaMA, mis pakub raamatukogu intelligentsete abimeeste loomiseks, mis on sarnased ChatGPT-le. Projekt areneb silmas pidades võimalust töötada isiklikul varustusel ja luua isikupärastatud lahendusi, mis on suunatud kitsaste teadmiste valdkondade katmiseks (näiteks meditsiin, õigus, mängud, teadusuuringud jne). ChatLLaMA kood on väljastatud GPLv3 litsentsi alusel.

Projekt toetab LLaMA (Large Language Model Meta AI) arhitektuuril põhinevate mudelite kasutamist, mille on pakkunud ettevõte Meta. Täielik LLaMA mudel katab 65 miljardit parameetrit, kuid ChatLLaMA jaoks soovitatakse kasutada 7 ja 13 miljardi parameetriga versioone või mudeleid GPTJ (6 miljonit), GPTNeoX (1,3 miljonit), 20BOPT (13 miljonit), BLOOM (7,1 miljonit) ja Galactica (6,7 miljonit). Alguses tarnitakse LLaMA mudeleid ainult teadlastele erimenetluse kaudu, kuid kuna andmete edastamiseks kasutati torrente, on entusiastid valmistanud skripti, mis võimaldab mudelit alla laadida kõigil soovijatel.

Allikas: opennet.ru