Tutvustatakse avatud tööriistu OpenChatKit, mille eesmärk on lihtsustada vestlusrobotite loomist spetsialiseeritud ja üldiseks kasutamiseks. Süsteem on kohandatud selliste ülesannete täitmiseks, nagu küsimustele vastamine, mitmeastmeliste dialoogide juhtimine, kokkuvõtete tegemine, teabe eraldamine ja teksti klassifitseerimine. Kood on kirjutatud keeles Python ja levitatakse litsentsi Apache 2.0 alusel. Projekti koosseisu kuulub valmis mudel, kood oma mudeli treenimiseks, tööriistad mudeli tulemuste testimiseks, vahendid mudeli täiustamiseks konteksti välisest indeksist ja baasmudeli kohandamiseks oma ülesannete lahendamiseks.
Boti aluseks pakutakse masinõppe baasmudelit (GPT-NeoXT-Chat-Base-20B), mis on loodud keelemudeli abil, millel on umbes 20 miljardit parameetrit ja mis on optimeeritud vestluseks. Mudeli koolitamiseks on kasutatud andmeid, mis on saadud projektide LAION, Together ja Ontocord.ai kogudest.
Olemasoleva teadmistebaasi laiendamiseks pakutakse süsteemi, mis suudab väliste registrite, API-de ja teiste allikate kaudu täiendavat teavet koguda. Näiteks on võimalik teavet ajakohastada, kasutades andmeid Wikipediast ja uudistevoogudest. Lisaks on saadaval mudel modereerimiseks, mis on treenitud 6 miljardi parameetri abil, põhinedes mudelil GPT-JT, ja on mõeldud sobimatute küsimuste filtreerimiseks või arutelude piiramise jaoks teatud teemades.
Erakordselt tasub mainida ChatLLaMA projekti, mis pakub raamatukogu intelligentsete abistajate loomiseks, sarnaste ChatGPT-le. Projekt areneb silmas pidades võimalust töötada enda riistvaral ja luua kohandatud lahendusi, mis on suunatud kitsaste teadmiste valdkondade hõlmamisele (näiteks meditsiin, õigusteadus, mängud, teadusuuringud jne). ChatLLaMA kood on saadaval GPLv3 litsentsi all.
Projekt toetab LLaMA (Large Language Model Meta AI) arhitektuuril baseeruvate mudelite kasutamist, mille pakub välja ettevõte Meta. Täielik LLaMA mudel katab 65 miljardit parameetrit, kuid ChatLLaMA puhul soovitatakse kasutada 7 ja 13 miljardi parameetriga variante või mudeleid GPTJ (6 miljardi), GPTNeoX (1.3 miljardit), 20BOPT (13 miljardit), BLOOM (7.1 miljardit) ja Galactica (6.7 miljardit). Alguses tarnitakse LLaMA mudeleid ainult teadlastele erilise taotlemise kaudu, kuid kuna andmete edastamiseks kasutati torrent'e, on entusiastid valmistanud skripti, mis võimaldab mudeli alla laadida igal soovijal.
Allikas: opennet.ru
