Der åbne værktøjssuite OpenChatKit er præsenteret, med fokus på at forenkle oprettelsen af chatbots til både specialiseret og generelt brug. Systemet er tilpasset til at udføre opgaver som at besvare spørgsmål, føre flertrinsdialoger, sammenfatte, udtrække information og klassificere tekst. Koden er skrevet i Python og distribueres under Apache 2.0 licensen. Projektet inkluderer en færdig model, kode til at træne sin egen model, værktøjer til testning af modelresultater, samt midler til at supplere modellen med kontekst fra en ekstern indeks og tilpasse den grundlæggende model til at løse egne opgaver.
Som basis for bot'en foreslås en grundmodel for maskinlæring (GPT-NeoXT-Chat-Base-20B), bygget ved hjælp af en sprogmodel, der dækker omkring 20 milliarder parametre og optimeret til samtalebaseret kommunikation. Til træning af modellen er der anvendt data fra projekterne LAION, Together og Ontocord.ai.
For at udvide den eksisterende vidensbase foreslås et system, der kan udtrække yderligere information fra eksterne repositoryer, API'er og andre kilder. For eksempel er det muligt at opdatere informationer ved brug af data fra Wikipedia og nyhedskilder. Derudover er der en model til moderering tilgængelig, trænet ved hjælp af 6 milliarder parametre, baseret på GPT-JT modellen og designet til at filtrere uacceptable spørgsmål eller begrænse diskussioner inden for bestemte emner.
Enkelte kan nævne projektet ChatLLaMA, der tilbyder et bibliotek til oprettelse af intelligente assistenter, der ligner ChatGPT. Projektet udvikles med fokus på muligheden for at køre på eget udstyr og skabe personaliserede løsninger rettet mod specifikke vidensområder (f.eks. medicin, jura, spil, forskning osv.). Koden fra ChatLLaMA leveres under GPLv3 licensen.
Projektet understøtter brugen af modeller baseret på LLaMA-arkitekturen (Large Language Model Meta AI), foreslået af Meta. Den fulde LLaMA-model omfatter 65 milliarder parametre, men for ChatLLaMA anbefales det at bruge varianter med 7 og 13 milliarder parametre eller modeller som GPTJ (6 milliarder), GPTNeoX (1,3 milliarder), 20BOPT (13 milliarder), BLOOM (7,1 milliarder) og Galactica (6,7 milliarder). Oprindeligt leveres LLaMA-modeller kun til forskere efter særligt anmodning, men da dataoverførsler blev udført via torrents, har entusiaster forberedt et script, der gør det muligt at downloade modellen til enhver interesseret.
Kilde: opennet.ru
