OpenChatKit open source-værktøjssættet præsenteres, der sigter mod at forenkle oprettelsen af chatbots til specialiseret og generel brug. Systemet er tilpasset til at udføre opgaver som at besvare spørgsmål, udføre flertrinsdialoger, opsummere, udtrække information og klassificere tekst. Koden er skrevet i Python og distribueret under Apache 2.0-licensen. Projektet omfatter en færdiglavet model, kode til træning af din model, værktøjer til at teste modellens resultater, værktøjer til at supplere modellen med kontekst fra et eksternt indeks og tilpasse basismodellen til at løse dine egne problemer.
Botten er baseret på en grundlæggende maskinlæringsmodel (GPT-NeoXT-Chat-Base-20B), bygget ved hjælp af en sprogmodel, der dækker omkring 20 milliarder parametre og optimeret til samtalekommunikation. For at træne modellen blev data opnået fra LAION, Together og Ontocord.ai projektsamlingerne brugt.
For at udvide den eksisterende videnbase foreslås et system, der kan hente yderligere information fra eksterne repositories, API'er og andre kilder. Det er for eksempel muligt at opdatere information ved hjælp af data fra Wikipedia og nyhedsfeeds. En valgfri modereringsmodel er tilgængelig, trænet på 6 milliarder parametre og baseret på GPT-JT-modellen, for at bortfiltrere upassende spørgsmål eller begrænse diskussioner til specifikke emner.
Separat kan vi nævne ChatLLaMA-projektet, som tilbyder et bibliotek til at skabe intelligente assistenter, der ligner ChatGPT. Projektet udvikles med henblik på muligheden for at køre på eget udstyr og skabe personlige løsninger designet til at dække snævre vidensområder (f.eks. medicin, jura, spil, videnskabelig forskning mv.). ChatLLaMA-koden er licenseret under GPLv3.
Projektet understøtter brugen af modeller baseret på LLaMA-arkitekturen (Large Language Model Meta AI) foreslået af Meta. Den fulde LLaMA-model dækker 65 milliarder parametre, men for ChatLLaMA anbefales det at bruge muligheder med 7 og 13 milliarder parametre eller GPTJ (6 milliarder), GPTNeoX (1.3 milliarder), 20BOPT (13 milliarder), BLOOM (7.1 milliarder) og Galactica (6.7 milliarder) modeller ). Oprindeligt blev LLaMA-modeller kun leveret til forskere efter særlig anmodning, men da torrents blev brugt til at levere data, udarbejdede entusiaster et script, der tillod enhver at downloade modellen.
Kilde: opennet.ru