OpenChatKit åpen kildekode-verktøysettet presenteres, rettet mot å forenkle opprettelsen av chatbots for spesialisert og generell bruk. Systemet er tilpasset for å utføre oppgaver som å svare på spørsmål, gjennomføre flertrinnsdialoger, oppsummere, trekke ut informasjon og klassifisere tekst. Koden er skrevet i Python og distribuert under Apache 2.0-lisensen. Prosjektet inkluderer en ferdig modell, kode for å trene din modell, verktøy for å teste resultatene av modellen, verktøy for å supplere modellen med kontekst fra en ekstern indeks og tilpasse basismodellen for å løse dine egne problemer.
Boten er basert på en grunnleggende maskinlæringsmodell (GPT-NeoXT-Chat-Base-20B), bygget ved hjelp av en språkmodell som dekker rundt 20 milliarder parametere og optimalisert for samtalekommunikasjon. For å trene modellen ble data hentet fra prosjektsamlingene LAION, Together og Ontocord.ai brukt.
For å utvide den eksisterende kunnskapsbasen foreslås et system som kan hente ut tilleggsinformasjon fra eksterne depoter, APIer og andre kilder. For eksempel er det mulig å oppdatere informasjon ved hjelp av data fra Wikipedia og nyhetsstrømmer. En valgfri modereringsmodell er tilgjengelig, trent på 6 milliarder parametere og basert på GPT-JT-modellen, for å filtrere ut upassende spørsmål eller begrense diskusjoner til spesifikke emner.
Separat kan vi nevne ChatLLaMA-prosjektet, som tilbyr et bibliotek for å lage intelligente assistenter som ligner på ChatGPT. Prosjektet utvikles med tanke på muligheten for å kjøre på eget utstyr og lage personlige løsninger designet for å dekke snevre kunnskapsområder (for eksempel medisin, juss, spill, vitenskapelig forskning, etc.). ChatLLaMA-koden er lisensiert under GPLv3.
Prosjektet støtter bruken av modeller basert på LLaMA-arkitekturen (Large Language Model Meta AI) foreslått av Meta. Den fullstendige LLaMA-modellen dekker 65 milliarder parametere, men for ChatLLaMA anbefales det å bruke alternativer med 7 og 13 milliarder parametere eller GPTJ (6 milliarder), GPTNeoX (1.3 milliarder), 20BOPT (13 milliarder), BLOOM (7.1 milliarder) og Galactica (6.7 milliarder) modeller ). Opprinnelig ble LLaMA-modeller kun levert til forskere på spesiell forespørsel, men siden torrenter ble brukt til å levere data, utarbeidet entusiaster et skript som tillot hvem som helst å laste ned modellen.
Kilde: opennet.ru