OpenChatKit öppna verktygslåda introduceras, som syftar till att förenkla skapandet av chatbots för specialiserade och allmänna applikationer. Systemet är anpassat för att utföra uppgifter som att svara på frågor, genomföra flerstegsdialoger, sammanfatta, utvinna information, klassificera text. Koden är skriven i Python och distribueras under Apache 2.0-licensen. I projektet ingår en färdig modell, kod för att träna din modell, verktyg för att testa modellens resultat, verktyg för att komplettera modellen med kontext från ett externt index och anpassa basmodellen för att lösa dina egna problem.
Boten är baserad på en grundläggande maskininlärningsmodell (GPT-NeoXT-Chat-Base-20B), byggd med hjälp av en språkmodell som täcker cirka 20 miljarder parametrar och optimerad för konversationskommunikation. Modellen tränades med hjälp av data som erhållits från samlingarna av projekten LAION, Together och Ontocord.ai.
För att utöka den befintliga kunskapsbasen föreslås ett system som kan extrahera ytterligare information från externa arkiv, API:er och andra källor. Det är till exempel möjligt att uppdatera information med hjälp av data från Wikipedia och nyhetsflöden. Dessutom finns en modereringsmodell tillgänglig, tränad med 6 miljarder parametrar, baserad på GPT-JT-modellen, och utformad för att filtrera olämpliga frågor eller begränsa diskussioner till vissa ämnen.
Separat kan vi notera ChatLLaMA-projektet, som erbjuder ett bibliotek för att skapa intelligenta assistenter som liknar ChatGPT. Projektet utvecklas med sikte på möjligheten att köra på egen utrustning och skapa personliga lösningar utformade för att täcka snäva kunskapsområden (till exempel medicin, juridik, spel, vetenskaplig forskning etc.). ChatLLaMA-koden är licensierad under GPLv3.
Projektet stödjer användningen av modeller baserade på LLaMA-arkitekturen (Large Language Model Meta AI) som föreslagits av Meta. Den fullständiga LLaMA-modellen täcker 65 miljarder parametrar, men för ChatLLaMA rekommenderas att använda varianterna med 7 och 13 miljarder parametrar eller GPTJ (6 miljarder), GPTNeoX (1.3 miljarder), 20BOPT (13 miljarder), BLOOM (7.1 miljarder) och Galactica (6.7 miljarder) modeller). Till en början levereras LLaMA-modeller endast till forskare på särskild begäran, men eftersom torrenter användes för att leverera data har entusiaster förberett ett skript som låter vem som helst ladda ner modellen.
Källa: opennet.ru