Představuje se otevřená sada nástrojů OpenChatKit, jejímž cílem je zjednodušit tvorbu chatbotů pro specializované i obecné aplikace. Systém je uzpůsoben k provádění úkolů, jako je odpovídání na otázky, vedení vícestupňových dialogů, sumarizace, extrahování informací, klasifikace textu. Kód je napsán v Pythonu a distribuován pod licencí Apache 2.0. Projekt obsahuje hotový model, kód pro trénování vašeho modelu, utility pro testování výsledků modelu, nástroje pro doplnění modelu o kontext z externího indexu a přizpůsobení základního modelu pro řešení vašich vlastních problémů.
Bot je založen na základním modelu strojového učení (GPT-NeoXT-Chat-Base-20B), vytvořeném pomocí jazykového modelu pokrývajícího asi 20 miliard parametrů a optimalizovaném pro konverzační komunikaci. Model byl trénován pomocí dat získaných ze sbírek projektů LAION, Together a Ontocord.ai.
Pro rozšíření stávající znalostní báze je navržen systém, který je schopen extrahovat další informace z externích úložišť, API a dalších zdrojů. Například je možné aktualizovat informace pomocí dat z Wikipedie a zpravodajských zdrojů. Kromě toho je k dispozici model moderování, trénovaný s 6 miliardami parametrů, založený na modelu GPT-JT a navržený tak, aby filtroval nevhodné otázky nebo omezoval diskuse na určitá témata.
Samostatně si můžeme všimnout projektu ChatLLaMA, který nabízí knihovnu pro vytváření inteligentních asistentů podobných ChatGPT. Projekt se vyvíjí s ohledem na možnost provozu na vlastním zařízení a vytváření personalizovaných řešení navržených tak, aby pokryly úzké oblasti znalostí (například medicína, právo, hry, vědecký výzkum atd.). Kód ChatLLaMA je licencován pod licencí GPLv3.
Projekt podporuje použití modelů založených na architektuře LLaMA (Large Language Model Meta AI) navržené Meta. Plný model LLaMA pokrývá 65 miliard parametrů, ale pro ChatLLaMA se doporučuje použít varianty se 7 a 13 miliardami parametrů nebo GPTJ (6 miliard), GPTNeoX (1.3 miliardy), 20BOPT (13 miliard), BLOOM (7.1 miliardy) a Galactica (6.7 miliardy) modelů). Zpočátku se modely LLaMA dodávají výzkumníkům pouze na zvláštní žádost, ale protože se k doručování dat používaly torrenty, nadšenci připravili skript, který umožňuje komukoli stáhnout si model.
Zdroj: opennet.ru