Byl představen otevřený nástroj OpenChatKit, zaměřený na zjednodušení tvorby chatbotů pro specializované i obecné účely. Systém je přizpůsoben pro plnění úkolů, jako jsou odpovídání na otázky, vedení vícestupňových dialogů, shrnutí, extrakce informací a klasifikace textu. Kód je napsán v jazyce Python a je distribuován pod licencí Apache 2.0. Součástí projektu je hotový model, kód pro trénink vlastního modelu, nástroje pro testování výsledků modelu, prostředky pro doplnění modelu kontextem z externího indexu a přizpůsobení základního modelu k řešení vlastních úloh.
Jako základ bota je navržena základní model strojového učení (GPT-NeoXT-Chat-Base-20B), postavená pomocí jazykového modelu, který pokrývá přibližně 20 miliard parametrů a je optimalizován pro konverzační komunikaci. Pro trénink modelu byla použita data získaná z kolekcí projektů LAION, Together a Ontocord.ai.
Pro rozšíření existující databáze znalostí je navržen systém schopný extrahovat další informace z externích repozitářů, API a dalších zdrojů. Například je možná aktualizace informací s využitím dat z Wikipedia a zpravodajských kanálů. Dále je k dispozici model pro moderaci, který byl natrénován s použitím 6 miliard parametrů, založený na modelu GPT-JT a určený k filtrování nepřijatelných otázek nebo omezení diskusí v rámci určitých témat.
Samostatně lze zmínit projekt ChatLLaMA, který nabízí knihovnu pro vytváření inteligentních asistentů podobných ChatGPT. Projekt se vyvíjí s ohledem na možnost provozu na vlastním zařízení a tvorbu personalizovaných řešení zaměřených na specifické oblasti znalostí (například medicína, právo, hry, vědecký výzkum atd.). Kód ChatLLaMA je dodáván pod licencí GPLv3.
Projekt podporuje používání modelů založených na architektuře LLaMA (Large Language Model Meta AI), kterou navrhla společnost Meta. Kompletní model LLaMA zahrnuje 65 miliard parametrů, ale pro ChatLLaMA se doporučuje používat varianty s 7 a 13 miliardami parametrů nebo modely GPTJ (6 mld), GPTNeoX (1.3 mld), 20BOPT (13 mld), BLOOM (7.1 mld) a Galactica (6.7 mld). Původně jsou modely LLaMA poskytovány pouze výzkumníkům na speciální žádost, ale protože pro dodání dat byly použity torrenty, nadšenci připravili skript, který umožňuje stahování modelu každému zájemci.
Zdroj: opennet.ru
