Predstavuje sa open source toolkit OpenChatKit zameraný na zjednodušenie vytvárania chatbotov na špecializované a všeobecné použitie. Systém je prispôsobený na vykonávanie úloh, ako je odpovedanie na otázky, vedenie viacstupňových dialógov, sumarizácia, extrahovanie informácií a klasifikácia textu. Kód je napísaný v jazyku Python a distribuovaný pod licenciou Apache 2.0. Projekt obsahuje hotový model, kód na trénovanie vášho modelu, utility na testovanie výsledkov modelu, nástroje na doplnenie modelu o kontext z externého indexu a prispôsobenie základného modelu na riešenie vašich vlastných problémov.
Bot je založený na základnom modeli strojového učenia (GPT-NeoXT-Chat-Base-20B), postavenom pomocou jazykového modelu pokrývajúceho približne 20 miliárd parametrov a optimalizovanom pre konverzačnú komunikáciu. Na trénovanie modelu boli použité dáta získané z kolekcií projektov LAION, Together a Ontocord.ai.
Na rozšírenie existujúcej vedomostnej základne sa navrhuje systém, ktorý dokáže získať ďalšie informácie z externých úložísk, API a iných zdrojov. Napríklad je možné aktualizovať informácie pomocou údajov z Wikipédie a spravodajských kanálov. K dispozícii je voliteľný model moderovania, trénovaný na 6 miliardách parametrov a založený na modeli GPT-JT, na odfiltrovanie nevhodných otázok alebo obmedzenie diskusií na konkrétne témy.
Samostatne môžeme spomenúť projekt ChatLLaMA, ktorý ponúka knižnicu na vytváranie inteligentných asistentov podobných ChatGPT. Projekt sa vyvíja s ohľadom na možnosť prevádzky na vlastnom zariadení a vytváranie personalizovaných riešení navrhnutých tak, aby pokryli úzke oblasti vedomostí (napríklad medicína, právo, hry, vedecký výskum atď.). Kód ChatLLaMA je licencovaný pod GPLv3.
Projekt podporuje použitie modelov založených na architektúre LLaMA (Large Language Model Meta AI) navrhnutej spoločnosťou Meta. Úplný model LLaMA pokrýva 65 miliárd parametrov, ale pre ChatLLaMA sa odporúča použiť možnosti s parametrami 7 a 13 miliárd alebo GPTJ (6 miliárd), GPTNeoX (1.3 miliardy), 20BOPT (13 miliárd), BLOOM (7.1 miliardy) a Modely Galactica (6.7 miliardy). Spočiatku boli modely LLaMA dodávané iba výskumníkom na špeciálnu žiadosť, ale keďže sa na doručovanie údajov používali torrenty, nadšenci pripravili skript, ktorý umožnil komukoľvek stiahnuť si model.
Zdroj: opennet.ru