Публикуван OpenChatKit, набор от инструменти за изграждане на чатботове

Представен е инструментариумът с отворен код OpenChatKit, насочен към опростяване на създаването на чатботове за специализирана и обща употреба. Системата е адаптирана да изпълнява задачи като отговаряне на въпроси, провеждане на многоетапни диалози, обобщаване, извличане на информация и класифициране на текст. Кодът е написан на Python и се разпространява под лиценза Apache 2.0. Проектът включва готов модел, код за обучение на вашия модел, помощни програми за тестване на резултатите от модела, инструменти за допълване на модела с контекст от външен индекс и адаптиране на базовия модел за решаване на вашите собствени проблеми.

Ботът е базиран на основен модел за машинно обучение (GPT-NeoXT-Chat-Base-20B), изграден с помощта на езиков модел, покриващ около 20 милиарда параметъра и оптимизиран за разговорна комуникация. За обучение на модела бяха използвани данни, получени от колекциите на проекта LAION, Together и Ontocord.ai.

За разширяване на съществуващата база от знания се предлага система, която може да извлича допълнителна информация от външни хранилища, API и други източници. Например, възможно е да актуализирате информация, като използвате данни от Wikipedia и новинарски канали. Наличен е допълнителен модел за модериране, обучен на 6 милиарда параметъра и базиран на модела GPT-JT, за филтриране на неподходящи въпроси или ограничаване на дискусиите до конкретни теми.

Отделно можем да споменем проекта ChatLLaMA, който предлага библиотека за създаване на интелигентни асистенти, подобни на ChatGPT. Проектът се разработва с оглед на възможността за работа на вашето собствено оборудване и създаване на персонализирани решения, предназначени да покриват тесни области на знанието (например медицина, право, игри, научни изследвания и др.). Кодът на ChatLLaMA е лицензиран под GPLv3.

Проектът поддържа използването на модели, базирани на архитектурата LLaMA (Large Language Model Meta AI), предложена от Meta. Пълният модел LLaMA покрива 65 милиарда параметри, но за ChatLLaMA се препоръчва да се използват опции със 7 и 13 милиарда параметри или GPTJ (6 милиарда), GPTNeoX (1.3 милиарда), 20BOPT (13 милиарда), BLOOM (7.1 милиарда) и Galactica (6.7 милиарда) модела). Първоначално моделите LLaMA бяха предоставяни само на изследователи при специална заявка, но тъй като за доставяне на данни бяха използвани торенти, ентусиастите подготвиха скрипт, който позволяваше на всеки да изтегли модела.

Източник: opennet.ru