Представен е отворен инструментариум OpenChatKit, насочен към опростяване на създаването на чатботове за специализирани и общи приложения. Системата е адаптирана за изпълнение на задачи като отговаряне на въпроси, водене на многостепенни диалози, обобщаване, извличане на информация и класифициране на текст. Кодът е написан на Python и се разпространява под лицензия Apache 2.0. В проекта е включена готова модел, код за трениране на собствен модел, инструменти за тестване на резултатите от модела, средства за допълване на модела с контекст от външен индекс и адаптиране на основния модел за решаване на собствени задачи.
Като основа на бота се предлага базова модел на машинно обучение (GPT-NeoXT-Chat-Base-20B), изградена с помощта на езикова модел, обхващаща около 20 милиарда параметри и оптимизирана за разговорна комуникация. За тренирането на модела са използвани данни, получени от колекции на проекти LAION, Together и Ontocord.ai.
За разширяване на съществуващата база знания се предлага система, способна да извлича допълнителна информация от външни хранилища, API и други източници. Например, е възможно актуализиране на информацията с данни от Wikipedia и новинарски потоци. Допълнително е наличен модел за модериране, обучен с използване на 6 милиарда параметри, основан на модела GPT-JT, предназначен за филтриране на неприемливи въпроси или ограничаване на дискусиите в рамките на определени теми.
Отделно може да се отбележи проектът ChatLLaMA, предлагащ библиотека за създаване на интелигентни асистенти, подобни на ChatGPT. Проектът се развива с оглед възможността за изпълнение на собствено оборудване и създаване на персонализирани решения, насочени към обхвата на специализирани области на знание (например медицина, право, игри, научни изследвания и др.). Кодът на ChatLLaMA се предоставя под лицензия GPLv3.
Проектът поддържа използването на модели, базирани на архитектурата LLaMA (Large Language Model Meta AI), предложена от компанията Meta. Пълният модел LLaMA обхваща 65 милиарда параметри, но за ChatLLaMA се препоръчва да се използват варианти с 7 и 13 милиарда параметри или модели GPTJ (6 млрд), GPTNeoX (1.3 млрд), 20BOPT (13 млрд), BLOOM (7.1 млрд) и Galactica (6.7 млрд). Първоначално моделите LLaMA се предоставят само на изследователи по специална заявка, но тъй като за доставка на данните са използвани торенти, ентусиасти подготвиха скрипт, позволяващ на всеки желаещ да изтегли модела.
Източник: opennet.ru
