Представлений відкритий інструментарій OpenChatKit, націлений на спрощення створення чобот для спеціалізованого та загального застосування. Система адаптована до виконання таких завдань, як відповіді питання, ведення багатоетапних діалогів, узагальнення, вилучення інформації, класифікація тексту. Код написаний мовою Python та поширюється під ліцензією Apache 2.0. До складу проекту входить готова модель, код для тренування своєї моделі, утиліти для тестування результатів роботи моделі, засоби для доповнення моделі контекстом із зовнішнього індексу та адаптації базової моделі до вирішення власних завдань.
Як основа робота пропонується базова модель машинного навчання (GPT-NeoXT-Chat-Base-20B), побудована за допомогою мовної моделі, що охоплює близько 20 мільярдів параметрів і оптимізована для розмовного спілкування. Для навчання моделі використано дані, отримані з колекцій проектів LAION, Together та Ontocord.ai.
Для розширення наявної бази знань пропонується система, здатна отримувати додаткову інформацію із зовнішніх репозиторіїв, API та інших джерел. Наприклад, можлива актуалізація інформації з використанням даних з Wikipedia та новинних стрічок. Додатково доступна модель модерування, натренована з використанням 6 мільярдів параметрів, заснована на моделі GPT-JT і призначена для фільтрації неприйнятних питань або обмеження дискусій в рамках певних тем.
Окремо можна відзначити проект ChatLLaMA, що пропонує бібліотеку створення інтелектуальних помічників, схожих на ChatGPT. Проект розвивається з огляду на можливість виконання на власному устаткуванні та створення персоналізованих рішень, розрахованих на охоплення вузьких галузей знань (наприклад, медицина, юриспруденція, ігри, наукові дослідження тощо). Код ChatLLaMA постачається під ліцензією GPLv3.
Проект підтримує використання моделей на базі LLaMA (Large Language Model Meta AI), запропонованої компанією Meta. Повна модель LLaMA охоплює 65 мільярдів параметрів, але для ChatLLaMA рекомендується використовувати варіанти з 7 та 13 мільярдами параметрів або моделі GPTJ (6 млрд), GPTNeoX (1.3 млрд), 20BOPT (13 млрд), BLOOM (7.1 млрд) та Galactica (6.7 млдр) ). Спочатку моделі LLaMA постачаються тільки дослідникам за спеціальним запитом, але так як для доставки даних використовувалися торренти, ентузіасти підготували скрипт, що дозволяє завантажити модель будь-кому.
Джерело: opennet.ru