Мамандандырылған және жалпы мақсаттағы қолданбалар үшін чат-боттарды құруды жеңілдетуге арналған OpenChatKit, ашық бастапқы құралдар жинағы ұсынылған. Жүйе сұрақтарға жауап беру, көп сатылы диалогтар жүргізу, қорытындылау, ақпаратты алу және мәтінді жіктеу сияқты тапсырмаларға бейімделген. Код Python тілінде жазылған және Apache 2.0 лицензиясы бойынша таратылады. Жоба дайын үлгіні, жеке үлгіні үйретуге арналған кодты, модельдің өнімділігін тексеруге арналған утилиталарды, сыртқы индекстен контекстпен модельді толықтыруға арналған құралдарды және нақты есептерді шешу үшін негізгі модельді бейімдеуді қамтиды.
Бот шамамен 20 миллиард параметрді қамтитын және сөйлесу қарым-қатынасы үшін оңтайландырылған тіл үлгісін қолдану арқылы құрастырылған негізгі машиналық оқыту үлгісіне (GPT-NeoXT-Chat-Base-20B) негізделген. Модельді оқыту үшін LAION, Together және Ontocord.ai жобаларының деректері пайдаланылды.
Қолданыстағы білім қорын кеңейту үшін сыртқы репозиторийлерден, API интерфейстерінен және басқа көздерден қосымша ақпаратты шығара алатын жүйе ұсынылады. Мысалы, ақпаратты Уикипедия деректері мен жаңалықтар арналары арқылы жаңартуға болады. Орынсыз сұрақтарды сүзгілеуге немесе нақты тақырыптарға талқылауларды шектеуге арналған, 6 миллиард параметрді пайдаланып үйретілген және GPT-JT үлгісіне негізделген модерация үлгісі де қол жетімді.
ChatGPT-ге ұқсас интеллектуалды көмекшілерді құруға арналған кітапхананы ұсынатын ChatLLaMA жобасы ерекше назар аударады. Жоба арнайы жабдықта жұмыс істеуге және арнайы сараптама салаларын (мысалы, медицина, заң, ойын, ғылыми зерттеулер және т.б.) қамтуға арналған жеке шешімдерді жасауға бағытталған. ChatLLaMA коды GPLv3 лицензиясы бойынша лицензияланған.
Жоба Meta ұсынған LLaMA (Large Language Model Meta AI) архитектурасына негізделген үлгілерді пайдалануды қолдайды. Толық LLaMA үлгісі 65 миллиард параметрді қамтиды, бірақ ChatLLaMA үшін ұсынылған опциялар 7 және 13 миллиард параметрлі нұсқалар немесе GPTJ (6 миллиард), GPTNeoX (1.3 миллиард), 20BOPT (13 миллиард), BLOOM (7.1 миллиард) және Galactica (6.7 миллиард) үлгілері болып табылады. Бастапқыда LLaMA үлгілері зерттеушілерге арнайы сұраныс бойынша ғана қолжетімді болды, бірақ деректерді жеткізу үшін торренттер пайдаланылғандықтан, энтузиастар кез келген адамға модельді жүктеп алуға мүмкіндік беретін сценарий дайындады.
Ақпарат көзі: opennet.ru
