Мамандандырылған және жалпы пайдалану үшін чат-боттарды құруды жеңілдетуге бағытталған OpenChatKit ашық бастапқы құралдар жинағы ұсынылған. Жүйе сұрақтарға жауап беру, көп сатылы диалогтар жүргізу, қорытындылау, ақпаратты алу, мәтінді жіктеу сияқты тапсырмаларды орындауға бейімделген. Код Python тілінде жазылған және Apache 2.0 лицензиясы бойынша таратылады. Жоба дайын үлгіні, модельді оқытуға арналған кодты, модельдің нәтижелерін тестілеуге арналған утилиталарды, сыртқы индекстен контекстпен модельді толықтыруға арналған құралдарды және жеке мәселелерді шешу үшін базалық модельді бейімдеуді қамтиды.
Бот 20 миллиардқа жуық параметрді қамтитын тіл үлгісін пайдаланып құрастырылған және сөйлесу қарым-қатынасы үшін оңтайландырылған негізгі машиналық оқыту үлгісіне (GPT-NeoXT-Chat-Base-20B) негізделген. Модельді оқыту үшін LAION, Together және Ontocord.ai жоба жинақтарынан алынған деректер пайдаланылды.
Қолданыстағы білім қорын кеңейту үшін сыртқы репозиторийлерден, API интерфейсінен және басқа көздерден қосымша ақпаратты ала алатын жүйе ұсынылады. Мысалы, Wikipedia деректері мен жаңалықтар арналары арқылы ақпаратты жаңартуға болады. Орынсыз сұрақтарды сүзу немесе нақты тақырыптарға талқылауларды шектеу үшін 6 миллиард параметр бойынша дайындалған және GPT-JT үлгісіне негізделген қосымша модерация үлгісі қол жетімді.
ChatGPT-ге ұқсас интеллектуалды көмекшілерді құруға арналған кітапхананы ұсынатын ChatLLaMA жобасын бөлек атап өтуге болады. Жоба жеке жабдықта жұмыс істеу және білімнің тар салаларын (мысалы, медицина, құқық, ойындар, ғылыми зерттеулер және т.б.) қамтуға арналған жеке шешімдерді жасау мүмкіндігін ескере отырып әзірленуде. ChatLLaMA коды GPLv3 бойынша лицензияланған.
Жоба Meta ұсынған LLaMA (Large Language Model Meta AI) архитектурасына негізделген үлгілерді пайдалануды қолдайды. Толық LLaMA үлгісі 65 миллиард параметрді қамтиды, бірақ ChatLLaMA үшін 7 және 13 миллиард параметрлері бар опцияларды немесе GPTJ (6 миллиард), GPTNeoX (1.3 миллиард), 20BOPT (13 миллиард), BLOOM (7.1 миллиард) және Galactica (6.7 млрд) модельдері). Бастапқыда LLaMA үлгілері арнайы сұраныс бойынша зерттеушілерге ғана жеткізілді, бірақ деректерді жеткізу үшін торренттер пайдаланылғандықтан, энтузиастар кез келген адамға модельді жүктеп алуға мүмкіндік беретін сценарий дайындады.
Ақпарат көзі: opennet.ru