Маҷмӯаи кушодаасоси OpenChatKit муаррифӣ шудааст, ки ба содда кардани эҷоди чатботҳо барои истифодаи махсус ва умумӣ нигаронида шудааст. Система барои иҷрои вазифаҳо, аз қабили ҷавоб додан ба саволҳо, гузаронидани муколамаҳои бисёрмарҳила, ҷамъбаст, истихроҷи иттилоот ва таснифоти матн мутобиқ карда шудааст. Рамз дар Python навишта шудааст ва таҳти иҷозатномаи Apache 2.0 паҳн карда мешавад. Лоиҳа як модели тайёр, код барои омӯзиши модели шумо, утилитаҳо барои санҷиши натиҷаҳои модел, асбобҳо барои пурра кардани модел бо контекст аз индекси беруна ва мутобиқсозии модели асосиро барои ҳалли мушкилоти худ дар бар мегирад.
Бот ба модели асосии омӯзиши мошинсозӣ (GPT-NeoXT-Chat-Base-20B) асос ёфтааст, ки бо истифода аз модели забоне сохта шудааст, ки тақрибан 20 миллиард параметрҳоро фаро мегирад ва барои муоширати гуфтугӯӣ оптимизатсия шудааст. Барои омӯзиши модел маълумоте, ки аз маҷмӯаҳои лоиҳаҳои LAION, Together ва Ontocord.ai гирифта шудааст, истифода шудааст.
Барои васеъ кардани базаи донишҳои мавҷуда, системае пешниҳод карда мешавад, ки метавонад маълумоти иловагиро аз анборҳои беруна, APIҳо ва дигар манбаъҳо дарёфт кунад. Масалан, бо истифода аз маълумот аз Википедиа ва наворҳои хабарӣ маълумотро навсозӣ кардан мумкин аст. Модели ихтиёрии модератор мавҷуд аст, ки аз рӯи 6 миллиард параметр омӯзонида шудааст ва дар асоси модели GPT-JT барои филтр кардани саволҳои номуносиб ё маҳдуд кардани баҳсҳо бо мавзӯъҳои мушаххас.
Алоҳида, мо метавонем лоиҳаи ChatLLaMA-ро номбар кунем, ки китобхонаро барои эҷоди ёрдамчиёни интеллектуалии шабеҳи ChatGPT пешниҳод мекунад. Лоиҳа бо назардошти имкони кор дар таҷҳизоти шахсии шумо ва эҷоди қарорҳои фардӣ, ки барои фарогирии соҳаҳои танги дониш (масалан, тиб, ҳуқуқ, бозиҳо, тадқиқоти илмӣ ва ғайра) пешбинӣ шудаанд, таҳия карда мешавад. Рамзи ChatLLaMA дар доираи GPLv3 иҷозатнома дорад.
Лоиҳа истифодаи моделҳоро дар асоси меъмории LLaMA (Large Language Model Meta AI), ки аз ҷониби Meta пешниҳод шудааст, дастгирӣ мекунад. Модели пурраи LLaMA 65 миллиард параметрҳоро дар бар мегирад, аммо барои ChatLLaMA тавсия дода мешавад, ки имконоти дорои 7 ва 13 миллиард параметрҳо ё GPTJ (6 миллиард), GPTNeoX (1.3 миллиард), 20BOPT (13 миллиард), BLOOM (7.1 миллиард) ва моделҳои Galactica (6.7 миллиард) ). Дар аввал, моделҳои LLaMA танҳо ба муҳаққиқон бо дархости махсус дода мешуданд, аммо азбаски ҷӯйборҳо барои интиқоли маълумот истифода мешуданд, ҳаваскорон скрипт омода карданд, ки ба ҳар кас имкон дод, ки моделро зеркашӣ кунад.
Манбаъ: opennet.ru