Tha an goireas fosgailte OpenChatKit air a thaisbeanadh, ag amas air cruthachadh chatbots a dhèanamh nas sìmplidhe airson cleachdadh sònraichte agus coitcheann. Tha an siostam air atharrachadh gus gnìomhan a choileanadh leithid a bhith a’ freagairt cheistean, a’ dèanamh chòmhraidhean ioma-ìre, a’ toirt geàrr-chunntas, a’ tarraing fiosrachaidh, agus a’ seòrsachadh teacsa. Tha an còd sgrìobhte ann am Python agus air a chuairteachadh fo chead Apache 2.0. Tha am pròiseact a’ toirt a-steach modail deiseil, còd airson do mhodail a thrèanadh, goireasan airson deuchainn a dhèanamh air toraidhean a’ mhodail, innealan airson a’ mhodail a chur ri co-theacsa bho chlàr-amais taobh a-muigh agus am modal bunaiteach atharrachadh gus na duilgheadasan agad fhèin fhuasgladh.
Tha am bot stèidhichte air modal ionnsachaidh inneal bunaiteach (GPT-NeoXT-Chat-Base-20B), a chaidh a thogail a ’cleachdadh modal cànain a’ còmhdach timcheall air 20 billean paramadair agus air a bharrrachadh airson conaltradh còmhraidh. Gus am modail a thrèanadh, chaidh dàta a fhuaireadh bho chruinneachaidhean pròiseict LAION, Together and Ontocord.ai a chleachdadh.
Gus am bunait eòlais a th’ ann a leudachadh, thathas a’ moladh siostam a gheibh fiosrachadh a bharrachd bho stòran taobh a-muigh, APIan agus stòran eile. Mar eisimpleir, tha e comasach fiosrachadh ùrachadh le bhith a’ cleachdadh dàta bho Wikipedia agus biadhan naidheachdan. Tha modal measaidh roghainneil ri fhaighinn, air a thrèanadh air paramadairean 6 billean agus stèidhichte air modal GPT-JT, gus ceistean neo-iomchaidh a shìoladh no còmhraidhean a chuingealachadh ri cuspairean sònraichte.
Air leth, is urrainn dhuinn iomradh a thoirt air pròiseact ChatLLaMA, a tha a’ tabhann leabharlann airson luchd-cuideachaidh tùrail a chruthachadh coltach ri ChatGPT. Tha am pròiseact ga leasachadh le sùil ri comas a bhith a’ ruith air an uidheamachd agad fhèin agus a’ cruthachadh fhuasglaidhean pearsanaichte a tha air an dealbhadh gus raointean eòlais cumhang a chòmhdach (mar eisimpleir, leigheas, lagh, geamannan, rannsachadh saidheansail, msaa). Tha an còd ChatLLaMA ceadaichte fo GPLv3.
Tha am pròiseact a’ toirt taic do chleachdadh mhodalan stèidhichte air ailtireachd LLaMA (Modail Cànain Mòr Meta AI) a mhol Meta. Tha am modal LLaMA slàn a’ còmhdach 65 billean paramadairean, ach airson ChatLLaMA thathar a’ moladh roghainnean a chleachdadh le paramadairean 7 agus 13 billean no an GPTJ (6 billean), GPTNeoX (1.3 billean), 20BOPT (13 billean), BLOOM (7.1 billean) agus Galactica (6.7 billean) modailean ). An toiseach, cha deach modalan LLaMA a thoirt seachad ach do luchd-rannsachaidh air iarrtas sònraichte, ach leis gun deach torrents a chleachdadh gus dàta a lìbhrigeadh, dh’ ullaich luchd-dealasach sgriobt a leig le neach sam bith am modail a luchdachadh sìos.
Source: fosgailtenet.ru