ĂshtĂ« paraqitur njĂ« set i hapur mjetesh OpenChatKit, i fokusuar nĂ« thjeshtimin e krijimit tĂ« chat-botĂ«ve pĂ«r aplikime tĂ« specializuara dhe tĂ« pĂ«rgjithshme. Sistemi Ă«shtĂ« i pĂ«rshtatur pĂ«r tĂ« kryer detyra si pĂ«rgjigjja nĂ« pyetje, zhvillimi i dialogĂ«ve shumĂ«fazorĂ«, pĂ«rmbledhja, nxjerrja e informacionit dhe klasifikimi i tekstit. Kodi Ă«shtĂ« shkruar nĂ« gjuhĂ«n Python dhe shpĂ«rndahet nĂ«n licencĂ«n Apache 2.0. Projekte pĂ«rfshin njĂ« model tĂ« gatshĂ«m, kodin pĂ«r trajnim tĂ« modelit tuaj, mjete pĂ«r testimin e rezultateve tĂ« punĂ«s sĂ« modelit, si dhe mjete pĂ«r plotĂ«simin e modelit me kontekst nga indekse tĂ« jashtme dhe pĂ«rshtatjen e modelit bazĂ« pĂ«r zgjidhjen e detyrave specifike.
Si bazë për botin, proponohet një model i thjeshtë i mësimit të makinerive (GPT-NeoXT-Chat-Base-20B), i ndërtuar me një model gjuhësor që mbulon rreth 20 miliard parametra dhe është optimizuar për komunikim të bisedave. Për trajnimin e modelit janë përdorur të dhëna të marra nga koleksionet e projekteve LAION, Together dhe Ontocord.ai.
Për të zgjeruar bazën e njohurive ekzistuese, ofrohet një sistem që është në gjendje të nxjerrë informacion të shtuar nga depo të jashtme, API dhe burime të tjera. Për shembull, është e mundur të azhurnohet informacioni duke përdorur të dhëna nga Wikipedia dhe kanalet e lajmeve. Përveç kësaj, është në dispozicion një model për moderimin, e trajnuar me 6 miliard parametra, e bazuar në modelin GPT-JT dhe e destinuar për filtrimin e pyetjeve të papërshtatshme ose për kufizimin e diskutimeve brenda temave të caktuara.
Veçanërisht, mund të përmendim projektin ChatLLaMA, i cili ofron një bibliotekë për krijimin e asistentëve inteligjentë, të ngjashëm me ChatGPT. Projekti zhvillohet me fokusin në mundësinë e ekzekutimit në pajisje të tjera dhe krijimin e zgjidhjeve të personalizuara, të konceptuara për të mbuluar fusha të ngushta njohurish (p.sh., mjekësia, juridiku, lojërat, kërkimi shkencor etj.). Kodi ChatLLaMA ofrohet nën licencën GPLv3.
Projekti mbështet përdorimin e modeleve të bazuara në arkitekturën LLaMA (Large Language Model Meta AI), të propozuar nga kompanitë Meta. Modeli i plotë LLaMA përfshin 65 miliardë parametra, por për ChatLLaMA rekomandohet të përdoren variantet me 7 dhe 13 miliardë parametra ose modelet GPTJ (6 miliardë), GPTNeoX (1.3 miliardë), 20BOPT (13 miliardë), BLOOM (7.1 miliardë) dhe Galactica (6.7 miliardë). Fillimisht, modelet LLaMA ofrohen vetëm për kërkuesit me një kërkesë speciale, por pasi që për dorëzimin e të dhënave janë përdorur torrente, entuziastët përgatitën një skript që i lejon çdo dëshiruari të shkarkojë modelin.
Burimi: opennet.ru
