Prezantohet paketa e veglave me burim të hapur OpenChatKit, që synon të thjeshtojë krijimin e chatbot-eve për përdorim të specializuar dhe të përgjithshëm. Sistemi është përshtatur për të kryer detyra të tilla si përgjigjja e pyetjeve, kryerja e dialogëve me shumë faza, përmbledhja, nxjerrja e informacionit dhe klasifikimi i tekstit. Kodi është shkruar në Python dhe shpërndahet nën licencën Apache 2.0. Projekti përfshin një model të gatshëm, kod për trajnimin e modelit tuaj, shërbime për testimin e rezultateve të modelit, mjete për plotësimin e modelit me kontekstin nga një indeks i jashtëm dhe përshtatjen e modelit bazë për të zgjidhur problemet tuaja.
Bot-i bazohet në një model bazë të mësimit të makinerive (GPT-NeoXT-Chat-Base-20B), i ndërtuar duke përdorur një model gjuhësor që mbulon rreth 20 miliardë parametra dhe i optimizuar për komunikim bisedor. Për të trajnuar modelin, u përdorën të dhënat e marra nga koleksionet e projektit LAION, Together dhe Ontocord.ai.
Për të zgjeruar bazën ekzistuese të njohurive, propozohet një sistem që mund të marrë informacion shtesë nga depo të jashtme, API dhe burime të tjera. Për shembull, është e mundur të përditësoni informacionin duke përdorur të dhëna nga Wikipedia dhe burimet e lajmeve. Ekziston një model opsional moderimi, i trajnuar mbi 6 miliardë parametra dhe i bazuar në modelin GPT-JT, për të filtruar pyetjet e papërshtatshme ose për të kufizuar diskutimet në tema specifike.
Më vete, mund të përmendim projektin ChatLLaMA, i cili ofron një bibliotekë për krijimin e asistentëve inteligjentë të ngjashëm me ChatGPT. Projekti po zhvillohet duke pasur parasysh mundësinë e funksionimit me pajisjet tuaja personale dhe krijimin e zgjidhjeve të personalizuara të dizajnuara për të mbuluar fusha të ngushta njohurish (për shembull, mjekësia, ligji, lojërat, kërkimi shkencor, etj.). Kodi ChatLLaMA është i licencuar sipas GPLv3.
Projekti mbështet përdorimin e modeleve të bazuara në arkitekturën LLaMA (Large Language Model Meta AI) të propozuar nga Meta. Modeli i plotë LLaMA mbulon 65 miliardë parametra, por për ChatLLaMA rekomandohet përdorimi i opsioneve me 7 dhe 13 miliardë parametra ose GPTJ (6 miliardë), GPTNeoX (1.3 miliardë), 20BOPT (13 miliardë), BLOOM (7.1 miliardë) dhe Modele Galactica (6.7 miliardë)). Fillimisht, modelet LLaMA u furnizoheshin vetëm studiuesve me kërkesë të veçantë, por meqenëse torrentët përdoreshin për të dhënë të dhëna, entuziastët përgatitën një skenar që lejonte këdo të shkarkonte modelin.
Burimi: opennet.ru