Predstavljen je odprt komplet orodij OpenChatKit, katerega namen je poenostaviti ustvarjanje klepetalnih robotov za specializirane in splošne aplikacije. Sistem je prilagojen za izvajanje nalog, kot so odgovarjanje na vprašanja, vodenje večstopenjskih dialogov, povzemanje, izločanje informacij, razvrščanje besedila. Koda je napisana v Pythonu in se distribuira pod licenco Apache 2.0. Projekt vključuje že pripravljen model, kodo za usposabljanje vašega modela, pripomočke za testiranje rezultatov modela, orodja za dopolnjevanje modela s kontekstom iz zunanjega indeksa in prilagajanje osnovnega modela za reševanje lastnih težav.
Bot temelji na osnovnem modelu strojnega učenja (GPT-NeoXT-Chat-Base-20B), zgrajenem z jezikovnim modelom, ki pokriva približno 20 milijard parametrov in optimiziran za pogovorno komunikacijo. Model je bil usposobljen z uporabo podatkov, pridobljenih iz zbirk projektov LAION, Together in Ontocord.ai.
Za razširitev obstoječe baze znanja je predlagan sistem, ki je sposoben pridobiti dodatne informacije iz zunanjih repozitorijev, API-jev in drugih virov. Na primer, mogoče je posodobiti informacije z uporabo podatkov iz Wikipedije in virov novic. Poleg tega je na voljo moderacijski model, usposobljen s 6 milijardami parametrov, ki temelji na modelu GPT-JT in je zasnovan za filtriranje neprimernih vprašanj ali omejevanje razprav na določene teme.
Ločeno lahko opazimo projekt ChatLLaMA, ki ponuja knjižnico za ustvarjanje inteligentnih pomočnikov, podobnih ChatGPT. Projekt se razvija s pogledom na možnost delovanja na lastni opremi in ustvarjanje personaliziranih rešitev, namenjenih pokrivanju ozkih področij znanja (na primer medicina, pravo, igre, znanstvene raziskave itd.). Koda ChatLLaMA je licencirana pod GPLv3.
Projekt podpira uporabo modelov, ki temeljijo na arhitekturi LLaMA (Large Language Model Meta AI), ki jo predlaga Meta. Celoten model LLaMA pokriva 65 milijard parametrov, vendar je za ChatLLaMA priporočljiva uporaba različic s 7 in 13 milijardami parametrov ali GPTJ (6 milijard), GPTNeoX (1.3 milijarde), 20BOPT (13 milijard), BLOOM (7.1 milijarde) in Galactica (6.7 milijarde) modelov). Sprva se modeli LLaMA posredujejo le raziskovalcem na posebno zahtevo, ker pa so bili za dostavo podatkov uporabljeni torrenti, so navdušenci pripravili skripto, ki omogoča prenos modela vsem.
Vir: opennet.ru