La malferma ilaro OpenChatKit estas lanĉita, celanta simpligi la kreadon de babilrotoj por specialigitaj kaj ĝeneralaj aplikoj. La sistemo estas adaptita por plenumi taskojn kiel respondi demandojn, fari plurŝtupajn dialogojn, resumi, ĉerpi informojn, klasifiki tekstojn. La kodo estas skribita en Python kaj distribuita sub la licenco Apache 2.0. La projekto inkluzivas pretan modelon, kodon por trejni vian modelon, ilojn por testi la rezultojn de la modelo, ilojn por kompletigi la modelon per kunteksto de ekstera indekso kaj adapti la bazan modelon por solvi viajn proprajn problemojn.
La roboto baziĝas sur baza maŝinlernada modelo (GPT-NeoXT-Chat-Base-20B), konstruita per lingvomodelo kovranta ĉirkaŭ 20 miliardojn da parametroj kaj optimumigita por konversacia komunikado. La modelo estis trejnita uzante datumojn akiritajn de la kolektoj de la projektoj LAION, Together kaj Ontocord.ai.
Por vastigi la ekzistantan scion, oni proponas sistemon, kiu kapablas ĉerpi pliajn informojn el eksteraj deponejoj, APIoj kaj aliaj fontoj. Ekzemple, eblas ĝisdatigi informojn uzante datumojn de Vikipedio kaj novaĵoj. Aldone, moderiga modelo estas havebla, trejnita kun 6 miliardoj da parametroj, bazita sur la GPT-JT-modelo, kaj dizajnita por filtri netaŭgajn demandojn aŭ limigi diskutojn al certaj temoj.
Aparte, ni povas noti la projekton ChatLLaMA, kiu proponas bibliotekon por krei inteligentajn asistantojn similajn al ChatGPT. La projekto disvolviĝas kun okulo al la ebleco funkcii per sia propra ekipaĵo kaj krei personigitajn solvojn destinitajn por kovri mallarĝajn scion (ekzemple, medicino, juro, ludoj, scienca esplorado, ktp.). La ChatLLaMA-kodo estas licencita sub la GPLv3.
La projekto subtenas la uzon de modeloj bazitaj sur la arkitekturo LLaMA (Large Language Model Meta AI) proponita de Meta. La plena LLaMA-modelo kovras 65 miliardojn da parametroj, sed por ChatLLaMA oni rekomendas uzi la variantojn kun 7 kaj 13 miliardoj da parametroj aŭ la GPTJ (6 miliardoj), GPTNeoX (1.3 miliardoj), 20BOPT (13 miliardoj), BLOOM (7.1 miliardoj) kaj Galactica (6.7 miliardoj) modeloj). Komence, LLaMA-modeloj estas liveritaj nur al esploristoj laŭ speciala peto, sed ĉar torentoj estis uzitaj por liveri la datumojn, entuziasmuloj preparis skripton, kiu permesas al iu ajn elŝuti la modelon.
fonto: opennet.ru