OpenChatKit, malfermfonteca ilaro desegnita por simpligi la kreadon de babilrobotoj por specialigitaj kaj ĝeneraluzeblaj aplikoj, estas prezentita. La sistemo estas adaptita por taskoj kiel respondi demandojn, fari plurpaŝajn dialogojn, resumi, eltiri informojn kaj klasifiki tekston. La kodo estas skribita en Python kaj distribuita sub la permesilo Apache 2.0. La projekto inkluzivas pretan modelon, kodon por trejni vian propran modelon, ilojn por testi la rendimenton de la modelo, ilojn por plibonigi la modelon per kunteksto el ekstera indekso kaj adapti la bazan modelon por solvi specifajn problemojn.
La robotprogramo baziĝas sur baza maŝinlernada modelo (GPT-NeoXT-Chat-Base-20B), konstruita uzante lingvomodelon ampleksantan proksimume 20 miliardojn da parametroj kaj optimumigitan por konversacia komunikado. Datumoj de la projektoj LAION, Together kaj Ontocord.ai estis uzitaj por trejni la modelon.
Por pligrandigi la ekzistantan sciobazon, oni proponas sistemon, kiu povas ĉerpi pliajn informojn el eksteraj deponejoj, API-oj kaj aliaj fontoj. Ekzemple, informoj povas esti ĝisdatigitaj uzante datumojn el Vikipedio kaj novaĵfluoj. Ankaŭ haveblas moderiga modelo, trejnita uzante 6 miliardojn da parametroj kaj bazita sur la GPT-JT-modelo, desegnita por filtri maltaŭgajn demandojn aŭ limigi diskutojn al specifaj temoj.
Precipe rimarkinda estas la projekto ChatLLaMA, kiu ofertas bibliotekon por krei inteligentajn asistantojn similajn al ChatGPT. La projekto estas disvolvata kun la celo funkcii per kutima aparataro kaj krei personecigitajn solvojn desegnitajn por kovri specifajn fakajn areojn (ekz., medicino, juro, videoludado, scienca esplorado, ktp.). La kodo de ChatLLaMA estas licencita sub la GPLv3-licenco.
La projekto subtenas la uzon de modeloj bazitaj sur la arkitekturo LLaMA (Large Language Model Meta AI) proponita de Meta. La plena LLaMA-modelo kovras 65 miliardojn da parametroj, sed por ChatLLaMA, la rekomenditaj opcioj estas la variaĵoj kun 7 kaj 13 miliardoj da parametroj, aŭ la modeloj GPTJ (6 miliardoj), GPTNeoX (1.3 miliardoj), 20BOPT (13 miliardoj), BLOOM (7.1 miliardoj) kaj Galactica (6.7 miliardoj). Komence, LLaMA-modeloj estis haveblaj nur al esploristoj laŭ speciala peto, sed ĉar torentoj estis uzataj por datenliverado, entuziasmuloj pretigis skripton, kiu permesas al iu ajn elŝuti la modelon.
fonto: opennet.ru
