S'introdueix el conjunt d'eines obertes OpenChatKit, amb l'objectiu de simplificar la creació de chatbots per a aplicacions especialitzades i generals. El sistema està adaptat per realitzar tasques com respondre preguntes, realitzar diàlegs en diverses etapes, resumir, extreure informació, classificar textos. El codi està escrit en Python i es distribueix sota la llicència Apache 2.0. El projecte inclou un model ja fet, codi per entrenar el vostre model, utilitats per provar els resultats del model, eines per complementar el model amb context a partir d'un índex extern i adaptar el model base per resoldre els vostres propis problemes.
El bot es basa en un model bàsic d'aprenentatge automàtic (GPT-NeoXT-Chat-Base-20B), creat amb un model de llenguatge que cobreix uns 20 milions de paràmetres i optimitzat per a la comunicació conversacional. El model es va entrenar a partir de dades obtingudes de les col·leccions dels projectes LAION, Together i Ontocord.ai.
Per ampliar la base de coneixement existent, es proposa un sistema que sigui capaç d'extreure informació addicional de repositoris externs, API i altres fonts. Per exemple, és possible actualitzar la informació utilitzant dades de la Viquipèdia i els canals de notícies. A més, hi ha disponible un model de moderació, entrenat amb 6 milions de paràmetres, basat en el model GPT-JT, i dissenyat per filtrar preguntes inadequades o limitar les discussions a determinats temes.
Per separat, podem destacar el projecte ChatLLaMA, que ofereix una biblioteca per crear assistents intel·ligents similars a ChatGPT. El projecte s'està desenvolupant pensant en la possibilitat de funcionar amb equipament propi i crear solucions personalitzades pensades per cobrir àrees reduïdes del coneixement (per exemple, medicina, dret, jocs, investigació científica, etc.). El codi ChatLLaMA té una llicència GPLv3.
El projecte dóna suport a l'ús de models basats en l'arquitectura LLaMA (Large Language Model Meta AI) proposada per Meta. El model LLaMA complet cobreix 65 mil milions de paràmetres, però per a ChatLLaMA es recomana utilitzar les variants amb 7 i 13 mil milions de paràmetres o GPTJ (6 mil milions), GPTNeoX (1.3 mil milions), 20BOPT (13 mil milions), BLOOM (7.1 mil milions) i models Galàctica (6.7 milions). Inicialment, els models LLaMA només es subministren als investigadors a petició especial, però com que es van utilitzar torrents per lliurar les dades, els entusiastes han preparat un script que permet que qualsevol pugui descarregar el model.
Font: opennet.ru