È stato presentato un toolkit open source, OpenChatKit, progettato per semplificare la creazione di chatbot per applicazioni specializzate e generali. Il sistema è adattato per svolgere compiti come rispondere a domande, condurre dialoghi complessi, generare riassunti, estrarre informazioni e classificare testi. Il codice è scritto in Python e distribuito con licenza Apache 2.0. Il progetto include un modello predefinito, codice per addestrare il proprio modello, strumenti per testare i risultati del modello, mezzi per integrare il contesto da un indice esterno e adattare il modello di base per risolvere problemi specifici.
Come base del bot viene proposta un modello di machine learning (GPT-NeoXT-Chat-Base-20B), costruito con un linguaggio di modello che comprende circa 20 miliardi di parametri ed è ottimizzato per la comunicazione conversazionale. Per addestrare il modello sono stati utilizzati dati provenienti da collezioni di progetti LAION, Together e Ontocord.ai.
Per espandere la base di conoscenze esistente, è prevista una sistema in grado di estrarre ulteriori informazioni da repository esterni, API e altre fonti. Ad esempio, è possibile aggiornare le informazioni utilizzando dati da Wikipedia e feed di notizie. È inoltre disponibile un modello di moderazione, addestrato utilizzando 6 miliardi di parametri, basato sul modello GPT-JT e progettato per filtrare domande inaccettabili o limitare le discussioni su argomenti specifici.
Da notare è il progetto ChatLLaMA, che offre una libreria per la creazione di assistenti intelligenti simili a ChatGPT. Il progetto si sviluppa tenendo presente la possibilità di esecuzione su hardware proprietario e la creazione di soluzioni personalizzate, mirate a coprire aree di conoscenza specifiche (ad esempio, medicina, giurisprudenza, giochi, ricerca scientifica, ecc.). Il codice di ChatLLaMA è fornito sotto licenza GPLv3.
Il progetto supporta l'uso di modelli basati sull'architettura LLaMA (Large Language Model Meta AI) proposta da Meta. Il modello completo LLaMA comprende 65 miliardi di parametri, ma per ChatLLaMA si raccomanda di utilizzare versioni con 7 e 13 miliardi di parametri o modelli GPTJ (6 miliardi), GPTNeoX (1,3 miliardi), 20BOPT (13 miliardi), BLOOM (7,1 miliardi) e Galactica (6,7 miliardi). Inizialmente, i modelli LLaMA sono disponibili solo per i ricercatori su richiesta speciale, ma poiché per la distribuzione dei dati sono stati utilizzati torrent, gli appassionati hanno preparato uno script che consente di scaricare il modello a chiunque lo desideri.
Fonte: opennet.ru
