Viene presentato il toolkit open source OpenChatKit, volto a semplificare la creazione di chatbot per uso specializzato e generale. Il sistema è adattato per eseguire compiti come rispondere a domande, condurre dialoghi in più fasi, riassumere, estrarre informazioni e classificare testo. Il codice è scritto in Python e distribuito sotto la licenza Apache 2.0. Il progetto include un modello già pronto, codice per addestrare il modello, utilità per testare i risultati del modello, strumenti per integrare il modello con il contesto da un indice esterno e adattare il modello base per risolvere i propri problemi.
Il bot si basa su un modello base di machine learning (GPT-NeoXT-Chat-Base-20B), costruito utilizzando un modello linguistico che copre circa 20 miliardi di parametri e ottimizzato per la comunicazione conversazionale. Per addestrare il modello sono stati utilizzati i dati ottenuti dalle raccolte dei progetti LAION, Together e Ontocord.ai.
Per espandere la base di conoscenza esistente, viene proposto un sistema in grado di recuperare informazioni aggiuntive da repository esterni, API e altre fonti. Ad esempio, è possibile aggiornare le informazioni utilizzando i dati di Wikipedia e i feed di notizie. È disponibile un modello di moderazione opzionale, addestrato su 6 miliardi di parametri e basato sul modello GPT-JT, per filtrare domande inappropriate o limitare le discussioni ad argomenti specifici.
Separatamente possiamo citare il progetto ChatLLaMA, che offre una libreria per creare assistenti intelligenti simili a ChatGPT. Il progetto si sviluppa pensando alla possibilità di funzionare con le proprie attrezzature e di realizzare soluzioni personalizzate pensate per coprire aree ristrette della conoscenza (ad esempio medicina, diritto, giochi, ricerca scientifica, ecc.). Il codice ChatLLaMA è concesso in licenza sotto GPLv3.
Il progetto prevede l'utilizzo di modelli basati sull'architettura LLaMA (Large Language Model Meta AI) proposta da Meta. Il modello LLaMA completo copre 65 miliardi di parametri, ma per ChatLLaMA si consiglia di utilizzare opzioni con 7 e 13 miliardi di parametri oppure GPTJ (6 miliardi), GPTNeoX (1.3 miliardi), 20BOPT (13 miliardi), BLOOM (7.1 miliardi) e Modelli Galactica (6.7 miliardi). Inizialmente, i modelli LLaMA venivano forniti solo ai ricercatori su richiesta speciale, ma poiché per fornire i dati venivano utilizzati i torrent, gli appassionati preparavano uno script che consentiva a chiunque di scaricare il modello.
Fonte: opennet.ru