È stato presentato il toolkit OpenChatKit, destinato a semplificare la creazione di chatbot per applicazioni specializzate e generali. Il sistema è adattato per svolgere compiti come rispondere a domande, gestire dialoghi a più fasi, riassumere, estrarre informazioni e classificare testi. Il codice è scritto in Python e distribuito con licenza Apache 2.0. Il progetto include un modello pronto all'uso, codice per addestrare il proprio modello, utilità per testare i risultati del modello, strumenti per arricchire il modello con contesti da un indice esterno e per adattare il modello di base alla soluzione di problemi specifici.
Come base per il bot viene proposta una modello di machine learning di base (GPT-NeoXT-Chat-Base-20B), costruita tramite un modello linguistico che copre circa 20 miliardi di parametri e ottimizzata per la comunicazione conversazionale. Per addestrare il modello sono stati utilizzati dati ottenuti da collezioni di progetti LAION, Together e Ontocord.ai.
Per ampliare la base di conoscenze esistente, viene proposta una sistema capace di estrarre informazioni aggiuntive da repository esterni, API e altre fonti. Ad esempio, è possibile aggiornare le informazioni utilizzando dati di Wikipedia e feed di notizie. È inoltre disponibile un modello per la moderazione, addestrato con 6 miliardi di parametri, basato sul modello GPT-JT e destinato a filtrare domande inaccettabili o a limitare le discussioni su determinate tematiche.
Inoltre, si deve segnalare il progetto ChatLLaMA, che offre una libreria per la creazione di assistenti intelligenti simili a ChatGPT. Il progetto si sviluppa con l'attenzione alla possibilità di esecuzione su hardware proprietario e di creazione di soluzioni personalizzate rivolte a settori ristretti della conoscenza (ad esempio, medicina, giurisprudenza, giochi, ricerca scientifica, ecc.). Il codice di ChatLLaMA è rilasciato con licenza GPLv3.
Il progetto supporta l'uso di modelli basati sull'architettura LLaMA (Large Language Model Meta AI), proposta da Meta. Il modello completo LLaMA comprende 65 miliardi di parametri, ma per ChatLLaMA si consiglia di utilizzare varianti con 7 e 13 miliardi di parametri oppure i modelli GPTJ (6 miliardi), GPTNeoX (1,3 miliardi), 20BOPT (13 miliardi), BLOOM (7,1 miliardi) e Galactica (6,7 miliardi). Inizialmente, i modelli LLaMA sono disponibili solo per i ricercatori su richiesta speciale, ma poiché per la consegna dei dati sono stati utilizzati torrent, gli appassionati hanno preparato uno script che consente di scaricare il modello a chiunque lo desideri.
Fonte: opennet.ru
