Foi apresentado um conjunto de ferramentas aberto, o OpenChatKit, visando simplificar a criação de chatbots para aplicações especializadas e gerais. O sistema é adaptado para realizar tarefas como responder perguntas, conduzir diálogos em múltiplas etapas, resumir, extrair informações e classificar textos. O código é escrito em Python e distribuído sob a licença Apache 2.0. O projeto inclui um modelo pronto, código para treinar seu próprio modelo, utilitários para testar os resultados do modelo, ferramentas para complementar o modelo com contexto de um índice externo e adaptar o modelo básico para resolver suas próprias tarefas.
Como base para o bot, é proposta uma modelo de aprendizado de máquina básico (GPT-NeoXT-Chat-Base-20B), construído com um modelo de linguagem que abrange cerca de 20 bilhões de parâmetros e otimizado para conversação. Para treinar o modelo, foram utilizados dados provenientes das coleções de projetos LAION, Together e Ontocord.ai.
Para expandir a base de conhecimento existente, é proposta uma sistema capaz de extrair informações adicionais de repositórios externos, APIs e outras fontes. Por exemplo, é possível atualizar informações utilizando dados da Wikipedia e feeds de notícias. Além disso, está disponível um modelo para moderação, treinado com 6 bilhões de parâmetros, baseado no modelo GPT-JT e destinado a filtrar perguntas inaceitáveis ou limitar discussões em tópicos específicos.
Um projeto que merece destaque é o ChatLLaMA, que oferece uma biblioteca para a criação de assistentes inteligentes semelhantes ao ChatGPT. O projeto está em desenvolvimento com atenção à possibilidade de ser executado em infraestrutura própria e criar soluções personalizadas, focadas em áreas de conhecimento específicas (por exemplo, medicina, jurisprudência, jogos, pesquisa científica, etc.). O código do ChatLLaMA é disponibilizado sob a licença GPLv3.
O projeto suporta o uso de modelos baseados na arquitetura LLaMA (Large Language Model Meta AI), proposta pela Meta. O modelo completo LLaMA cobre 65 bilhões de parâmetros, mas para o ChatLLaMA recomenda-se usar opções com 7 e 13 bilhões de parâmetros ou modelos GPTJ (6 bilhões), GPTNeoX (1,3 bilhões), 20BOPT (13 bilhões), BLOOM (7,1 bilhões) e Galactica (6,7 bilhões). Originalmente, os modelos LLaMA são fornecidos apenas a pesquisadores por solicitação especial, mas como para a entrega de dados foram usados torrentes, entusiastas prepararam um script que permite baixar o modelo para qualquer interessado.
Fonte: opennet.ru
