Preséntase un proxecto colaborativo de RedPajama para crear modelos de aprendizaxe automática aberto e as entradas de formación que se acompañan que se poden usar para crear asistentes intelixentes que compitan con produtos comerciais como ChatGPT. Espérase que a presenza de datos de código aberto e grandes modelos de linguaxe elimine as restricións dos equipos independentes que se dedican á investigación no campo da aprendizaxe automática, e simplificará a creación de sistemas de diálogo especializados. Organizacións e comunidades como Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research e MILA Québec AI Institute uníronse ao traballo no proxecto.
O primeiro paso foi a publicación do conxunto de datos RedPajama-Data-1T de 1.2 billóns de tokens para adestrar modelos conversacionais. O conxunto RedPijama reproduce datos de fontes públicas utilizadas por Facebook para crear o seu modelo LLaMA (un total de 1.25 billóns de tokens), pero ofrécese baixo unha licenza aberta que non limita o ámbito de uso (os datos e modelos de LLaMA foron subministrados só aos investigadores por medios especiais). solicitude de uso non comercial). O conxunto descargable de RedPajama-Data-1T ten 2.67 TB e inclúe información de páxinas web indexadas de Common Crawl, arquivos de Wikipedia, código fonte de GitHub, libros públicos da biblioteca Gutenberg, artigos científicos do arquivo ArXiv e discusións con Stack Overflow e outros Stack. Sitios de intercambio.
Nas próximas semanas está previsto que se formen modelos preparados, adestrados a partir do conxunto de datos preparado e optimizados mediante exemplos de diálogos preparados en forma de execución de instrucións dos proxectos Alpaca e OpenChatKit. As iniciativas de modelos lingüísticos similares inclúen os proxectos parcialmente abertos LLaMA, Alpaca, Vicuna e Koala, así como as iniciativas totalmente abertos Pythia, OpenChatKit, Open Assistant e Dolly.
Ademais, hai varios novos proxectos relacionados coa aprendizaxe automática:
- MiniGPT-4: estende os chatbots tradicionais de conversa con capacidades que teñen en conta a información visual, o que lle permite analizar imaxes e ter en conta o texto escrito a man no proceso de interactuar co sistema (por exemplo, pode preguntar que tipo de obxecto se mostra. na imaxe, pídelle ao bot que escriba unha historia baseada no que se mostra na foto, ou baseándose nun esbozo esquemático, pídelle que cree un sitio web). A implementación MiniGPT-4 está escrita en Python e distribúese baixo a licenza BSD.
- Facebook publicou un kit de ferramentas e un modelo de autoaprendizaxe (SSL, Self-Supervised Learning, non utiliza etiquetas e anotacións preparadas por humanos) DINOv2 modelo de visión artificial axeitado para resolver problemas de procesamento xeralizado de datos visuais (clasificación de imaxes, extracción de información sobre obxectos en imaxes, comprender o que está a suceder no vídeo) e manipulacións a nivel de píxeles (predición de profundidade, segmentación). O modelo está adestrado nunha colección de 142 millóns de imaxes. A implementación está escrita en Python e distribúese baixo unha licenza Creative Commons Recoñecemento-NonComercial 4.0 que permite un uso non comercial.
- GPT4All é un conxunto de ferramentas para lanzar rapidamente chatbots autónomos no seu propio hardware (non acceden a servizos externos e usan CPU con soporte AVX2 para executalos). Admítese a conexión de grandes modelos de linguaxe baseados en GPT-J e LLaMa. O código está escrito en Python e distribúese baixo a licenza MIT.
Fonte: opennet.ru