Pesquisadores da Universidade de Nijmegen (Países Baixos) elaboraram um ranking de transparência de 40 grandes modelos de linguagem e 7 modelos para geração de imagens a partir de descrições textuais, que são anunciados pelos fabricantes como abertos. Devido ao fato de que os critérios de abertura para modelos de aprendizagem de máquina ainda estão sendo formados, atualmente existe uma situação em que modelos com licenças que limitam o uso (por exemplo, muitos modelos proíbem a aplicação em projetos comerciais) estão sendo divulgados como se fossem abertos. Frequentemente, os fabricantes também não fornecem acesso aos dados utilizados durante o treinamento, não revelam detalhes de implementação ou não disponibilizam completamente o código auxiliar.
A maioria dos modelos posicionados como "abertos" deve ser percebida, na verdade, como "coeficientes abertos" ou mais precisamente "coeficientes disponíveis", já que são distribuídos sob licenças restritivas que proíbem o uso em produtos comerciais. Pesquisadores independentes podem experimentar com tais modelos, mas não têm a capacidade de adaptar o modelo às suas necessidades ou inspecionar a implementação. Mais da metade dos modelos não fornece informações detalhadas sobre os dados utilizados para o treinamento, e também não publicam informações sobre a estrutura interna e a arquitetura.
Os modelos mais abertos reconhecidos incluem BloomZ, AmberChat, OLMo, Open Assistant e Stable Diffusion, que foram publicados sob licenças abertas juntamente com dados originais, código e implementação de API. Os modelos da Google (Gemma 7B), Microsoft (Orca 2) e Meta (Llama 3), que são posicionados pelos fabricantes como abertos, acabaram mais perto do final do ranking, pois não oferecem acesso aos dados originais, não revelam detalhes técnicos da implementação e distribuem os coeficientes do modelo sob licenças que limitam o uso. O popular modelo Mistral 7B ficou aproximadamente no meio do ranking, pois é fornecido sob uma licença aberta, mas está apenas parcialmente documentado, não revela os dados utilizados para o treinamento e possui código auxiliar não totalmente aberto.
Pesquisadores propuseram 14 critérios de abertura para modelos de IA, abrangendo as condições de disseminação de código, dados de treinamento, pesos, variantes de dados e coeficientes otimizados por meio de aprendizado por reforço (RL), além da existência de pacotes prontos para uso, APIs, documentação e descrição detalhada da implementação.
De acordo com a versão preliminar da definição de IA aberta proposta pela OSI (Open Source Initiative), os principais critérios de abertura de um sistema de IA incluem a possibilidade de uso para qualquer fim sem necessidade de permissão separada; a capacidade de estudar o funcionamento do sistema e inspecionar seus componentes; fazer modificações para qualquer propósito; e transferir a outros tanto a versão original quanto a versão modificada.
Para permitir a realização de modificações, o sistema de IA deve incluir:
- Informações detalhadas sobre os dados usados no treinamento e a metodologia de treinamento. As informações devem ser suficientes para que um desenvolvedor profissional possa recriar um sistema de IA equivalente, usando os mesmos ou dados semelhantes para treinamento.
- A disponibilização do código-fonte, que permita não apenas a execução do sistema de IA, mas também o processo de seu treinamento (na tabela considerada acima, na coluna 'código', muitos modelos têm '∼', o que implica a disponibilidade parcial de código, onde o código para execução do modelo está disponível, mas o código para treinamento ou criação do modelo está ausente). O código também deve abranger áreas como pré-processamento, validação de dados e tokenização. Além disso, uma descrição detalhada da arquitetura do modelo deve ser fornecida.
- Os parâmetros do modelo (pesos), que implicam a existência de um instantâneo de estado pronto para uso após o treinamento ou a existência da versão final otimizada do modelo.
Fonte: opennet.ru
