{"id":117781,"date":"2024-07-18T03:43:48","date_gmt":"2024-07-18T01:43:48","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku"},"modified":"2024-07-18T03:43:48","modified_gmt":"2024-07-18T01:43:48","slug":"novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","title":{"rendered":"Novo artigo: Pr\u00e1tica de IA art\u00edstica, parte nove: SD3M \u2014 \"tr\u00eas\" na \"tr\u00eas\"","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u00c9 curioso como a hist\u00f3ria dos lan\u00e7amentos de modelos abertos para transformar prompts textuais em imagens, desenvolvidos e treinados pela Stability AI, se assemelha a uma s\u00e9rie de altos e baixos das vers\u00f5es do sistema operacional Microsoft. Depois da lendariamente bem-sucedida XP, lembramos que surgiu a problem\u00e1tica Vista; em seguida, a magn\u00edfica 'sete' \u2014 e depois a infeliz Windows 8. A vers\u00e3o 1.5 do Stable Diffusion, que inicialmente n\u00e3o era atraente, mas foi aprimorada aos poucos por entusiastas, foi seguida pela claramente decepcionante SD 2.0 \u2014 decepcionante, na verdade, porque inclu\u00eda um codificador OpenCLIP at\u00edpico para modelos desse tipo. treinado em imagens selecionadas de forma bastante amb\u00edgua<\/a><\/noindex> do do conjunto de dados aberto LAION-5B<\/a><\/noindex>. Durante essa sele\u00e7\u00e3o, foram rejeitadas n\u00e3o apenas refer\u00eancias visuais inadequadas (NSFW), mas tamb\u00e9m pinturas e ilustra\u00e7\u00f5es de artistas populares como o not\u00f3rio Greg Rutkowski. Esse \u00faltimo ponto deixou os entusiastas completamente irritados: enquanto na SD 1.5, mesmo na vers\u00e3o original, sem o uso de checkpoints particularmente ajustados, prompts simples com estilos \u2014 'paisagem \u00e9pica de fantasia medieval, no estilo de Greg Rutkowski' \u2014 funcionavam bem e os resultados eram impressionantes, na SD 2.0 a modelo parou de 'reconhecer' os nomes dos ilustradores mais amplamente conhecidos, cujos direitos autorais sobre as obras criadas ainda s\u00e3o v\u00e1lidos e que n\u00e3o se dignaram a disponibilizar essas obras para o treinamento da IA. Tornou-se necess\u00e1rio usar mais palavras para descrever o desejado, e com prompts muito longos o modelo se sa\u00eda mal.<\/p>\n

<\/center> \t\t\t\t
<\/center> \"Novo <\/p>\n

\u21d3<\/a><\/noindex>#<\/a><\/noindex>Sentaram-se \u2014 levantaram-se, sentaram-se \u2014 levantaram-se<\/h2>\n

Combinado com o codificador alterado (conversor de prompt de texto em tokens digitais, com os quais o modelo j\u00e1 trabalha diretamente), a impossibilidade de aplicar estilos nomeados simplesmente desmotivou os entusiastas a continuarem desenvolvendo a \"duas\" por conta pr\u00f3pria. Afinal, era necess\u00e1rio entender ao mesmo tempo como adaptar a t\u00e9cnica de elabora\u00e7\u00e3o de prompts j\u00e1 trabalhada para o novo codificador e treinar o modelo para reconhecer as imagens e temas que os criadores n\u00e3o apresentaram na fase inicial de treinamento \u2014 e a qualidade resultante das imagens geradas pela \"duas\" n\u00e3o garantiu uma diferen\u00e7a qualitativa em rela\u00e7\u00e3o \u00e0 \"meia\". Sim, houve um salto qualitativo do tamanho padr\u00e3o de 512\u00d7512 do SD 1.5 para 768\u00d7768, mas, nesse momento, a comunidade j\u00e1 estava utilizando upscalers, outpainters e outras ferramentas para aumentar o tamanho da imagem final, ent\u00e3o o SD 2.0, em grande parte, passou desapercebido. SDXL retornou ao padr\u00e3o<\/a><\/noindex> (desenvolvido pela OpenAI e utilizado, em particular, pelo projeto DALL-E) codificador CLIP<\/a><\/noindex> \u2014 seu c\u00f3digo tamb\u00e9m \u00e9 aberto, mas a base de dados na qual foi treinado \u00e9 diferente do OpenCLIP<\/a><\/noindex>, propriet\u00e1ria. Al\u00e9m disso, o tamanho padr\u00e3o da tela aumentou no \"Oversize\" para 1024\u00d71024, e surgiram uma s\u00e9rie de melhorias adicionais, \u2014 assim os entusiastas se dedicaram com prazer \u00e0 sua evolu\u00e7\u00e3o. E, at\u00e9 o momento, \u00e9 exatamente o SDXL (incluindo suas variantes, que n\u00e3o foram exigentes em rela\u00e7\u00e3o ao \"hardware\", como SDXL Turbo<\/a><\/noindex> e SDXL Lightning<\/a><\/noindex>) pode ser considerado, com confian\u00e7a, o gerador de imagens de IA com c\u00f3digo aberto mais popular. No entanto, fervorosos defensores do SD 1.5 discordam com argumentos, apontando que ferramentas essenciais como o ControlNet ainda n\u00e3o foram adequadamente transferidas para o SDXL. Ainda assim, a partir de 12 de junho de 2024, com o \"lan\u00e7amento na natureza\" do c\u00f3digo do modelo permitindo gera\u00e7\u00f5es locais, deveria chegar o momento da vers\u00e3o \"aberta\" do SD 3 \u2014 mais especificamente,<\/a><\/noindex>.<\/p>\n

E assim, a partir de 12 de junho de 2024, no momento do \"lan\u00e7amento na selva\" do c\u00f3digo do modelo, que permite gera\u00e7\u00f5es locais, deveria chegar a hora da vers\u00e3o \"aberta\" do SD 3 \u2014 mais precisamente, (SD3M ou SD3 2B) com 2 bilh\u00f5es de par\u00e2metros de trabalho. Lembrando que esse n\u00famero corresponde ao total de pesos nas entradas de todos os perceptrons do modelo. Antes disso, em abril, a Stability AI aperfei\u00e7oou e ofereceu para uso comercial o modelo Stable Diffusion 3 Large com 8 milh\u00f5es de par\u00e2metros.<\/a><\/noindex> Stable Diffusion 3 Large Stable Diffusion 3 Grande<\/a><\/noindex>, tamb\u00e9m conhecido como SD3 8B. Lembramos que o SDXL 1.0 \u00e9 3,5 bilh\u00f5es de par\u00e2metros<\/a><\/noindex>, no entanto, a SD3M, segundo os desenvolvedores, \u00e9 \"o modelo mais sofisticado para gera\u00e7\u00e3o de imagens de todos os que criamos at\u00e9 agora\"<\/a><\/noindex>. Estava impl\u00edcito que, com necessidades de mem\u00f3ria de v\u00eddeo inferiores \u00e0s do «Oversize», ela deveria gerar imagens «com um novo n\u00edvel de fotorrealismo» mesmo em resposta a solicita\u00e7\u00f5es simples. Entre as vantagens da «trio», foram mencionadas tamb\u00e9m «qualidade sem precedentes da tipografia do texto nas imagens geradas», «compreens\u00e3o aprofundada das solicita\u00e7\u00f5es gra\u00e7as \u00e0 colabora\u00e7\u00e3o de tr\u00eas codificadores ao mesmo tempo» e «prepara\u00e7\u00e3o para um treinamento adicional eficaz mesmo em conjuntos de dados limitados».<\/p>\n

\"Novo <\/p>\n

Foi claramente sugerido que a comunidade de entusiastas, ao receber sua nova e t\u00e3o aguardada ferramenta, se empenharia em refin\u00e1-la com o mesmo ardor que dedicaram \u00e0 «meia-volta» e ao «Oversize» em seu tempo. No entanto, desde o in\u00edcio, tudo saiu diferente: o SD3M, nas primeiras horas ap\u00f3s a publica\u00e7\u00e3o dos arquivos do modelo no Hugging Face e Civitai, desapontar profundamente<\/a><\/noindex> perdeu sua audi\u00eancia, e isso aconteceu duas vezes. A primeira vez \u2014 por uma idiossincrasia inexplic\u00e1vel em rela\u00e7\u00e3o a solicita\u00e7\u00f5es que inclu\u00edam a inofensiva frase «deitado na\\\/na grama» (lying on\\\/in the grass); a segunda \u2014 por reda\u00e7\u00f5es extremamente obscuras nos termos de uso, que mesmo advogados profissionais n\u00e3o conseguiram entender de imediato. E embora do ponto de vista de um entusiasta comum de arte em IA o \u00faltimo possa parecer irrelevante, no desenvolvimento futuro do modelo, a quest\u00e3o legal ter\u00e1 um impacto direto \u2014 chegando ao ponto de que nenhum avan\u00e7o pode ocorrer.<\/p>\n

As cria\u00e7\u00f5es anteriores da Stable Diffusion com c\u00f3digo aberto (mais precisamente, com valores de pesos de rede neural dispon\u00edveis para download gratuito e execu\u00e7\u00e3o local), como a SDXL, foram acompanhadas por uma das caracter\u00edsticas t\u00edpicas de modelos generativos CreativeML Open RAIL++-M License<\/a><\/noindex> com caracter\u00edsticas como «licen\u00e7a perp\u00e9tua, mundial, n\u00e3o exclusiva, gratuita, irrevog\u00e1vel, isenta de royalties, licen\u00e7a de direitos autorais para reprodu\u00e7\u00e3o, prepara\u00e7\u00e3o, exibi\u00e7\u00e3o p\u00fablica, execu\u00e7\u00e3o p\u00fablica, sublicenciamento e distribui\u00e7\u00e3o de materiais adicionais tanto do pr\u00f3prio modelo quanto de suas derivadas». A «trio» prev\u00ea, por sua vez, duas variedades de licenciamento: para uso n\u00e3o comercial<\/a><\/noindex> \u2014 com reda\u00e7\u00f5es que s\u00e3o bastante alarmantes, como «A Stability AI fornece a voc\u00ea uma licen\u00e7a n\u00e3o exclusiva, mundial, intransfer\u00edvel, que n\u00e3o pode ser sublicenciada, revog\u00e1vel, gratuita e limitada sobre a propriedade intelectual» \u2014 e uma licen\u00e7a comercial muito mais onerosa<\/a><\/noindex>.<\/p>\n

\u21d3<\/a><\/noindex>#<\/a><\/noindex>A grama n\u00e3o levar\u00e1 a coisa boa<\/h2>\n

Logo ap\u00f3s um breve per\u00edodo, a comunidade chegou \u00e0 conclus\u00e3o de que Stable Diffusion 3 \u2014 n\u00e3o \u00e9 Open Source<\/a><\/noindex>E, de fato, declarou um boicote \u00e0 empresa desenvolvedora, n\u00e3o querendo perder tempo e energia ajustando um modelo claramente cru e mal refinado \u2014 com a consci\u00eancia de que a Stability AI pode, a qualquer momento e por qualquer capricho de seus gerentes de m\u00eddia, revogar a licen\u00e7a anteriormente concedida a um entusiasta espec\u00edfico que est\u00e1 realizando esse ajuste. O contrato de licen\u00e7a \u00e9 redigido de tal forma que aqueles que o estudam sem forma\u00e7\u00e3o jur\u00eddica t\u00eam a impress\u00e3o de que, ap\u00f3s a revoga\u00e7\u00e3o da autoriza\u00e7\u00e3o para aplica\u00e7\u00e3o comercial do SD3M, o seu ex-receptor ser\u00e1 obrigado a excluir todas as cria\u00e7\u00f5es derivadas de sua propriedade intelectual licenciada, incluindo tanto os modelos ajustados (LoRA, invers\u00f5es de texto, pontos de verifica\u00e7\u00e3o inteiros) quanto suas adapta\u00e7\u00f5es (cita\u00e7\u00e3o: \u2018Ao t\u00e9rmino deste Acordo, voc\u00ea dever\u00e1 excluir e cessar o uso de quaisquer Produtos de Software ou Obras Derivadas\u2019) \u2014 ou seja, os frutos do trabalho de outras pessoas, que usaram esses modelos derivados como ponto de partida para seu pr\u00f3prio trabalho; e isso feito sem qualquer pagamento, realizado apenas por puro entusiasmo.<\/p>\n

Logo ap\u00f3s o clamor de indigna\u00e7\u00e3o atingir alturas estratosf\u00e9ricas, come\u00e7aram a surgir relatos de juristas profissionais, de que nem tudo \u00e9 t\u00e3o ruim assim<\/a><\/noindex> e que a revoga\u00e7\u00e3o com a proibi\u00e7\u00e3o do uso futuro deve, na pr\u00e1tica, se referir apenas a certos produtos auxiliares com c\u00f3digo fechado, que a Stability AI fornecer\u00e1 ao usu\u00e1rio comercial (digamos, para acelerar e otimizar o ajuste do SD3M), \u2014 mas a pr\u00f3pria empresa ainda n\u00e3o forneceu esclarecimentos finais sobre essa quest\u00e3o. E o simples fato de um sil\u00eancio t\u00e3o opressivo por j\u00e1 tr\u00eas semanas (no momento da reda\u00e7\u00e3o deste artigo) desde o lan\u00e7amento da 'trinca' em acesso aberto prejudica a reputa\u00e7\u00e3o do desenvolvedor muito mais do que a grama \u2014 para as garotas geradas pela cria\u00e7\u00e3o dele.<\/p>\n

\"Novo <\/p>\n

Quanto \u00e0 infame grama, que se tornou literalmente um meme em quest\u00e3o de horas primeiramente no Hugging Face<\/a><\/noindex>, e depois em praticamente todos os sites mais ou menos especializados na rede, constatou-se que a presen\u00e7a na sugest\u00e3o da frase como «a girl lying on the grass» resulta em uma apari\u00e7\u00e3o nos resultados «tr\u00eas» n\u00e3o apenas de alucina\u00e7\u00f5es, mas de cria\u00e7\u00f5es horr\u00edveis da doente — no sentido m\u00e9dico — imagina\u00e7\u00e3o de artistas e cineastas que se especializam em body horror (suplicamos, se sua raz\u00e3o e vida lhe s\u00e3o preciosas, — mantenha-se longe disso e nem tente digitar essa frase na janela de pesquisa de imagens com o filtro de seguran\u00e7a desativado). Entretanto, imagens de pessoas em p\u00e9 — e um pouco menos de pessoas sentadas — s\u00e3o bem avaliadas pela «tr\u00eas» com uma confian\u00e7a em quatro com um mais, e retratos \u00e0s vezes saem absolutamente impec\u00e1veis; pelo menos, n\u00e3o pior do que a vers\u00e3o b\u00e1sica do SDXL 1.0, — a quest\u00e3o aqui \u00e9 uma esp\u00e9cie de tabu interno sobre a posi\u00e7\u00e3o horizontal do corpo humano.<\/p>\n

De acordo com o coment\u00e1rio de Emad Mostaque, fundador e ex-(at\u00e9 mar\u00e7o de 2024) chefe da Stability AI, que saiu da empresa para «envolver-se em projetos descentralizados na \u00e1rea da intelig\u00eancia artificial»<\/a><\/noindex>, a brutalidade contra o SD3M logo antes da abertura de seus pesos para uso n\u00e3o comercial limitado (o API do modelo maior SD3 8B para gera\u00e7\u00e3o online, lembramos, est\u00e1 dispon\u00edvel atrav\u00e9s de sites parceiros desde abril<\/a><\/noindex>, mas seu peso permanece oculto) foi consequ\u00eancia da busca da atual administra\u00e7\u00e3o pela seguran\u00e7a — «em rela\u00e7\u00e3o \u00e0s obriga\u00e7\u00f5es normativas»<\/a><\/noindex>, formuladas ainda em mar\u00e7o deste ano como Pol\u00edtica de Uso Aceit\u00e1vel<\/a><\/noindex>. \u00c9 precisamente dentro dessa pol\u00edtica que, usando o modelo gerativo SD3M, n\u00e3o \u00e9 permitido aos usu\u00e1rios «realizar, promover, facilitar, encorajar, planejar, instigar ou contribuir para mais viol\u00eancia, terrorismo ou cria\u00e7\u00e3o de conte\u00fado que incite \u00f3dio, que discrimine ou ameace grupos protegidos de pessoas (seja por g\u00eanero, origem \u00e9tnica, identidade ou orienta\u00e7\u00e3o sexual, religi\u00e3o ou outros)», — ent\u00e3o, nada de imagens de pandas, como vieram ao mundo, lutando contra drag\u00f5es furiosos! Exclusivamente gatinhos com chap\u00e9us engra\u00e7ados, cachorros em ador\u00e1veis jaquetas, garrafas com conte\u00fado desconhecido e biscoitos frescos saindo do forno!<\/p>\n

Tecnicamente falando, o esvaziamento do modelo pode ter ocorrido pela simples exclus\u00e3o de imagens com pessoas deitadas e outras fotos que, de alguma forma, sugerissem uma interpreta\u00e7\u00e3o impr\u00f3pria do conjunto de dados de treinamento, \u2014 e por isso agora a 'tr\u00eas' simplesmente 'n\u00e3o entende' o significado da palavra 'deitar'. Ou pode ser que a nova arquitetura SD3 tenha permitido identificar de forma confi\u00e1vel os pesos nos perceptrons que se ativam durante a gera\u00e7\u00e3o de imagens 'n\u00e3o seguras', \u2014 e esses pesos foram selecionados e zerados antes do lan\u00e7amento, resultando no 'alucina\u00e7\u00e3o for\u00e7ada'. Provavelmente, isso j\u00e1 pode ser comparado a uma lobotomia<\/a><\/noindex>: o codificador traduz corretamente o texto em tokens, mas no espa\u00e7o latente 'homologado' esses tokens j\u00e1 n\u00e3o indicam nada espec\u00edfico, \u2014 e por isso os pixels resultantes est\u00e3o dispostos na imagem, na verdade, de forma aleat\u00f3ria.<\/p>\n

\"Novo <\/p>\n

Considerando a disponibilidade da API de um modelo SD3 8B completo, mas fechado, j\u00e1 h\u00e1 v\u00e1rios meses e as fervorosas garantias dos gerentes de m\u00eddia da Stability AI de que a vers\u00e3o 'compacta' 2B ser\u00e1 quase igual em qualidade de percep\u00e7\u00e3o textual e gera\u00e7\u00e3o de imagens<\/a><\/noindex>, os entusiastas da arte gerada por IA receberam com entusiasmo o lan\u00e7amento p\u00fablico dos pesos do SD3M em 12 de junho: nos primeiros 24 horas, o modelo foi baixado 2,7 milh\u00f5es de vezes<\/a><\/noindex>. No momento, ainda \u00e9 poss\u00edvel obt\u00ea-la, embora de uma maneira um pouco mais convoluta do que o habitual para os pontos de verifica\u00e7\u00e3o SDXL e SD 1.5. O caminho usual \u2014 \u00e9 acessar o site Civitai, de onde a maioria dos modelos \u00e9 carregada sem registro, mas desde 17 de junho e at\u00e9 o momento da submiss\u00e3o deste artigo para diagrama\u00e7\u00e3o, a p\u00e1gina dedicada \u00e0 'tr\u00eas' desse site em um banimento tempor\u00e1rio<\/a><\/noindex>. E a raz\u00e3o \u00e9 uma s\u00f3: a licen\u00e7a comercial do SD3M est\u00e1 redigida de forma t\u00e3o amb\u00edgua que at\u00e9 mesmo os advogados da Civitai fizeram uma pausa para estud\u00e1-la mais detalhadamente. Afinal, se algum entusiasta treinar um LoRA para a 'tr\u00eas' em seu PC e disponibiliz\u00e1-lo no Civitai, e a Stability AI de repente decidir que o resultado \u00e9 inadequado e revogar a licen\u00e7a do respons\u00e1vel, \u2014 como fica a situa\u00e7\u00e3o do site hospedeiro? Ele n\u00e3o apenas armazena pontos de verifica\u00e7\u00e3o, ciclos auxiliares e modelos, mas tamb\u00e9m oferece aos visitantes a possibilidade de gera\u00e7\u00e3o de imagens em nuvem e treinamento dos mesmos LoRA, invers\u00f5es textuais e afins. De qualquer forma, enquanto a justi\u00e7a n\u00e3o decide, os arquivos do modelo em si e os tr\u00eas conversores de texto para tokens que v\u00eam em conjunto com ele s\u00f3 podem ser acessados por meio de na p\u00e1gina oficial da Stability AI no portal Hugging Face<\/a><\/noindex>.<\/p>\n

\u21d3<\/a><\/noindex>#<\/a><\/noindex>Vamos l\u00e1<\/h2>\n

Na verdade, h\u00e1 um detalhe: para acessar os links de download, \u00e9 necess\u00e1rio se autenticar no site e, em seguida, confirmar a aceita\u00e7\u00e3o do mencionado acordo de licen\u00e7a draconiano \u2014 no entanto, esse procedimento \u00e9 gratuito e acess\u00edvel a partir da R\u00fassia. H\u00e1 quatro modelos (models) e quatro codificadores (encoders) de texto para tokens dispon\u00edveis, al\u00e9m de tr\u00eas ciclos de refer\u00eancia para execu\u00e7\u00e3o no ambiente de trabalho ComfyUI. sobre o qual j\u00e1 falamos<\/a><\/noindex>:<\/p>\n

modelos:<\/p>\n