{"id":117781,"date":"2024-07-18T03:43:48","date_gmt":"2024-07-18T01:43:48","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku"},"modified":"2024-07-18T03:43:48","modified_gmt":"2024-07-18T01:43:48","slug":"novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/news\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","title":{"rendered":"Nuevo art\u00edculo: Pr\u00e1ctica de dibujo AI, parte nueve: SD3M \u2014 \"tres\" en \"tres\"","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Es curioso c\u00f3mo la historia de los lanzamientos de modelos abiertos para convertir sugerencias de texto en im\u00e1genes, desarrollados y entrenados por Stability AI, se asemeja a una serie de altibajos de las versiones de sistemas operativos de Microsoft. Despu\u00e9s del legendario \u00e9xito de XP, recordamos, apareci\u00f3 la problem\u00e1tica Vista; luego la magn\u00edfica «Siete» — y tras ella, la est\u00e9ril Windows 8. Con Stable Diffusion, la versi\u00f3n 1.5, que inicialmente no impresionaba pero fue mejorada poco a poco por entusiastas, fue seguida por la abiertamente fallida SD 2.0 — fallida porque inclu\u00eda un codificador OpenCLIP at\u00edpico para modelos de este tipo. entrenado en im\u00e1genes seleccionadas de manera bastante ambigua<\/a><\/noindex> de del conjunto de datos abierto LAION-5B<\/a><\/noindex>. En este proceso de selecci\u00f3n se eliminaron no solo referencias visuales inapropiadas (NSFW), sino tambi\u00e9n obras y ilustraciones de populares artistas como el famoso Greg Rutkowski. Precisamente esto \u00faltimo enfureci\u00f3 a los entusiastas: mientras que para SD 1.5 incluso en su versi\u00f3n original, sin utilizar checkpoints especialmente entrenados, funcionaban maravillosamente bien sugerencias simples de estilos — «paisaje \u00e9pico de fantas\u00eda medieval, al estilo de Greg Rutkowski» — y el resultado era impresionante, SD 2.0 dej\u00f3 de «reconocer» los nombres de los ilustradores m\u00e1s conocidos, cuyos derechos sobre las obras creadas siguen siendo v\u00e1lidos y que no se dignaron a proporcionar estas obras para entrenar a la IA. Se ten\u00eda que utilizar m\u00e1s palabras para describir lo deseado, y con sugerencias demasiado largas, el modelo no funcionaba bien.<\/p>\n

<\/center> \t\t\t\t
<\/center> \"Nuevo <\/p>\n

\u2193<\/a><\/noindex>#<\/a><\/noindex>Nos sentamos — nos levantamos, nos sentamos — nos levantamos<\/h2>\n

Combinado con un codificador modificado (convertidor de texto a tokens digitales con los que trabaja directamente el modelo), la imposibilidad de aplicar estilos nombrados simplemente desmotiv\u00f3 a los entusiastas para seguir mejorando la 'druzhka' por s\u00ed mismos. En realidad, se requer\u00eda entender c\u00f3mo adaptar la t\u00e9cnica de creaci\u00f3n de pistas ya trabajada al nuevo codificador y continuar entrenando al modelo para reconocer aquellas im\u00e1genes y temas que los creadores no le hab\u00edan presentado en la fase de entrenamiento inicial; sin embargo, la diferencia cualitativa con la 'polutorka' no garantizaba que las im\u00e1genes generadas por la 'druzhka' fueran mejores. S\u00ed, hubo un salto cualitativo del tama\u00f1o est\u00e1ndar de 512\u00d7512 puntos de SD 1.5 a 768\u00d7768, pero para entonces, la comunidad ya estaba utilizando upscalers, outpainters y otras herramientas para aumentar el tama\u00f1o de la imagen final, por lo que SD 2.0 pas\u00f3, en gran medida, desapercibida. SDXL regres\u00f3 al est\u00e1ndar<\/a><\/noindex> (desarrollado por OpenAI y utilizado, entre otros, por el proyecto DALL-E) codificador CLIP<\/a><\/noindex> \u2014 su c\u00f3digo tambi\u00e9n es abierto, pero la base de datos en la que fue entrenado, a diferencia de OpenCLIP<\/a><\/noindex>, es propietaria. Adem\u00e1s, el tama\u00f1o est\u00e1ndar del lienzo creci\u00f3 en 'Oversize' hasta 1024\u00d71024, y adem\u00e1s, apareci\u00f3 toda una serie de mejoras adicionales, as\u00ed que los entusiastas se lanzaron a trabajar en su desarrollo. Y a la fecha, precisamente SDXL (junto con sus derivados, que requieren menos 'hardware' y que aparecieron no hace mucho, como SDXL Turbo<\/a><\/noindex> y SDXL Lightning<\/a><\/noindex>) es el generador de im\u00e1genes IA de c\u00f3digo abierto m\u00e1s popular. Sin embargo, los fervientes defensores de SD 1.5 debaten este argumento, se\u00f1alando que herramientas fundamentales como ControlNet no se han trasladado adecuadamente a SDXL. Hasta ahora no han sido trasladadas dignamente<\/a><\/noindex>.<\/p>\n

Y desde el 12 de junio de 2024, desde el 'lanzamiento al mundo' del c\u00f3digo del modelo que permite las generaciones locales, deber\u00eda haber llegado el momento de la versi\u00f3n 'abierta' SD 3 \u2014 m\u00e1s espec\u00edficamente, Stable Diffusion 3 Medium<\/a><\/noindex> (SD3M o SD3 2B) con 2 mil millones de par\u00e1metros operativos. Condicionalmente, recordemos, este n\u00famero corresponde al n\u00famero total de pesos en las entradas de todas las perceptrones del modelo. Antes, en abril, Stability AI hab\u00eda perfeccionado y ofrecido para uso comercial la versi\u00f3n con 8 millones (en n\u00famero de par\u00e1metros) de Stable Diffusion 3 Large<\/a><\/noindex>, tambi\u00e9n conocida como SD3 8B. Recuerden que SDXL 1.0, 3,5 mil millones de par\u00e1metros<\/a><\/noindex>, sin embargo, SD3M, seg\u00fan afirman los desarrolladores, es la 'm\u00e1s sofisticada de todas las modelos para la generaci\u00f3n de im\u00e1genes que hemos creado hasta el momento'<\/a><\/noindex>Se entend\u00eda que, ante menores necesidades de memoria de video que las de \u00abOversize\u00bb, incluso en respuesta a simples indicaciones, deber\u00eda generar im\u00e1genes \u00abcon un nuevo nivel de fotorealismo\u00bb. Entre las ventajas de la \u00abtres\u00bb tambi\u00e9n se mencionaron \u00abla calidad sin precedentes de la tipograf\u00eda en el texto generado en las im\u00e1genes\u00bb, \u00abuna comprensi\u00f3n profunda de las indicaciones gracias a la colaboraci\u00f3n de tres codificadores\u00bb y \u00abla disposici\u00f3n para un ajuste eficaz incluso con conjuntos de datos limitados\u00bb.<\/p>\n

\"Nuevo <\/p>\n

Se asum\u00eda, evidentemente, que la comunidad de entusiastas, al tener en sus manos este nuevo juguete tan esperado, lo perfeccionar\u00eda con el mismo fervor que lo hicieron con \u00abla media\u00bb y \u00abOversize\u00bb en su momento. Sin embargo, desde el principio, las cosas no salieron bien: SD3M, en las primeras horas tras la publicaci\u00f3n de los archivos del modelo en Hugging Face y Civitai, a su audiencia, y lo hizo de dos maneras. La primera vez fue por una inexplicable idiosincrasia hacia las solicitudes que inclu\u00edan la aparentemente inocente frase \u00abtumbado en\/en la hierba\u00bb; la segunda, por unas formulaciones incre\u00edblemente ambiguas en el acuerdo del usuario, que ni siquiera los abogados profesionales pudieron entender de inmediato. Y aunque para el entusiasta de IA el \u00faltimo aspecto puede parecer irrelevante, el lado legal de la cuesti\u00f3n afectar\u00e1 directamente al desarrollo futuro del modelo, hasta el punto de que podr\u00eda no haber desarrollo en absoluto.<\/a><\/noindex> perdi\u00f3 a su audiencia, y de forma doble. La primera vez \u2014por una idiosincrasia inexplicable respecto a las indicaciones que inclu\u00edan la aparentemente inocente frase \u00abacostado en\/sobre la hierba\u00bb (lying on\/in the grass); la segunda \u2014por las formulaciones incre\u00edblemente confusas en el acuerdo de usuario, que incluso los abogados profesionales no pudieron desentra\u00f1ar de inmediato. Y aunque desde la perspectiva del entusiasta promedio de las IA art\u00edsticas esto puede parecer poco relevante, el aspecto legal del desarrollo del modelo impactar\u00e1 de manera directa\u2014hasta el punto de que puede no haber ning\u00fan desarrollo en absoluto.<\/p>\n

Licencia CreativeML Open RAIL++-M Licencia CreativeML Open RAIL++-M<\/a><\/noindex> con caracter\u00edsticas como \u00abuna licencia de derechos de autor perpetua, mundial, no exclusiva, gratuita, irrevocable, no rescatable, para reproducir, preparar, mostrar p\u00fablicamente, ejecutar en p\u00fablico, sublicenciar y distribuir materiales adicionales tanto del modelo como de sus derivados\u00bb. La \u00abtres\u00bb prev\u00e9 dos tipos de licencias: para uso no comercial<\/a><\/noindex> \u2014con formulaciones desalentadoras como \u00abStability AI te otorga una licencia no exclusiva, mundial, intransferible, no sublicenciable, revocable, gratuita y limitada sobre la propiedad intelectual\u00bb\u2014y una comercial mucho m\u00e1s onerosa<\/a><\/noindex>.<\/p>\n

\u2193<\/a><\/noindex>#<\/a><\/noindex>La hierba no lleva a nada bueno<\/h2>\n

Tras un tiempo muy breve, la comunidad coincidi\u00f3 en que Stable Diffusion 3 \u2014no es de c\u00f3digo abierto.<\/a><\/noindex>. Y en esencia, ha anunciado un boicot a la empresa desarrolladora, sin querer gastar tiempo y esfuerzo en la reentrenamiento de un modelo claramente crudo y torpemente refinado - con la conciencia de que Stability AI en cualquier momento puede, por el m\u00e1s m\u00ednimo capricho de sus gerentes de medios, retirar la licencia previamente otorgada a un entusiasta espec\u00edfico que est\u00e1 llevando a cabo dicho reentrenamiento. El contrato de licencia est\u00e1 redactado de tal manera que quienes lo estudian, no abogados, tienen la impresi\u00f3n de que tras la revocaci\u00f3n del permiso para el uso comercial de SD3M, el antiguo titular estar\u00e1 obligado a eliminar todas las obras derivadas que haya creado a partir de la propiedad intelectual que le fue licenciada, incluyendo tanto los modelos reentrenados (LoRA, inversiones textuales, checkpoints completos) como sus derivados (cita: \u00abUpon termination of this Agreement, you shall delete and cease use of any Software Products or Derivative Works\u00bb) - es decir, los frutos del trabajo de otras personas que han utilizado estos modelos derivados como punto de partida para su propio trabajo; siendo esto hecho sin ning\u00fan tipo de pago, realizado por puro entusiasmo.<\/p>\n

Poco despu\u00e9s de que la ola de indignaci\u00f3n al respecto alcanzara alturas estratosf\u00e9ricas, comenzaron a aparecer informes de abogados profesionales, que no todo es tan malo<\/a><\/noindex> y que la revocaci\u00f3n con la prohibici\u00f3n de uso posterior deber\u00eda afectar en realidad solo a ciertos productos auxiliares con c\u00f3digo cerrado, que Stability AI entregar\u00e1 al usuario comercial (digamos, para acelerar y optimizar el mismo reentrenamiento de SD3M) - pero la empresa a\u00fan no ha proporcionado aclaraciones finales al respecto. Y el mismo hecho de este asfixiante silencio durante ya tres semanas (al momento de escribir este art\u00edculo) desde la aparici\u00f3n de la \u00abtriple\u00bb en acceso abierto da\u00f1a la reputaci\u00f3n del desarrollador mucho m\u00e1s que la hierba - a las chicas generadas por su creaci\u00f3n.<\/p>\n

\"Nuevo <\/p>\n

En cuanto a la famosa hierba, que se convirti\u00f3 literalmente en un meme en pocas horas primero en Hugging Face<\/a><\/noindex>, y despu\u00e9s, pr\u00e1cticamente en todas las plataformas m\u00e1s o menos especializadas de la web, se descubri\u00f3 que la presencia en la sugerencia de una frase como «a girl lying on the grass» lleva a que en los resultados aparezcan «tripletas» no solo de alucinaciones, sino de horrendas creaciones de la enferma — en sentido m\u00e9dico — imaginaci\u00f3n de artistas y cineastas especializados en body horror (te advertimos, si valoras tu cordura y tu vida, — mantente alejado de esto y ni se te ocurra escribir esa frase en la ventana de b\u00fasqueda de im\u00e1genes con el filtro de seguridad desactivado). A su vez, las im\u00e1genes de personas de pie — y en menor medida de sentados — obtienen en «tripletas» una s\u00f3lida calificaci\u00f3n de cuatro con plus, mientras que los retratos a veces resultan completamente impecables; al menos, no peores que los del modelo b\u00e1sico SDXL 1.0, — el problema aqu\u00ed es precisamente un tab\u00fa interno sobre la posici\u00f3n horizontal del cuerpo humano.<\/p>\n

Seg\u00fan el comentario de Emad Mostaque, fundador y ex (hasta marzo de 2024) director de Stability AI, quien dej\u00f3 la empresa para «realizar proyectos descentralizados en el \u00e1mbito de la inteligencia artificial»<\/a><\/noindex>, la violaci\u00f3n brutal de SD3M justo antes de abrir sus pesos para uso no comercial limitado (recordemos que est\u00e1 disponible a trav\u00e9s de sitios asociados desde abril,<\/a><\/noindex>, pero su peso sigue oculto) se debe al anhelo de la actual direcci\u00f3n por la seguridad — «en relaci\u00f3n con las obligaciones normativas»<\/a><\/noindex>, formuladas a\u00fan en marzo de este a\u00f1o como Pol\u00edtica de Uso Aceptable<\/a><\/noindex>. Es precisamente en el marco de esta pol\u00edtica, utilizando el modelo generativo SD3M, que a los usuarios no se les permite «realizar, promover, facilitar, alentar, planificar, incitar o contribuir a m\u00e1s violencia, terrorismo o creaci\u00f3n de contenido que incite al odio, que discrimine o amenace a grupos protegidos de personas (ya sea por g\u00e9nero, raza, identidad sexual u orientaci\u00f3n, religi\u00f3n, etc.)», — as\u00ed que nada de im\u00e1genes de pandas, desnudos, luchando contra dragones desenfrenados. \u00a1Solo gatitos con sombreros graciosos, perritos con chaquetas adorables, botellas con contenido desconocido y galletas reci\u00e9n horneadas!<\/p>\n

T\u00e9cnicamente hablando, es posible que el agotamiento del modelo consistiera en que se excluyeron del conjunto de datos de entrenamiento im\u00e1genes de personas acostadas y otras im\u00e1genes que, de alguna manera, sugirieran una interpretaci\u00f3n obscena, y por eso ahora la \"tres\" simplemente \"no entiende\" el significado de la palabra \"acostarse\". O bien, la arquitectura actualizada de SD3 permiti\u00f3 identificar con suficiente confianza los pesos en los perceptrones que se activan durante la generaci\u00f3n de im\u00e1genes \"no seguras\", y estos pesos fueron directamente reiniciados de forma selectiva antes del lanzamiento, siendo un efecto secundario de esto el \"alucinamiento forzado\". Probablemente, esto ya se puede comparar con una lobotom\u00eda<\/a><\/noindex>: el codificador traduce correctamente el texto en tokens, pero en el espacio latente \"asegurado\" estos tokens ya no apuntan a nada concreto, y por eso los p\u00edxeles resultantes se distribuyen en la imagen de manera esencialmente aleatoria.<\/p>\n

\"Nuevo <\/p>\n

Dada la disponibilidad de la API de un modelo SD3 8B completo, pero cerrado, durante varios meses y las entusiastas declaraciones de los gerentes de medios de Stability AI de que la versi\u00f3n \"compactificada\" 2B resultar\u00e1 ser casi tan bueno en la percepci\u00f3n del texto y generaci\u00f3n de im\u00e1genes<\/a><\/noindex>, los entusiastas del arte generado por IA recibieron la liberaci\u00f3n al p\u00fablico de los pesos de SD3M el 12 de junio con gran entusiasmo: en las primeras 24 horas, el modelo fue descargado 2,7 millones de veces<\/a><\/noindex>. En este momento, todav\u00eda se puede obtener, aunque de una manera un poco m\u00e1s indirecta que lo habitual para los puntos de control de SDXL y SD 1.5. De hecho, el camino habitual es dirigirse al sitio Civitai, del cual la mayor\u00eda de los modelos se descargan sin registro, pero desde el 17 de junio y hasta el momento de enviar este art\u00edculo para maquetaci\u00f3n, la p\u00e1gina de este sitio dedicada a la \"tres\" est\u00e1 en un baneo temporal<\/a><\/noindex>. Y la raz\u00f3n es una: la licencia comercial para SD3M est\u00e1 redactada de tal manera que incluso los abogados de Civitai han tomado un respiro para estudiarla m\u00e1s detenidamente. Porque si un entusiasta entrena su LoRA para la \"tres\" en su PC y la publica en Civitai, y Stability AI de repente decide que el resultado es inapropiado y revoca la licencia del culpable, \u00bfqu\u00e9 debe hacer en ese caso el sitio host? No solo alberga puntos de control, diagramas auxiliares y modelos, sino que tambi\u00e9n ofrece a los visitantes la posibilidad de generar im\u00e1genes en la nube y entrenar las mismas LoRA, inversiones textuales y m\u00e1s. En resumen, mientras se decide, los archivos del mismo modelo y de los tres conversores de texto a tokens que vienen con \u00e9l solo se pueden obtener desde su propia p\u00e1gina de Stability AI en el portal Hugging Face<\/a><\/noindex>.<\/p>\n

\u2193<\/a><\/noindex>#<\/a><\/noindex>Comencemos<\/h2>\n

Sin embargo, hay un matiz: para acceder a los enlaces de descarga, es necesario iniciar sesi\u00f3n en el sitio y luego confirmar la aceptaci\u00f3n del mencionado acuerdo de licencia draconiano; sin embargo, este procedimiento es gratuito y es completamente accesible desde Rusia. Se ofrecen cuatro opciones de modelos (models) y cuatro codificadores de texto a tokens (encoders), adem\u00e1s de tres ciclos de referencia para ejecutar en el entorno de trabajo ComfyUI. del cual ya hemos hablado en alguna ocasi\u00f3n<\/a><\/noindex>:<\/p>\n

modelos:<\/p>\n