新しい記事: AI 描画に関するワークショップ、パート 3: SDXNUMXM - C の「C」

Stability AIが開発・訓練した、テキストプロンプトを画像に変換するオープンソースモデルのリリース履歴が、マイクロソフトのOSリリースの浮き沈みの連続に似ているのは面白い。伝説的な成功を収めたXPの後には、問題の多いVistaが登場し、その後、素晴らしいWindows 7、そして不運なWindows 7が登場した。 Windows 8. Stable Diffusionでは、当初は見栄えの悪いバージョン1.5が徐々に愛好家によって改良され、その後、率直に言って失敗に終わったSD 2.0が登場しました。実際、この種のモデルでは一般的ではないOpenCLIPエンコーダーが含まれていたため、失敗に終わりました。 非常に曖昧に選択された画像でトレーニングされました の オープンデータセット LAION-5B。この選択では、不適切な（NSFW）視覚的参照だけでなく、悪名高いグレッグ・ルトコウスキーなどの人気アーティストによる絵画やイラストも排除されました。最終的に愛好家を激怒させたのは後者でした。SD 1.5 の場合、オリジナル バージョンであっても、特に高度なチェックポイントを使用せずに、スタイルを備えたシンプルなヒントが完璧に機能していました - 「グレッグ ルトコウスキーのスタイルによる壮大な中世のファンタジー風景」 -その結果は印象的でしたが、その後、SD 2.0 は、最も広く知られているイラストレーターの名前を「認識」することを停止しました。イラストレーターの作成した作品の著作権はまだ有効であり、これらの作品を AI トレーニングに提供するつもりはありませんでした。欲しいものを説明するにはより多くの単語を使用する必要があり、モデルは長すぎるヒントにうまく対応できませんでした。

⇡#座って、立って、座って、立って

修正されたエンコーダー (テキスト ヒントをデジタル トークンに変換し、モデルが直接操作するコンバーター) と組み合わせると、名前付きスタイルを使用できないため、愛好家は「1.5 つ」を自分で改良する動機を単純に奪いました。実際、ここでは、新しいエンコーダのヒントを構成するためのすでに実証済みのテクニックを調整する方法を同時に理解する必要があり、さらに、作成者がその段階で導入しなかった画像やトピックを認識するようにモデルをトレーニングする必要がありました。しかし、「512 枚」で生成された「512 枚半」の画像とは質的な違いがあったが、それでも保証されていませんでした。はい、標準の SD 768 サイズの 768x2.0 ピクセルから XNUMXxXNUMX への質的な飛躍がありましたが、その時までにコミュニティはすでにアップスケーラー、アウトペインタ、その他のツールを使用して最終イメージのサイズを拡大していたので、SD XNUMX はパスされました。大きくて目立たない。 SDXL 標準に戻った (OpenAI によって開発され、特に DALL-E プロジェクトによって使用されます) CLIPエンコーダーへ - そのコードも公開されていますが、これがトレーニングされるデータベースです。 OpenCLIPとは異なります、独自の。さらに、オーバーサイズの標準キャンバス サイズが 1024x1024 に増加し、さらに多くの改良が加えられたため、愛好家は喜んで改良に着手しました。そして現在までのところ、それは SDXL (および、それほど前に登場した、ハードウェアへの要求が低い、SDXL の派生製品です) SDXLターボ и SDXLライトニング) は、最も人気のあるオープンソース AI 画像ジェネレーターであると自信を持って言えます。しかし、SD 1.5 の熱心な支持者はこれに反論し、ControlNet などの重要なツールが SDXL に含まれていることを指摘しています。 まだ十分に転送されていない.

そして今、12 年 2024 月 3 日、ローカル生成を許可するモデル コードが「公開」された瞬間から、SD XNUMX の「オープン」バージョンの時が来るはずです - より正確に言えば、 安定拡散3中 (SD3M または SD3 2B) 2 億の動作パラメータを備えています。従来、この数値はモデル内のすべてのパーセプトロンの入力における重みの合計数に対応することを思い出してください。さらに早い 8 月には、Stability AI が XNUMX 万番目 (パラメータ数の点で) に命を吹き込み、商用利用を提案しました。 安定拡散 3 大、別名SD3 8B。 SDXL 1.0 には - 3,5億のパラメータただし、開発者によると、SD3M は 「これまでに作成した中で最も洗練された画像生成モデル」。これは、オーバーサイズよりも少ないビデオ メモリの必要性で、単純なプロンプトに応答しても「新しいレベルのフォトリアリズム」を備えた画像を生成する必要があることを意味していました。 「C」グレードの利点には、「生成された画像から得られるテキストのタイポグラフィーのこれまでにない品質」、「3 人のコーダーが同時に協力することによるヒントの深い理解」、「限られたデータセットでも効果的な追加トレーニングが可能です。」

待望の新しいおもちゃを自由に使えるようになった愛好家のコミュニティは、当時の「ワン・ハーフ」や「オーバーサイズ」と同じ熱心さでそれを磨き始めるだろうと当然想定されていました。しかし、最初からすべてがうまくいきませんでした。Hugging Face と Civitai でモデル ファイルが公開されてから最初の数時間で SD3M が失敗しました。 深く失望させることができた 聴衆に、しかも一度に2回。初めて - 「草の上/草の中に横たわっている」という一見無害なフレーズを含む、手がかりに対する一見説明できない特異性があった。 2つ目は、ユーザー契約の非常に曖昧な文言で、プロの弁護士ですらすぐには理解できませんでした。そして、一般の AI アート愛好家の観点からは、後者は重要ではないように見えますが、モデルのさらなる開発に最も直接的に反映されるのは、問題の法的側面です。全然フォローしてください。

SDXL など、以前のオープンソースの Stable Diffusion の作成物 (より正確には、無料でダウンロードしてローカルで実行できるニューラル ネットワークの重みの公開値を備えたもの) には、典型的な生成モデルの 1 つが付属していました。 CreativeML Open RAIL++-M ライセンス 「モデル自体とその派生物の両方の追加マテリアルを複製、準備、公に展示、公に実演、サブライセンスおよび配布するための、永久的、世界的、非独占的、ロイヤルティフリー、ロイヤルティフリー、取消不能な著作権ライセンス」などの特徴を備えています。 」 「Troechka」は 2 種類のライセンスを提供します。 非商業的使用のため - 「Stability AI は、知的財産に対する非独占的、全世界的、譲渡不可、サブライセンス不可、取り消し可能、ロイヤルティフリーの制限付きライセンスを付与します」のような非常に気を落とすような文言で - はるかに面倒なコマーシャル.

⇡#草は何の役にも立ちません

非常に短い時間の後、コミュニティは次のことに同意しました。 Stable Diffusion 3 はオープンソースではありません。そして実際、同社は開発会社のボイコットを宣言した。率直に言って粗雑で歪んで骨抜きになったモデルの追加トレーニングに時間と労力を浪費したくないからだ。メディアのほんのわずかな気まぐれでいつでも安定性AIができる可能性があることを理解した上で管理者は、特定の愛好家に以前に発行されたライセンスを取得して取り消し、そのような追加のトレーニングを実施します。このライセンス契約は、この契約を勉強している非弁護士が、SD3M の商業利用の許可が取り消された後、その元の受領者は、その元の受領者が作成したすべての派生物を、ライセンスされた知的財産から削除する義務があるという印象を受けるような方法で作成されています。これには、事前トレーニングされたモデル自体 (LoRA、テキスト反転、チェックポイント全体) とその派生モデル (引用: 「本契約の終了に際し、ソフトウェア製品または派生作品は削除し、使用を停止するものとします」) の両方が含まれます。つまり、これらの派生モデルを自分自身の作業の出発点として使用した他の人の作業の成果です。しかも、それは誰からの資金提供も受けず、純粋な熱意によって行われました。

この問題に対する怒りの波が成層圏の高さに達してすぐに、専門の弁護士からのメッセージが届き始めました。 それは悪いことばかりではないということ そして、さらなる使用の禁止を伴うリコールは、実際には、Stability AI が商用ユーザーに譲渡する (たとえば、同じ SD3M の事前トレーニングを高速化して最適化するため) 特定のクローズドソースの補助製品にのみ関係するはずですが、会社自体ははこの件についてまだ最終的な説明をしておらず、提供していない。そして、パブリックドメインに「C」が出現して以来、（この記事の執筆時点で）過去 XNUMX 週間にわたってそのような抑圧的な沈黙が続いてきたという事実自体が、草が少女たちに害を及ぼすよりもはるかに重大に開発者の評判を傷つけます。彼の創造によって生み出されました。

文字通り数時間でミームになった悪名高いハーブについては まずはハグフェイスからそして、インターネット上のほぼすべての多かれ少なかれ専門的なサイトで、「草の上に横たわっている女の子」のようなフレーズのプロンプトに存在すると、幻覚だけでなく「C」の結果が表示されることが判明しました。しかし、医学的な意味での患者の悪夢のような創作物は、ボディホラーを専門とするアーティストや映画製作者の空想です（私たちはあなたに、もしあなたの正気と命があなたにとって大切なのであれば、これから離れて、それをしようとさえしないでください。セキュリティフィルターを無効にして画像検索ウィンドウにこのフレーズを入力してください)。同時に、人々が立っている画像、および程度は低いですが座っている画像は、自信を持って B プラスの C グレードを達成し、ポートレートは完全に完璧に写ることもあります。少なくとも基本モデル SDXL 1.0 よりも悪くはありません。ここでの落とし穴は、まさに人体の水平位置に関​​するある種の内部タブーです。

創設者であり、前（2024 年 XNUMX 月まで）Stability AI の責任者であった Emad Mostaque 氏のコメントから判断すると、彼は会社を辞めました。 「人工知能分野の分散型プロジェクトに従事する」、限定された非商業的使用のための体重計の開始直前の SD3M に対する重大な暴力 (オンライン生成用のより大型の SD3 8B モデルの API、リコール) 4月より提携サイトにて販売開始、しかしその重みは隠されたままです）は、現在の指導者の安全に対する願望の結果でした - 「規制上の義務があるため」、今年の 3 月に策定されました。 Acceptable Use Policy。このポリシーでは、SD3M 生成モデルを使用し、ユーザーは「さらなる暴力、テロリズム、または差別や脅迫を伴う憎悪に満ちたコンテンツの作成をコミット、促進、奨励、助長、奨励、計画、扇動、促進すること」を禁じられています。 （性別、民族、性的同一性や性的指向、宗教などに基づいているかどうかにかかわらず）保護された人々のグループ」と規定されているため、狂暴なドラゴンと戦うために母親が産んだパンダの画像はありません。面白い帽子をかぶった猫、かわいいジャケットを着た犬、中身が分からないボトル、オーブンから出したばかりの焼きたてのクッキーだけです。

技術的に言えば、おそらくモデルの去勢は、横たわっている人々の画像や、何らかの形でわいせつな解釈を暗示するその他の画像がトレーニング データセットから単純に除外されたという事実にあります。したがって、「C」は単純に「理解できない」ことになります。 「嘘」という言葉の意味。あるいは、更新された SD3 アーキテクチャにより、「安全でない」画像の生成中にアクティブ化されたパーセプトロンの重みを確実に特定できるようになりました。これらの重みはリリース直前に選択的にゼロにリセットされ、その副作用は「強制幻覚」でした。多分、 これはすでにロボトミー手術と比較できます: エンコーダーはテキストをトークンに正しく変換しますが、「安全な」潜在空間では、これらのトークンはもはや特定のものを示さないため、結果として得られるピクセルは画像内で基本的にランダムに配置されます。

本格的ではあるが非公開の SD3 8B モデルの API が数か月間利用可能であることと、2B が「コンパクト化された」という Stability AI メディア マネージャーの熱烈な保証を考慮すると、 テキスト認識と画像生成の品質に関してはほぼ同じになります、AI 描画愛好家は、3 月 12 日の SDXNUMXM スケールの一般公開を、次のように熱意を持って歓迎しました。 最初の 24 時間でモデルは 2,7 万回ダウンロードされました。現時点では、チェックポイント SDXL および SD 1.5 の通常よりもやや回りくどい方法ではありますが、それでも入手することは可能です。実際には、Civitai の Web サイトにアクセスして、ほとんどのモデルを登録なしでダウンロードするのが一般的な方法ですが、17 月 XNUMX 日からレイアウトに関するこの記事の転送までの間、このサイトの「C」専用ページが開設されました。 仮風呂に入っている。理由は 3 つだけです。SDXNUMXM の商用ライセンスは非常に曖昧な言葉で書かれているため、Civitai の弁護士でさえ、詳しく調べるために休憩を取ったからです。結局のところ、誰かの愛好家が自分の PC で LoRA を「C」に向けてトレーニングし、それを Civitai に投稿し、安定性 AI が突然その結果が不適切であると判断し、犯人のライセンスを剥奪した場合、この場合ホスティング サイトは何をすべきでしょうか?結局のところ、チェックポイント、補助的なサイクログラム、およびモデルをホストするだけでなく、訪問者にクラウドベースの画像を生成し、同じ LoRA、テキスト反転などをトレーニングする機会も提供します。一般に、トライアルの進行中は、モデル自体のファイルとそれに付属する XNUMX つのテキストからトークンへのコンバーターのみを取得できます。 Hugging Face ポータルの Stability AI 自身のページより.

⇡#始めましょう

ただし、微妙な点があります。ダウンロード リンクにアクセスするには、サイトにログインし、先ほど述べた厳格な使用許諾契約への同意を確認する必要があります。ただし、この手順は無料で、次のサイトから簡単にアクセスできます。ロシア。合計で、実際のモデル (モデル) には 4 つのオプション、テキスト プロンプトからトークンへのコンバータ (エンコーダー) には 4 つ、さらに ComfyUI 作業環境で実行するための 3 つの参照サイクログラムがあります。 それについてはすでに一度話しました:

モデル：

• sd3_medium.safetensors
• sd3_medium_incl_clips.safetensors
• sd3_medium_incl_clips_t5xxlfp8.safetensors
• sd3_medium_incl_clips_t5xxlfp16.safetensors

エンコーダ:

• Clip_g.safetensors
• Clip_l.safetensors
• t5xxl_fp8_e4m3fn.safetensors
• t5xxl_fp16.safetensors

サイクログラム:

• sd3_medium_example_workflow_basic.json
• sd3_medium_example_workflow_multi_prompt.json
• sd3_medium_example_workflow_upscaling.json

この「ワークショップ」では、基本モデル sd3_medium.safetensors (4,2 GB)、1,3 つのエンコーダー - Clip_g.safetensors (234 GB)、clip_l.safetensors (5 MB)、および t8xxl_fp4_e3m4,7fn.safetensors (3 GB) に限定します。サイクログラム sd1070_medium_example_workflow_multi_prompt.json として。実際のところ、私たちのテスト マシンには 8 GB のビデオ RAM を備えた GeForce GTX 1.5 ビデオ カードが搭載されており、すべてのコンバータを一度に統合した大型モデルはこの容量に収まりません。 SD 6 および SDXL に基づくチェックポイントの場合、エンコーダーはデフォルトでメイン ファイルに組み込まれますが、この場合、これらのコンバーターは 10 つではなく 16 つあり、モデル自体と合わせて合計 5 GB を超えます。すでに 6 GB を超えています。 T5XXL エンコーダの 7 ビット バージョンを使用する場合は、さらに優れたビデオ カードが必要になります。テキストからトークンへのコンバーターが最初にビデオ メモリにロードされ、次にこれらのトークンを使用して動作するモデルがロードされるバージョンでは、XNUMX GB グラフィックス アダプターでも問題なく動作します。この観点から見ると、モジュール式の「トロイカ」は、一般的な XNUMX ～ XNUMX GB の SDXL チェックポイントよりも確実にパフォーマンスが優れています。

SD3M は、マルチモーダル拡散変圧器 (マルチモーダル拡散トランス、MMDiT) - したがって、これは、以下に基づいた安定性 AI (それだけではありません) の以前の開発とは根本的に異なります。 2015 年に提案された U-Net アーキテクチャ このワークショップは、AI 画像生成に対するこれらのアプローチの違いを掘り下げる場所ではありません。それだけ言っておきましょう MMDiT はモデルのパフォーマンスを向上させます、より多くのトークンを扱う能力（その結果、オペレーターは非常に広範囲のテキストプロンプトを作成でき、システムはそれらに非常に時間厳守で従うことができます）、そして結果として得られる画像の品質が向上します。フルサイズの SD3 8B は、4 MP キャンバス (2048 × 2048 ピクセル) 上に画像を生成できます。 DALL-E 3、Midjourney v6、Ideogram v1 よりも先に 画像内のテキストの再現、結果として得られる画像とテキスト手がかりの一致の精度、全体的な視覚的な美しさなどのテストで行われます。ここでは、テキストのトークンのベクトルへの変換が 3 つのエンコーダーによって同時に実行されます (2つのCLIPモデル そしてT5-XXLが5つ、つまり「TXNUMX」です。 テキストからテキストへの転送トランスフォーマー) - そして、一般的に言えば、同じヒントを使用して作業する必要はありません。

前置きはこれくらいにして、「ワークショップ」の目的、つまり SD3M モデルに基づいた画像の生成について説明しましょう。このために、すでに述べたように、ダウンロードできる ComfyUI 作業環境を使用します。 GitHub からの直接リンク経由。このオプションは、NVIDIA グラフィック アダプター上で実行するか、AMD または Intel CPU 上で直接実行する場合にのみ使用できることを強調します (もちろん、これははるかに遅くなります): AMD ビデオ カードの所有者 松葉杖はパッケージの形で提供されます rocm と pytorch は、pip ダウンロード マネージャー経由でインストールできます。

作業環境のインストールが完了したら、以前にダウンロードした .safetensors ファイル (モデルは ComfyUImodelscheckpoints ディレクトリ、テキストからトークンへのコンバーターは ComfyUImodelsclip) に配置する必要があります。そして、始めましょう！

⇡#スピードアップする時が来ました

AI 描画をテーマにしたこれまでの「ワークショップ」の読者にはよく知られた作業環境である AUTOMATIC1111 も XNUMX 月末までにリリースされることは注目に値します。 SD3Mを実行する機会を得ましたただし、ComfyUI では、新しいモデルのサポートが最も完全なままです。それは驚くべきことではありません - 結局のところ、つい最近まで、愛好家のコミュニティでは ComfyAnonimous (または単に Comfy) というニックネームで知られていた「パスタ モンスター」の作者が、 Stability AIの社員でしたそこでは、特に開発者自身が使用する社内作業環境に取り組みました。少し後で説明するように、ComfyUI の最新バージョンは、この物議を醸すモデルがどのように構造化され機能するかについて、作成者からの特定の洞察の存在を実際に証明しています。この洞察は、Stable Diffusion 3 Medium をローカルで実行するための他の作業環境の作成者が示した洞察です。できない理由を簡単に自慢できます。

ポータブル版の ComfyUI をインストールしてください。 Windows とても簡単です。対応するZIPアーカイブをダウンロードした後、 公式プロジェクトページより 任意の便利なディレクトリに解凍するだけです。もちろん、HDD ではなく SSD ベースの論理パーティション上で行うことが望ましいです。単一の画像 (環境) を生成する場合でも、モデルの今後のロードおよびアンロード サイクルを考慮して、ドライブとメモリの間で交換を行う必要があります。最初にテキストからトークンへのコンバータをビデオ RAM に配置し、次にビデオ メモリをクリアして SD3M 自体をロードする必要があります) は、特定のコンピュータが自由に使えるビデオ メモリが少なくなるほど、さらに重要になることが予想されます。ちなみに、ポータブル インストールも、その完全な独立性の点で優れています。論理ディスク上の空き領域を除いて、好きなだけ ComfyUI のコピーをローカルに展開して、思う存分実験することができます。すでにデバッグされ、完全に動作しているシステムを台無しにすることを恐れることなく、さまざまな拡張子を持つコンテンツを作成できます。

テキストトークンエンコーダーが組み込まれていないメインのSD3Mモデルファイル（stableDiffusion3SD3_sd3Medium.safetensorsファイル、4,2 GB）がチェックポイントサブディレクトリ（テストインストールの場合、フルパスはC:\Fun-n-Games\ComfyUI\SD3\ComfyUImodels\checkpoints）に配置され、3つのエンコーダーモデル（stableDiffusion3SD3_textEncoderClipG.safetensors、stableDiffusion3SD3_textEncoderClipL.safetensors、stableDiffusion3SD3_textEncoderT5E4m3fn.safetensorsファイル、それぞれ1,3 GB、234 MB、4,7 GB）がクリップサブディレクトリ（C:\Fun-n-Games\ComfyUI\SD3\ComfyUImodelsclip）に配置されていることを確認したら、ファイルをダブルクリックして作業環境を起動できます。ルートフォルダ（この例では C:\Fun-n-Games\ComfyUI\SD3）にある run_nvidia_gpu.bat を実行します。サーバーが起動したら、表示されるコマンドプロンプトウィンドウで、 Windows デフォルトのブラウザで新しいタブが自動的に開きます（これはBATファイルの設定によって暗黙的に示されます）。そのタブから、127.0.0.1/8188でWebインターフェースにアクセスできます。 以前私たちに飼い慣らされた （たとえそれが単なる近似であっても）「パスタモンスター」。

原則として、より最新の NVIDIA ビデオ カード (GTX ではなく RTX 世代、ビデオ RAM が 6 GB しかない場合でも) をお持ちの場合は、前述した ComfyAnonimous 自身が作成した参照サイクグラムをすぐに作業環境にロードできます。 - ファイル comfy_example_workflows_sd3_medium_example_workflow_multi_prompt.json には、プロンプトを入力するための複数のウィンドウ (XNUMX つのエンコーダーごとに XNUMX つずつ) が含まれており、それを操作します。確かに、最初にモデル ファイル (読み込みノード内) の XNUMX つの名前を既存の名前と一致させる必要があります。参照サイクログラムの作成者は明らかに、職場 (すでに述べたように Stability AI 内) で、ローカルで利用可能なファイルを少し異なる方法で呼び出して操作していました。そのため、サイクログラムをロードした直後にスパルタンな ComfyUI インターフェイスの「キュー プロンプト」ボタンを押すと、環境を動作させるとエラー メッセージが生成されます。

⇡#AI生成のための3つのフィールド

ただし、これを修正するのは難しいことではありません。さらに憂鬱なのは、私たちが自由に使える使い古された GTX 1070 の SD3M 処理が恐ろしく遅いという事実です。画像生成は反復ごとに 27 ～ 30 秒の速度で進行します。参照サイクログラムのパラメーター「ステップ」が「28」に設定されており、不当に長い時間がかかると考えられます。したがって、少し最適化を行ってみましょう - Python モジュール venv を使用します (仮想環境、「仮想環境」）、特に生成 AI モデルの作業を高速化するように設計されています。 ComfyUI のポータブル版の納品パッケージには含まれていませんが、 ただし、インストールする方法はたくさんあります、最終的には、本格的な Python 環境をローカル PC にデプロイし、この環境から必要なモジュールをアクティブ化することになります。

私たちの「ワークショップ」をフォローしている読者のマシンには、すでに AUTOMATIC1111 がアクティブに動作するインストールがインストールされているという事実を期待します。この場合、すべてがはるかに簡単です。venv モジュールはすでにそこにデプロイされており、ComfyUI 作業環境を開始するときにそれをアクティブ化するために必要な操作は次のとおりです。 きちんと電話をかける。まず、ウィンドウに切り替えて「Ctrl」+「C」を押してサーバーをシャットダウンし、「y」を入力して確認します。その後、BAT ファイル run_nvidia_gpu.bat を run_with_venv.bat などの名前で新しいファイルにコピーします。初期起動ファイルは非常に簡潔です。 --windows-standalone-build オプションを使用して、移植可能にデプロイされた Python のコピーを呼び出すだけです。

.python_embededpython.exe -s ComfyUImain.py --windows-standalone-build

一時停止

このパラメータ自体はあまり明確ではありません。これはいくつかの最適化を暗示していますが、おそらく最近の NVIDIA グラフィックス アダプタ向けに特別に設計されているため、当然の GTX にまだ忠実である人の生活を悪化させる可能性があります。このため、コマンド ラインから -windows-standalone-build を削除し、同時にもう 1 つの新しい最適化、つまりデフォルトのアクティブな「スマート メモリ マネージャー」であるスマート メモリも放棄します。 ビデオ RAM にできるだけ多くの情報を保持するよう努めますアンロードせずに。これにより、AI 画像の描画が大幅に高速化されますが、同時に時代遅れのコンピューターがシングルタスク システムに変わります。PC 上で Web サーフィンをしたり、ゲームをプレイしたり、文書やメールを操作したりすることさえできなくなります。作業環境の活動と並行して。したがって、AI アート専用のコンピューターを持っていない人にとっては、ComfyUI を起動するための最適な BAT ファイルが最適であると思われます (ちなみに、SD3M から画像を生成する目的だけでなく、SDXL にも非常に適しています)。

@オフエコー

cd C:Fun-n-GamesGitstable-diffusion-webuivenvScripts を呼び出します

エコー %cd%

activate.bat を呼び出す

エコーvenvがアクティブ化されました

cd C:Fun-n-GamesComfyUI-SD3 を呼び出します

エコー %cd%

call .python_embededpython.exe -s ComfyUImain.py --disable-smart-memory

一時停止

ここでは、ComfyUI のポータブル インストールが C:Fun-n-GamesComfyUI-SD3 ディレクトリで実行され、AUTOMATIC1111 が事前に C:Fun-n-GamesGitstable-diffusion-webui にインストールされていると仮定します。多数の「エコー」は、ディレクトリの変更が正常に進行し、必要なコマンドが実行されていることを視覚的に制御するために必要です。すべてがデバッグされた後、それらは BAT ファイルから削除できます。

ワークベンチを再度起動します。今回は run_with_venv.bat をダブルクリックします。以前はサーバーを閉じただけで Web インターフェイスには触れなかったので、モデル名が修正された同じ ComfyUI 参照サイクログラムが対応するタブに残っているはずです。その右側に注目してください。そこには「プレビュー画像」ノードがあり、完成した画像をディスクに保存せず、表示するだけです。毎回サイクログラムを実行して正確に 1 つの画像を生成し、それを視覚的に評価し、パラメータの何かを変更して、再度実行する場合、これは完全に機能するオプションです。好きな画像を右クリックすることで、いつでも手動で保存できます。 。ただし、運用環境で多くの世代を連続して実行する場合は、その結果が永続メモリ (デフォルトでは ComfyUIoutput ディレクトリ) に自動的に蓄積される方がよいでしょう。

したがって、すぐに「プレビュー画像」ノードを「画像を保存」に変更することをお勧めします。これを行うには、サイクログラムの空いているセクションをマウスの左ボタンでダブルクリックします。検索バーのあるノード選択ウィンドウが開きます。この行で「Save...」と入力し始めると、すぐに探している名前が表示されます。次に、それをクリックして、表示されるノードの入力を、「プレビュー イメージ」が元々接続されていた「VAE Decode」ノードの「IMAGE」出力に接続するだけです。 「プレビュー画像」自体はさらに削除できます。タイトルをクリックしてキーボードの「Del」キーを押して選択するだけです。

そして今こそ、ComfyAnonimous によって作成された参照サイクグラムを (控えめな調整を加えて) 実行のために起動するときです。次のことがわかります。

とても印象的な絵で、雰囲気さえあります。草の上に横たわる人々を描くための指示に完全に驚かされたのと同じモデルを使用して作成されたとは言えません。同時に、システムは非常に高速に動作します。GTX 5 上の 6 メガピクセルの画像の反復あたり約 1 ～ 1070 秒は、適切な指標と考えることができます。比較: 同じ BAT ファイルを使用した同じ ComfyUI の同じ PC は、同様のサイズの SDXL 画像を生成し、各反復に約 6 ～ 7 秒かかります。そのため、AI を生成する PC ハードウェアに対する「C」の要求は低いと考えられます。進行中です。

次に、キャンバスのサイズを調整しましょう。それらを設定する「EmptySD3LatentImage」ノードからそれほど遠くないところに、「アイドル」（つまり、どの側からも何にも接続されていない）参照ノード「Note」があります。これには重要な注意事項が含まれています。 SD3M の場合、画像は約 1 MP でなければなりません。これに基づいて、長方形のキャンバスの辺の寸法を選択する必要があります。次に、1344×768 に設定しましょう。ちょうど約 1,03 万ピクセルになります。

注: 上記は「シード」ノードであり、シード自体が指定されており、この場合は「945512652412924」であり、生成後に変更すべきではないことが示されています (「固定」パラメーター)。

同じシードを使用して同じサイクログラムを、長方形のキャンバスに対して実行してみましょう。レンダリング速度は同じですが、全体の実行時間が短縮されていることがすぐにわかります (反復あたり 6 秒未満)。これは論理的です。テキスト ヒントは変更されていないため、エンコーダをリロードする必要はありません。もちろん、結果として得られる画像は、最初の正方形の画像とは多少異なりますが、基本的には異なります。予想どおり、全体の構成は保存されています。

ここで、「CLIPTextEncodeSD3」ノードと「CLIP Text Encode (Negative Prompt)」ノードに注目してみましょう。最初のフィールドは、一度に 5 つの入力フィールドが含まれているため、際立っています。テキストを削除すると、どのエンコーダに対応するマークが表示されます。上から順に、CLIP G、CLIP L、T5XXL です。以前は、明らかな理由により、ComfyUI にはそのようなノードはありませんでした。参照サイクログラムには、最初の XNUMX つのテキスト フィールド (CLIP G および CLIP L コンバーター用) に関する重複した短いヒントと、XNUMX 番目のより広範なヒント (TXNUMXXXL) が含まれています。これらのフィールドの内容は広い範囲内で操作できることは明らかであり、フィールド内のテキストの変更が最終的な画像にどの程度影響するかを研究すること自体が、簡単ではありませんが、非常に刺激的な作業です。ただし、その理由は後ほど明らかになるため、現時点ではこれについて厳密に扱うつもりはありません。

しかし、逆に、「CLIP Text Encode (Negative Prompt)」ノードには特別なことは何もありませんが、そこからメインの「KSampler」ノードの対応する「コンディショニング」入力までのパスがいかに難しいかを理解してください。このパスは分岐しており、その分岐の 10 つ (この場合は上の分岐) は、生成ステップの 10% から開始して完了するまで、システムはネガティブ ヒントをまったく考慮しない (パスを通過する) ことを示しています。 「ConditioningZeroOut」ノードは、正確には条件をゼロにすることを意味します)。 XNUMX 番目の分岐は、ネガティブ ヒント (これも条件付きで重みの半分) を変更せずにさらなる処理に渡しますが、それは生成ステップの合計数の最初の XNUMX% だけです。

⇡#遠く霧がかかった

もう一度言います: 最初の 10%、つまりこの場合に割り当てられた 3 の生成ステップのうち 28 つでは、否定的なヒントが「KSampler」ノードに送信され、潜在空間 (ピクセル空間、つまり人間の空間) で画像を生成するのに忙しいのです。 - わかりやすい画像、その出力結果は次のノード「VAE Decoder」によって通常の方法で変換されます。つまり、上のブランチ (条件がリセットされた) は非アクティブになり、下のブランチのみが機能します。ステップの残りの 90% (この例では 25 個中 28 個) では、ネガティブ ヒントはまったく機能しません。送信条件の上部のブランチはアクティブであり、リセットされていますが、下部のブランチに沿った移動は、送信条件によってブロックされます。対応するノードをトリガーするための境界パラメータ「ConditioningSetTimestepRange」。多くの観察者が次のように主張する理由が今では明らかです。 SD3Mのネガティブヒントは原則として使用できません, - それらによる影響 (この特定の参照サイクログラムを考慮し、SD3 Medium モデルに従ってオンライン生成を行うサイトに同様のルールが適用されると仮定した場合) は最小限です。

それでも、それは存在します。単純に「CLIP Text Encode (Negative Prompt)」ノードの出力を「KSampler」の対応する入力に直接接続した場合 (または、このパスに沿った条件を持つすべての中間ノードを「スキップ可能」としてマークした場合)、 「バイパス」 、同じ効果が得られます）、最終的な画像の品質は著しく低下します。ちなみに、これは SD3M が「未完成」であることの間接的な証拠と考えることができます。なぜなら、厳密に言えば、開発者はモデルの重みをパブリックドメイン。ネガティブなヒントを使用するために巧妙に設定された条件の XNUMX つの分岐は、一種のパ​​ッチであり、この意味で 「C」は率直に言って不足しているという愛好家からの苦情 Stability AI のマーケティング部門がそれに関連して提起した期待を考えると、非常に合理的であるように見えます。

SD3M を使用するための少なくとも簡単な公式マニュアルが存在しないため、このモデルはすでにインターネット上で広まっているという噂が広まっています。 ネガティブな合図を使う訓練をまったく受けていない。もちろん、これは真実ではありませんが、いずれにしても、これらのヒントは別の方法で適用する必要があります。 これは、SD 1.5 および SDXL オペレータには馴染みのあるものです。。特に、愛好家は、ネガティブフィールドにできるだけ多くのわいせつな詳細な説明を追加する必要があると真剣に主張しています（そうです、古き良き「nsfw、ヌード」だけでは十分ではありません。想像力を最大限に発揮する必要があります）。 見た目の顕著な改善につながります 草の上に横たわる悪名高い少女さえも。これが真実かどうかは、よく考えて確認しなければ判断できません (また、サイトのヘッダーに「18 歳以上」マークを付けたとしても、もし私たちが出版する危険がある場合に、その出版物が道徳の狂信者からの訴訟から保護されるという事実はありません)。愛好家によってまとめられた「奇跡のヒント」（英語ですが）。このおかしな状況は、次の事件を思い出させます。 異教に対する中世初期の教えそのおかげで――立派なキリスト教徒が何をどのようにしてはいけないかというかなり詳細な記述が含まれていたからこそ――少なくとも断片的な書面による証拠が、キリスト教以前のロシアの信仰と習慣について私たちに届けられた。

さて、この段階で SD3M の研究をさらに掘り下げることが、最も妥当な時間と労力の無駄であると思われない理由がより明確になったと信じたいのです。本当に議論して探求すべきことがあります。「KSampler」ノードで非常に厳密に推奨される生成パラメーター (CFG - 4,5-5,0、ステップ数 - 約 28、サンプラー/スケジューラーのペア - 排他的に dpmpp_2m/sgm_uniform、それ以外の場合は出力の品質)著しく低下します）。そして、厳密に同じ開始パラメータを持つが異なるシードを持つ世代の主観的な品質の非常に大きな広がり。そして、悪名高い「草の中/草の上に横たわる呪い」を取り除くことです（すでに 非常に珍しい解決策が提案されている);そして実際、3 つのテキストからトークンへのコンバーターのそれぞれによってどのような生成パラメーターが影響を受けるかを正確に見つけ出します。また、それらを使用して真の芸術の傑作を実現する方法 (「C」が付いたものが可能であれば)もちろん原則として）。

さらに、3月にはエマド・モスタク氏が、6月にはコンフィ・アノニマス氏が解任され、 そして彼らだけから遠く離れて、Stability AI に降りかかった問題はこれだけではありません。 The Information を参照してロイターが報じているように、この英国のスタートアップは文字通り (この記事の執筆時点で) 再び 最高経営責任者が変更されました 彼は、有名な世界的 IT 投資家グループの弟子であるプレム・アカラジュになりました。そして、今度は、この会社に多額の現金を注ぎ込む準備ができています (私たちは80万米ドルについて話しています）。現在のビジネス構造としての Stability AI 自体の地位は、率直に言って不安定です。多くの人ががっかりした 愛好家らは早期の終焉を予測している - そしてそのような状況では、そのような明白な間違いに対してさえ、企業が思慮深く取り組むことを期待することは困難です。

残念ながら、SD 3 や SDXL の場合と同様、不適切なライセンス ポリシーにより、コミュニティが独自に SD1.5M を実現することが妨げられています。少なくとも、最後の XNUMX つのモデルの派生チェックポイントと LoRA のようなツールは、Stability AI が商用構造としての旅を終了したときでも (終了したとしても)、ローカルでの実行に引き続き利用できることが保証されています。 「C」グレードの耳をつんざくような大失敗の直後、インターネット上の専門フォーラムでは、クラウドファンディングに基づいてテキストを画像に変換する生成モデルを開発する非営利プロジェクトの創設を支持する声が高まり始めました。今ではこの運動は次の名前の下で具体化し始めています。 オープンモデルイニシアチブ。 Invoke（プロのスタジオを対象としたオンラインAI生成プラットフォームの1つ）、Comfy Org（ComfyUIをサポートおよび開発するチーム）、Civitai（説明の必要がない）、およびLAION（主にそのようなモデルのトレーニングに使用される注釈付き画像データベース）のチームは、すでに積極的に参加する準備ができていることを発表しています。

そのため、当面の間、Workshop の新しいリリースは、コミュニティが既に幅広い改良や追加ツールを作成しているモデル、つまり「1.5 倍」モデルと「特大」モデルに重点を置くことになるでしょう。SD3M が真価を発揮する時が来るかもしれませんが、それがいつになるかは正確には予測できません。それまでの間、興味のある方は、この記事で紹介されている SD3M の世代を含むアーカイブをダウンロードできます（シーケンス図は PNG ファイルに直接統合されています。ファイルエクスプローラーから画像を ComfyUI ワークスペースにドラッグするだけです）。 Windows（生成の順序とパラメータ全体を再現するため） ここで。おそらく読者の 1 人が、たとえば Reddit や Hugging Face の常連より先に、3 つのヒント フィールドにテキストを分散する最適な方法を発見できるでしょうか?

トピックに関する資料：

Stability AI が経営陣を変更し、80 万ドルの投資を調達.

5 GB のメモリを搭載したビデオ カードのみを必要とする AI 画像生成ツール Stable Diffusion Medium を導入.

スタビリティAIは負債に陥っており、現在買い手を探している.

AIスタートアップのStability AIは競争激化のため従業員の10％を削減する.

Stable Diffusion 3.0 が発表 - 描画用 AI がアーキテクチャを変更し、書き方を学習.

出所： 3dnews.ru