MOSS-Imageは、ポスターの見出しや被写体の位置・大きさを指定して画像を生成できる、OpenMOSSの画像生成モデルです。ComfyUIのアップデートでMOSS-Imageのサポートが追加され、文章で場面を描写する生成に加え、文字や被写体ごとに枠を描いて構図を伝えるレイアウト制御を利用できるようになりました
ライセンスは、Apache License 2.0で商用利用が可能です。
文字と被写体の配置を一緒に指定する
MOSS-Imageの特徴は、画像全体の説明と、要素ごとの配置指定を一つのプロンプトにまとめられることです。
通常の文章やタグ列に加え、JSON形式のLayoutを入力できます。全体の説明には画風や背景を、個々の要素には被写体の特徴や表示する文字、配置範囲を記述します。見出しを上部に置き、その下へイラストを配置するように、文字と絵の位置関係まで指定できる仕組みです。
Layoutの座標は、画像の中心を原点とするピクセル単位です。1024×1024なら、横・縦ともに−512から＋512の範囲を使います。ボックスの順序は[y_min, x_min, y_max, x_max]で、出力画像の幅と高さに対応する座標を与えます。
ComfyUIでは画面上の枠からLayoutを作れる
ComfyUIのLayout用テンプレートは、CreateBoundingBoxesで描いた枠と各要素の説明を、MOSS-Image Layout Promptへ渡す構成です。そこで組み立てたLayoutプロンプトを、Text to Image (MOSS-Image)のpositive_promptへ接続します。
枠ごとに被写体の説明を持たせ、文字用の枠には表示したい文字列も入力できます。JSONを組み立てる処理がノードにまとまっているため、画面上で文字や被写体の配置を指定できます。
テンプレートには、短いプロンプトを詳しい場面描写へ展開するPrompt upsamplerも組み込まれています。通常のText to Imageでは、画像生成に使うQwen3.5-9Bのテキストエンコーダーを、文章の展開にも利用します。
BaseとSFTの2種類を公開
MOSS-Image-BaseとMOSS-Image-SFTのコードが公開されています。画像生成部分は5B、約50億パラメータです。最大4Kトークンの長いプロンプトに対応し、写真調とアニメ調の画像を生成します。
| モデル | 学習と用途 |
|---|---|
| MOSS-Image-Base | 追加学習の土台となる基礎モデル |
| MOSS-Image-SFT | Baseを選別したデータで追加学習したモデル |
両モデルは同じアーキテクチャと推論方式を使います。SFTも通常の文章、タグ列、JSON Layoutに対応します。
BaseはCFGの蒸留を行わず、追加学習に使う情報を保持する設計です。LoRA学習向けの指針では、テキストエンコーダーを固定して学習します。
追加された4種類の公式テンプレート
ComfyUIには、SFTとBaseそれぞれに通常生成とLayout用が用意されています。
- MOSS-Image: Text to Image：SFTを使う通常の画像生成。
- MOSS-Image: Layout-Guided Text to Image：SFTを使い、文字や被写体の配置も指定する生成。
- MOSS-Image Base: Text to Image：Baseを使う通常の画像生成。
- MOSS-Image Base: Layout-Guided Text to Image：Baseを使うLayout指定の生成。
INT8 ConvRotの画像モデルとQwen3.5-9Bを組み合わせる
公式テンプレートは、画像生成モデル、テキストエンコーダー、VAEを個別に読み込みます。SFTの通常生成で指定されている構成は次のとおりです。
- 画像生成モデル INT8 ConvRot：約5.41GB
moss_image_sft_int8_convrot.safetensors - テキストエンコーダー W4A8 GPTQ：約7.34GB
qwen3.5_9b_w4a8_gptq.safetensors - 小型VAE：約250MB
flux2-vae_small.safetensors
Base用は、画像生成モデルがmoss_image_base_int8_convrot.safetensorsへ変わります。Base・SFTともにBF16版も配布され、画像生成モデルのファイルサイズは各約10.2GBです。
5Bは画像生成部分の規模で、文章を処理する9Bのテキストエンコーダーは別に読み込みます。実行時のメモリ使用量は、これらのモデルの配置や解像度、オフロード設定によって変わります。
テンプレートは25ステップ 開発元の標準設定は50ステップ
ComfyUIの通常生成テンプレートは、1024×1024、25ステップ、CFG 2.5、er_sdeとsimpleを初期値にしています。
| 設定 | ComfyUI公式テンプレート |
|---|---|
| ステップ数 | 25 |
| CFG | 2.5 |
| サンプラー | er_sde |
ComfyUIのテンプレートは反復回数を抑えた構成です。開発元のBase向けガイドは画質を優先する設定として50ステップ以上を推奨しており、公開作例や生成結果を見る際には、それぞれのステップ数とサンプラーが条件になります。
プロンプトは学習データが最も多い英語を推奨し、中国語にも対応します。文字の改行を指定する場合は、プロンプトに改行文字や実際の改行を含めます。
生成してみた
プロンプト：アニメ、近未来、戦う女性戦士、「MOSS Image」の文字、ダイマミックなアングル
プロンプトアップスケーラー：ON
サイズ：1360×768
VRAM16GB RAM64GB環境で約18秒でした。
