ComfyUI 0.28では、ByteDance Seedが公開している画像・動画修復モデル「SeedVR2」がネイティブ対応しました。
これまでSeedVR2をComfyUIで利用するには専用のカスタムノードが必要でしたが、最新版ではモデルの読み込み、専用VAE、Conditioning、動画のチャンク処理、色補正までComfyUI本体へ組み込まれています。
Comfy-OrgからはComfyUI用に変換された3B、7B、7B Sharpモデルも公開されており、標準ノードだけで画像と動画の高画質化ワークフローを構築できるようになりました。
公式GitHubの実装ページでは、画像用と動画用のサンプルワークフローも公開されています。
SeedVR2とは
SeedVR2は、低解像度化や圧縮によって劣化した画像と動画を高品質に再構築するDiffusion Transformerモデルです。
一般的なアップスケーラーは、入力画像の画素を増やしながら輪郭を補正します。SeedVR2は、ぼけ、ノイズ、JPEG圧縮、動画圧縮などによって失われた情報を推測し、人物の顔、髪、服、背景、物体の質感といった細部を生成し直します。
対象は実写映像に限らず、AIで生成した画像や動画も含まれます。元の構図や人物を維持しながら画質を整える、比較的保守的な修復モデルとして位置づけられています。
SeedVR2の大きな特徴は、画像や動画の修復を1ステップで処理する点です。
従来のDiffusionベースの動画修復モデルは、複数のサンプリングステップを実行するため、高解像度や長時間の動画では処理負荷が大きくなります。SeedVR2ではDiffusion Adversarial Post-Trainingを利用し、1回のサンプリングで細部を再構築できるように設計されています。
実装ページで公開されている生成例
ページ内の「Workflows」欄から、画像用のseedvr2_simple_image.jsonと動画用のseedvr2_simple_video.jsonを確認できます。
静止画の例では、1024×1024の元画像を256×256まで縮小・劣化させた後、1024×1024へ4倍アップスケールしています。
赤い枠で囲まれた範囲が、実際にSeedVR2へ渡した256×256の画像です。周囲には、出力と同じ大きさで比較できるように、入力画像を4倍表示したものが配置されています。
動画の例では、256×256・97フレームの入力を1024×1024へアップスケールしています。3B FP8モデルで動画を3つの時間チャンクに分割した例と、7B Sharp FP16モデルで自動チャンク処理を行った例が掲載されています。
比較用の入力には、縮小だけでなく、ぼかし、ノイズ、JPEG圧縮などの劣化処理が加えられています。動画にはH.264やMPEG-4による圧縮も適用され、実際の低品質な画像や動画に近い状態を再現しています。
掲載されている出力画像や動画にはComfyUIのワークフローが埋め込まれており、ファイルを保存してComfyUIへ読み込むと、使用されたノード構成や設定を確認できます。
AI生成動画にアップスケーリングが必要な理由
AI動画生成では、解像度を上げるほどVRAM使用量と生成時間が大きく増えます。そのため、まず低めの解像度で動画を生成し、完成後にアップスケールする方法がよく使われています。
低解像度で生成した動画は、全体の動きが良くても、人物の顔、髪、服の模様、背景の細部がぼやけやすくなります。圧縮によるブロックノイズや、フレームごとの細かなちらつきが目立つこともあります。
SeedVR2のような動画修復モデルを使うことで、元の動きや構図を保ちながら細部を再構築し、YouTubeや大きな画面でも見やすい映像へ仕上げやすくなります。低解像度で生成してから高画質化する流れは、生成負荷を抑えながら最終品質を高める現実的な方法です。
画像と動画の両方に対応
SeedVR2はVideo Restorationを目的に開発されたモデルですが、静止画にも利用できます。
静止画では、入力画像を目的の解像度まで拡大した後、拡大によってぼやけた輪郭や質感をSeedVR2で再構築します。公式のComfyUIサンプルでは、入力画像をbicubicで4倍に拡大し、その画像をSeedVR2へ渡す構成が使われています。
動画では複数のフレームをまとめて処理し、時間方向の情報を利用しながら細部を再構築します。各フレームを独立して処理する方式よりも、顔、衣装、背景などの変化を抑えやすく、動画全体の一貫性を維持しやすい構造です。
長い動画や高解像度の動画は、時間方向に複数のチャンクへ分割して処理できます。ComfyUIのネイティブ実装には、チャンクの分割、前後の重なり、境界部分のブレンドを管理する機能が含まれており、公式の検証では単一チャンクと複数チャンクの両方で動作確認が行われています。
ComfyUIのネイティブ対応で変わったこと
今回の対応では、SeedVR2がComfyUIの正式なモデルファミリーとして追加されました。
ComfyUI本体が3Bと7Bのモデル構成を識別し、SeedVR2専用の16チャンネルLatent、Conditioning、データ型、Attention、VAEを自動的に割り当てます。モデルを読み込めるようになっただけでなく、推論に必要な内部処理までComfyUI Coreへ統合されています。
SeedVR2用VAEには、画像と動画を扱うCausal 3D VAEが実装されています。高解像度の入力を分割するタイルエンコードとタイルデコード、動画の時間方向を処理するメモリ状態の管理も含まれています。
ComfyUI 0.28では、SeedVR2用として5つの標準ノードが追加されています。
- Pre-Process SeedVR2 Input
リサイズ済みの画像や動画をSeedVR2で処理できる形式に整える前処理ノード。 - Apply SeedVR2 Conditioning
VAEでエンコードしたLatentから、SeedVR2のサンプリングに必要なPositive／Negative Conditioningを作成するノード。 - Split SeedVR2 Latent
長い動画のLatentを、時間方向に重なりを持たせながら複数のチャンクへ分割するノード。 - Merge SeedVR2 Latents
分割して処理したLatentをクロスフェードしながら結合し、1本の動画Latentへ戻すノード。 - Post-Process SeedVR2 Output
生成結果を入力画像や動画のサイズに合わせ、必要に応じて色補正を適用する後処理ノード。
SeedVR2は画像を直接4倍にするモデルではない
公式の画像ワークフローでは、最初にImageScaleByノードを使って画像を4倍へ拡大しています。
SeedVR2が担当するのは、その拡大画像に残るぼけや圧縮劣化を修復し、失われた細部を再構築する工程です。処理の流れは「解像度を拡大してから高画質化する」という構成になります。
たとえば、512×512ピクセルの画像を4倍にする場合は、先に2048×2048ピクセルへリサイズし、その解像度でSeedVR2の修復処理を実行します。出力解像度を上げるほどVAEとモデルが処理するデータ量も増えるため、倍率だけでなく最終的なピクセル数も処理負荷へ大きく影響します。
ComfyUI公式のアップスケールガイドでは、SeedVR2へ渡す前に画像を約0.35メガピクセルまで縮小すると結果が改善する場合があると案内しています。元画像が高解像度でも、一度適切なサイズまで縮小してから目的の解像度へ拡大し、SeedVR2で再構築する使い方です。
ワークフローの基本設定
SeedVR2のネイティブ対応を実装した、ComfyUI公式GitHubのページで公開されている画像用サンプルワークフローで、KSamplerの設定は、stepsが1、CFGが1、samplerがEuler、schedulerがSimple、denoiseが1です。通常の画像生成モデルのように20ステップや30ステップを設定する構成ではなく、SeedVR2の1ステップ推論をそのまま利用します。
VAE Encode TiledとVAE Decode Tiledも使用されており、公式サンプルではtile sizeが512、overlapが128に設定されています。高解像度の画像を複数のタイルへ分割して処理することで、一度に扱うデータ量を抑えています。
最後のSeedVR2PostProcessingでは、LAB方式の色補正が選択されています。SeedVR2で再構築した画像の色が入力から変化した場合に、元画像の色分布へ近づける処理です。
ネイティブ実装にはLABのほか、WaveletとAdaINを利用したカラートランスファーも含まれています。入力画像や映像によって色の変化が気になる場合は、PostProcessingの方式を切り替えて比較できます。
3B・7B・7B Sharpの違い
Comfy-OrgのHugging Faceでは、SeedVR2を3種類に分けて配布しています。
| モデル | 特徴 |
|---|---|
| SeedVR2 3B | 比較的軽く、処理速度とメモリ使用量を抑えやすい |
| SeedVR2 7B | 3Bより規模が大きく、細部の再構築を重視 |
| SeedVR2 7B Sharp | 輪郭や質感を強めに出す7Bの派生版 |
3Bと7BはByteDance Seedが公開している公式モデルを基にしています。7B Sharpは、ComfyUI用モデルの配布ページで7Bとは別の選択肢として用意されています。
3Bは、動画や高解像度画像を比較的軽い構成で処理したい場合に使いやすいモデルです。7Bは計算量が増える代わりに、顔や細かなテクスチャの再構築で3Bより豊かな結果を狙えます。
7B Sharpは細部と輪郭を強調する方向のモデルで、低品質な入力では分かりやすい改善を得やすい反面、元から鮮明な映像ではシャープさが強く出る場合があります。入力の状態に応じて7Bと7B Sharpを使い分ける形が合います。
FP16・FP8・INT8など複数の形式を配布
Comfy-Orgからは、各モデルについて複数のデータ形式が公開されています。
| モデル | FP16 | FP8 | INT8 ConvRot | MXFP8 | NVFP4 |
|---|---|---|---|---|---|
| 3B | 6.78GB | 3.39GB | 3.46GB | 3.56GB | 2.00GB |
| 7B | 16.5GB | 8.24GB | 8.33GB | 8.58GB | 4.76GB |
| 7B Sharp | 16.5GB | 8.24GB | 8.33GB | 8.58GB | 4.76GB |
3B、7B、7B Sharpのそれぞれに上記の形式が用意されています。モデル本体とは別に、共通のSeedVR2用VAEとしてema_vae_fp16.safetensorsを使用します。
FP16は元の精度に近い構成ですが、モデルのファイルサイズとメモリ使用量が大きくなります。FP8、INT8 ConvRot、MXFP8、NVFP4は、モデルを軽くして利用できる環境を広げるための選択肢です。
どの形式が最適かは、利用するGPU、対応している演算、出力品質、処理速度によって変わります。まず3BのFP8やINT8から動作を確認し、画質を重視する場合に7B系を試す流れが分かりやすいでしょう。
7B Sharpは、通常の7Bより輪郭や細部を強めに出す別チェックポイントです。入力によってはシャープさやノイズが強く出るため、通常版と同じ素材で比較して使い分けます。
モデル本体はUNET Loader、VAEはVAE Loaderから選択します。Comfy-Org版はConditioningがモデルファイルへ組み込まれているため、別のテキストエンコーダーやConditioningモデルを用意せずに読み込めます。
動画での使い方
動画ワークフローでは、Load Videoで読み込んだ映像から画像、音声、フレームレートを分離し、フレーム画像を拡大してSeedVR2へ渡します。
処理後のフレームは元のフレームレートと音声を使って動画へ戻します。画質改善の処理は映像フレームに対して行われ、音声は元動画からそのまま引き継ぐ構成です。
長い動画ではSeedVR2TemporalChunkやProgressive Samplerを利用し、フレームを分割して順番に処理します。チャンク同士を重ねてブレンドすることで、分割位置で画質が急に切り替わる現象を抑えます。
動画の処理時間とメモリ使用量は、解像度、フレーム数、使用モデル、データ形式、チャンクサイズによって大きく変わります。最初は短い動画で画質と処理時間を確認し、設定を固めてから長い動画へ適用する方法が安全です。
SeedVR2が得意な素材
SeedVR2は、圧縮や低解像度化によって細部が失われた素材の修復に向いています。
- 低解像度の実写動画
- 圧縮ノイズが目立つ動画
- 古い映像やアーカイブ素材
- 低解像度で生成したAI動画
- ぼけた人物画像
- 小さく生成したAI画像
- CGIや3Dレンダリング
ComfyUI公式の動画アップスケールガイドでは、SeedVR2を元の構造や時間的一貫性を維持しやすい保守的なモデルとして紹介しています。実写、アーカイブ映像、CGIなど、元映像の内容を大きく変えずに鮮明化したい用途に適しています。
過剰なディテール生成に注意
SeedVR2は強い生成能力を持つため、入力の状態によっては元画像に存在しない細部を描き加えます。
公式は、劣化が非常に強い素材や動きが大きい動画では、ノイズを取り切れなかったり、不自然な細部が生成されたりする場合があると説明しています。比較的きれいな720pのAI動画に適用すると、細部を作りすぎてオーバーシャープになるケースも報告されています。
小さな解像度の映像ではシャープさが強く出やすいため、7B Sharpを選ぶ前に3Bや標準7Bの結果も確認した方がよいでしょう。PostProcessingの色補正を使っても、形状や質感の変化までは元に戻らないため、人物の顔や商品の形を厳密に維持したい素材では拡大表示での確認が重要です。
従来のカスタムノード版との関係
SeedVR2のネイティブ対応によって、標準的な画像・動画の修復はComfyUI本体のノードだけで構築できるようになりました。
カスタムノードの追加や専用の依存パッケージを減らせるため、導入手順が簡単になり、ComfyUI本体のモデル管理やVAEタイル処理も利用できます。
従来のカスタムノード版には、GGUF、BlockSwap、マルチGPU、torch.compile、細かなデバイス指定など、ネイティブ版とは異なる機能があります。低VRAM環境向けの細かな調整や特殊な構成を使う場合は、カスタムノード版も引き続き選択肢に入ります。
商用利用について
SeedVR2のコードとモデルはApache License 2.0で公開されています。
Apache 2.0は商用利用、改変、再配布に対応したオープンソースライセンスです。再配布や製品への組み込みを行う場合は、ライセンス表示やNOTICEなどApache 2.0の条件を確認する必要があります。
まとめ
SeedVR2は、低解像度化や圧縮によって失われた画像・動画の細部を、1ステップのDiffusion処理で再構築する修復モデルです。
ComfyUI 0.28のネイティブ対応では、モデル検出、専用Latent、Conditioning、Causal 3D VAE、タイル処理、動画のチャンク処理、色補正までComfyUI本体へ統合されました。Comfy-Orgからは3B、7B、7B Sharpに加えて複数の量子化形式も公開されており、用途や環境に合わせてモデルを選択できます。
画像では目的の解像度へ拡大した後の細部修復、動画ではフレーム間の一貫性を維持した高画質化に利用できます。入力の劣化が軽い場合はディテールを作りすぎる傾向もあるため、モデルの種類や出力解像度を変えながら結果を確認する使い方が適しています。
