NVIDIAの研究チームが、動画を最大4Kに高解像度化するモデル「Open-H3-Regenerate-2K」を公開しました。低解像度の動画を3ステップで再生成し、映像の細部を描き直します。ComfyUI向けのカスタムノードも公開されています。

Open-H3-Regenerate-2Kとは
Open-H3-Regenerate-2Kは、NVIDIAの研究チームが公開したMiniMax H3向けの高解像度化モデルです。元動画を拡大した後にノイズを加え、映像を再生成することで細部を描き込みます。
NVIDIAは、Open-H3-Regenerate-2Kのリポジトリで、次のモデルを配布しています。
- 統合LoRA
open_h3_regenerate_2k_lora.safetensors- Open-H3 refiner:映像の細部を描き直す
- LightX2V FL2VA Turbo:生成を高速化
- LMS Sharp:映像の鮮明化
- Sharp curve branches
sharp_curve_branches.safetensors:
LMS Sharpの処理に使う追加データ - 潜在アップスケーラー
minimax_h3_latent_upscaler_3d_conv_v1_bf16.safetensors:
元動画のデータを拡大 - 高速VAE
fast_h3_vae_noncausal_24l.safetensors:
再生成したデータを動画フレームに変換
元動画は、潜在アップスケーラーで映像データを拡大した後、これらを適用したMiniMax H3で再生成し、VAEで動画フレームに変換します。出力解像度は768P、1080P、2K(2560×1440)、4K(3840×2160)に対応します。
ComfyUI向けカスタムノード
Open-H3-Regenerate-2Kに対応したComfyUI向けカスタムノードは複数公開されています。その中から3つだけピックアップしました。
- ComfyUI-Open-H3-Regenerate
NVIDIAの公開モデルを使い、Open H3の処理手順に沿って再生成します。
動画入力、動画生成から2K出力、保存済み潜在データのデコード用ワークフローが付属します。 - ComfyUI-Open-H3-Regenerate-2K
Open H3のLoRA適用や再生成設定を一つのノードに集約しています。
軽量LoRAも用意されています。
READMEにワークフローの掲載はありません。
ComfyUI Managerから検索してインストール可能です。 - ComfyUI-H3-Video-Upsampler
完成済み動画を入力し、Open H3のLoRAで分割しながら再生成します。
低VRAM向けの分割処理があり、動画ファイル入力用と画像入力用のワークフローが付属します。
ComfyUI-Open-H3-Regenerateの導入
今回はワークフローの付属するComfyUI-Open-H3-Regenerateを紹介します。
カスタムノードのインストール
以下の2つのカスタムノードを導入します。ComfyUI Managerの「Install via Git URL」にリポジトリのURLを入力するか、Gitコマンドでインストール
ComfyUI-Open-H3-RegenerateComfyui_Minimax_h3_latent_Upscaler
Gitは、ComfyUI/custom_nodes/で以下を実行
git clone https://github.com/rdh9616/ComfyUI-Open-H3-Regenerate.git
git clone https://github.com/LBH-123-AI/Comfyui_Minimax_h3_latent_Upscaler.git
必要なモデル
Open-H3-Regenerate-2Kのリポジトリで配布されている、以下のファイルをダウンロードして所定のフォルダに配置します。
3D潜在アップスケーラー:再生成前の映像の潜在データを拡大するモデル(691 MB)minimax_h3_latent_upscaler_3d_conv_v1_bf16.safetensors → latent_upscale_models
統合LoRA:再生成に使うLoRA(12.5 GB)open_h3_regenerate_2k_lora.safetensors → loras
Sharp curve branches:統合LoRAに含まれるLMS Sharpの処理に使うファイル(1.24 GB)sharp_curve_branches.safetensors → loras
高速VAE decoder:再生成後の潜在データを動画フレームに変換するモデル(6.47 GB)fast_h3_vae_noncausal_24l.safetensors → vae
ワークフローの選択
ComfyUI-Open-H3-Regenerateのexample_workflowsフォルダから、使うワークフローをComfyUIに読み込みます。
- Open-H3 Regenerate 2K – Draft Video:既存動画を読み込んで再生成
- Open-H3 Regenerate 2K – Prompt to 2K:プロンプトから768P動画を生成し、続けて再生成
- Open-H3 Regenerate 2K – Decode Saved Latent:保存済みの再生成後の潜在データを動画に変換
Draft Videoでは元動画を指定します。Video to H3 Promptは、元動画を画像認識AIに読み込ませ、映像の内容を表すプロンプトを自動生成できます。LM Studioなどで画像を認識できるモデルを起動し、server_urlに接続先を設定します。manual_promptに直接入力した場合は、その文章が使われます。元動画は24 fpsに変換され、指定した入力サイズに合わせて中央でクロップされます。MiniMax H3の768P動画には768p、他のモデルによる動画には576pがワークフローの目安です。
Prompt to 2Kでは、最初の動画生成にLightX2V Turbo 4-step LoRAを別途使用し、6ステップで768P動画を生成します。再生成用の統合LoRAとは別に用意してください。
Decode Saved Latentでは、保存済みの潜在データを読み込んで動画に変換します。初期設定の(newest)では最新のデータを選択します。デコードに失敗した場合も、再生成をやり直さずに動画を出力できます。
初期構成はEuler、CFG 1、3ステップで、統合LoRAの強度は1.0です。動画の再生成後に潜在データがoutput/open_h3_latents/へ保存されるため、デコードでエラーが発生した場合はDecode Saved Latentを使って保存済みデータから再開できます。音声はRefine Latentの設定により、無音または元動画の音声を選びます。
生成してみた
RTX 4070 Ti SUPER VRAM64GB RAM64GB環境での生成。
Prompt to 2K:プロンプトから1376×768のdraftを生成して、2K 2560×1440 へのアップスケール
肌はプラスチック感が薄れリアルになり、指紋や猫の毛並みも精細に描画されましたが、文字や看板は再生成で崩れてしまいました。
ライセンス
Open-H3のrefiner LoRA、高速H3 VAE decoder、ベースモデルはMiniMax H3 Community Licenseの対象です。統合LoRAに含まれる各LoRAや潜在アップスケーラーにはそれぞれのライセンスが適用されます。カスタムノードのコードとモデルの利用条件は別々に確認してください。


