OpenAlchemy の動画がさらに広がりました ── Wan 2.2、リップシンク、音声を渡せる H3

10 日前に MiniMax H3 で動画生成を始めました。それから同じ /v1/videos API に動画モデルが 4 つ加わり（すべて Grid のコンピュート上で動作）、H3 自身も音声を受け取れるようになりました。動くショット、タイミングを合わせて話す・歌うキャラクター、選んだ声 ── 短編に必要なものがそろいます。

新しいモデル

Wan 2.2 音声駆動動画（wan2.2-s2v）── キーフレームと音声。キャラクターが音声に口を合わせ、音声に合わせて動きます。長さは音声の長さそのままです。歌うミュージックビデオや、キャラクターが自分の声でセリフを話すシーンを支えています。

Wan 2.2 画像から動画（wan2.2-i2v）── キーフレームとプロンプトで 2〜10 秒・16 fps。最初の数ステップは高速化 LoRA を使わずに動きを組み立てるので、「走る」と書けば本当に走り、スローモーションのようにはなりません。

Wan 2.2 Animate（wan2.2-animate）── キーフレームと動きの元になる動画。キーフレームのキャラクターが、その動画の動きを演じます。

LatentSync 1.6（latentsync-1.6）── 完成したクリップと新しい音声を渡すと、口の動きを新しいセリフに合わせ直します。別の言語への吹き替えに便利です。

MiniMax H3 が音声を受け取れるように

ref のクリップには声を <Audio 1> として渡せ、キャラクターがその声でセリフを話します。t2v / i2v のクリップには音声をサウンドトラックとして渡せ、最初のフレームから合わせます。画像から動画では、キーフレームがそのまま最初のフレームになるので、キャラクター・服・場所は描いたとおりです。

# An image-to-video shot that says a line you recorded:
# the keyframe is the first frame, the audio is the soundtrack.
curl https://api.openalchemy.io/v1/videos \
  -H "Authorization: Bearer $OPENALCHEMY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"minimax-h3","mode":"i2v","duration":5,
       "first_frame_url":"https://.../keyframe.jpg",
       "audio_url":"https://.../line.wav",
       "prompt":"One continuous take from the first frame. She looks up and says the line."}'

# Lip-sync from a keyframe and a voice track (Wan 2.2 S2V):
curl https://api.openalchemy.io/v1/videos \
  -H "Authorization: Bearer $OPENALCHEMY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"wan2.2-s2v","first_frame_url":"https://.../keyframe.jpg",
       "audio_url":"https://.../line.wav","prompt":"She sings, smiling."}'

これまでどおりジョブは非同期です。GET /v1/videos/{id} をポーリングし、/content からダウンロードします。課金は出力 1 秒単位で、レンダリング中は見積額を確保し、失敗すれば返金されます。コードなしで試すなら Grid Playground → Video へ。

GPU プロバイダーの方へ

Engine Desktop 0.6.25 でこれらのモデルがすべて使えるようになり、音声合成エンジンはインスタンスが応答しなくなっても自動で復旧するようになりました。インストール済みの環境は自動で更新されます。新しく始める方は ダウンロードページ からどうぞ。