学习系列课M5 · M5 · 第 14 讲

视频、音频与数字人 · M5 · 第 14 讲

图生视频与镜头控制

给模型一个明确的运动范围

本模块 0 / 23 讲

开场:图片很稳,一动就崩

你很满意的一张图,丢进视频模型,人物开始融化、背景开始漂移、镜头乱转。你加了一句“电影感”,情况更糟。

图生视频的关键不是描述得多美,而是给模型一个明确的运动范围。

本课目标

一、首帧决定上限

图生视频的第一帧,几乎决定了:

所以先做一张“可动”的首帧:主体完整、姿态自然、留有运动空间。特写和大动态不要放在同一镜。

二、运动描述四要素

主体动作 + 镜头运动 + 速度/节奏 + 环境变化

示例:

女孩缓慢抬头看向镜头,镜头轻微推近,雨滴从屋檐落下,节奏由慢到快,5 秒。

不要写“她想起往事”这类心理描述,模型无法执行。

三、运镜词表

本讲第 1 张表:三、运镜词表
运镜 效果 适合
固定 稳,突出动作 人物表演、产品展示
推近 聚焦情绪 特写、转折
拉远 交代环境 结尾、开场
横移 展示空间 场景、陈列
跟随 增强代入 行走、奔跑
环绕 立体感 产品、角色

一条镜头只用一个主要运镜。叠加两个,模型会打架。

四、时长与节奏

“先短后长”:先用 3 秒验证动作,再延长或拼接。

五、三类崩坏与对策

本讲第 2 张表:五、三类崩坏与对策
崩坏 原因 对策
脸变 运动幅度大、分辨率低 减小动作、加人脸参考
手变 手部特写 + 运动 避开特写、藏手
背景漂 镜头运动过大 固定镜头、简化背景
闪烁 帧间不一致 降低运动幅度、换模型
变形 首帧本身结构差 重做首帧,不要硬生成

六、生成流程

  1. 定首帧(图生图或文生图);
  2. 写一条 3 秒运动描述;
  3. 生成 2–3 个版本,选最稳的;
  4. 稳定后再延长或做同场景其他镜头;
  5. 全部镜头统一色调后再剪辑。

顺序反了,就会在崩坏的素材上反复修补。

七、30 分钟练习

  1. 选一张自己的图作首帧(5 分钟);
  2. 写“固定镜头 + 一个动作”的 3 秒描述(5 分钟);
  3. 生成 3 个版本,记录崩坏点(10 分钟);
  4. 改成“推近 + 同一动作”,再生成 1 个版本(10 分钟)。

八、检查清单

九、延伸阅读


下一讲:配音、字幕与剪辑交付。你会把零散镜头变成一条能发出去的片子。