文本生成视频
文本生成视频是一类根据文字描述(提示词)生成视频片段的生成式 AI。模型会生成符合所描述场景、风格和动作的画面,许多工具也支持以图片为起点生成视频(图生视频)。它常用于营销、社交媒体内容、原型制作和分镜脚本。
大多数文本生成视频系统把扩散模型从图像扩展到视频,生成一系列必须在时间上保持连贯的画面。《Video Diffusion Models》(Ho 等人,2022 年)和《Make-A-Video》(Singer 等人,2022 年)等研究奠定了早期方法。这类工具通常生成短片段,并提供画幅比例、镜头运动、风格等控制选项,有些还能生成音频。
为什么重要:视频制作成本高,文本生成视频工具能降低草稿、广告和社交媒体内容的制作成本。各工具在片段时长、分辨率、动作质量、镜头间角色一致性、编辑控制、按点数计费方式和商用权利上各不相同。请根据厂商文档,以及与你用途相符的样例输出进行比较。
举例:营销人员输入“日出时分沿海城市的缓慢航拍镜头,暖色光线”,得到几段短视频,从中挑选一段作为活动开场。
局限:生成的视频可能出现违背物理规律的错误、手部或文字变形,以及物体前后不一致。片段通常较短且消耗点数较多;逼真的画面还涉及当事人同意、肖像权和披露义务等问题。
相关术语
循序渐进地学
来源
- Video Diffusion Models. Ho et al., arXiv, 2022年4月
- Make-A-Video: Text-to-Video Generation without Text-Video Data. Singer et al., arXiv, 2022年9月
主题: 选择 AI 工具
最后更新