现在想把静态照片变成会说话的动态视频，是不是觉得特别酷？腾讯开源的 AniPortrait 框架就能帮你实现这个创意。这个框架到底有多厉害？它能让照片里的人开口说话、做出各种表情，甚至还能根据音频调整动作。
AniPortrait 有两个核心模块，Audio2Lmk 和 Lmk2Video。Audio2Lmk 负责把音频转换成面部关键点序列，Lmk2Video 则根据这些关键点生成视频。简单来说，就是先分析音频里的语音和语调，然后把这些信息转化为面部动作，最后生成动态视频。
使用 AniPortrait 的第一步是安装和配置环境。你需要先克隆项目仓库，然后安装 Python 依赖。具体的命令是：
bash
git clone https://github.com/Zejun-Yang/AniPortrait.git
cd AniPortrait
pip install -r requirements.txt
接下来，你需要下载预训练模型，包括 StableDiffusion V1.5、sd-vae-ft-mse 等。这些模型会帮助你生成高质量的视频。
安装完成后，你就可以开始生成视频了。比如，你可以用以下命令生成一个音频驱动的视频：
bash
python -m scripts.audio2vid --config ./configs/prompts/animation_audio.yaml -W -H -acc
这里的 - W 和 - H 参数是设置视频的宽度和高度，-acc 参数可以加速生成过程。
AniPortrait 生成的视频质量非常高，人物的面部表情和口型都能和音频完美同步。比如，你输入一段演讲音频，生成的视频里的人会像真人一样说话，面部表情也会随着演讲内容变化。
AniPortrait 的应用场景非常广泛。在影视制作中，它可以把演员的照片变成动态替身，用于危险场景的拍摄。在游戏开发中，它可以快速生成 NPC 的对话动画，降低动作捕捉成本。在教育领域，它可以把教材中的人物插图变成动态讲解视频，提升学习趣味性。
不过，AniPortrait 也有一些小缺点。比如，生成的视频可能会有轻微的闪烁，这是扩散模型的通病。不过，你可以用 FFmpeg 的时域中值滤波器来减少闪烁：
bash
ffmpeg.exe -i input.mp4 -filter:v "tmedian=3" output.mp4
总的来说，AniPortrait 是一个非常强大的 AI 框架，它能让静态照片变成动态视频，满足各种创意需求。无论是专业开发者还是普通用户，都能通过 AniPortrait 释放创造力。如果你也想试试，不妨从克隆仓库开始吧！
该文章由dudu123.com嘟嘟 ai 导航整理，嘟嘟 AI 导航汇集全网优质网址资源和最新优质 AI 工具。
