AniPortrait 面部重演 + 头部控制：虚拟主播动态肖像动画制作全攻略

?️ 一、环境搭建：工欲善其事，必先利其器

1. 克隆项目：在终端输入git clone https://github.com/Zejun-Yang/AniPortrait.git，将项目下载到本地。
2. 安装依赖：进入项目目录，执行pip install -r requirements.txt，安装 Python 依赖库。
3. 下载权重：从官方指定链接下载预训练权重，解压后放入./pretrained_weights目录。注意检查文件结构是否完整，包括denoising_unet.pth、reference_unet.pth等核心文件。
4. 配置路径：打开configs/prompts/animation.yaml，修改reference_image_path和audio_path为本地文件路径。

?️ 二、面部重演：让静态照片开口说话

1. 素材准备：
   • 参考图像：选择高清正面人像照片，分辨率建议 512x512 以上。
   • 音频文件：支持 WAV、MP3 格式，时长控制在 30 秒内。
   
   
2. 参数设置：
   • 打开configs/prompts/animation_audio.yaml，填入音频路径和参考图像路径。
   • 调整--W和--H参数控制输出分辨率，默认 512x512，提升至 768x768 可增强细节但会增加计算时间。
   
   
3. 生成动画：
   在终端执行python -m scripts.audio2vid --config ./configs/prompts/animation_audio.yaml -W 512 -H 512 -acc，-acc参数启用加速模块，生成速度提升 30%。

? 三、头部控制：赋予虚拟主播灵动姿态

1. 语音驱动头部运动：
   • 在animation_audio.yaml中添加--head_pose参数，可选择neutral（中立）、dynamic（动态）等预设模式。
   • 调整--head_pose_scale控制头部运动幅度，数值越大动作越夸张，建议取值 0.5-1.0。
   
   
2. 视频驱动头部轨迹：
   • 准备一段包含头部运动的参考视频，使用python -m scripts.generate_ref_pose --ref_video pose_ref_video.mp4 --save_path ./configs/inference/head_pose_temp/pose.npy生成姿势数据。
   • 在animation_audio.yaml中指定pose_temp_path为生成的.npy文件路径，即可复现参考视频的头部运动轨迹。
   
   

? 四、效率提升：从入门到精通的关键

1. 批量处理：
   • 编写 Python 脚本遍历音频和图像文件夹，自动生成多个动画。示例代码：
     python

     import os  
     for audio_file in os.listdir("audio_folder"):  
         os.system(f"python -m scripts.audio2vid --config animation_audio.yaml --audio_path {audio_file}")  
     
     
     
   
   
2. 多模态融合：
   • 结合 ComfyUI 插件（需手动安装ComfyUI-AniPortrait），可将 AniPortrait 与 Stable Diffusion 等工具串联，实现从文本到动画的全流程生成。
   
   
3. 移动端适配：
   • 使用社区开发的 Android 应用，在手机端实时生成动画，单帧处理时间缩短至 2.3 秒，适合快速测试创意。
   
   

? 五、常见问题与解决方案

1. 口型不自然：
   • 检查音频采样率是否为 44.1kHz，过低会导致口型错位。
   • 在animation_audio.yaml中增加--lip_sync_weight参数，取值 0.8-1.0 增强嘴唇运动细节。
   
   
2. 显存不足：
   • 降低分辨率至 384x384，或启用--fp16半精度模式，显存占用可减少 40%。
   
   
3. 生成失败：
   • 确保所有权重文件路径正确，特别是stable-diffusion-v1-5和sd-vae-ft-mse的位置。
   • 若报错 “CUDA error: device-side assert triggered”，尝试更换参考视频或重新下载权重。
   
   

? 六、未来趋势：AniPortrait 2.0 展望