23年12月，腾讯、新加坡国立大学联合发布DynVideo-E: Harnessing Dynamic NeRF for Large-Scale Motion- and View-Change Human-Centric Video Editing。
DynVideo-E框架首次引入动态NeRF作为视频表示，通过人体姿态引导将视频信息聚合到3D背景空间和3D动态人体空间中，进而能对大规模运动、视图变化和以人为中心的视频进行编辑。同时为了提高编辑后的三维动态人体空间的一致性和动画性，模型还提出了一组有效的设计和训练策略：利用二维和三维扩散先验、多视角多位姿分数蒸馏采样SDS，重建损失、文本引导局部超分辨率，以及各种人体和相机姿态配置。DynVideo-E使用HOSNeRF作为backbone模型，可以为动态场景实现360°自由视点、高保真、高时间一致的可控视频合成，在HOSNeRF和NeuMan数据集上性能明显优于 SOTA 方法。
本文借鉴了先前众多模型的工作成果，在训练和推理阶段直接拿来用，方便但是复杂。