“字节X-Portrait 2:单图变表情,视频创作助手新升级”
近日,字节跳动智能创作团队推出了革命性的单图视频驱动技术——X-Portrait 2。这一创新技术打破了传统动画制作的壁垒,仅需一张静态照片和一段驱动视频,即可生成高质量、堪比电影级别的视频内容。
X-Portrait 2不仅在保留原图身份标识的基础上,还能捕捉并精准迁移从细微到夸张的表情和情绪,极大地简化了动作捕捉、角色动画及内容创作流程。与传统方法不同,X-Portrait 2并非依赖人脸关键点检测,而是构建了一个独特的表情编码器模型。通过端到端自监督训练框架,该模型能够从大量人像视频中自主学习与ID无关的运动隐式表征。
进一步地,将此编码器与强大的生成式扩散模型相结合,X-Portrait 2能够生成流畅且极具表现力的视频。经过在大量高质量表情视频上的训练,该技术在运动表现力和ID保持性方面均显著超越了先前技术。
据悉,X-Portrait 2的研发成果已对外公开,有兴趣的用户可通过以下项目地址获取更多信息:https://byteaigc.github.io/X-Portrait2/。这一创新技术的问世,无疑将为视频内容创作领域带来颠覆性的变革。