Open AI发布首款文生视频模型Sora

Open AI发布首款文生视频模型Sora

从目前官网公布案例看,【稳定性、一致性、连贯性】均突破!对此前Runway Gen 2、Pika等AI视频工具碾压。

1)视频时长最长达到#1分钟,案例中连贯视频普遍也在10s以上,此前连贯视频在4s左右。

2)实现多镜头切换,且保持角色和视觉风格#一致性,此前视频都是单镜头。

3)创造的角色表达情感更加丰富,可以同时绘制多个角色,背景和动作更加#精确。

#技术特征。根据官网,Sora通过让模型能够预见多帧内容,团队成功克服了确保视频中的主体即便暂时消失也能保持一致性的难题。

尽管技术细节尚未公布,但可以明确sora将视频切分为小的patches,相当于GPT中的一个token,充分使用扩散transformer,覆盖了不同的持续时间、分辨率和纵横比。

#连贯视频生成一旦超过15s (单个电影镜头、游戏分镜长度,也是网页贴片广告长度),商业价值剧增。若后续实测效果达到Open AI官网水平,对电影、游戏、营销等行业都有巨大影响。

目前Sora暂时公开试用,今日可能披露技术文档。https://openai.com/research/video-generation-models-as-world-simulators

发表回复