本文依据OpenAI官方发布的Sora技术资料，从模型性能、训练方式及技术原理三方面分析Sora的推出对人工智能领域的重要意义。

通过文字的表现，文章的内容比视频更加简洁，如需更加详细的信息，请观看视频，视频链接：
https://www.bilibili.com/video/BV1Xx4y1y7Ga

一、Sora的定义

在2024年2月16日的凌晨（对应美国时间2月15日），OpenAI发布了一款视频生成模型——Sora，这是一种将文本转化为视频（text-to-video）的模型。

Sora通过分析视频内容，来捕捉现实世界的动态变化，并利用计算机视觉技术进行模拟，从而创造出全新的视觉作品。

那么，Sora究竟是什么呢？

以下是一个提示词示例（Prompt）：

A Chinese Lunar New Year celebration video with Chinese Dragon

中文翻译：

与中国龙庆祝中国新年。

有了这些文字，我们来看看生成的视频效果。

我们能够观察到，无论是舞龙的细节还是人群的真实感，都展现了极为逼真的效果。

当然，Sora的功能远不止于此，它不仅能够生成文本对应的视频，还支持文本+图片、文本+视频、视频+视频等多种创作形式。

二、Sora模型的能力解析

能力一、Sora生成的视频内容遵循真实世界的物理法则

Sora所生成的视频内容是符合现实世界的物理规律的。

这表明Sora不仅学习了视频中的画面，还掌握了视频元素之间的关系以及现实世界的物理法则。

例如：当一个人咬下一口汉堡时，汉堡上会留下清晰的咬痕。

能力二、Sora能够生成一段持续一分钟的高清视频，并且支持不同的时长、比例和分辨率的视频与图像生成。

这对于视频创作者来说，意味着能够根据不同平台的需求来调整视频的尺寸。

能力三、Sora支持文本+图片生成视频

能力四、Sora支持视频连接

Sora能够在两个视频之间实现过渡，使得视频之间的切换流畅无缝。

能力五、Sora支持文本+视频生成新视频

Sora能够通过文本提示，改变原有视频的风格和其中的元素。

能力六、Sora的扩展视频功能

Sora具备延长和扩展原始视频的能力，无论是在视频的前段还是后段。

例如，在案例中提到的三个视频，都是从生成的片段出发，向前拓展而来。

因此，这三段视频的开头各不相同，但它们的结尾却是统一的。

能力七、3D画面的协调性

Sora能生成带有动态摄像机运动的影片。随着摄像机的移动和旋转，人物及场景元素在三维空间中保持一致的运动。

三、Sora模型的训练方法

在官方的技术文档中，有这样一句话：

Sora is a generalist model of visual data

翻译为中文为：

Sora是一个“通用模型”。

然而，训练这样一个通用模型的基本条件之一就是：“大规模的训练数据”。

Sora的训练过程是怎样的呢？

可以分为两个步骤：所有数据均为“我”所使用，帮助AI更好地学习。

1. 所有数据均为“我”所用

Sora采用了ChatGPT之前成功的训练方法：通过利用互联网海量的数据进行训练，从而获得通用模型的能力。

互联网中的大量数据之所以能够被GPT用于训练，是因为在训练之前进行了【数据标记处理】，英文称之为Tokenization。

简单地说，就是将训练的文本内容转换为计算机能够理解的语言。

Sora借鉴了GPT对标记训练数据集的做法，对视频内容进行标记。视频标记被称为视觉补丁（visual patches），其核心作用就是将视频内容标记后，转换为计算机可理解的语言。

那么，如何提高标记的速度和质量呢？

这就引出了以下一项技术。

2. 对训练数据集进行处理，以助力AI更好地学习

Sora在处理数据集时，采用了DALL-E3的Re-Captioning技术。

Re-Caption技术的简单描述是根据输入的图像生成相应的图像描述文本。

这样做的好处是：

AI所学习的不再是抽象的图像元素，而是通过图像与描述的结合，引导AI理解人类图片的思路。

Sora具体运用该技术的步骤如下：

• 首先训练一个captioner model，它的功能是将视频内容转译为文本描述。
• 然后利用该模型逐个处理训练集中所有视频，将其转换为文本内容，并结合相应视频进行训练，从而提升AI的学习效果。

四、Sora模型的技术原理

Sora目前运用的是扩散模型（Diffusion model）与Transformer两种技术架构的结合。

1. 扩散模型：是一种用于生成图像的生成模型。
2. Transformer：是一种深度学习模型，最初用于自然语言处理，可学习文本间的依赖关系，同时也能处理图像和视频任务，如图像分类和视频理解。

让我们重点讨论一下扩散模型

这一技术路线与文生图的Stable diffusion技术路线非常相似。

用一句话概括Sora扩散模型的实现过程：将原视频训练素材进行压缩，以便Sora学习如何还原和生成新的视频。

这个过程包含两个关键步骤：编码（Encoder）和解码（Decoder）。

揭示Sora：人工智能视频生成的未来趋势

Encoder的功能在于对原始视频进行压缩，将其转化为一个低维度的表示。经过这样的处理后，视频将充满噪声，而Sora则致力于学习这些压缩后形成的数据。

2）Decoder

Decoder的任务是将压缩后的视频进行还原或重建，使其恢复到高清晰度的像素空间。

那么，为什么Sora不直接使用原始视频进行训练呢？

让我们通过一个例子来说明。

经过Encoder编码的原始视频，其文件大小大幅缩减，因此，数据量越小，所需的计算资源也随之减少，从而允许训练更多的数据样本。

五、总结

Sora的研发建立在对DALL·E、GPT和扩散模型研究的基础之上，因此其技术的突破并非偶然，而是多项技术协同作用的结果。

Sora的诞生对人工智能未来发展意味着什么呢？

在Sora的官方技术文档中，有两句话让我印象深刻：

We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction

翻译为中文是：

我们正在教AI理解和模拟运动中的物理世界，目标是训练模型来帮助人们解决现实世界中的交互问题。

OpenAI最终的目标并非只是一个“文本生成视频”的工具，而是一个通用的“物理世界模拟器”。

Sora的实现只是证明了这一方向的可行性，成为了一个重要的里程碑。

从短期来看，Sora的出现将提升创作者和影视行业从业者的工作效率；而从长期来看，人工智能将更全面地理解人类生活中的现实世界，AGI通用人工智能的到来正在加速。

希望这篇文章对你有所启发～

声明：文中视频内容均来自Sora生成

来源于OpenAI官方技术报告

Sora官方技术报告地址：
https://openai.com/research/video-generation-models-as-world-simulators

作者：在野在也，公众号：在野在也

本文由 @在野在也 原创发布于人人都是产品经理。未经作者许可，禁止转载。

题图来自Sora官网演示视频截图

该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。