Ilya：下一个token瞻望直达AGI！智源首发原生多模态全国模子Emu3

剪辑：剪辑部 HYZ

【新智元导读】最近，Ilya向黄仁勋刻画「惟一能瞻望下一个token，就能达到AGI」的视频再次爆火全网，他的预言刚刚竟被阐明？智源策划院基于下一个token瞻望，发布了原生多模态全国模子Emu3，无需扩散即可雄厚生成三种模态数据！

天然，下一token瞻望已在大言语模子范围已矣了ChatGPT等打破，关联词在多模态模子中的适用性仍不解确，多模态任务仍然由扩散模子（如Stable Diffusion）和组合步调（如联结CLIP视觉编码器和LLM）所主导。

2024年10月21日，智源策划院淡雅发布原生多模态全国模子Emu3。该模子只基于下一个token瞻望，无需扩散模子或组合步调，即可完成文本、图像、视频三种模态数据的雄厚和生成。

Emu3在图像生成、视频生成、视觉言语雄厚等任务中跳动了SDXL、LLaVA、OpenSora等闻明开源模子，关联词无需扩散模子、CLIP视觉编码器、预推行的LLM等本领，只需要瞻望下一个token。

在图像生成任务中，基于东谈主类偏好评测，Emu3优于SD-1.5与SDXL模子。在视觉言语理罢黜务中，关于12项基准测试的平均得分，Emu3优于LlaVA-1.6。在视频生成任务中，关于VBench基准测试得分，Emu3优于OpenSora 1.2

Emu3提供了一个刚劲的视觉tokenizer，不详将视频和图像调理为唠叨token。这些视觉唠叨token可以与文本tokenizer输出的唠叨token通盘送入模子中。

与此同期，该模子输出的唠叨token可以被调理为文本、图像和视频，为Any-to-Any的任务提供了愈加长入的策划范式。而在此前，社区空乏这么的本领和模子。

此外，受益于Emu3下一个token瞻望框架的机动性，径直偏好优化（DPO）可无缝应用于自回来视觉生成，使模子与东谈主类偏好保捏一致。

Emu3策划戒指解释，下一个token瞻望可以当作多模态模子的一个刚劲范式，已矣突出言语自己的大范围多模态学习，并在多模态任务中已矣先进的性能。

通过将复杂的多模态遐想敛迹到token自己，能在大范围推行和推理中开释宏大的后劲。

下一个token瞻望为构建多模态AGI提供了一条出路遍及的谈路。

现时Emu3生成和雄厚一体的预推行模子以及相应的SFT推行代码，已王人备开源。

代码：https://github.com/baaivision/Emu3

表情页面：https://emu.baai.ac.cn/

模子：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f

Emu3依然上线便在外交媒体和本领社区引起了热议。

有网友指出，「这是几个月以来最蹙迫的策划，咱们现时绝顶接近领有一个处分所罕有据模态的单一架构。」

「Emu3是一种绝顶新颖的步调（至少在我看来是这么），它有契机将多模态团结为一，只需将它们都视为token即可。天然还处于初期，但演示遵守很可以。思象一下，咱们可以无穷彭胀视频和生成多种模态。」

以至有网友评价：「也许咱们会获取一个着实绽开的OpenAI v2？」

关于Emu3的意旨和影响，有批驳指出：「Emu3将透澈转换多模态AI范围，提供无与伦比的性能和机动性。」

「Emu3在五行八作的无为适用性和开源机动性将为建设者和企业解锁东谈主工智能改进智商的契机。」

「关于策划东谈主员来说，Emu3意味着出现了一个新的契机，可以通过长入的架构探索多模态，无需将复杂的扩散模子与大言语模子相联结。这种步调肖似于transformer在视觉有关任务中的变革性影响。」

「Emu3的长入步调将带来更高效、更多功能的AI系统，简化多模态AI的建设和应用以及本体生成、分析和雄厚的新可能性。」

「Emu3改写了多模态东谈主工智能的规章...Emu3再行界说了多模态AI，展示了通俗可以投降复杂。多模态AI的改日变得愈加纯粹与刚劲。」

遵守展示

1. 视觉雄厚

Emu3 展现了刚劲的图像及视频的感知智商，不详雄厚物理全国并提供连贯的文本恢复。值得精深的是，这种智商是在不依赖于基础LLM模子和CLIP的情况下已矣的。

1.1 图像输入

用户问题：Describe the landmark.

模子回答：The image showcases the Brooklyn Bridge, a prominent suspension bridge in New York City, recognized by its distinctive towers and the web of cables that support it. This iconic structure connects the boroughs of Brooklyn and Manhattan.

用户问题：Please describe the image in detail.

模子回答：The image is the cover of a magazine titled "Parktakes," which is the Fall 2017 issue. The cover features two individuals in a white kayak, paddling on a body of water. The kayak is positioned diagonally, with the two individuals seated towards the front. Both individuals are wearing life jackets, which are red with black straps, and they are holding paddles with orange blades. The person on the left is a woman with long dark hair, wearing sunglasses and a black top. The person on the right is a man with short hair, wearing a green shirt and a light-colored cap. They both appear to be smiling and enjoying their time on the water.

The background shows a natural setting with trees and greenery, indicating that they are likely in a park or natural reserve. The water is calm, and the sky is not visible, suggesting a serene and peaceful environment.

The magazine cover includes several text elements:

1. **Title**: "Parktakes" is prominently displayed at the top in large, bold, blue letters.

2. **Fall 2017 Issue**: The issue is marked in the top right corner in a smaller, white font.

3. **Main Feature**: "Enjoy Fall Adventures in Parks" is written in a large, bold, orange font, emphasizing the theme of outdoor activities.

4. **Additional Features**: The cover lists several topics covered in the magazine:

- "Birding, Boating, and Hiking"

- "Seasonal Festivals"

- "New Attractions"

5. **Registration Information**: At the bottom, there is a call to action to "Registration begins Aug. 1 for full classes" and a website link: "www.fairfaxcounty.gov/parks."

Analysis and Description

The cover of "Parktakes" effectively conveys the theme of outdoor recreational activities, particularly in parks. The image of the two individuals in a kayak suggests that the magazine features content related to kayaking, canoeing, and other water sports. The inclusion of life jackets indicates a focus on safety and preparedness for water activities. The mention of seasonal festivals and new attractions implies that the magazine includes information on various events and attractions within the parks.

The cover also highlights the magazine's commitment to providing a comprehensive guide to outdoor activities, with a clear emphasis on safety and accessibility. The registration information suggests that the magazine is a resource for planning and participating in various outdoor activities, likely targeting a wide audience interested in parks and recreational activities.

In summary, the magazine cover is designed to attract readers interested in outdoor adventures, safety, and seasonal events within parks. The use of a kayak and life jackets emphasizes the magazine's focus on water sports and safety, while the inclusion of various features and registration information suggests a well-rounded resource for park visitors.

1.2 视频输入

用户问题：What is the man doing in the video?

模子回答：The man in the video appears to be performing a fire dance, a form of entertainment where a person uses fire to create dynamic and visually appealing movements. The sparklers he holds produce a mesmerizing display of light and shadows, capturing the intensity of his performance.

2. 图像生成

Emu3通过瞻望下一个视觉token来生成高质料的图像。该模子天然复旧机动的区分率和不同作风。

3. 视频生成

与使用视频扩散模子以从噪声生成视频的Sora不同，Emu3仅仅通过瞻望序列中的下一个token来因果性的生成视频。

4. 视频瞻望

在视频的高下文中，Emu3可以天然地彭胀视频并瞻望接下来会发生什么。模子可以模拟物理全国中环境、东谈主和动物。

Emu3本领细节

1. 数据

Emu3是在言语、图像和视频羼杂数据模态上从新驱动推行的。

言语数据：使用与Aquila模子疏浚的言语数据，一个由中英文数据构成的高质料语料库。

图像数据：构建了一个大型图像文本数据集，其中包括开源聚集数据、AI生成的数据和高质料的里面数据。扫数数据集经过了区分率、图片质料、类型等方面的过滤过程。推行了一个基于Emu2的图像刻画模子来对过滤后的数据进行标注以构建密集的图像刻画，并驾御vLLM库来加快标注过程。

视频数据：采集的视频涵盖风光、动物、植物和游戏等多个类别。

扫数视频处分经过包括了场景切分、文本过滤、光流过滤、质料评分等阶段。并使用基于图像刻画模子微调获取的视频刻画模子来对以上过滤后的视频片断打标文本刻画。

2. 长入视觉Tokenizer

在SBER-MoVQGAN的基础上推行视觉tokenizer，它可以将4 × 512 × 512的视频片断或512 × 512的图像编码成4096个唠叨token。它的词表大小为32,768。Emu3的tokenizer在时期维度上已矣了4×压缩，在空间维度上已矣了8×8压缩，适用于任何时期和空间区分率。

此外，基于MoVQGAN架构，在编码器息争码器模块中加入了两个具有三维卷积核的时期残差层，以增强视频token化智商。

3. 架构

Emu3保留了主流大言语模子（即Llama-2）的聚集架构。不同点在于，其彭胀了Llama-2架构中的镶嵌层，以容纳唠叨的视觉token。聚蚁集使用RMSNorm进行归一化。

同期，使用了GQA精深力机制、SwiGLU激活函数和一维旋转位置编码（RoPE）等本领，并去除了精深力模块中QKV层和线性投影层中的偏置。

此外，还接受了0.1的dropout率来升迁推行的褂讪性，使用QwenTokenizer对多言语文本进行编码。详备架构建立表。

4. 预推行

在预推行过程中，率先要界说多模态数据模样。

与依赖外部文本编码器的扩散模子不同，Emu3 原生集成了用于生成图像/视频的文本条目信息。在视觉和言语的固有token中新增了五个颠倒token来团结文本和视觉数据，觉得推行过程创建肖似文档的输入。

生成的推行数据结构如下：

[BOS] {caption text} [SOV] {meta text} [SOT] {vision tokens} [EOV] [EOS]

其中，[BOS]和[EOS]是QwenTokenizer中的原始颠倒token。非常新增的颠倒token包括：[SOV]示意视觉输入（包含图像和视频的meta信息部分）的驱动，[SOT]示意视觉token的驱动，[EOV]示意视觉输入的收尾。

此外，颠倒token [EOL]和[EOF]当作换行符和换帧符插入到了视觉token中。元文本包含图像的区分率信息，视频则包括区分率、帧率和捏续时期，均以纯文本模样呈现。在构建雄厚数据时，Emu3将部分数据中的「caption text」字段移至[EOV] token之后。

推行筹划：由于Emu3中的视觉信号已王人备调理为唠叨token，因此只需使用法度的交叉熵亏蚀进行下一个token瞻望任务的推行。为了介怀视觉token在学习过程中占据主导地位，对与视觉token有关的亏蚀加权0.5。

推行细节：Emu3模子在预推行时间驾御绝顶长的高下文长度来处分视频数据。为便于推行，接受了张量并行（TP）、高下文并行（CP）和数据并行（DP）相联结的步调。同期将文本和图像数据打包成最大高下文长度，以充分驾御筹备资源，同期需要确保在打包过程中不会分割完满的图像。

预推行过程分为两个阶段，第一阶段不使用视频数据，推行从零驱动，文本和图像数据的高下文长度为5,120；在第二阶段，引入视频数据，并使用131,072的高下文长度。

5. SFT阶段

5.1 视觉生成

质料微调：在预推行阶段之后，对视觉生成任务进行后推行，以升迁生成输出的质料。使用高质料数据进行质料微调。

径直偏好优化：Emu3在自回来多模态生成任务中接受径直偏好优化（Direct Preference Optimization，DPO）本领，驾御东谈主类偏好数据来升迁模子性能。

5.2 视觉言语雄厚

预推行模子经过两个阶段的视觉言语雄厚后推行过程：（1）图像到文本的推行以及（2）教导调理。

第一阶段：将图像雄厚数据与纯言语数据整合在通盘，而与视觉token有关的亏蚀则在纯文本瞻望中被忽略。

第二阶段：驾御LLaVA数据鸠合的约320万个问答对进行教导微调。低于512 × 512或高于1024 × 1024的图片将被调理到较低或较高的区分率，同期保捏相应的长宽比，而其他图片则保捏原始区分率。

改日场所

Emu3为多模态AI指出了一条裕如思象力的场所，有契机将AI基础步调敛迹到单一本清爽线上，为大范围的多模态推行和推理提供基础。

长入的多模态全国模子改日有无为的潜在应用，包括自动驾驶、机器东谈主大脑、智能眼镜助手、多模态对话和推理等。

瞻望下一个token有可能通往AGI。

参考尊府：

代码：https://github.com/baaivision/Emu3

表情页面：https://emu.baai.ac.cn/

模子：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f