? 北京智源 AI 研究院悟道大模型升级！多模态融合技术亮点揭秘
最近，北京智源 AI 研究院的 “悟道 3.0” 大模型升级引发了 AI 圈的热烈讨论。这次升级不仅带来了技术上的重大突破，还在多模态融合、实际应用等方面展现出令人瞩目的进展。作为一名关注 AI 技术发展的产品运营评测专家，我深入研究了相关资料，今天就来和大家详细聊聊这次升级的核心亮点。
? 多模态融合：从单一到全能的跨越
在多模态领域，智源研究院推出的 Emu 模型堪称 “全能高手”。不同于以往只能以文本作为输出的多模态模型，Emu 创造性地建立了统一的多模态预训练框架，将图文对、图文交错文档、视频、视频文本对等海量形式各异的多模态数据统一成图文交错序列的格式，并在统一的学习目标下进行训练，即预测序列中的下一个元素（包含文本 token 和图像 embedding）。
这意味着 Emu 不仅能理解图像和文本，还能处理视频信息。例如，在视频理解任务中，Emu 可以精准描述视频中的动作细节，如 “视频中的女主人公坐在飞机上，使用苹果 VR 设备观看 360 度视角的飞机外景象”。更厉害的是，Emu 还能对视频中的时序信息进行精细理解，像制作奶昔的视频，它能分步且完整地描述制作步骤。
? 图像生成与融合：释放创造力的新引擎
Emu 的图像生成能力同样令人惊叹。它可以根据给定的文本生成多幅语义相关的图像，还能进行上下文图像生成。比如，输入两张图片并给出文本指令，Emu 就能生成以图 1 的动物为中心、以图 2 为风格的新图片。此外，Emu 新增的图像融合能力，能将两幅世界名画作为输入，生成风格、元素类似的全新画作。
在文生图任务中，Emu 也表现出色。如果提供 context，它会结合 context 的风格生成特定风格的图片，比如油画风格，而相同文本在无 context 的情况下则生成现实风格的图片。这种灵活性和创造性，为艺术创作、设计等领域带来了新的可能性。
? 强大的上下文学习与世界知识
Emu 具备强大的少样本上下文学习能力，即在给定几个示例样本后，模型可以进行上下文学习从而更好地完成任务。在视觉问答数据集 VQAv2、VizWiz、MSRVTTQA 上，Emu 的少样本上下文学习表现突出。
同时，Emu 的世界知识更加丰富。例如，给出两张动物的图，询问它们的区别，Emu 可以准确描述动物的名称及分布地。对于艺术作品，Emu 不仅能准确识别画作名称，还能提供丰富的背景知识，如莫奈的《日出・印象》，它能指出这是印象派风格的作品，而其他模型在这方面则稍显逊色。
? 技术突破与性能超越
与谷歌的 Flamingo 和微软的 Kosmos 等模型相比，Emu 在多项任务中表现更优。在 8 个涵盖多模态图像 / 视频和语言任务的基准测试中，Emu 均刷新了性能指标。例如，在图像描述 COCO Caption 的 CIDEr 得分上，Emu 达到了 112.4，且描述中包含丰富的世界知识。
在少样本评测上，Emu2（Emu 的升级版本）在各个场景下显著超过 Flamingo-80B，例如在 16-shot TextVQA 上较 Flamingo-80B 超过 12.7 个点。经过指令微调的 Emu2-Chat，可以精准理解图文指令，在 VQAv2、OKVQA、MSVD 等十余个图像和视频问答评测集上取得最优性能。
? 开源生态与行业应用
智源研究院一直秉持开源开放的理念，悟道 3.0 系列模型全面开源，包括 “悟道・天鹰”（Aquila）语言大模型系列、天秤（FlagEval）开源大模型评测体系与开放平台等。这为开发者和企业提供了强大的技术支持，推动了大模型技术的普及和应用。
在实际应用方面，悟道大模型已经在多个领域落地。在医疗领域，基于悟道大模型的自主超声扫描机器人能够自动或半自动地完成心脏、心血管等人体器官的超声扫描，提高检测效率和准确性。在教育领域，悟道 2.0 曾助力打造数字人手语播报系统，方便听障人士收看赛事报道，而 Emu 模型的多模态能力也为教育微宇宙的探索提供了新的可能。
在零售行业，悟道大模型与 OPPO 小布助手合作，基于 “生成式回答系统” 解决了行业共通性的长尾问题，单条回答的建设成本降低了 99%。此外，悟道大模型还在工业制造、智能终端等领域发挥着重要作用，帮助企业降本增效。
? 评测体系与开源优势
为了推动大模型技术的发展，智源研究院发布了 “天秤”（FlagEval）开源大模型评测体系。该体系构建了 “能力 - 任务 - 指标” 三维评测框架，测评 30 多种能力，5 种任务以及 4 大类指标构成的超过 600 个维度，包括 22 个主观和客观评测数据集，以及 84433 道题目。这为研究人员评估基础模型及训练算法性能提供了全面、客观的标准。
悟道 3.0 的开源体系还包括 FlagOpen 飞智大模型技术开源体系，涵盖了大模型算法、模型、数据、工具和评测等重要组成部分。这一体系正逐步实现对多种深度学习框架、AI 芯片的完整支持，构建更繁荣的 AI 大模型软硬件生态。
? 未来展望
智源研究院院长黄铁军表示，悟道 3.0 的发布标志着智源在大模型领域进入全面开源的新阶段，未来将继续推动大模型技术的迭代和应用拓展。随着 Emu 等模型的不断升级和优化，多模态大模型将在更多领域发挥关键作用，为通用人工智能的发展奠定坚实基础。
对于开发者和企业来说，悟道 3.0 的开源生态提供了难得的机遇。通过利用这些开源模型和工具，可以快速构建智能化应用，推动各行业的数字化转型。同时，智源研究院也在积极探索具身智能和类脑智能等方向，为人工智能的未来发展开辟新的路径。
总之，北京智源 AI 研究院的悟道大模型升级，不仅展示了中国在人工智能领域的技术实力，也为全球 AI 发展贡献了中国智慧。随着技术的不断进步和应用的不断拓展，我们有理由相信，悟道大模型将在未来的 AI 时代发挥更加重要的作用。
该文章由dudu123.com嘟嘟 ai 导航整理，嘟嘟 AI 导航汇集全网优质网址资源和最新优质 AI 工具
