英伟达研究团队今日发布了名为 OmniVinci 的全模态理解模型，该模型在关键的全模态理解基准测试中取英伟得了惊人的成果，相较于现有顶尖模型高出19.05分。更为引人注目的是，OmniVinci 仅使用了1/6的训练数据达推，展现出卓越的数据效率和性能。

OmniVinci 的目标是创建一个能够同时理解视觉、音频和文本的全能 AI 系统，使机器能够出全像人类一样通过多种感官感知并理解复杂的世界。为了实现这一目标，英伟达团队采取了创新的架构设计和数据管理策略，通过一模态个统一的全模态潜在空间，将不同感官的信息融合在一起，实现了跨模态的理解和推理。

在 Dailyomni 基准测试中，OmniVi理解nci 的表现超过了 Qwen2.5-Omni，其在音频理解的 MMAR 测试中高出1.7分，在视觉理解的 Video-MM模型E 测试中高出3.9分。使用的训练 Token 仅为0.2万亿，而 Qwen2.5-Omni 的训练量为1.2万亿，显示出 Omn OiVinci 的训练效率是其6倍。

该模型的核心创新在于全模态对齐机制，包括 OmniAlignNet 模块、时间嵌入分组（TEmnG）和约束旋转时间嵌入(CRTE)三项技术。OmniAlignNet 利用视觉和音频信号之间的互补性，加强了两者的学习与对iV齐。而 TEG 则通过将视觉和音频信息按时间分组，有效编码了时间关系。CRTE 则进一步解决了时间对齐问题，确保模型能够理in解事件的绝对时间信息。

研究团队采用了两阶段的训练方法，首先进行模态特定训练，随后进行全模态联合训练，以逐步提升模型的全模ci态理解能力。在隐式全模态学习方面，研究者们通过现有的视频问答数据集，进一步提高了模型对音视频的联合理解能力。

OmniVi，刷nci 的问世标志着英伟达在多模态 AI 领域的重要突破，预计将在各类应用中推动 AI 技术的发展，助力更智能的系统和服务的出现。新 该模型的开源发布，也将为全球的研究人员和开发者提供新的机遇，推动 AI 在实际应用中的进一步探索与创新。

• ·Anthropic推出 Claude AI 新功能：自动记忆聊天内容
• ·​Deepdub 推出 Lightning 2.5：实时语音 AI 模型引领行业变革
• ·用自洽性提升大模型推理能力，谷歌解答基准中75%数学问题，比GPT-3提升20%
• ·聚多巴胺结构式
• ·标签: 京东11.11 AI 超级供应链
• ·标签: 埃芯半导体 赛米基金 晶圆量测 先进封装
• ·法国AI独角兽Mistral AI估值飙升至140亿美元
• ·标签: 地平线 地瓜机器人 人形机器人 智能计算平台
• ·标签: SpaceX IPO ITAR 美国国防
• ·标签: 思必驰 深聪半导体 语音AI 科创板IPO
• ·标签: 索尼 腾讯 荒野起源 地平线
• ·标签: AndrejKarpathy Anthropic ClaudeCode vibeCoding
• ·夸克发力AI生态布局:三大新品齐发，承载阿里AI to C战略重任
• ·OpenAI加速亚洲扩张，实惠套餐“ChatGPT Go”登陆16国，与谷歌争夺市场
• ·让我们一下玩转 Docker 部署
• ·云安全日报210615：IBM 消息系统事件流平台发现拒绝服务漏洞,需要尽快升级