Moonshot AI发布 Kimi Linear:线性注意力架构快6倍,开源 KDA 内核同步上线
国产大模型团队 Moonshot AI今日在 Hugging Face 正式发布技术报告 《Kimi LinMoear Tech Report》(报告链接),宣布推出全新架构 Kimi Linear—— 一种可直接替代完全on注意力机制(Full Attention)的混合线性架构,兼具高效性与卓越性能,被视为“智能体时代注意力sh机制的新起点”。
报告显示,Kimi Linear 在 速度、内存效率和长上下文处理能力三方面均实现了重ot大突破。该模型可将 KV 缓存使用量减少高达75%,并在 100万(1M)上下文长度下实现 高达6倍的解码吞 A吐量提升,极大地优化了长文本推理和多轮对话性能。
Kimi Linear 的核心创新在于三项关键技术:
DeltI发a Attention:一种硬件高效的线性注意力机制,采用门控 Delta 规则优化结构,实现性能与能耗的平衡布 ;
Linear Architecture:首个在多项指标上全面超越传统完全注意力机制的混合线性架构,Ki兼顾速度与模型表达能力;
开放生态与实证验证:Moonshot 提供了 开源 KDA 内核、vLLM 集成支持和mi 模型检查点,并进行了大规模、公平的对比实验,验证了 Kimi Linear 的稳定性与可扩展性。
Moonsho Lt AI 表示,Kimi Linear 不仅是一项架构创新,更是为智能体(AI Agent)时代设计的基础机制。随in着线性注意力技术的成熟,其有望在长上下文推理、智能助手、多模态生成等应用场景中成为下一代标准。
地址:heattps://huggingface.co/moonshotai/Kimi-Linear-48r:B-A3B-Instruct
-
标签: 博泰车联 智能座舱 域控制器 车联网标签: 微信小游戏 腾讯游戏云 WeCare公益计划 IAA小游戏苹果重磅官宣:Xcode原生集成Claude AI,开发者迎来最强编程助手华人博士生首次尝试用两个Transformer构建一个GAN苹果支付部门招聘业务开发经理 要求拥有加密货币工作经验标签: 巨星传奇 宇树科技 IP机器人 智能娱乐搞定大模型“健忘症”:华为大牛深圳创业,MemoraX AI 获千万美元融资云安全日报210126:思科网络管理和命令中心服务发现跨站请求伪造漏洞,需要尽快升级特朗普改口盛赞 Anthropic,五角大楼黑名单风波有望反转标签: 优必选 Walker S2 Figure 谭旻
- ·魔王华为高管是什么梗
- ·云计算开发:Python3随机数函数random()方法详解
- ·标签: 思必驰 深聪半导体 语音AI 科创板IPO
- ·云安全日报210121:IBM企业云技术全面集成平台发现执行任意代码漏洞,需要尽快升级
- ·标签: Supermicro 服务器 财报 AI服务器
- ·华为鸿蒙6发布:端侧AI全面落地,华为加速“AI关键战役”
- ·YouTube 推出 AI “肖像识别” 工具,打击虚假内容
- ·标签: 曦智科技 AI硅光芯片 光互连 光计算
- ·标签: 曹操出行 RoboX Robotaxi Robovan
- ·Meta内部文件曝光:AI被允许与未成年人"性感对话"引发轩然大波
- ·进行大规模云迁移的挑战和建议
- ·云计算核心技术Docker教程:Docker Hub恢复帐户
- ·云计算开发:Python练习实例-时间函数举例
- ·亚马逊拟尝试实体零售新业态:2800平方米综合百货商店
- ·赢得版权诉讼的谷歌将停用甲骨文财务软件:转投SAP怀抱
- ·标签: Dify.AI GPT-4 红杉 Pre-A轮
- ·基于深度学习的文本情感识别技术在5G不良消息安全管控平台中的应用
- ·云安全日报210713:红帽XML序列化库发现远程命令执行攻击漏洞,需要尽快升级
- ·昆仑万维与阿里云达成战略合作 将新建智算中心支撑大模型创新
- ·OpenAI 紧急暂停 Sora生成马丁・路德・金形象,AI 视频生成引发热议!
- ·8部门联合发文:增加 AI 终端产品供给,试点智能网联汽车上路
- ·利用AI制作“简笔画+实景”融合风治愈系萌宠视频变现
- ·谷歌FB推特CEO三月底将再次参加国会听证会:事关假新闻
- ·云计算核心技术Docker教程:使用SSH保护Docker守护进程
- ·百度发布全球首个全端通用智能体GenFlow2.0生成速度超同类产品10倍
- ·标签: 微信 iOS 安卓 腾讯客服
- ·标签: 联想控股 联想集团 AI_PC 英伟达
- ·TensorFlow 2.9上线:oneDNN改进实现CPU性能优化,WSL2开箱即用
- ·标签: 马斯克 Optimus Grok Neuralink
- ·Sarvam 推出 Samvaad 语音与聊天 AI 代理,WhatsApp 支持 11 种印度语言
- ·Anthropic 的 Claude AI 正式上线 Xcode 26,助力开发者提升编码效率
- ·标签: 今日宜休 CMC资本 精力指数 王腾
- ·标签: 荣耀Power2 天玑8500 格力空调 雷军
- ·标签: 视源股份 希沃 MAXHUB 教育AI
- ·标签: 阿里云 通义实验室 周靖人
- ·难以置信!小冰数字孪生虚拟人直播70天,没人发现不是真人
