近日，月之暗面发布了一种全新的混合线性注意力架构，名为 “Kimi Linear”。这一架构据称在处理短距​月离、长距离信息以及强化学习（RL）等多种场景中，性能优于传统的全注意力方法。其核心技术 Kimi Delta A之暗ttention(KDA)是对 Gated DeltaNet 的一次优化，特别引入了一种更高效的门控机制，以更好地管理面推有限状态 RNN 的记忆使用。

Kimi Linear 的设计由三份 Kimi Delta Attention 和一份全局 M出新LA 组成。这种结构通过细粒度的门控来压缩有限状态 RNN 的记忆，使得模型在处理信息时更加高效。官方指出，在型混处理1M token 的数据场景中，Kimi Linear 的 KV cache 占用降低了75%，而解码吞吐量最高可提合线升6倍，TPOT 相较于传统 MLA 加速了6.3倍。

这种新的架构为各种 AI 应用场景提供了更强的支持，无论是在信息密性注集型的自然语言处理任务还是在动态环境中的强化学习，Kimi Linear 都有着显著的优势。随着 AI 技术的不断发展意力，这种高效的注意力机制可能会为未来的智能应用带来新的突破。

更多技术细节可以在 Kimi Linear 的技术报架构告中找到，https://github.com/MoonshotAI/Kimi-Linear/blob/m “aster/tech_report.pdf。

划重点:  

Kimi Linear 是一种新型Ki的混合线性注意力架构，优化了信息处理性能。  

该架构在1M token 场景下，KV cmiache 占用减少75%，解码吞吐量提升6倍。  

Kimi Delta Attention L 是其核心技术，通过细粒度门控优化了 RNN 的记忆管理。

• ·动态计算图和GPU支持操作
• ·安全访问服务边缘成为混合工作环境的安全云优先解决方案
• ·标签: 福恩股份 再生面料 H&M 优衣库
• ·法国官员：已恢复对Facebook谷歌等科技公司征收数字税
• ·标签: 元宝 腾讯 元宝派 AI社交
• ·​字节跳动发布全新开源长文本处理模型 Seed-OSS-36B
• ·英格兰银行：大型科技公司云服务或面临弹性测试
• ·标签: 智能手机 618
• ·智谱GLM 4.6来袭：国产芯片强强联手，助力AI领域再升级
• ·标签: 纳真科技 光芯片 DFB激光芯片 AI算力网络
• ·云计算核心技术Docker教程：Docker 守护进程dockerd运行时执行选项
• ·对抗SpaceX！亚马逊收购Facebook卫星互联网团队
• ·标签: 腾讯元宝 AI辱骂 模型异常 小红书
• ·标签: 特斯拉 马斯克 AI芯片 自动驾驶
• ·云安全日报210326：Ubuntu OpenSSL传输协议工具包发现拒绝服务漏洞，需要尽快升级
• ·​前 Oculus 创始人 AI 初创企业 Sesame 融资 2.5 亿美元，智能眼镜 Beta 版现已上线