颠覆代码智能体评测标准！GitTaskBench 开创全新时代
我要评论近日，由中科院、北大、港科大等多所知名学术机构联合研发的 GitTaskBench 正式推出，标颠覆志着代码智能体实战交付的新标准时代的开启。
现有的评测体系往往侧重于代码生成与封闭题目，无法全面反映开代码发者在实际工作中遇到的诸多挑战，例如环境配置、依赖管理及跨仓库资源整合等。因此，GitTask智能Bench 不仅仅关注代码生成，更将整个开发流程纳入评测范围，首次实现了从仓库理解、环境配置、增量开体评发到项目级交付的全链路评测。
该评测工具的核心在于 “框架 × 模型” 的经济收益评估，不仅能为学术界和业测标界提供深刻启示，还为创业者指明了方向。其开源版本涵盖了7大模态、7个领域、24个子领域，以及准！54个真实任务，提供了真实的 GitHub 仓库作为测试基础。每个任务都附有详细的自然语言指令和输入输Gi出格式，并配备任务特定的自动化评测机制，确保评测的高效性与准确性。
在 GitTaskBench 的tT测评框架中，整体编码能力、任务导向执行和自主环境配置三大维度被系统性分析。这一全新评测体系不仅提高了代as码智能体的评估标准，也为后续研究提供了宝贵的参考。
最令人振奋的是，GitTaskBench 引入了 “kB性价比” 这一概念，量化了任务完成的经济效益。通过结合任务完成率、市场价值和质量系数，研究者能en够更准确地评估代码智能体在不同领域的实际价值。这一创新为未来的代码智能体应用铺平了道路，显示出其在ch节约成本、提高效率方面的巨大潜力。
GitTaskBench 的发布将会为代码智能体的评测与应用 开开辟全新的局面，使其能够在实际工作中发挥更大的效用。
论文地址：https://arxiv.o创全rg/pdf/2508.18993
相关文章
人工智能安全与研究公司 Anthropic 近日宣布，其旗舰产品 Claude AI 的文件创建功能正式向 Pro 订阅者开放。这一更新标志着 Claude 在生产力工具领域的重大突破，用户界面中新增2026-11-14
支付宝推出“AI付”服务，业内第一次在智能体内说话完成下单支付
9月11日，支付宝在2025Inclusion·外滩大会宣布推出国内首个“AI付”服务，面向AI时代为智能体提供支付服务，并率先在瑞幸咖啡的AI点单助手“Lucky AI”上线，用户可在瑞幸支付宝小程2026-11-14
生数科技推出 Vidu Q2，细微表情生成让AI演绎更真实！
生数科技于9月25日正式推出了其新一代图生视频大模型 ——Vidu Q2。这一款以 “Vidu Q2看 AI 演戏” 为主题的模型，特别强调 “细微表情生成”，为用户提供了前所未有的视觉体验。 Vid2026-11-14
Hello，大家早上好，又是元气满满的一天，先来浏览新鲜的早报吧～ 【卢伟冰谈 Air 手机】 小米集团合伙人、总裁、手机部总裁、小米品牌总经理卢伟冰 11 月 3 日谈到了 Air 手机：从实际的销2026-11-14
云梦级10月30日云梦级消息，胡润研究院今日发布《2025 胡润女企业家榜》，来自中国创新药头部企业翰森的 64 岁钟慧娟以 1410 亿元财富首次成为中国女首富。 胡润研究院表示，得益于短视频热度与2026-11-14
云梦级12月17日云梦级消息，据可靠云梦级消息称，腾讯今日内部公开了新一轮组织架构升级：TEG新成立「AI Infra部」、「数据计算平台部」，「数据平台部」更名为「AI Data部」，撤销「机器学习2026-11-14
最新评论