Coding Agents Benchmark Payment Integration Skill Usage
摘要

支付集成是一项高难度的仓库级软件任务,要求智能体选择合适产品、实现协同的客户端 - 服务器流程、验证支付结果并保持状态一致性。本文提出 Alipay-PIBench,这是一个评估代码智能体在真实支付宝支付集成场景表现的基准。该基准包含九个特定产品项目及十八个任务实例,分为基础功能完成与高级风险感知强化两类场景。实验评估了六种代码智能体模型,结果显示访问专用支付集成技能可平均提升 10.31% 的通过率,证明了结构化技能指导对提升智能体领域能力的关键作用。

AI 推荐理由

论文核心评估 Agent 在支付集成中的工具使用与技能调用能力,明确量化了特定技能对性能的显著提升。

研究机构
Ant Group
论文信息
作者 Shiyu Ying, Xuejie Cao, Yingfan Ma, Yuanhao Dong, Wenyu Chen et al.
发布日期 2026-07-16
arXiv ID 2607.14573
相关性评分 9/10 (高度相关)