📰 AI 资讯

Stripe 发布基准测试：AI 智能体可开发集成方案，但校验环节存在短板

2026-07-17 14:15

Stripe 推出了一个<a href="https://stripe.com/blog/can-ai-agents-build-real-stripe-integrations" title data-type="link">基准测试套件</a>，用于评估 AI 智能体是否能端到端构建完整的 Stripe 集成方案，包括后端服务、前端应用和浏览器端结账流程。该基准测试的目标是衡量 AI 系统能在多大程度上突破代码生成的局限，完成软件工程全流程工作 —— 即在真实环境中执行、测试与验证程序。测试重点聚焦金融系统里贴近生产环境的集成场景，这类场景对正确性要求极高，仅实现部分功能并不能算作达标。该基准测试围绕 11 个可复现的环境构建，模拟 Stripe 的集成项目，如 Checkout 迁移和 Billing API 建模。每个环境包含完整的应用代码库、数据库、脚本和测试用 Stripe API 密钥。智能体的评估任务包括纯后端任务、涉及浏览器端结账流程的全栈式工作流，以及订阅和 Checkout 集成等面向特定产品的实操任务。智能体统一通过一个基于 <a href="https://goose-docs.ai/" title data-type="link">Goose</a> 和 <a href="https://docs.stripe.com/mcp" title data-type="link">Model Context Protocol</a>（MCP）的工具链进行操作，其中包含终端访问、浏览器自动化和文档检索工具。不仅要求生成代码，还要求运行服务、与 API 交互，并通过自动化测试或模拟用户流程验证端到端行为。确定性评分器通过 API 调用、UI 自动化和检查 Stripe 对象（如 Checkout Sessions）来验证结果。Stripe 没有公布总体成功率，不同任务类型的评测结果差异显著，后端集成表现较强，而当任务涉及跨系统校验与状态追踪时，完成效果会明显变差。分项评测数据显示，Claude Opus 4.5 在四类场景的全栈 API 集成任务中平均分达 92%，而 GPT 5.2 在两类标准化实训类任务中得分 73%。表现最优的测试样本平均交互轮次可达 63 轮，表明模型长时序任务执行能力有所提升，但在扩展工作流中仍出现正确性下降。全栈基准测试结果（来源：<a href="https://stripe.com/blog/can-ai-agents-build-real-stripe-integrations" title data-type="link">Stripe 博客文章</a>）Stripe 软件工程师 <a href="https://www.linkedin.com/in/carolliangce/" title data-type="link">Carol L</a> 在 LinkedIn 的一篇<a href="https://www.linkedin.com/posts/carolliangce_can-ai-agents-build-real-stripe-integrations-activity-7440060912453046272-WQO0?utm_source=share&utm_medium=member_desktop&rcm=ACoAAArnikgBqzTxA9Y838-O55QUcB2McACIq94" title data-type="link">帖子</a>中指出，核心瓶颈在于验证而非代码生成环节。AI 智能体还不会取代软件工程师，至少在构建 Stripe 集成方案时不会，金融系统要求严格的正确性，而当前智能体缺乏稳定的集成工作流验证层。文中指出了两种高频故障模式。在 SDK 升级场景中，智能体有时会误判校验反馈信号。当输入无效的 Stripe 参数时，它们收到预期的 HTTP 400 报错响应，却错误判定集成流程运行正常。而在表现更稳定的测试中，智能体会生成模拟测试数据并用这些数据完成准确的功能校验。第二种故障模式出现在浏览器端的结账流程中。智能体需要通过网页界面完成完整支付流程，包括填写地址和银行卡信息，并生成结账会话 ID。工具之间的交互操作会破坏浏览器状态，例如将输入框的光标焦点移走。尽管刷新页面或重新聚焦输入框可以修复该问题，但智能体往往无法完成恢复操作，进而提前终止任务。研究该基准测试的从业者<a href="https://x.com/Eduardopto/status/2028573852716921334?s=20" title data-type="link">指出</a>：多数智能体评测仍未覆盖生产环境中的各类关键问题，例如幂等性、重试机制、授权范围报错等，而这类问题恰恰是实际集成开发里故障频发的根源。因此该基准测试表明，当前 AI 智能体的短板并非代码生成能力，更多体现在校验逻辑推导、状态管理以及多步骤执行流程中的异常恢复能力上。Stripe 将该基准测试定位为一个在真实环境中研究智能体软件工程的演进框架。它已作为其 <a href="https://github.com/stripe/ai/tree/main/benchmarks" title data-type="link">AI 工具包</a>的一部分开源，以便进一步开展更多实验。后续版本计划优化三大能力：模糊校验信号的处理、浏览器状态持续稳定控制，以及类生产系统中端到端集成的整体准确率。查看英文原文：<a href="https://www.infoq.com/news/2026/07/stripe-ai-agents-benchmark/" title data-type="link">https://www.infoq.com/news/2026/07/stripe-ai-agents-benchmark/</a>

🔗 查看原文 ↗

← 返回资讯列表