移动支付网消息:近日,Visa推出行业基准测试Visa Agentic Commerce Benchmark(Visa智能商务测评),把主流AI模型置于贴近真实的购物场景中检验,并开放公众自行测试。首轮结果显示,模型在42.8%的测试运行中未达到通过标准。
据Visa说明,购物对AI的难度在于消费者往往起初并不清楚自身需求,例如知道想买电视,却说不全所需规格。该基准要求AI通过对话识别消费者需求;若没有符合要求的商品,应选择不购买;为防止偶然猜中,AI还须发掘足够信息以支撑其决策。按脚注定义,一次运行只有在“发掘任务所设定的每一项客户需求”且“作出正确的购买或不购买决策”时才算通过。首轮测试覆盖12家实验室的22个AI模型、15项购物挑战,包括选购电视、笔记本电脑和个人护理电器。
结果方面,所选模型整体运行通过率为57.2%,表现最好的模型通过82.2%的尝试,最差的为28.9%。通过对话发掘隐性购买条件最多的5个模型,平均通过率70.2%;发掘最少的5个为44.4%。单次运行平均成本最高的5个模型通过率67.1%,成本最低的5个为50.2%,高成本并未保证成功。一致性问题更为突出:每个模型在每项场景中有3次尝试,全部模型与场景中,三次均通过的仅占34.2%。此外,在失败的运行中约54%仍以AI完成购买告终,原因是其推荐的商品不符合已识别的客户需求,或未发掘出客户的全部要求。
以电视场景为例,消费者提到亲属推荐的品牌、自己持有某第三方供应商的会员资格,其余细节未说明;AI须通过对话问出预算,以及格式兼容、支持HDR10+®技术以播放家庭视频、游戏性能等要求。Visa指出,更善于发掘需求的模型通过率更高,但重复已通过的场景时也常失败,消除差错、提升一致性是建立智能体商务信任的关键。
作为背景,Visa信任指数(Visa Trust Index)2026年9月发布的调查显示,72%的美国消费者使用过AI助手,但仅23%信任AI代表自己处理支付交易。Visa Intelligent Commerce是Visa面向智能体商务的产品、计划与合作组合;Visa在问答中明确,该基准不直接属于这一组合,而是面向更广泛行业的补充性研究,也不意味着AI智能体尚不适合商务,主要短板在一致性与可靠性。
Visa计划增加更多购物场景与商品品类,把测试扩展至结账、支付和下单环节,并已把基准提交主要模型提供方征求意见。公众可在Visa Payments Frontier自行尝试测试、观看AI运行回放并查阅白皮书。
展开全文
- 移动支付网 | 2026/11/20 12:32:47
- 移动支付网 | 2026/11/20 10:39:06
- 移动支付网 | 2026/11/20 9:14:42
- 移动支付网 | 2026/11/19 18:07:00
- 移动支付网 | 2026/11/19 14:35:42
- 移动支付网 | 2026/11/19 13:13:19
- 移动支付网 | 2026/11/19 10:50:04
- 移动支付网 | 2026/11/18 19:38:00
- 移动支付网 | 2026/11/18 15:41:18
- 移动支付网 | 2026/11/18 11:41:25
- 移动支付网 | 2026/11/6 11:02:13
- 移动支付网 | 2026/10/28 10:14:48
- 移动支付网 | 2026/10/8 8:39:53
- 移动支付网 | 2026/9/4 17:00:44
- 移动支付网 | 2026/6/11 9:21:15










