同一份Shopify商品清单交给三个Claude模型,六次搜索选出的商品各不相同
3 AI Models Shopped Shopify’s Catalog – Each Picked A Different Winner
作者Slobodan Manic通过Shopify于10月13日向AI代理开放的Shop MCP获取商品列表,把同样的20个商品和同样的简短指令分别交给Claude Haiku 4.5、Sonnet 5和Opus 5各选50次,共1980次选择。
来源类别:国际媒体或研究机构。来源类别与声明证据等级分别判断。请核对原文的适用范围和统计口径。
情报解读
AI分析基于本篇材料,解释与原始声明分开展示。
- 发生了什么
- 作者通过Shopify于2026年10月13日开放的Shop MCP,以匿名美国买家身份获取咖啡豆、水瓶、背包等搜索的前20条商品,把同一列表和同一指令交给Claude Haiku 4.5、Sonnet 5、Opus 5各选50次,共1980次选择。六次商品搜索中,三个模型最常选中的商品没有一次相同。
- 为什么重要
- 作者认为,当购物代理从商品列表中挑选时,模型本身构成一层商店和消费者都看不到的决策层;同一输入下不同模型给出不同结果,意味着订单流向部分取决于消费者所用代理运行的是哪个模型。
- 行业影响
- 作者指出,商店过去在Google排名中可监测自身位置,而在代理购物中,每个用户得到各自的决策版本,商店无从监测;商品在目录中的评论数、摘要和卖点措辞会成为模型推理依据,商店需要先确认目录向代理展示的内容。
- 值得学习什么
- 作者给出四个可操作动作:像代理一样通过Shop MCP或Shopify目录搜索自家商品,核对评分、评论数、摘要和卖点;用顾客表达需求时的措辞写商品描述;确保商品声明真实,因为模型会原样转述;用竞品同列测试自家品类在多个模型下的选择结果。
声明与证据
- C · 当事方声明
Shopify于2026年10月13日宣布Shop MCP,称其让代理或应用通过单一MCP连接搜索Shopify Catalog、构建购物车并完成Shop Pay结账,覆盖超过10亿件商品,搜索无需API密钥。
· 未经独立交叉核验 - B · 可靠独立报道
作者在六次商品搜索中,三个Claude模型最常选中的商品没有一次相同;Haiku与Sonnet在三个搜索中一致,Sonnet与Opus在两个搜索中一致,Haiku与Opus在一个搜索中一致。
· 未经独立交叉核验 - E · 未验证
在六次商品搜索的300次选择中,Opus有222次在理由中称其选择为safe或safest,Haiku为1次,Sonnet为11次。
· 未经独立交叉核验 - E · 未验证
在矿物防晒霜搜索中,请求加入“under $25, for oily skin”后,三个模型在300次选择中有298次不再选目录排名第一的48美元防晒霜。
· 未经独立交叉核验 - E · 未验证
在八次护肤搜索中,把目录排名第一的商品从列表首位移到末位后,Haiku选中它的次数从80次中的28次降到11次,Sonnet从15降到11,Opus从24降到10,且480条理由中没有一条提到商品在列表中的位置。
· 未经独立交叉核验 - E · 未验证
Shopify目录对nobl不锈钢水瓶显示5.0星、447,221条评论,而作者10月24日查看nobl商品页显示5.0星、6,537条评论;作者不知道447,221统计的是什么。
· 未经独立交叉核验
- · 测试仅覆盖Anthropic的三个Claude模型,其他公司模型可能表现不同,作者明确未测试
- · 测试使用固定列表,为2026年10月15日和24日匿名美国买家看到的Shopify目录结果,登录用户可能看到不同商品
- · 测试未在真实购物应用中运行,ChatGPT、Gemini、Claude Duet等应用自带设置被排除在外
- · 测试未实际下单购买,仅记录模型选择
- · 水瓶447,221条评论的来源作者无法确认,与nobl商品页显示的6,537条相差约68倍
- · “safe”计数通过检索理由中safe或safest字样得出,属作者自定口径
- · 证据为自动标注,未完成人工或独立交叉核验。
存在值得继续研究的问题。 · 可作为营销打法候选。
研究空间
团队成员登录后可保存;个人笔记仅本人可见,研究记录可主动选择团队共享。
来源:Search Engine Journal · searchenginejournal.com