最严苛 AI 交互推理测试:OpenAI 两项改进让 GPT-5.6 Sol 提分 188%
最新 7 月 31 日消息,OpenAI 公司今天(7 月 31 日)发布公告,宣布通过改进框架,让 GPT-5.6 Sol 模型的 ARC-AGI-3 提高了 188%。

最新注:ARC-AGI-3 由 ARC Prize 团队推出的全新交互式推理基准测试,是目前全球公认衡量 AI 通用智能(AGI)最严苛、最顶尖的交互式推理评测基准。
该基准完全打破了传统 AI“做题”和知识问答的静态测试模式,将 AI 直接扔进一个完全陌生的“游戏环境”中,来评估其是否具备像人类一样的实时探索、学习与自适应能力。

在未调整优化前,GPT-5.6 Sol 在 ARC-AGI-3 基准测试中的得分为 7.8%,而 GPT-5.5 模型的得分只有 0.4%。
OpenAI 公司在复盘后发现,GPT-5.6 系列模型官方框架存在 2 个影响 GPT-5.6 Sol 表现的机制:
第一,每次游戏动作后,私有推理都会被丢弃。这意味着 GPT-5.6 Sol 每执行 1 次动作后,都需要重新理解游戏。模型仍可看到过去动作记录和简短备注,但看不到促成这些动作的计划、洞察和思考过程。
第二,官方框架采用滚动截断窗口。随着历史变长,较早动作会从上下文中消失。也就是说,GPT-5.6 Sol 不仅无法保留过去思考,也会丢失过去动作记忆。
针对上述问题,OpenAI 提出了推理保留(inference preservation)和上下文压缩(context compression)两个解决方案。
推理保留方面,OpenAI 使用 Responses API 重新实现 ARC-AGI-3 测试框架,对于 GPT-5.6,只需传入前一次 response ID,即可在工具调用和多轮交互中自动保留推理。

OpenAI 表示在启用推理保留后,GPT-5.6 不必每轮重新解释游戏,从而减少每次动作前花在思考上的时间,模型保留过去想法后,更善于随时间学习,并采用更连贯的策略。
在上下文压缩方面,官方 ARC-AGI-3 框架在对话上下文超过 175000 个字符后,会丢弃最早消息。OpenAI 称,滚动截断有 2 个缺点:模型会丢失早期观察和动作;模型在任务的大部分时间里会带着更满的上下文窗口运行,这可能轻微损害表现。
启用上下文压缩后,GPT-5.6 Sol 在较长任务中更能保留对每个游戏的已学信息,并以更少输出 token 获得更高得分。

而在使用官方 harness 后,GPT-5.6 Sol 在 ARC-AGI-3 的得分为 13.3%;在启用推理保留(inference preservation)和上下文压缩(context compression)后,GPT-5.6 Sol 在 Token 输出数量降低至六分之一的同时,得分达到 38.3%,成绩增长 188.42%。

harness(常被称为驭缰工程)是指包在大模型外部、为其提供运行环境、工具集成、规则约束与反馈机制的整套系统架构。
如果把强大的 AI 模型比作一匹充满力量但容易失控的烈马,那么 harness 就是它的缰绳、马鞍与骑手路线,不改变模型本身的架构,而是决定模型如何被安全、可靠地驾驭并真正完成复杂工作。

《最严苛 AI 交互推理测试:OpenAI 两项改进让 GPT-5.6 Sol 提分 188%》转载自互联网,如有侵权,联系我们删除,QQ:369-8522。
相关图文
-
打击低质量 AI 内容,领英现允许用户举报 AI 垃圾帖文
领英推出举报选项,用户可一键举报 AI 生成的低质量垃圾帖文,同时调整平台内置 AI 工具,不再支持生成完整帖文,仅保留基础校对功能。#领英AI垃圾帖文治理#... -
Meta 借助 AI 大幅缩短应用开发周期,更多新应用已在路上
近期推出的产品包括面向 Marketplace 卖家的应用、Facebook 群组应用、通过“氛围编程”打造的游戏应用、Instagram 照片应用,以及 AI 睡前故事实验。... -
消息称 DeepSeek 计划在内蒙古建设大型 AI 数据中心,增加 1GW 算力
据彭博社报道,DeepSeek 正扩大算力布局,计划在内蒙古建设大型 AI 数据中心,增加 1GW 算力。部分算力预计 2027 年底或 2028 年初投用,目前暂不清楚项目所用芯片。#DeepSeekAI数据中心#... -
新研究:AI 对就业市场的真正威胁不是失业,而是让加薪更困难
最新研究显示,AI 暂未对整体就业产生可检测影响,但会显著压低工资增速,低收入劳动者受冲击最明显,未来或将进一步加剧收入不平等。... -
智谱 GLM Coding Plan 订阅回归:透明积分制,每月 118 元起
智谱今日官宣 GLM Coding Plan 订阅回归,套餐价格和套餐规则有所调整。即日起至 2026 年 8 月 15 日,订阅新版包年 / 包季套餐分别享限时 7 折/ 8 折优惠。...












