新闻动态

  

智能体遇新工作就“卡壳”?Z6官网用“自动出题”破解泛化难题:通过天生海量多样工作,让模型握别“死记硬背”,学会举一反三,在长高低文中自主切换进建模式,真正迈向“学会若何进建”。钻研成就颁发在机械进建领域顶会NeurIPS 2025。

智能体一际遇没见过的工作就“卡壳”,主题问题其实是训练数据太“偏科”,场景局限、工作类型少。Z6官网在高低文强化进建领域提出破局新规划:依附自动天生多样复杂工作,补上 “操练题”不够多样的短板;并提出高效解耦战术蒸馏框架,有效引发模型高低文强化进建能力。钻研还带来新启发:随着训练集工作种类增长,模型会从“死记答案”转向“当场解题”以及“学会若何进建”;评估在线进建智能体也得换思路,要看在盛开世界工作中的长高低文阐发,而非封关工作集上的零样本能力。

  • 泛化性不及?本原在于“操练题”不够用 。“给智能体1000种工作,它能学好1000个;换一种新工作,立马‘惊惶失措’。」剽是当前大模型、具身智能领域普遍存在的困境。目前训练智能体基座模型的普遍逻辑是依附规模取胜,通过富集海量训练数据来优化模型。然而,这类数据通常拥有很强的场景属性,好比导航工作和活动节造工作的数据散布很难有沉叠,它们覆盖的领域是离散且有限的;痪浠八,想要智能体具备跨工作、跨场景的泛化能力,除了数据量要大,更必要数据类型足够多样。
  • “自动出题” 解决 “死记硬背” 问题:让模型把握进建步骤。智能体的进建过程堪比学生备考:想考高分,既要有足量的习题,又要预防沉复刷题导致的“思想固化”;与其记住某路题的解法,更沉要的是学会若何分析标题、见招拆招。论文提出“AnyMDP”工作集, 基于马尔可夫链构建盛开的强化进建工作集,通过齐全随机天生与筛选机造,既保留了工作之间的多样性,也保障了问题的难度和挑战性。尝试了局批注,在训练数据量一样的情况下,随着工作种类从100种增长到10万多种,基座模型在未知工作上的泛化能力逐步加强。 这注明,要使智能体从死记硬背的权沉进建模式(In-Weight Learning,IWL)转变为矫捷使用高低文进建(In-Context Learning,ICL),工作的数量和规模至关沉要。

    %E7%8E%8B%E5%87%A1NeurIPS1
  • 复杂高低文推理只能通过昂贵的强化进建引发?提出代替强化进建的解耦合战术蒸馏(Decoupled Policy Distillation,DPD)规划 。论文提出了多用处的高低文强化进建(ICRL)算法框架,除了训练规模涉及上百亿Token,序列更是达到了数十万序列长度。ICRL的引发通常必要依赖强化进建预训练自身,效能极低。利用“自动出题”的“答案已知”的特点,文章提出相识耦战术蒸馏规划,不必要强化进建,只需在随机扰动的轨迹上逐帧提供领导,机能显著好于其他战术蒸馏步骤。

    %E7%8E%8B%E5%87%A1NeurIPS2
  • 单个基座模型不仅能进行在线强化进建,还能凭据提醒自主切换到离线强化进建或仿照进建,从而实现高度矫捷的自主进建。传统强化进建通常必要为每种进建方式设计分歧的指标函数,而该模型在多种进建模式下都能达到甚至超过传统步骤的成效。这使得智能体可能齐全凭据高低文自主选择进建模式,极大地扩大了其通用性潜力。

    %E7%8E%8B%E5%87%A1NeurIPS3
  • 迈向规;那短捉ǎ╪ested learning)和学会若何进建(learning to learn)。嵌套进建的性质是训练模型不仅是为了影象特定的知识,更是为了获得进建能力自身。Z6官网的钻研甚至批注,训练数据的绝对正确性不定是关键,数据的长度,序列内陆续性和序列间多样性可能更为沉要。即便选取异常随机的环境工作和大量不正确的合成数据,模型也可能通过把握进建能力,在真实工作中通过经验沉新把握正确的知识。该工作还证明,线性把稳力模型可能轻松实现对数十万长度序列的高低文进建,这有望极大地扩大高低文进建的能力天堑。

论文链接:https://arxiv.org/abs/2502.02869

有关代码:https://github.com/airs-cuhk/airsoul/tree/main/projects/OmniRL