关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2026-02-02 12:00:01263人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

iPhone 17搭载A19芯片 史上最薄款国行版起售价7999元

每日经济新闻 浏览 568 09-10

村民贷款帮政府建小学 16年后才要回本金放弃52万利息

极目新闻 浏览 3032 07-17

上海成立量子人工智能联合体

新华社 浏览 402 09-22

南加大团队揭秘:让AI做数学题更聪明的"长度感知"训练法

科技行者 浏览 336 10-31

占比突增到62.2%,年末新能源车突然爆发,燃油车要“熄火”了?

小李车评李建红 浏览 264 12-19

钢铁业未见“金九银十” 中钢协呼吁“自律控产”

中国经营报 浏览 327 11-01

白云机场一飞机滑行起飞时机翼现小鸟停驻 机场回应

极目新闻 浏览 412 09-16

始祖鸟陷“炸山”风波 安踏回应

每日经济新闻 浏览 563 09-22

高考611分SMA考生恐无缘大学?

网易健康 浏览 8230 06-26

2026年第一票房惨案诞生了

靠谱电影君 浏览 266 01-02

仅上任两个月!某车企董事长突然辞职

汽车工程师 浏览 249 01-04

美国战争部长:特朗普吼了他 因其未完成某项任务

红星新闻 浏览 382 10-07

滑翔伞玩家被"云吸"至8000米高空 官方调查

央视新闻 浏览 7576 05-28

华为手机星闪车钥匙在鸿蒙 6 系统落地,适配尊界、享界部分车型

IT之家 浏览 348 10-31

不接烂片宁缺毋滥!徐璐:演员光靠努力不够

传递满满正能量 浏览 8082 07-29

《我的山与海》遭受痛批,年代剧要的是接地气

娱乐圈笔娱君 浏览 222 03-11

印尼与马来西亚找中方谈了两件大事 围绕大型基建事宜

澎湃新闻 浏览 444 09-05

王楚钦4比0战胜张本智和 生涯第三次大满贯男单夺冠

澎湃新闻 浏览 3169 07-14

2025秋冬一定要拥有的4款包包,怎么搭都好看

Yuki女人故事 浏览 269 11-01

新易盛,比中际旭创凶猛,比中兴通讯值钱!

市值Observation 浏览 2730 07-17

恩爱10年刘诗诗把吴奇隆熬成爹 年龄差终究是道坎

林木体育解说 浏览 4840 08-07
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11