关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2026-02-02 12:00:01166人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

付政浩:杨瀚森回来打亚洲杯益处多多 他需尽快成为男篮旗帜人物

直播吧 浏览 1325 07-14

演员李亭哲喊话和于朦胧一起喝酒的人:出来

恪守原则和底线 浏览 349 09-18

52岁“不婚不育”的苏有朋,走上了另一条路?

包饺子ai剪辑 浏览 390 08-20

什么情况蓉城vs河南赛后看台冲突,球迷扔水瓶砸中河南队人员

直播吧 浏览 442 08-20

融资余额重回1.9万亿!11家公司融资余额增超10亿!

私募排排网 浏览 6602 07-28

21岁中国女孩独自赴埃及旅游失联6天 人目前已找到

红星新闻 浏览 300 09-27

今年秋冬最时髦的穿法:外套+连帽卫衣,减龄又松弛!

LinkFashion 浏览 191 11-03

A股周末调整,下周怎么走?

国际金融报 浏览 9070 07-27

埃兰加:伊萨克是世上最好的前锋之一,全队都希望他能留下

懂球帝 浏览 3848 07-18

青岛红狮官方:原中方教练组组长王霄出任俱乐部一线队主帅

懂球帝 浏览 10091 08-07

被指严重影响美国空军更新换代 F-35又被点名了

枢密院十号 浏览 432 09-16

美媒:美正向中东增派包括航母在内的兵力

界面新闻 浏览 190 01-17

最新公告!恒泰证券正式更名为金融街证券

券商中国 浏览 377 09-10

视频生成告别“瞬移变形”,群核科技Hugging Face登顶背后:空间语言改写AI物理世界规则

钛媒体APP 浏览 364 09-01

大家都在重提安全 沃尔沃却选择沉默

网易汽车 浏览 6471 06-28

硅谷的AI初创公司正在拥抱“996”

澎湃新闻 浏览 10374 07-25

5-1!40岁C罗双响+生涯第945球,获8.7分,率队3战全胜领跑沙特联

我爱英超 浏览 338 09-21

抢滩“双11”,浙江跨境商家为速卖通备货10万棵圣诞树

财闻 浏览 284 10-13

美国大满贯5项冠军全部诞生!国乒豪夺3金,诞生了五个不可思议!

侃球熊弟 浏览 6323 07-14

50岁陈紫函给1米7婆婆染粉色头发,站一起像姐妹

银河史记 浏览 10131 07-13

马斯克澄清:我们还没展示过特斯拉Optimus V3人形机器人

IT之家 浏览 333 09-09
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11