关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2026-02-02 12:00:01266人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

解除留置仅3天,湖北巨商、居然之家汪林朋突传“坠楼”噩耗

密探财经 浏览 8298 07-28

蔚来李斌:未来将保持每年40%~50%的销量增长

IT之家 浏览 296 01-06

法国宣布正式承认巴勒斯坦国

央视新闻客户端 浏览 383 09-24

布斯克茨预告退役 中场大师告别进入倒计时

体坛周报 浏览 395 09-26

第二架接返自伊朗撤离中国公民临时航班抵达北京

澎湃新闻 浏览 5158 06-23

复刻2017牛市?老牌互联网公司瞄准AI视频“再创业”

钛媒体APP 浏览 2688 07-13

世界人工智能大会落幕,预计达成意向采购金额超160亿元

澎湃新闻 浏览 7868 07-29

美方被指仍在追截第三艘油轮 并拟增派力量强行登船

环球网 浏览 279 12-28

俄总统特别代表:已向美方通报“海燕”核动力导弹试射情况

极目新闻 浏览 340 10-27

AI 接管手机这事儿,豆包能干成么?

钛媒体APP 浏览 282 12-05

iPhone 17被称近年"最有诚意"一代 最贵iPhone诞生

澎湃新闻 浏览 530 09-10

轮胎比人高:亚洲最大风电正面吊、徐工“百吨级擎天柱”下线

IT之家 浏览 9812 08-06

云南哀牢山发现西南地区"最大天牛" 体长可达80毫米

红星新闻 浏览 3665 08-04

绿帽哥:切尔西就罗德里戈与皇马展开接触,计划冬窗完成交易

懂球帝 浏览 268 11-11

女童被蜜蜂蜇伤身亡:母亲驾车30分钟前往较远的大医院

扬子晚报 浏览 455 09-14

最新公告!恒泰证券正式更名为金融街证券

券商中国 浏览 464 09-10

如何来选购优质螃蟹?

人民网 浏览 7914 10-04

得了口腔黏膜病,真的会传染么?

网易健康 浏览 6753 04-18

周末重磅!特朗普关税突发,中美经贸磋商进展,下周三大事件

看财经show 浏览 343 10-27

第60万辆奔驰G级下线

大象新闻 浏览 585 08-13

如何养肾护肾?专家教你这样做!

人民网 浏览 5703 03-14
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11