关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2026-02-02 12:00:01267人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

内娱“新晋甜妹”私下里这么会穿?好看、保暖、不臃肿!

Yuki女人故事 浏览 288 09-30

拜登通告全球"特朗普让国家蒙羞" 罕见措辞引全球关注

现代小青青慕慕 浏览 366 11-11

求婚2个月,不再隐忍的王晓晨!给俞灏明出头

淼犇小牛 浏览 1506 07-29

美乌4小时会谈细节披露 特朗普发声

新华社 浏览 318 12-02

徐彬:非常感谢能给我们提供这么好的场地,和陕西球迷的助威

懂球帝 浏览 445 09-10

扫码下单,无人机“啤酒侠”在青岛西海岸新区金沙滩啤酒城为你送酒

环球网资讯 浏览 1978 08-06

朱江明:一个“不会讲故事”的理工男,和他与零跑的五个故事

封面新闻 浏览 1671 07-12

53岁朱茵住山里开破车?

云间娱乐 浏览 7005 07-22

4平米阳台爆改“卧室”、110平3房有15平阳台!中建东孚中环麓岛“高得房率神话”背后

地产深度报道 浏览 419 10-29

特朗普连一顿午饭都没给普京准备 谈3小时后普京回国

梁讯 浏览 569 08-17

特朗普宣布将亲自设计战列舰:我是一个非常有审美的人

澎湃新闻 浏览 292 12-24

石药集团上半年营收132亿,抗肿瘤药跌超六成!达成四项对外授权金额达700亿

时代周报 浏览 506 08-24

被指抄袭原住民手工凉鞋引发墨总统关注 阿迪达斯道歉

界面新闻 浏览 5347 08-13

6-4!62岁穆帅率队连扳4球逆转,淘汰范佩西,距重返欧冠仅差一步

我爱英超 浏览 2064 08-13

峨眉山,为何被游客“抛弃”?

智谷趋势 浏览 421 09-21

马斯克,重夺全球首富宝座

华尔街见闻官方 浏览 454 09-11

网传苹果不满折叠屏iPhone现行方案,最早发布时间将在2026年

超能网 浏览 9970 07-21

俄罗斯唯一现役航母"库兹涅佐夫海军元帅"号将被封存

参考消息 浏览 4548 07-28

FBI:加州发生恐怖袭击事件 已致1人死亡5人受伤

CCTV国际时讯 浏览 3735 05-19

今夏的小性感,看Camille Yolaine!

Yuki女人故事 浏览 1533 06-19

被家暴16次女子得70%共同财产及10万赔偿 共140万余元

极目新闻 浏览 375 10-25
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11