关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01192人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

王力宏“狂炫”热干面,薛凯琪杨泗港拍大片

极目新闻 浏览 8181 07-22

今年冬天一定要有“格纹单品”,复古又时髦

LinkFashion 浏览 142 12-12

7月LPR,不变

网易财经 浏览 3028 07-21

卖冰给老外,他年入14亿

快刀财经 浏览 4394 07-18

缉毒剧《围猎》开播,剧情极生猛,王阳颠覆形象,俞灏明再演反派

最爱酷影视 浏览 313 09-26

记者:埃弗顿最近对格拉利什的追求力度最大

懂球帝 浏览 9533 07-30

小米雷军营销翻车?纸巾盒是车规级,车机芯片却是消费级

象视汽车 浏览 9653 07-10

工信部399批新车曝光!这波王炸车型谁看了不心动?

大象新闻 浏览 346 09-11

小米汽车副总裁辟谣 并称愿意倾听用户声音

网易汽车 浏览 466 05-17

争吵半年后泽连斯基要再赴白宫 德总理:他不会再被羞辱

鲁中晨报 浏览 409 08-18

乌总统在美展示地图 称1000天来俄只占领不到1%乌领土

澎湃新闻 浏览 519 08-21

中方是否收到美方延长关税暂停期限的最终决定?外交部回应

界面新闻 浏览 508 08-12

日企从中国进口稀土被要求提供经销商信息 中方回应

财联社 浏览 201 01-23

记者:蒋圣龙、阿苏埃参加了申花赛前最后一练,阿马杜缺席

懂球帝 浏览 321 09-21

发布会送保时捷?自助烤肉“顶流”,又有大动作!

餐饮老板内参 浏览 407 08-22

江西2.8万天价救护车事件反转 患儿父亲被指忘恩负义

新民周刊 浏览 953 06-25

媒体:印被指在中美间左右逢源 跟美玩砸了又想起中国

澎湃新闻 浏览 8128 08-08

米体:博尼法斯在米兰的体检推迟,1月份曾因体检问题未能去沙特

直播吧 浏览 459 08-22

这些都是普通人适合的穿搭!多穿卫衣和半身裙,舒适又耐看

静儿时尚达人 浏览 218 11-07

西班牙:禁止美国使用境内两处军事基地向以运送武器

环球时报国际 浏览 424 10-01

云南大理市委书记字德海任上被查

极目新闻 浏览 429 08-21
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11