关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01293人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

纽约华人女子因“花园太丑” 收到2000美元罚款通知

红星新闻 浏览 8231 07-29

王一博,太狠了。

会说话的舌 浏览 1843 07-13

盲打!快船和掘金比赛连续出现计时器故障,裁判被迫手动计时

懂球帝 浏览 350 10-13

63.3度电池+60L油箱 小鹏X9增程版续航1602公里

网易汽车 浏览 331 10-24

甲流康复后如何提升免疫力?速看6问6答

人民网 浏览 6183 01-14

OPPO Find X9 手机核心规格公布:6.78 英寸 1.5K OLED 直屏

IT之家 浏览 382 09-29

vivo宣布影像战略全面升级 将构建影像生态矩阵

网易科技报道 浏览 518 08-22

意大利男篮主帅:遇到一位拉脱维亚球员 他说字母哥简直是个野兽

直播吧 浏览 497 08-23

今年最火的4双平底鞋,配小黑裙好看又气质!

LinkFashion 浏览 120 05-08

泡泡玛特老板王宁,身家已经超过马云

说财猫 浏览 510 08-27

1800亿核电巨头,披露收购大动作

21世纪经济报道 浏览 464 09-01

万科密集自救:深铁百亿输血 三天火线售股

界面新闻 浏览 8660 06-16

纳斯达克中国金龙指数涨逾2%

证券时报 浏览 3761 07-16

火箭惨遭雷霆双杀!杜兰特23中7申京两双 亚历山大连续112场20+分

罗说NBA 浏览 276 01-16

韩星张元英辱华发酵!相关代言遭抵制品牌方回应,本人持续装糊涂

萌神木木 浏览 203 12-29

赵薇股权遭冻结、史玉柱被强制执行,18亿民生信托担保案余波未了

野马财经 浏览 1903 08-09

同比暴跌70%,国人为什么不买玛莎拉蒂了?

优视汽车 浏览 2710 06-24

苹果又一 AI 工程师转投 Meta,短短一个多月被连挖五人

IT之家 浏览 1151 08-11

胖东来招聘网站被挤爆 8.9元"面试真题"被公开叫卖

每日经济新闻 浏览 631 08-29

澳波:我完全不知道为何大家总以负面眼光看我,我挺招人喜欢

懂球帝 浏览 426 09-20

盘点出战男篮欧锦赛的24名NBA球员:约基奇、字母哥、东契奇在列

懂球帝 浏览 3660 08-07
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11