关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01195人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

应采儿携子伦敦地铁,13岁Jasper摘牙套十分帅气

凉湫瑾言 浏览 135 03-02

外交部副部长孙卫东已兼任部机关党委书记

澎湃新闻 浏览 3233 06-24

专为城市出行而来 零跑Lafa5将于慕尼黑车展首发

网易汽车 浏览 352 09-09

米哈游、腾讯民事诉讼案9 月 5 日开庭,腾讯回应

IT之家 浏览 396 09-02

首款星闪音频耳机!华为FreeBuds Pro 5悦彰耳机开售:1499元 母带级无损音质

快科技 浏览 172 11-25

3600万欧仅次于CDK,亚沙里成为比利时联赛转出第二贵的球员

懂球帝 浏览 5556 08-07

罚单频现营收连降!光大银行怎么了?

天下财道社 浏览 7689 07-14

车企增收不增利,钱到哪儿去了

帮宁工作室 浏览 202 01-17

宫鲁鸣:今天尝试不同阵容起到了相应效果 会总结准备半决赛&决赛

直播吧 浏览 3724 07-16

下半年已诞生两只翻倍基!多名基金经理“半路上车”

券商中国 浏览 354 09-22

「晨习」习近平总书记强调的“人民城市”

趣看热点 浏览 8420 07-15

美英科技协议价值几何

中国经济网 浏览 317 09-29

曝谷歌内部已敲定 Android 17 甜品代号为 Cinnamon Bun 肉桂卷

IT之家 浏览 7073 08-10

美媒称特朗普否决刺杀哈梅内伊计划

财联社 浏览 5095 06-17

印度尼帕病毒拉响警报,尚无疫苗和有效疗法,检测试剂盒受关注,多家上市公司回应

红星资本局 浏览 164 01-27

爱康国宾再回应“女律师体检10年未提示癌症”:曾提示过癌症可能性

红星资本局 浏览 6482 07-30

帕尔默:PSG确实很厉害,但我们有自己的计划且会努力执行

懂球帝 浏览 8339 07-12

邹市明的噩梦:20家公司崩盘,败光2亿,妻子变卖名牌填窟窿

娱乐白名单 浏览 6740 07-13

王菲辛苦养大李嫣,谁料竟便宜了李亚鹏?

策略剖析 浏览 483 08-12

全市场:米兰重新与弗拉霍维奇展开接触,可能用萨勒马科尔斯交换

直播吧 浏览 431 08-25

啤酒疯起来,比奶茶还甜

斑马消费 浏览 3311 07-17
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11