关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01298人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

谢霆锋父子罕见同框!带大儿子迪拜玩卡丁车

娱乐团长 浏览 553 08-25

男子被判3次死刑才执行 法院:其等待死刑核准时又杀人

大风新闻 浏览 552 09-02

博尔达拉斯:巧妇难为无米之炊,我不该承受这赛季所遭受的一切

懂球帝 浏览 275 01-11

豆瓣逆天9.6,世间再无如此大师云集的神作!

幕味儿 浏览 269 12-23

联合国秘书长敦促黎以冲突各方重返谈判桌

国际在线 浏览 247 03-15

女孩为捡手机被大浪打入海中 "玉米姐"跳海1分钟拽回

环球网 浏览 3197 07-10

新款东风雪铁龙天逸C5 AIRCROSS上市14.97万起

网易汽车 浏览 4398 06-23

专家:清除加沙地表未爆弹药或需20多年

北青网-北京青年报 浏览 305 10-25

差点“毁了”李湘的两个男人

二妹扯娱 浏览 470 08-26

实探安世半导体东莞工厂:限制出货 员工将"上四休三"

每日经济新闻 浏览 337 10-20

海牛:从未拖欠兰克尔·泽薪酬

体坛周报 浏览 314 11-25

U21联赛综述:申花10-0血洗兰州,海牛3-2战胜河南

懂球帝 浏览 5577 07-14

苹果发布iPhone 17e

澎湃新闻 浏览 247 03-03

百万级舒适感!东风风神L8真实力打脸杨子

网易汽车 浏览 5426 08-10

谷歌Genie 3官宣:一句话生成3D世界,但普通人还玩不上

网易科技报道 浏览 4329 08-06

媒体:海地街头黑帮堪比正规军 瞧瞧美国人干的好事

澎湃新闻 浏览 10290 08-05

小吧译言家 双10号驾到!库尼亚与姆贝莫将如何重塑曼联战术体系

直播吧 浏览 5628 07-29

诠释个性态度 或三季度上市 全新缤果S正式亮相

网易汽车 浏览 8011 08-07

名记:转播方应该意识到播比赛就是播比赛 没必要所有采访都分屏

直播吧 浏览 2781 07-27

华为“三界”入局 高端MPV混战白热化

汽势传媒 浏览 166 04-09

夏天穿衣有多种方式,这些穿搭让你收获搭配的灵感!舒适耐看

静儿时尚达人 浏览 1498 07-13
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11