关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01191人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

国内首个海上可复用火箭基地开工 发射成本对标SpaceX

澎湃新闻 浏览 183 01-09

致敬经典车型 宾利飞驰三款特别版官图发布

车质网 浏览 211 10-23

反转!曝何超莲婚礼是亲妈出钱,窦骁不愿签婚前协议,所以没领证

萌神木木 浏览 233 10-21

"错换人生28年案"养母起诉生母:为何姚策到北京3天离世

中国新闻周刊 浏览 10095 06-29

粉色永不过时,它的好看与年龄无关

LinkFashion 浏览 311 08-29

消息称三星Galaxy S27 Ultra将搭载更安全的Polar ID面部识别技术

IT之家 浏览 176 02-03

拉莫斯:虽然浙江队实力很强,但我们最近的火力也很强盛

懂球帝 浏览 246 10-25

董璇再婚现场照曝光!关悦佟丽娅出席场面朴实,男方黑历史被扒

萌神木木 浏览 3984 07-16

1晚房价3千 重庆一酒店称提供小熊猫叫早服务引争议

大风新闻 浏览 9189 06-19

网友曝姚晨新欢是侯雯元!女方逼男方和钟楚曦分手,二人交集被扒

萌神木木 浏览 108 03-17

当反向过年走红 留在北京的网约车司机"狠狠捡漏"

第一财经资讯 浏览 140 02-24

32岁程序员猝死 公司谈判录音公布:我们非常器重他

澎湃新闻 浏览 155 01-27

利物浦1-0豪取三连胜!3年首胜阿森纳,索博世界波

奥拜尔 浏览 382 09-01

宗馥莉第二次请辞 娃哈哈员工:宗庆后可能也没想到

澎湃新闻 浏览 285 10-13

哈梅内伊发声:有伊朗政客想直接跟美国谈 肤浅

澎湃新闻 浏览 492 08-26

韩亚航空一客机因发动机异常返航 无人受伤

界面新闻 浏览 8926 06-23

布坎南:我正在努力回到巅峰,期待随黄潜在欧冠取得佳绩

直播吧 浏览 953 07-31

女子在五星级酒店疑被蜈蚣咬伤 酒店:正积极处理

极目新闻 浏览 437 08-23

贵州日报:巴乔、卡洛斯抵达贵州;26日将前往村超现场助威

懂球帝 浏览 5129 07-26

王传君斩获东京影帝!怼王家卫拒绝宋丹丹,曾因没戏拍卖表卖车

萌神木木 浏览 231 11-06

小鹏汽车季报图解:营收183亿,经营亏损9.3亿 交付103181辆车

雷递 浏览 453 08-20
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11