关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01299人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

河南vs蓉城点球大战:罗慕洛、马亚失点,王国明扑出莱切特点球

直播吧 浏览 430 08-20

爆亏67.5亿,负债率高达93%!蔚来陷入生死局

象视汽车 浏览 529 06-13

谷歌华裔工程师游览加州公园 被树枝砸中身亡

环球网资讯 浏览 6025 07-31

郑丽文第二波人事公布:张荣恭、萧旭岑任国民党副主席

海峡导报社 浏览 373 10-25

韩磊再被捶,女子为其打胎 小四也来了

探源历史 浏览 514 08-28

吊打比亚迪、用“老头乐”狂割美国人,这家车企要赴港上市了

钛媒体APP 浏览 348 10-24

小米16改名小米17 雷军:全面对标iPhone正面迎战

南方都市报 浏览 501 09-16

告别93岁时尚传奇Valentino:他留下了全世界最美的“红”

LinkFashion 浏览 289 01-21

看来看去还是这些穿搭适合普通人!配色不艳、衣服不花,好得体

静儿时尚达人 浏览 7568 07-23

新能源大三排SUV的猎杀时刻开始了

汽车公社 浏览 177 12-19

又一“华系”旗舰插混SUV登场!标配ADS 4 Max,综合续航超1200km

车东西 浏览 438 09-21

中方代表团成员当面质问荷兰国防大臣

每日经济新闻 浏览 72 06-02

餐饮“白月光们”再开张,排队的人却没了?

餐饮老板内参 浏览 992 07-14

类苹果 visionOS:Meta 将为 Quest 头显引入新版系统 UI 界面

IT之家 浏览 392 09-21

离开妈妈黄圣依半年的安迪 在杨子照顾下邋里邋遢

老吴教育课堂 浏览 1349 07-28

匹克被指要求拒绝降薪员工写检讨否则就停薪 当地回应

上游新闻 浏览 393 10-15

顶楼住户拆除楼板升高数米加盖 一楼出现从上到下裂缝

大风新闻 浏览 307 12-19

田径世锦赛男子20公里竞走:王朝朝8秒之差摘银,邦菲姆金牌

懂球帝 浏览 437 09-20

普京:某国准备进行核试验

北京日报 浏览 345 10-04

70岁好莱坞硬汉被指痴呆症病情恶化 已不能说话和行走

新民晚报 浏览 2136 08-11

雷军直播拆车,榜一大哥狂送“半辆SU7”

麦浪的玩车之家 浏览 285 01-06
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11