金磊 发自 凹非寺
量子位 | 公众号 QbitAI
Meta超级智能实验室的首篇论文,来了——
提出了一个名为REFRAG的高效解码框架,重新定义了RAG(检索增强生成),最高可将首字生成延迟(TTFT)加速30倍。
![]()
毕竟算是超级智能实验的“开山之作”,研究一出,就已经在网上掀起了不少的热议。
![]()
金磊 发自 凹非寺
量子位 | 公众号 QbitAI
Meta超级智能实验室的首篇论文,来了——
提出了一个名为REFRAG的高效解码框架,重新定义了RAG(检索增强生成),最高可将首字生成延迟(TTFT)加速30倍。
![]()
毕竟算是超级智能实验的“开山之作”,研究一出,就已经在网上掀起了不少的热议。
![]()