“巴别鱼”是英国作家道格拉斯·亚当斯在1979年出版的科幻小说《银河系漫游指南》中创造的虚构生物——这种外形呈黄色水蛭状、寄生在宿主耳道内的神奇生物能够突破语言障碍,实现跨物种的语言交流。
翻译机的出现已经打破了人类语言的隔阂,让人们能够自由交流。然而进入AI时代,由于大部分的通用大模型对低资源语言的支持严重不足,使得小语种国家仍面临被时代边缘化的风险。
在今年的上海世界人工智能大会(WAIC)的一场高级别高水平多语言基座大模型国际学术研讨会上,来自近20个国家的约30位语言专家和人工智能专家就如何弥合AI语言模型的鸿沟,实现普惠AI技术进行深入探讨。
专家认为,如果语言被技术遗忘,那么使用这个语言的群体也会被时代遗忘;而只有当小语种国家的孩子也能够用自己的母语向AI提问时,AI平权才真正实现了。
塞尔维亚语是流行在东欧巴尔干半岛前南斯拉夫诸国的一种语言。然而,该语言的使用率远低于同一地区的斯洛文尼亚语。塞尔维亚诺维萨德大学技术科学学院主任Vlado Delić教授指出,塞尔维亚语在通用模型中token占比不足0.1%!
“语言模型不能只服务大语种,每种语言都应拥有体现其文化身份的大模型。”Delić表示。他还称,这对于人工智能在医疗、法律等关键领域的普及非常重要,必须构建符合本国语言特点和文化语境的国家级大模型。
匈牙利语具有极度复杂的词缀组合及自由语序,这为大语言模型token的划分等带来独特挑战。对此,匈牙利语言学研究中心总干事Gábor Prószéky教授强调,数据质量优于数据体量,