今年9月，微软凭借最新的图灵通用语言表示模型（T-ULRv5），成功刷新了XTREME榜单总分和4个单项任务的SOTA。
为了达到这一最新成就，微软在大规模的多语言数据集上对模型进行了平行文本语料的训练，并同时结合了最新的XLM-E研究和XTune微调技术。
由此诞生的T-ULRv5 XL有48个transformer层，隐藏维度大小为1536，24个注意力头，多语言词汇量为50万个，总参数量达到22亿，并且能够处理94种不同的语言。
不过，在上个月的最新排名中，哈工大讯飞联合实验室（HFL）团队以总平均分84.1分的成绩再次刷新了这个记录。
HFL的CoFe模型在四项任务中，有三项都超过了微软T-ULRv5 XL模型创造的记录，另外一项则与其持平。
对此，哈工大讯飞联合实验室提出了三项技术，从而让模型具有多语言理解与跨语言迁移能力。
由 dawei
【声明】：乐山站长网内容转载自互联网，其相关言论仅代表作者个人观点绝非权威，不代表本站立场。如您发现内容存在版权问题，请提交相关链接至邮箱：bqsm@foxmail.com，我们将及时予以处理。