Meta发布支持128种语言的新语音模型：指向元宇宙跨语种交流，可在线试

Facebook AI，更准确地说是 Meta AI，刚刚发布了自监督语音处理模型 XLS—R，共支持 128 种语言。

这项技术与 Meta 公司最新元宇宙愿景紧密相关。

相互交谈是人们互动的一种自然方式，伴随着语音技术的发展，未来的虚拟世界可以使用我们技术进行互动，虚拟体验将与物理世界融为一体。例如，脸书此前曾斥资20亿美元收购Oculus，作为进入元宇宙的关键入口；中国的高价收购了国内VR行业的头部厂商Pico，并加入了元宇宙等布局。

说人话，就是让母语不同的人在元宇宙里社交:一位说着英语，一位说着汉语，两人可以靠 XLS—R 在元宇宙中无障碍对话。

实际效果如何呢。

MetaAI 在 HuggingFace 上发布了试用版语音直译模型，支持从 22 种语言转换到 16 种语言，我们先来试试它的英译中效果。

我们知道，世界上的语言有上千种，要用 AI 实现这些语言的互通并非易事。“元宇宙”概念的流行也吸引了众多互联网科技巨头的布局。

一般语料库的丰富程度决定了语言翻译模型的质量，语音翻译一般集中于几个资源多大语种之间但是由于小语种往往语料匮乏，使用这类母语的人往往很难获得较高的 AI 翻译质量

XLS—R 通过自监督技术对 10 倍的语音数据进行训练，大大改善了以前的多语言模型，尤其是小语种的处理。

XLS—R 的原理

XLS—R 基于 Facebook 去年发布的 wav2vec 2.0 技术。

wav2vec 2.0 与 BERT 类似，是通过预测音频 mask 部分的语音单元来训练的它们的区别是，语音音频是一种连续的信号，不能轻易清晰地分割成单词或其他单位

wav2vec 2.0 通过学习 25 毫秒长的基本单元来解决这个问题，以便能够学习高级上下文表示。

在仅拥有一小时的标记训练数据的情况下，wav2vec 2.0 能通过后续无监督的训练数据，在 LibreSpeech 测试基准的 100 小时子集上达到 SOTA 水平。。

之后，Facebook 又推出了完全无监督的高性能语音识别模型 wav2vec—U，它纯粹从录制的语音音频和未配对的文本中学习。

为了 wav2vec—U 让学习识别音频录音中的单词，Facebook 训练了一个 GAN生成器根据嵌入在自监督表示中的每个音频段，预测与语言中的声音对应的音素

而鉴别器负责评估预测的音素序列是否真实最初，转录非常糟糕，但伴随着时间的推移，伴随着鉴别器的反馈，转录变得准确

通过这种方式，它学会了区分生成器的语音识别输出和真实文本。

Facebook 在此基础上推出了包含 53 种语言的 XLSR。

而最新发布的 XLS—R 有 128 种语言之多，语种数量是 XLSR 的两倍多，数据量更是后者 10 倍 —— 共计长达 43.6 万小时的语音。

XLS—R 共有 20 亿参数，它在测试的 37 种语言中，表现优于大多数语种先前的工作甚至在老挝语等小语种识别上，也能低于之前的错误率

此外 XLS—R 也让低资源语言与英语之间的翻译大幅改进，例如从印度尼西亚语到英语的翻译，其中 BLEU的准确性平均翻了一番。

CoVoST—2 语音翻译基准测试中，XLS—R 在 21 个英语翻译方向上比之前技术平均提高了 7.4 BLEU。

从下图中可以看出，XLS—R 对低资源语种的提升尤为明显。

微调 XLS—R

XLS—R 只是一个预训练模型，为了能更好的服务于具体任务，还需要对模型进行微调。

Hugging Face 官方提供了详细的微调教程。

此外官方还提供不同参数规模的语音识别模型，以及 15 种语言与英语之间的互译模型，供用户下载。

传送门

官方博客:

GitHub 页:

论文地址:

试用网页地址:

微调方法简介:

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。