Voicebox

Voicebox是一个非自回归的流匹配模型，训练用于在给定音频上下文和文本的情况下填充语音。我们在60K小时的数据上训练了一个仅英语的Voicebox，并在覆盖六种语言（英语、法语、德语、西班牙语、波兰语和葡萄牙语）的50K小时的数据上训练了一个多语言版本。

Voicebox可以通过上下文学习来执行没有明确训练的任务。它比自回归模型更灵活，因为它可以根据过去和未来的上下文进行条件化。我们展示了Voicebox可以用于单语和跨语言的零射击文本到语音合成、风格转换、瞬态噪声去除、内容编辑和多样性样本生成。