多语言和多说话者支持
通过大规模的多语言预训练模型,支持涵盖超过7,000种语言的多语言语音合成。实现多说话者语音合成,并克隆节奏、重音和语调等韵律跨说话者
通过以下示例尝试ToucanTTS。
Turn text into natural speech and create voices for your next project.
Please wait while the demo prepares.
ToucanTTS是专为对话场景设计的语音生成模型,特别适用于大型语言模型(LLM)助手的对话任务,以及诸如对话式音频和视频介绍等应用。它支持中文和英文,通过使用大约100,000小时的中文和英文数据进行训练,ToucanTTS在语音合成中表现出高质量和自然度。
通过大规模的多语言预训练模型,支持涵盖超过7,000种语言的多语言语音合成。实现多说话者语音合成,并克隆节奏、重音和语调等韵律跨说话者
允许对合成语音进行人机协同编辑,例如用于诗歌朗诵和文学研究
提供大规模多语言语音合成、跨说话者风格克隆、语音设计和人工编辑的诗歌朗诵的交互式演示
主要基于FastSpeech 2架构,具有一些修改,例如受PortaSpeech启发的基于正规化流的PostNet。包括经CTC训练的自包含对齐器和各种应用的谱图重建。提供多语言模型、对齐器、嵌入函数、声码器和嵌入GAN的预训练模型
完全采用Python和PyTorch构建,旨在简单且适合初学者,同时功能强大
IMS Toucan系统将音素的口腔表征作为输入,使多语言数据可以惠及低资源语言
只需简单几步,即可开始使用ToucanTTS。
从GitHub下载代码。
git clone https://github.com/2noise/ToucanTTS下载ToucanTTS在开始之前,请确保已安装所需的软件包。您将需要torch和ToucanTTS。如果尚未安装,可以使用pip安装:
pip install torch ToucanTTS为您的脚本导入必要的库。您将需要torch、ToucanTTS和IPython.display中的Audio。
import torch
import ToucanTTS
from IPython.display import Audio创建ToucanTTS类的实例并加载预训练模型。
chat = ToucanTTS.Chat()
chat.load_models()定义要转换为语音的文本。将<YOUR TEXT HERE>替换为您想要的文本。
texts = ["你好,欢迎使用ToucanTTS!"]使用infer方法从文本生成语音。设置use_decoder=True以启用解码器。
wavs = chat.infer(texts, use_decoder=True)使用IPython.display中的Audio类播放生成的音频。将采样率设置为24,000 Hz并启用自动播放。
Audio(wavs[0], rate=24_000, autoplay=True)这是供参考的完整脚本:
import torch
import ToucanTTS
from IPython.display import Audio
# 初始化ToucanTTS
chat = ToucanTTS.Chat()
chat.load_models()
# 定义要转换为语音的文本
texts = ["你好,欢迎使用ToucanTTS!"]
# 生成语音
wavs = chat.infer(texts, use_decoder=True)
# 播放生成的音频
Audio(wavs[0], rate=24_000, autoplay=True)
选择符合实际需求的短句、问句、长段落及重要姓名和缩写。先朗读修改生硬表达,统一标点,便于区分文本与参数带来的变化。多语言文本请熟悉该语言的人检查措辞和发音意图,不只追求逐字翻译。保存定稿,比较不同声音时使用相同段落。
先确定用途:教学可能重视停顿与术语,故事更依赖节奏和重音。分别检查可懂度、发音、韵律和音量,声音悦耳不代表名字准确或句间停顿合理。记录具体问题,例如尾字截断或停顿错位,并保持各样本播放音量相近。
先运行项目当前文档中的小例子,确认环境可用,再规划更大的流程。安装、支持配置和模型说明以仓库为准,记录版本与设置。用少量代表性段落评估,不能从一句成功推断所有语言与风格都适用,满足实际听众需求后再扩大测试。
不要只逐句批准,应听完整段落的衔接、重复术语发音与节奏,并在听众常用设备上预览。文本、音频和检查记录一起保存,便于修正错读。分享或发布前核对模型、软件许可和源录音权利。本站介绍工具包和试听方法,实际生成流程以仓库及所选服务为准。
有问题吗?查看下面的一些常见疑问。
ToucanTTS主要基于FastSpeech 2架构,其中包括受PortaSpeech启发的基于正则流的PostNet等修改。
ToucanTTS将音素的发音特征表示作为输入,使多语言数据有助于资源匮乏的语言。
是的,ToucanTTS支持多说话人语音合成,可以跨说话人克隆语调(节奏、重音、语调)。
ToucanTTS提供互动演示,用于大规模多语言语音合成、跨说话人风格克隆、语音设计以及人工编辑的诗歌朗诵。
ToucanTTS的大规模多语言预训练模型涵盖超过7,000种语言。
是的,ToucanTTS完全基于Python和PyTorch构建,旨在简单且适合初学者使用,同时仍具有强大功能。