ToucanTTS
🇨🇳 中文

ToucanTTS - 一套用于最先进语音合成的工具包

一个覆盖超过7,000种语言的大型多语言模型

Try It Now

在线免费使用ToucanTTS

通过以下示例尝试ToucanTTS。

Voicv

Turn text into natural speech and create voices for your next project.

Try Voicv

Loading demo…

Please wait while the demo prepares.

ToucanTTS是什么?

ToucanTTS是专为对话场景设计的语音生成模型,特别适用于大型语言模型(LLM)助手的对话任务,以及诸如对话式音频和视频介绍等应用。它支持中文和英文,通过使用大约100,000小时的中文和英文数据进行训练,ToucanTTS在语音合成中表现出高质量和自然度。

ToucanTTS特点

多语言和多说话者支持

通过大规模的多语言预训练模型,支持涵盖超过7,000种语言的多语言语音合成。实现多说话者语音合成,并克隆节奏、重音和语调等韵律跨说话者

人机协同编辑

允许对合成语音进行人机协同编辑,例如用于诗歌朗诵和文学研究

交互式演示

提供大规模多语言语音合成、跨说话者风格克隆、语音设计和人工编辑的诗歌朗诵的交互式演示

架构和组件

主要基于FastSpeech 2架构,具有一些修改,例如受PortaSpeech启发的基于正规化流的PostNet。包括经CTC训练的自包含对齐器和各种应用的谱图重建。提供多语言模型、对齐器、嵌入函数、声码器和嵌入GAN的预训练模型

易用性

完全采用Python和PyTorch构建,旨在简单且适合初学者,同时功能强大

口腔表征

IMS Toucan系统将音素的口腔表征作为输入,使多语言数据可以惠及低资源语言

如何使用ToucanTTS?

只需简单几步,即可开始使用ToucanTTS。

  1. 从GitHub下载

    从GitHub下载代码。

    git clone https://github.com/2noise/ToucanTTS
    下载ToucanTTS
  2. 安装依赖项

    在开始之前,请确保已安装所需的软件包。您将需要torch和ToucanTTS。如果尚未安装,可以使用pip安装:

    pip install torch ToucanTTS
  3. 导入所需库

    为您的脚本导入必要的库。您将需要torch、ToucanTTS和IPython.display中的Audio。

    import torch
    import ToucanTTS
    from IPython.display import Audio
  4. 初始化ToucanTTS

    创建ToucanTTS类的实例并加载预训练模型。

    chat = ToucanTTS.Chat()
    chat.load_models()
  5. 准备文本

    定义要转换为语音的文本。将<YOUR TEXT HERE>替换为您想要的文本。

    texts = ["你好,欢迎使用ToucanTTS!"]
  6. 生成语音

    使用infer方法从文本生成语音。设置use_decoder=True以启用解码器。

    wavs = chat.infer(texts, use_decoder=True)
  7. 播放音频

    使用IPython.display中的Audio类播放生成的音频。将采样率设置为24,000 Hz并启用自动播放。

    Audio(wavs[0], rate=24_000, autoplay=True)
  8. 完成脚本

    这是供参考的完整脚本:

    import torch
    import ToucanTTS
    from IPython.display import Audio
    
    # 初始化ToucanTTS
    chat = ToucanTTS.Chat()
    chat.load_models()
    
    # 定义要转换为语音的文本
    texts = ["你好,欢迎使用ToucanTTS!"]
    
    # 生成语音
    wavs = chat.infer(texts, use_decoder=True)
    
    # 播放生成的音频
    Audio(wavs[0], rate=24_000, autoplay=True)
    

准备一次试听实验

写一组简短而多样的文本

选择符合实际需求的短句、问句、长段落及重要姓名和缩写。先朗读修改生硬表达,统一标点,便于区分文本与参数带来的变化。多语言文本请熟悉该语言的人检查措辞和发音意图,不只追求逐字翻译。保存定稿,比较不同声音时使用相同段落。

明确试听要观察什么

先确定用途:教学可能重视停顿与术语,故事更依赖节奏和重音。分别检查可懂度、发音、韵律和音量,声音悦耳不代表名字准确或句间停顿合理。记录具体问题,例如尾字截断或停顿错位,并保持各样本播放音量相近。

把工具包接入实际项目

先探索,再集成

先运行项目当前文档中的小例子,确认环境可用,再规划更大的流程。安装、支持配置和模型说明以仓库为准,记录版本与设置。用少量代表性段落评估,不能从一句成功推断所有语言与风格都适用,满足实际听众需求后再扩大测试。

检查完整语音段落

不要只逐句批准,应听完整段落的衔接、重复术语发音与节奏,并在听众常用设备上预览。文本、音频和检查记录一起保存,便于修正错读。分享或发布前核对模型、软件许可和源录音权利。本站介绍工具包和试听方法,实际生成流程以仓库及所选服务为准。

常见问题

有问题吗?查看下面的一些常见疑问。

ToucanTTS使用的主要架构是什么?

ToucanTTS主要基于FastSpeech 2架构,其中包括受PortaSpeech启发的基于正则流的PostNet等修改。

ToucanTTS如何支持资源匮乏的语言?

ToucanTTS将音素的发音特征表示作为输入,使多语言数据有助于资源匮乏的语言。

ToucanTTS可以用于多说话人语音合成吗?

是的,ToucanTTS支持多说话人语音合成,可以跨说话人克隆语调(节奏、重音、语调)。

ToucanTTS提供哪些演示?

ToucanTTS提供互动演示,用于大规模多语言语音合成、跨说话人风格克隆、语音设计以及人工编辑的诗歌朗诵。

ToucanTTS的大规模多语言预训练模型涵盖了多少种语言?

ToucanTTS的大规模多语言预训练模型涵盖超过7,000种语言。

ToucanTTS易于使用吗?

是的,ToucanTTS完全基于Python和PyTorch构建,旨在简单且适合初学者使用,同时仍具有强大功能。