ToucanTTSмассовая многоязычная модель, охватывающая более 7 000 языков
Try It NowПопробуйте ToucanTTS с помощью следующих примеров.
Turn text into natural speech and create voices for your next project.
Please wait while the demo prepares.
ToucanTTS - модель генерации речи, разработанная для разговорных сценариев, специально для задач диалогов крупных языковых моделей (LLM) ассистентов, а также приложений, таких как разговорные аудио- и видеовведения. Она поддерживает как китайский, так и английский язык, и благодаря использованию примерно 100 000 часов данных на китайском и английском языках для обучения, ToucanTTS демонстрирует высокое качество и естественность синтеза речи.
Поддерживает синтез речи на более чем 7 000 языках благодаря массово многоязычной предварительно обученной модели. Позволяет синтез речи для нескольких дикторов и клонирование просодии (ритм, ударение, интонация) между дикторами
Позволяет редактирование синтезированной речи в ходе взаимодействия с человеком, например, для чтения поэзии и литературных исследований
Предоставляет интерактивные демонстрации для массово многоязычного синтеза речи, клонирования стиля между дикторами, создания голоса и чтения поэзии с участием человека
Основана в первую очередь на архитектуре FastSpeech 2 с модификациями, например, нормализующим потоковым PostNet, вдохновленным PortaSpeech. Включает автономный выравнивающий узел, обученный методом CTC (Connectionist Temporal Classification), и восстановление спектрограмм для различных приложений. Предлагает предварительно обученные модели для многоязычной модели, выравнивающего узла, функции встраивания, вокодера и внедрения GAN
Построен полностью на Python и PyTorch, нацелен на простоту в использовании для начинающих, сохраняя при этом мощность
Система IMS Toucan включает артикуляционные представления фонем в качестве входных данных, что позволяет многоязычным данным быть полезными для языков с недостаточными ресурсами
Давайте начнем работу с ToucanTTS всего за несколько простых шагов.
Скачайте код с GitHub.
git clone https://github.com/2noise/ToucanTTSПрежде чем начать, убедитесь, что у вас установлены необходимые пакеты. Вам понадобятся torch и ToucanTTS. Если вы еще не установили их, вы можете сделать это с помощью pip:
pip install torch ToucanTTSИмпортируйте необходимые библиотеки для вашего скрипта. Вам понадобятся torch, ToucanTTS и Audio из IPython.display
import torch
import ToucanTTS
from IPython.display import AudioСоздайте экземпляр класса ToucanTTS и загрузите предварительно обученные модели.
chat = ToucanTTS.Chat()
chat.load_models()Определите текст, который вы хотите преобразовать в речь. Замените <YOUR TEXT HERE> на ваш желаемый текст.
texts = ["Привет, добро пожаловать в ToucanTTS!",]Используйте метод infer для генерации речи из текста. Установите use_decoder=True, чтобы включить декодер.
wavs = chat.infer(texts, use_decoder=True)Используйте класс Audio из IPython.display для воспроизведения сгенерированного аудио. Установите частоту дискретизации на 24 000 Гц и включите автоматическое воспроизведение.
Audio(wavs[0], rate=24_000, autoplay=True)Вот полный скрипт для справки:
import torch
import ToucanTTS
from IPython.display import Audio
# Инициализация ToucanTTS
chat = ToucanTTS.Chat()
chat.load_models()
# Определение текста для преобразования в речь
texts = ["Привет, добро пожаловать в ToucanTTS!",]
# Генерация речи
wavs = chat.infer(texts, use_decoder=True)
# Воспроизведение сгенерированного аудио
Audio(wavs[0], rate=24_000, autoplay=True)
Включите короткие фразы, вопросы, длинные отрывки, имена и сокращения. Прочитайте вслух и согласуйте пунктуацию. Попросите носителя проверить каждый язык и сравнивайте голоса на одинаковых текстах.
Отдельно оценивайте разборчивость, произношение, ритм, паузы и громкость. Записывайте конкретные ошибки вместо одной общей оценки и сохраняйте одинаковую громкость прослушивания.
Начните с примера из актуальной документации. Запишите версию и настройки, проверьте типичные отрывки. Одна удачная фраза не подтверждает качество всех языков и стилей.
Проверьте переходы, повторяющиеся термины и темп на устройствах аудитории. Храните текст, аудио и заметки. Учитывайте лицензии программы и моделей, права на записи; реальный процесс описан в репозитории.
У вас есть вопрос? Посмотрите некоторые из распространенных запросов ниже.
ToucanTTS в основном основан на архитектуре FastSpeech 2 с модификациями, такими как нормализующий потоковый PostNet, вдохновленный PortaSpeech.
ToucanTTS включает артикуляционное представление фонем в качестве входных данных, что позволяет многоязычным данным помогать языкам с низкими ресурсами.
Да, ToucanTTS позволяет синтезировать речь с несколькими дикторами и клонировать прозодию (ритм, ударение, интонация) среди дикторов.
ToucanTTS предоставляет интерактивные демонстрации для массового многоязычного синтеза речи, стилевого клонирования среди дикторов, создания голоса и чтения поэзии с участием человека.
Массовая многоязычная предварительная модель в ToucanTTS охватывает более 7,000 языков.
Да, ToucanTTS полностью построен на Python и PyTorch, стремясь быть простым и дружественным для начинающих, сохраняя при этом высокую мощность.