ToucanTTSun modelo masivamente multilingüe que cubre más de 7,000 idiomas
Try It NowPrueba ToucanTTS con los siguientes ejemplos.
Turn text into natural speech and create voices for your next project.
Please wait while the demo prepares.
ToucanTTS es un modelo de generación de voz diseñado para escenarios conversacionales, específicamente para las tareas de diálogo de asistentes de modelos de lenguaje grandes (LLM), así como aplicaciones como introducciones de audio y video conversacionales. Admite tanto el chino como el inglés, y a través del uso de aproximadamente 100,000 horas de datos de entrenamiento en chino e inglés, ToucanTTS demuestra alta calidad y naturalidad en la síntesis del habla.
Admite síntesis de voz multilingüe que cubre más de 7,000 idiomas a través de un modelo preentrenado masivamente multilingüe. Permite la síntesis de voz multi-locutor y la clonación de prosodia (ritmo, énfasis, entonación) entre locutores
Permite la edición con intervención humana de la síntesis de voz, por ejemplo, para la lectura de poesía y estudios literarios
Proporciona demos interactivos para la síntesis de voz masivamente multilingüe, clonación de estilo entre locutores, diseño de voz y lectura de poesía editada por humanos
Basado principalmente en la arquitectura FastSpeech 2 con modificaciones como un PostNet basado en un flujo de normalización inspirado en PortaSpeech. Incluye un alineador independiente entrenado con la clasificación temporal connectionista (CTC) y la reconstrucción del espectrograma para diversas aplicaciones. Ofrece modelos preentrenados para el modelo multilingüe, alineador, función de incrustación, vocoder y GAN de incrustación
Construido completamente en Python y PyTorch, con el objetivo de ser simple y amigable para principiantes pero a la vez potente
El sistema IMS Toucan incorpora representaciones articulatorias de fonemas como entrada, lo que permite que los datos multilingües beneficien a los idiomas de recursos limitados
Comencemos con ToucanTTS en solo unos simples pasos.
Descarga el código desde GitHub.
git clone https://github.com/2noise/ToucanTTSAntes de comenzar, asegúrate de tener instalados los paquetes necesarios. Necesitarás torch y ToucanTTS. Si aún no los has instalado, puedes hacerlo usando pip:
pip install torch ToucanTTSImporta las bibliotecas necesarias para tu script. Necesitarás torch, ToucanTTS y Audio de IPython.display
import torch
import ToucanTTS
from IPython.display import AudioCrea una instancia de la clase ToucanTTS y carga los modelos pre-entrenados.
chat = ToucanTTS.Chat()
chat.load_models()Define el texto que deseas convertir en voz. Reemplaza <YOUR TEXT HERE> con tu texto deseado.
texts = ["¡Hola, bienvenido a ToucanTTS!",]Utiliza el método infer para generar voz a partir del texto. Establece use_decoder=True para habilitar el decodificador.
wavs = chat.infer(texts, use_decoder=True)Utiliza la clase Audio de IPython.display para reproducir el audio generado. Establece la tasa de muestreo en 24,000 Hz y habilita la reproducción automática.
Audio(wavs[0], rate=24_000, autoplay=True)Aquí tienes el script completo como referencia:
import torch
import ToucanTTS
from IPython.display import Audio
# Inicializar ToucanTTS
chat = ToucanTTS.Chat()
chat.load_models()
# Definir el texto a convertir en voz
texts = ["¡Hola, bienvenido a ToucanTTS!",]
# Generar voz
wavs = chat.infer(texts, use_decoder=True)
# Reproducir el audio generado
Audio(wavs[0], rate=24_000, autoplay=True)
Incluye frases cortas, preguntas, pasajes largos, nombres y abreviaturas. Lee en voz alta y unifica la puntuación. Pide revisión a hablantes de cada idioma y compara voces con los mismos textos.
Revisa por separado comprensión, pronunciación, ritmo, pausas y volumen. Anota fallos concretos en lugar de una sola puntuación y mantén un nivel de escucha parecido entre muestras.
Empieza con un ejemplo de la documentación actual. Registra versión y configuración y prueba pasajes representativos. Una frase correcta no valida todos los idiomas ni estilos.
Comprueba transiciones, términos repetidos y ritmo en los dispositivos del público. Guarda texto, audio y notas. Revisa licencias de software y modelos y derechos de grabaciones; el repositorio describe el flujo real.
¿Tienes una pregunta? Consulta algunas de las preguntas comunes a continuación.
ToucanTTS se basa principalmente en la arquitectura FastSpeech 2 con modificaciones como un PostNet basado en flujos de normalización inspirado en PortaSpeech.
ToucanTTS incorpora representaciones articulatorias de fonemas como entrada, permitiendo que los datos multilingües beneficien a los idiomas de recursos limitados.
Sí, ToucanTTS permite la síntesis de voz de varios hablantes y la clonación de la prosodia (ritmo, énfasis, entonación) entre hablantes.
ToucanTTS ofrece demos interactivos para la síntesis de voz masivamente multilingüe, clonación de estilo entre hablantes, diseño de voz y lectura de poesía editada por humanos.
El modelo preentrenado masivamente multilingüe en ToucanTTS cubre más de 7,000 idiomas.
Sí, ToucanTTS está construido completamente en Python y PyTorch, con el objetivo de ser simple y amigable para principiantes pero a la vez potente.