الدعم متعدد اللغات ومتعدد المتكلمين
يدعم توليد الكلام متعدد اللغات الذي يغطي أكثر من 7,000 لغة من خلال نموذج معتمد مسبقًا متعدد اللغات بشكل كبير. يتيح توليد الكلام متعدد المتكلمين واستنساخ النغمة (الإيقاع، التوتر، التنغيم) عبر المتكلمين
نموذج متعدد اللغات بشكل هائل يغطي أكثر من ٧,٠٠٠ لغة
Try It Nowجرب ToucanTTS مع الأمثلة التالية.
Turn text into natural speech and create voices for your next project.
Please wait while the demo prepares.
ToucanTTS هو نموذج لتوليد الأصوات مصمم لسيناريوهات الحوار، على وجه الخصوص لمهام الحوار لمساعدي النموذج اللغوي الكبير (LLM)، بالإضافة إلى التطبيقات مثل التقديمات الصوتية والمرئية الحوارية. يدعم كلاً من اللغتين الصينية والإنجليزية، ومن خلال استخدام حوالي 100،000 ساعة من البيانات باللغتين الصينية والإنجليزية للتدريب، يظهر ToucanTTS جودة عالية وطبيعية في توليد الكلام.
يدعم توليد الكلام متعدد اللغات الذي يغطي أكثر من 7,000 لغة من خلال نموذج معتمد مسبقًا متعدد اللغات بشكل كبير. يتيح توليد الكلام متعدد المتكلمين واستنساخ النغمة (الإيقاع، التوتر، التنغيم) عبر المتكلمين
يسمح بتحرير الإنسان في الحلقة للكلام المولَّد، على سبيل المثال، لقراءة الشعر والدراسات الأدبية
يوفر عروضاً تفاعلية لتوليد الكلام متعدد اللغات بشكل كبير، واستنساخ النمط عبر المتكلمين، وتصميم الصوت، وقراءة الشعر المحرر عن طريق الإنسان
مستند بشكل أساسي إلى هيكل FastSpeech 2 مع تعديلات مثل PostNet القائم على تدفق التطبيع المستوحى من PortaSpeech. يشمل مُحَاملًا مُعزولة مدربة بالتصنيف الزمني المشتق الاتصالي (CTC) وإعادة بناء الطيف لتطبيقات متنوعة. يقدم نماذج معتمدة مسبقًا للنموذج متعدد اللغات، والمُحامِل، ووظيفة التضمين، ومُحول الصوت، ومولّد التضمين
مبني بالكامل بلغة Python وPyTorch، بهدف أن يكون بسيطًا ومناسبًا للمبتدئين وفي نفس الوقت قويًا
يضمَّن نظام IMS Toucan تضمينات تمثيلات النُطق للصوامت كإدخال، مما يسمح للبيانات متعددة اللغات الاستفادة من اللغات ذات الموارد المنخفضة
لنبدأ استخدام ToucanTTS في خطوات بسيطة قليلة.
قم بتنزيل الكود من GitHub.
git clone https://github.com/2noise/ToucanTTSتحميل ToucanTTSقبل البدء، تأكد من تثبيت الحزم الضرورية. ستحتاج إلى torch و ToucanTTS. إذا لم تقم بتثبيتهما بعد، يمكنك القيام بذلك باستخدام pip:
pip install torch ToucanTTSاستورد المكتبات اللازمة لنصيبك. ستحتاج إلى torch و ToucanTTS و Audio من IPython.display
import torch
import ToucanTTS
from IPython.display import Audioقم بإنشاء نسخة من صنف ToucanTTS وقم بتحميل النماذج المدربة مسبقًا.
chat = ToucanTTS.Chat()
chat.load_models()حدد النص الذي تريد تحويله إلى كلام. قم بتبديل <YOUR TEXT HERE> بالنص الذي ترغب فيه.
texts = ["مرحبًا، مرحبًا بك في ToucanTTS!",]استخدم الطريقة infer لإنشاء الكلام من النص. ضع use_decoder=True لتمكين المفك الرمزي.
wavs = chat.infer(texts, use_decoder=True)استخدم فئة Audio من IPython.display لتشغيل الصوت المُنشأ. ضبط معدل العينة على 24,000 هرتز وتمكين التشغيل التلقائي.
Audio(wavs[0], rate=24_000, autoplay=True)فيما يلي النص الكامل للإشارة:
import torch
import ToucanTTS
from IPython.display import Audio
# تهيئة ToucanTTS
chat = ToucanTTS.Chat()
chat.load_models()
# تعريف النص الذي سيتم تحويله إلى كلام
texts = ["مرحبًا، مرحبًا بك في ToucanTTS!",]
# إنشاء الكلام
wavs = chat.infer(texts, use_decoder=True)
# تشغيل الصوت المولد
Audio(wavs[0], rate=24_000, autoplay=True)
أدرج جملًا قصيرة وأسئلة ومقاطع أطول وأسماء واختصارات. اقرأ النص بصوت مرتفع ووحّد علامات الترقيم. اطلب من متحدث متمكن مراجعة كل لغة، وقارن الأصوات باستخدام النصوص نفسها.
قيّم الوضوح والنطق والإيقاع والوقفات ومستوى الصوت كلًا على حدة. سجّل مشكلات محددة بدلًا من درجة عامة فقط، وحافظ على مستوى تشغيل متقارب بين العينات.
ابدأ بمثال من الوثائق الحالية وسجّل الإصدار والإعدادات. اختبر مقاطع تمثل الاستخدام الفعلي؛ نجاح جملة واحدة لا يثبت جودة جميع اللغات أو أساليب الكلام.
راجع الانتقالات والمصطلحات المتكررة والسرعة على أجهزة الجمهور. احتفظ بالنص والصوت والملاحظات. تحقق من تراخيص البرنامج والنماذج وحقوق التسجيلات؛ يوضح المستودع خطوات العمل الفعلية.
هل لديك سؤال؟ تحقق من بعض الاستفسارات الشائعة أدناه.
يعتمد ToucanTTS بشكل أساسي على هندسة FastSpeech 2 مع تعديلات مثل PostNet المستوحاة من PortaSpeech المعتمدة على تدفق التطبيع.
يدمج ToucanTTS تمثيلات التحدث للصوامت كإدخال، مما يسمح بتعميم البيانات متعددة اللغات على اللغات ذات الموارد المنخفضة.
نعم، يمكن لـ ToucanTTS تمكين توليد الكلام لعدة متحدثين ونسخ النبرة (الإيقاع، الإجهاد، التنغيم) عبر المتحدثين.
يوفر ToucanTTS عروض توضيحية تفاعلية لتوليد الكلام متعدد اللغات بشكل هائل، ونسخ الأسلوب عبر المتحدثين، وتصميم الصوت، وقراءة الشعر المحرر بشكل إنساني.
يغطي النموذج المحمل مسبقًا متعدد اللغات بشكل هائل في ToucanTTS أكثر من 7,000 لغة.
نعم، يتم بناء ToucanTTS بالكامل باستخدام Python و PyTorch، بهدف أن يكون بسيطًا وصديقًا للمبتدئين مع الاحتفاظ بالقوة.