വൈകാരിക സംഭാഷണ സമന്വയത്തിനായി ChatTTS പ്രോജക്റ്റ് ഒരു മോഡലും അനുബന്ധ മെഷീൻ ലേണിംഗ് ടൂൾകിറ്റും പ്രസിദ്ധീകരിച്ചു. ഇൻ്ററാക്ടീവ് അസിസ്റ്റൻ്റുകൾ പോലെയുള്ള സംഭാഷണ സംവിധാനങ്ങളിൽ ഉപയോഗിക്കുന്നതിന് ChatTTS പ്രോജക്റ്റ് പ്രത്യേകം ഒപ്റ്റിമൈസ് ചെയ്തിരിക്കുന്നു, കൂടാതെ സ്വാഭാവിക വൈകാരിക ആശയവിനിമയത്തിൻ്റെ സവിശേഷതകൾ പകർത്താൻ ലക്ഷ്യമിടുന്നു. ഒന്നിലധികം സ്പീക്കറുകളുമായുള്ള ആശയവിനിമയവും ഒരു സംവേദനാത്മക സംഭാഷണം നിർമ്മിക്കലും പിന്തുണയ്ക്കുന്നു. ചിരി, വിരാമമിടൽ, ഇടപെടൽ തുടങ്ങിയ പ്രോസോഡിക് ഘടകങ്ങൾ സമന്വയ സമയത്ത് ശരിയായി ട്രാക്ക് ചെയ്യുകയും പുനർനിർമ്മിക്കുകയും ചെയ്യുന്നു.
മോഡൽ പരിശീലിപ്പിക്കുമ്പോൾ, ഏകദേശം 40 ആയിരം മണിക്കൂർ സംഭാഷണ റെക്കോർഡിംഗുകൾ ഉപയോഗിച്ചു (മോഡലിൻ്റെ പൊതുമല്ലാത്ത പതിപ്പിൽ - 100 ആയിരം മണിക്കൂർ). ഡെവലപ്പർമാരുടെ അഭിപ്രായത്തിൽ, ഈ മോഡലിൻ്റെ ഇൻ്റണേഷൻ ജനറേഷൻ കഴിവുകൾ മുമ്പ് ലഭ്യമായ എല്ലാ ഓപ്പൺ സ്പീച്ച് സിന്തസിസ് മോഡലുകളേക്കാളും മികച്ചതാണ്. സിന്തസിസ് സമയത്ത് വികാരങ്ങൾ നിയന്ത്രിക്കുന്നതിന്, ടോക്കൺ പകരം വയ്ക്കൽ മാത്രമാണ് നിലവിൽ പിന്തുണയ്ക്കുന്നത്, ഉദാഹരണത്തിന്, ചിരിക്ക് "[ചിരിക്കുക]". 30 സെക്കൻഡ് റെക്കോർഡിംഗ് സൃഷ്ടിക്കാൻ, 4 GB മെമ്മറിയുള്ള ഒരു GPU ആവശ്യമാണ്. NVIDIA GeForce RTX 4090D GPU-യിൽ, ജനറേഷൻ നിരക്ക് സെക്കൻഡിൽ ഏകദേശം 7 സെമാൻ്റിക് ടോക്കണുകളാണ്. ഇംഗ്ലീഷിലും ചൈനീസിലുമുള്ള സ്ത്രീ-പുരുഷ ശബ്ദങ്ങളുടെ സമന്വയത്തെ പിന്തുണയ്ക്കുന്നു (റഷ്യൻ ഭാഷയ്ക്കായി ഞങ്ങൾക്ക് TTS ചട്ടക്കൂടും XTTS-v2 മോഡലും ശുപാർശ ചെയ്യാൻ കഴിയും, ഇത് മറ്റൊരു ഭാഷയിലെ സിന്തസിസ് ഉൾപ്പെടെ ഒരു ഹ്രസ്വ സംഭാഷണ റെക്കോർഡിംഗിൽ നിന്നുള്ള വോയ്സ് ക്ലോണിംഗിനെ സിന്തസിസ് പിന്തുണയ്ക്കുന്നു. ).
CC BY-NC-ND 4.0 (ക്രിയേറ്റീവ് കോമൺസ് ആട്രിബ്യൂഷൻ-നോൺ കൊമേഴ്സ്യൽ-നോഡെറിവേറ്റീവ്സ് 4.0) ലൈസൻസിന് കീഴിലാണ് ChatTTS മോഡൽ പ്രസിദ്ധീകരിക്കുന്നത്, ഇത് ആട്രിബ്യൂഷനോടുകൂടിയ സൗജന്യ പുനർവിതരണം അനുവദിക്കുന്നു, എന്നാൽ ഡെറിവേറ്റീവ് വർക്കുകൾ സൃഷ്ടിക്കുന്നതും വാണിജ്യ പ്രോജക്റ്റുകളിൽ ഉപയോഗിക്കുന്നതും തടയുന്നു. കൂടാതെ, വഞ്ചനാപരവും ക്രിമിനൽ പ്രവൃത്തികളും ചെയ്യുന്നതിനുള്ള മോഡലിൻ്റെ ഉപയോഗത്തിൽ നിന്ന് പരിരക്ഷിക്കുന്നതിന്, മോഡലിനെ പരിശീലിപ്പിക്കുമ്പോൾ, ഉയർന്ന ആവൃത്തിയിലുള്ള ശബ്ദത്തിന് പകരമായി ഉപയോഗിക്കുകയും MP3 ഫോർമാറ്റ് ഉപയോഗിച്ച് പരമാവധി ഓഡിയോ കംപ്രഷൻ ഉപയോഗിക്കുകയും ചെയ്തു.
അവലംബം: opennet.ru
