व्हॉइस क्लोनिंगला समर्थन देणारे झोनोस एआय स्पीच सिंथेसिस मॉडेल प्रकाशित झाले

झिफ्रा ने अपाचे २.० परवान्याअंतर्गत त्यांच्या झोनोस स्पीच सिंथेसिस एआय मॉडेलचा पहिला बीटा रिलीज जारी केला आहे. मॉडेलसोबत देण्यात आलेले टूलकिट व्हॉइस क्लोनिंग फंक्शनला सपोर्ट करते, जे मॉडेलला इच्छित आवाजात भाषण संश्लेषित करण्यास अनुमती देते, ज्यासाठी वक्त्याच्या भाषणाचे ३०-सेकंदांचे संदर्भ रेकॉर्डिंग प्रदान करणे पुरेसे आहे. इंग्रजी, जपानी, चिनी, फ्रेंच आणि जर्मन भाषेत संश्लेषण समर्थित आहे.

हे मॉडेल १.६ अब्ज पॅरामीटर्स कव्हर करते आणि २०० हजार तासांच्या ऑडिओ रेकॉर्डिंगवर प्रशिक्षित केले गेले. नीरस (ऑडिओबुक्सप्रमाणे) आणि भावनिक भाषण (लाइव्ह संभाषणाप्रमाणे) यांचे संश्लेषण समर्थित आहे, तसेच दिलेल्या उपसर्गावर आधारित संश्लेषण (भाषणाच्या सुरुवातीसह ऑडिओ रेकॉर्डिंग प्रदान केले आहे, ज्याच्या आधारावर मॉडेल निर्दिष्ट मजकुराच्या निरंतरतेचे संश्लेषण करते, भाषणाची मूळ वैशिष्ट्ये पुनरुत्पादित करते, उदाहरणार्थ, कुजबुजत बोलणे सुरू ठेवणे).

आउटपुट ४४kHz च्या सॅम्पलिंग फ्रिक्वेन्सीसह ध्वनी निर्माण करतो. बहु-वक्ता भाषणांचे अनुकरण करण्यासाठी किंवा परस्पर संवाद तयार करण्यासाठी संश्लेषित इन्सर्ट घालण्यासाठी तसेच आनंद, भीती, दुःख आणि राग यासारख्या भावनांच्या भाषणाचा वेग, आवाजाची तीव्रता आणि अभिव्यक्ती नियंत्रित करण्यासाठी लेबल्स जोडण्यासाठी समर्थन प्रदान केले जाते.

विकसकांच्या मते, जनरेट केलेल्या भाषणाची गुणवत्ता सर्व सार्वजनिकरित्या उपलब्ध असलेल्या खुल्या आणि व्यावसायिक संश्लेषण प्रणालींइतकी किंवा त्यापेक्षा श्रेष्ठ आहे (चाचण्या इलेव्हनलॅब्स, कार्टेसिया आणि फिशस्पीचशी तुलना प्रदान करतात). तोट्यांमध्ये, निर्माण होणाऱ्या ध्वनी सामग्रीच्या सुरुवातीला किंवा शेवटी खोकला, श्वास घेण्याचे आवाज किंवा कर्कश आवाज यासारख्या ध्वनी कलाकृतींचे प्रमाण जास्त असते.

• झोन:
• इलेव्हन लॅब्स:
• कार्टेशिया:
• फिश स्पीच आवृत्ती १.५:

तुमच्या सिस्टमवर मॉडेल वापरण्यासाठी, डॉकर सिस्टमसाठी वापरण्यास तयार प्रतिमा तयार करण्यात आली आहे, ज्यामध्ये ग्रॅडिओ प्लॅटफॉर्मवर आधारित संश्लेषण व्यवस्थापित करण्यासाठी वेब इंटरफेस समाविष्ट आहे. सुरुवात करण्यासाठी, फक्त “git clone https://github.com/Zyphra/Zonos.git;” या कमांडचा वापर करून प्रतिमा स्थापित करा. सीडी झोन; "docker compose up" टाइप करा आणि ब्राउझरमध्ये "http://localhost:7860" हे पेज उघडा. ऑपरेशनसाठी, 3000 GB व्हिडिओ मेमरीसह किमान 6 मालिकेचा NVIDIA GPU असण्याची शिफारस केली जाते. RTX 4090 GPU रिअल-टाइम सिंथेसिससाठी आवश्यक असलेल्या कामगिरीपेक्षा दुप्पट कामगिरी देते.

स्त्रोत: opennet.ru