Silero მეტყველების სინთეზის სისტემის ახალი გამოშვება

ხელმისაწვდომია Silero Text-to-Speech ნერვული ქსელის მეტყველების სინთეზის სისტემის ახალი საჯარო გამოშვება. პროექტი, უპირველეს ყოვლისა, მიზნად ისახავს თანამედროვე, მაღალი ხარისხის მეტყველების სინთეზის სისტემის შექმნას, რომელიც არ ჩამოუვარდება კორპორაციების კომერციულ გადაწყვეტილებებს და ყველასთვის ხელმისაწვდომია ძვირადღირებული სერვერული აღჭურვილობის გამოყენების გარეშე.

მოდელები განაწილებულია GNU AGPL ლიცენზიით, მაგრამ პროექტის შემქმნელი კომპანია არ ამხელს მოდელების მომზადების მექანიზმს. გასაშვებად შეგიძლიათ გამოიყენოთ PyTorch და ჩარჩოები, რომლებიც მხარს უჭერენ ONNX ფორმატს. სილეროში მეტყველების სინთეზი ეფუძნება ღრმად შეცვლილი თანამედროვე ნერვული ქსელის ალგორითმებისა და ციფრული სიგნალის დამუშავების მეთოდებს.

აღინიშნა, რომ მეტყველების სინთეზის თანამედროვე ნერვული ქსელის გადაწყვეტილებების მთავარი პრობლემა ის არის, რომ ისინი ხშირად ხელმისაწვდომია მხოლოდ ფასიანი ღრუბლოვანი გადაწყვეტილებების ფარგლებში, ხოლო საჯარო პროდუქტებს აქვთ მაღალი ტექნიკის მოთხოვნები, დაბალი ხარისხისაა ან არ არის სრული და გამოსაყენებლად მზად. პროდუქტები. მაგალითად, ერთ-ერთი ახალი პოპულარული ბოლოდან ბოლომდე სინთეზის არქიტექტურა, VITS, შეუფერხებლად სინთეზის რეჟიმში (ეს არის არა მოდელის ტრენინგისთვის), საჭიროა ვიდეო ბარათები 16 გიგაბაიტზე მეტი VRAM.

მიმდინარე ტენდენციისგან განსხვავებით, Silero გადაწყვეტილებები წარმატებით მუშაობს Intel პროცესორის 1 x86 ძაფზეც კი AVX2 ინსტრუქციებით. 4 პროცესორის ძაფზე, სინთეზი საშუალებას გაძლევთ სინთეზიროთ 30-დან 60 წამამდე წამში 8 kHz სინთეზის რეჟიმში, 24 kHz რეჟიმში - 15-20 წამში, ხოლო 48 kHz რეჟიმში - დაახლოებით 10 წამში.

ახალი Silero გამოშვების ძირითადი მახასიათებლები:

• მოდელის ზომა 2-ჯერ შემცირდა 50 მეგაბაიტამდე;
• მოდელებმა იციან პაუზა;
• ხელმისაწვდომია 4 მაღალი ხარისხის ხმა რუსულ ენაზე (და შემთხვევითი უსასრულო რაოდენობა). გამოთქმის მაგალითები;
• მოდელები გახდა 10-ჯერ უფრო სწრაფი და, მაგალითად, 24 kHz რეჟიმში ისინი საშუალებას გაძლევთ სინთეზიროთ 20 წამამდე აუდიო წამში 4 პროცესორის ძაფზე;
• ერთი ენის ყველა ხმის ვარიანტი შეფუთულია ერთ მოდელში;
• მოდელებს შეუძლიათ მიიღონ ტექსტის მთელი აბზაცები შეყვანის სახით, მხარდაჭერილია SSML ტეგები;
• სინთეზი ერთდროულად მუშაობს სამი შერჩევის სიხშირით - 8, 24 და 48 კილოჰერცი;
• „ბავშვთა პრობლემები“ მოგვარებულია: არასტაბილურობა და სიტყვების გამოტოვება;
• დამატებულია დროშები აქცენტების ავტომატური განლაგებისა და ასო „е“-ს განლაგების გასაკონტროლებლად.

ამჟამად, სინთეზის უახლესი ვერსიისთვის, 4 ხმა რუსულ ენაზე საჯაროდ არის ხელმისაწვდომი, მაგრამ უახლოეს მომავალში შემდეგი ვერსია გამოქვეყნდება შემდეგი ცვლილებებით:

• სინთეზის მაჩვენებელი კიდევ 2-4-ჯერ გაიზრდება;
• განახლდება დსთ-ს ენების სინთეზური მოდელები: ყალმუხური, თათრული, უზბეკური და უკრაინული;
• დაემატება ევროპული ენების მოდელები;
• დაემატება მოდელები ინდური ენებისთვის;
• დაემატება მოდელები ინგლისურ ენაზე.

სილეროს სინთეზში თანდაყოლილი სისტემის ზოგიერთი ავარია:

• განსხვავებით უფრო ტრადიციული სინთეზური გადაწყვეტილებებისგან, როგორიცაა RHVoice, Silero სინთეზს არ გააჩნია SAPI ინტეგრაცია, ადვილად დასაინსტალირებელი კლიენტები ან ინტეგრაციები Windows-ისა და Android-ისთვის;
• სიჩქარე, თუმცა უპრეცედენტო მაღალია ასეთი გამოსავლისთვის, შეიძლება არ იყოს საკმარისი ფრენის დროს სუსტ პროცესორებზე მაღალი ხარისხის სინთეზისთვის;
• ავტოაქცენტის გადაწყვეტა არ ამუშავებს ჰომოგრაფებს (სიტყვებს, როგორიცაა ციხე და ციხე) და მაინც უშვებს შეცდომებს, მაგრამ ეს გამოსწორდება მომავალ გამოშვებებში;
• სინთეზის მიმდინარე ვერსია არ მუშაობს პროცესორებზე AVX2 ინსტრუქციების გარეშე (ან საჭიროა კონკრეტულად შეცვალოთ PyTorch პარამეტრები), რადგან მოდელის შიგნით ერთ-ერთი მოდული კვანტიზებულია;
• სინთეზის ამჟამინდელ ვერსიას არსებითად აქვს ერთი PyTorch-ის დამოკიდებულება; ყველა შიგთავსი „გამაგრებულია“ მოდელისა და JIT პაკეტების შიგნით. არ არის გამოქვეყნებული მოდელების საწყისი კოდები, ისევე როგორც სხვა ენებისთვის PyTorch კლიენტების მოდელების გაშვების კოდი;
• Libtorch, რომელიც ხელმისაწვდომია მობილური პლატფორმებისთვის, ბევრად უფრო დიდია ვიდრე ONNX გაშვების დრო, მაგრამ მოდელის ONNX ვერსია ჯერ არ არის ხელმისაწვდომი.

წყარო: opennet.ru