te tukunga o te miihini whakamohio korero i hangaia e Mozilla , e whakatinana ana i te hoahoanga whakamohiotanga korero o taua ingoa, nga kairangahau mai i Baidu. Ko te whakatinanatanga ka tuhia ki Python ma te whakamahi i te anga ako miihini TensorFlow me te i raro i te raihana kore utu MPL 2.0. Tautoko Linux, Android, macOS me Windows. He nui te mahi ki te whakamahi i te miihini i runga i nga papa LePotato, Raspberry Pi 3 me Raspberry Pi 4.
Ko te huinga hoki tauira whakangungua, nga konae tangi me nga taputapu mo te mohio mai i te raina whakahau. Hei whakauru i te mahi whakamohio korero ki roto i o kaupapa, ka tukuna nga waahanga kua reri ki te whakamahi mo Python, NodeJS, C ++ me .NET (kua whakaritea e nga kaiwhakawhanake tuatoru etahi waahanga mo и ). Ko te tauira kua oti ka tukuna mo te reo Ingarihi anake, engari mo etahi atu reo i runga i te tono. ka taea e koe te whakangungu i te punaha ma te whakamahi i kohia e te kaupapa Common Voice.
He maamaa ake a DeepSpeech i nga punaha tuku iho, i te wa ano ka nui ake te mohiotanga i te aroaro o te haruru o waho. Karekau te whanaketanga e whakamahi ana i nga tauira oro tuku iho me te kaupapa o nga waea, engari ma te whakamahi i te punaha ako miihini kua tino arotauhia i runga i te whatunga neural, e whakakore ana i te hiahia ki te whakawhanake i nga waahanga motuhake hei whakatauira i nga momo rereke, penei i te haruru, te paoro me nga ahuatanga korero. .
Ko te kino o tenei huarahi ko te mea kia whiwhi ai i te mohiotanga o te kounga teitei me te whakangungu o te whatunga neural, ka hiahiatia e te miihini DeepSpeech te nui o nga raraunga heterogene e tohuhia ana i roto i nga ahuatanga tuuturu e nga reo rereke me te aroaro o te haruru taiao.
Ko te kohinga o aua raraunga ka mahia e tetahi kaupapa i hangaia i Mozilla , whakarato i te huinga raraunga whaimana me te 780 haora i runga , 325 na roto i te reo Heremani, 173 na roto i te reo Farani e 27 hora na roto i te reo Rusia.
Ko te tino whainga o te kaupapa Common Voice ko te whakaemi i nga haora 10 o nga rekoatatanga o nga momo whakahuatanga o nga rerenga korero a te tangata, ka eke ki te taumata e manakohia ana o nga hapa aahuatanga. I roto i tona ahua o naianei, kua tohua e nga kaiuru kaupapa te katoa o te 4.3 mano haora, e 3.5 mano kua whakamatauria. I te whakangungu i te tauira whakamutunga o te reo Ingarihi mo DeepSpeech, 3816 haora o te whaikorero i whakamahia, i tua atu i te Common Voice e hipoki ana i nga raraunga mai i nga kaupapa LibriSpeech, Fisher and Switchboard, tae atu ki te 1700 haora o nga rekoata whakaaturanga reo irirangi kua tuhia.
A, no te whakamahi i te tauira reo Ingarihi kua rite kua tukuna mo te tango, ko te taumata o nga hapa mohio i roto i te DeepSpeech ko 7.5% ka aromatawaihia e te huinga whakamatautau. . Hei whakataurite, te reeti hapa i roto i te mohiotanga tangata 5.83%.
E rua nga punaha iti a DeepSpeech - he tauira oro me te wewetewaehere. Ka whakamahia e te tauira acoustic tikanga ako mihini hohonu ki te tatau i te tupono o etahi tohu kei roto i te oro whakauru. Ka whakamahia e te kaiwhakawaehere he algorithm rapu kurupae hei huri i nga raraunga tohu tohu ki roto i te whakaaturanga kupu.
Main DeepSpeech 0.6 (Ko te peka 0.6 kaore i te hototahi whakamuri me te hiahia kia whakahouhia te waehere me nga tauira):
- Kei te whakaarohia he kaiwaehere roma hou e whakarato ana i te whakautu teitei ake, kaore e whakawhirinaki ki te rahi o nga raraunga ororongo kua tukatukahia. Ko te mutunga mai, i taea e te putanga hou o DeepSpeech te whakaheke i te roa o te whakamohiotanga ki te 260 ms, he 73% tere atu i mua, a ka taea e koe te whakamahi DeepSpeech i roto i nga otinga whakamohiotanga korero i runga i te rere.
- Kua whakarereketia te API me te mahi ki te whakakotahi i nga ingoa mahi. Kua taapirihia nga mahi ki te tiki metadata taapiri mo te tukutahitanga, kia kore noa e whiwhi tohu tuhinga hei whakaputanga, engari ki te whai i te herenga o nga tohu takitahi me nga rerenga korero ki tetahi waahi i roto i te awa ororongo.
- Kua taapirihia te tautoko mo te whakamahi i te whare pukapuka ki te kete taputapu mo nga waahanga ako ki te arotau i nga mahi me nga whatunga neural recurrent (RNN), i taea ai te whakatutuki i te nui (mo te rua nga wa) te whakanui ake i nga mahi whakangungu tauira, engari me whakarereke ki te waehere i takahi i te hototahi ki nga tauira kua oti te whakarite.
- Ko nga whakaritenga iti mo te putanga TensorFlow kua whakaarahia mai i te 1.13.1 ki te 1.14.0. He tautoko taapiri mo te putanga TensorFlow Lite mama, i whakahekehia te rahi o te kete DeepSpeech mai i te 98 MB ki te 3.7 MB. Mo te whakamahi i runga i nga taputapu whakauru me nga taputapu pūkoro, i whakahekehia te rahi o te konae kua kapi me te tauira mai i te 188 MB ki te 47 MB (i whakamahia te tikanga inenga mo te taapiri i muri i te whakangungu o te tauira).
- Kua whakamaoritia te tauira reo ki te whakatakotoranga rereke o nga hanganga raraunga ka taea e koe te mapi i nga konae ki te mahara i te wa e utaina ana. Kua whakakorehia te tautoko mo te whakatakotoranga tawhito.
- Kua hurihia te ahua o te utaina o te konae me te tauira reo, na te mea i whakaitihia te kai mahara me te whakaheke i nga whakaroa ki te tukatuka i te tono tuatahi i muri i te hanganga o te tauira. Inaianei ka pau a DeepSpeech i te 22x iti ake te mahara i te wa e oma ana, ka 500x tere ake te tiimata.
- I tātarihia nga kupu onge ki te tauira reo. Kua heke te tapeke o nga kupu ki te 500 o nga kupu tino rongonui i kitea i roto i te tuhinga i whakamahia hei whakangungu i te tauira. Na te horoi i taea te whakaiti i te rahi o te tauira reo mai i te 1800MB ki te 900MB, me te kore e pa ki te taumata o nga hapa o te mohiotanga.
- He tautoko taapiri mo nga momo rereke te hanga i etahi atu rerekee (whakanui) o nga raraunga tangi e whakamahia ana i roto i nga whakangungu (hei tauira, te taapiri atu ki te huinga o nga whiringa ka uru ki te korikori me te haruru).
- I taapirihia he whare pukapuka me nga here mo te whakauru ki nga tono i runga i te papaaho .NET.
- Ko nga tuhinga kua hoahoatia ano, kua kohia inaianei ki tetahi waahi motuhake .
Source: opennet.ru