Ang mga tigdukiduki sa Microsoft nakamugna og artipisyal nga sistema sa paniktik nga makahimo sa paghimo og mga caption sa imahe nga, sa daghang mga kaso, nahimo nga mas tukma kaysa mga paghulagway nga gihimo sa mga tawo. Kini nga kalampusan nagtimaan sa usa ka hinungdanon nga milestone sa pasalig sa Microsoft sa paghimo sa mga produkto ug serbisyo niini nga inklusibo ug magamit sa tanan nga tiggamit.
"Ang paghulagway sa imahe usa sa mga nag-unang gimbuhaton sa panan-aw sa kompyuter, nga naghimo sa usa ka halapad nga serbisyo nga posible," ingon ni Xuedong Huang (), usa ka Microsoft Technical Officer ug CTO sa Azure AI Cognitive Services sa Redmond, Washington.
Ang bag-ong modelo anaa na sa mga konsumidor pinaagi sa Computer Vision sa , nga kabahin sa Azure AI, ug nagtugot sa mga developers sa paggamit niini nga feature aron mapalambo ang pagkaanaa sa ilang mga serbisyo. Giapil usab kini sa Seeing AI app ug mahimong magamit sa ulahi karong tuiga sa Microsoft Word ug Outlook alang sa Windows ug Mac, ingon man sa PowerPoint alang sa Windows, Mac ug sa web.
Ang Auto Deskripsyon nagtabang sa mga tiggamit sa pag-access sa importante nga sulod sa bisan unsang hulagway, bisan kini usa ka litrato nga gibalik sa mga resulta sa pagpangita o usa ka ilustrasyon alang sa usa ka presentasyon.
"Ang paggamit sa mga kapsyon nga naghulagway sa sulud sa mga imahe (gitawag nga alternatibo o alternatibo nga teksto) sa mga panid sa web ug mga dokumento labi ka hinungdanon alang sa mga buta o adunay diperensya sa panan-aw," ingon ni Saqib Sheikh (), Software Manager sa Microsoft's AI Platform Group sa Redmond.
Pananglitan, ang iyang team naggamit sa usa ka gipaayo nga bahin sa paghulagway sa imahe sa app para sa mga buta ug adunay diperensya sa panan-aw. , nga makaila kung unsa ang nakuha sa camera ug nagsulti bahin niini. Ang app naggamit sa namugna nga mga kapsyon aron ihulagway ang mga litrato, lakip sa social media.
"Sa tinuud, ang tanan kinahanglan nga magdugang alt text sa tanan nga mga imahe sa mga dokumento, sa web, sa mga social network, tungod kay gitugotan niini ang mga buta nga maka-access sa sulud ug makaapil sa panag-istoryahanay. Apan, alaot, ang mga tawo wala magbuhat niini, βmiingon ang Sheikh. "Bisan pa, adunay pipila ka mga app nga naggamit sa bahin sa paghulagway sa imahe aron idugang ang alternatibong teksto kung kini nawala."
Si Liruan Wang, general manager sa research sa Microsoft's Redmond Lab, nangulo sa research team nga nakab-ot ug milabaw sa resulta sa tawo. Litrato: Dan DeLong.
Deskripsyon sa bag-ong mga butang
"Ang paghubit sa mga imahe usa sa mga nag-unang tahas sa panan-aw sa kompyuter, nga nanginahanglan usa ka artificial intelligence system aron masabtan ug mahulagway ang panguna nga sulud o aksyon nga gipresentar sa imahe," gipasabut ni Liruan Wang (), general manager sa panukiduki sa Microsoft's Redmond lab.
"Kinahanglan nimong masabtan kung unsa ang nahitabo, mahibal-an kung unsa ang mga relasyon tali sa mga butang ug mga aksyon, ug dayon i-summarize ug ihulagway kini tanan sa usa ka tudling-pulong sa mabasa sa tawo nga pinulongan," ingon niya.
Gipangunahan ni Wang ang research team, nga sa benchmarking (novel object captioning sa sukdanan, usa ka dako nga-scale nga paghulagway sa bag-ong mga butang) nakab-ot ang usa ka resulta nga ikatandi sa usa ka tawo, ug milabaw niini. Kini nga pagsulay nagtugot kanimo sa pagtimbang-timbang kung unsa ka maayo ang mga sistema sa AI nga makamugna og mga paghulagway sa gihulagway nga mga butang nga wala maapil sa set sa datos diin ang modelo gibansay.
Kasagaran, ang mga sistema sa paghulagway sa imahe gibansay sa mga set sa datos nga adunay mga imahe nga giubanan sa usa ka teksto nga paghulagway niini nga mga imahe, nga mao, sa mga set sa gipirmahan nga mga imahe.
"Ang pagsulay sa nocaps nagpakita kung unsa ka maayo ang sistema nga makahimo sa paghulagway sa mga bag-ong butang nga wala makit-an sa datos sa pagbansay," ingon ni Wang.
Aron masulbad kini nga problema, ang team sa Microsoft nagbansay daan sa usa ka dako nga modelo sa AI sa usa ka dako nga dataset nga adunay mga pulong nga gi-tag nga mga hulagway, ang matag usa gimapa ngadto sa usa ka piho nga butang sa hulagway.
Ang mga set sa imahe nga adunay mga tag sa pulong imbis nga puno nga mga kapsyon labi ka episyente sa paghimo, nga gitugotan ang koponan ni Wang sa pagpakaon sa daghang mga datos sa ilang modelo. Kini nga pamaagi naghatag sa modelo kung unsa ang gitawag sa team nga biswal nga bokabularyo.
Sama sa gipatin-aw ni Huang, ang pamaagi sa pre-learning gamit ang biswal nga bokabularyo susama sa pag-andam sa mga bata alang sa pagbasa: una, gigamit ang usa ka libro sa litrato diin ang indibidwal nga mga pulong gilangkit sa mga imahe, pananglitan, sa ilawom sa litrato sa usa ka mansanas gisulat ang "mansanas" ug sa ilawom sa litrato sa usa ka iring mao ang pulong nga "iring".
"Kini nga pre-training nga adunay biswal nga bokabularyo sa panguna ang una nga edukasyon nga gikinahanglan aron mabansay ang sistema. Mao kini ang paagi nga kami naningkamot sa pagpalambo sa usa ka matang sa panumduman sa motor, "miingon si Huang.
Ang pre-trained nga modelo unya dalisay sa usa ka dataset lakip ang mga hulagway nga may label. Niini nga yugto sa pagbansay, ang modelo nakakat-on sa paghimo og mga tudling-pulong. Kung adunay usa ka imahe nga adunay bag-ong mga butang nga makita, ang sistema sa AI naggamit sa biswal nga diksyonaryo aron makahimo og tukma nga mga paghubit.
"Aron magtrabaho uban ang bag-ong mga butang sa panahon sa pagsulay, ang sistema naghiusa sa unsay nakat-unan niini sa panahon sa pre-training ug sa sunod nga pagpino," miingon si Wang.
Sumala sa mga resulta , kung gi-evaluate sa mga pagsulay sa nocaps, ang sistema sa AI nagpatunghag mas makahuluganon ug tukma nga mga paghubit kaysa gibuhat sa mga tawo alang sa parehas nga mga imahe.
Mas paspas nga transisyon ngadto sa working environment
Lakip sa ubang mga butang, ang bag-ong sistema sa paghulagway sa imahe doble nga maayo kaysa modelo nga gigamit sa mga produkto ug serbisyo sa Microsoft sukad sa 2015, kung itandi sa laing benchmark sa industriya.
Gikonsiderar ang mga benepisyo nga madawat sa tanan nga tiggamit sa mga produkto ug serbisyo sa Microsoft gikan sa kini nga pag-uswag, gipadali ni Huang ang paghiusa sa bag-ong modelo sa palibot sa trabaho sa Azure.
"Gidala namo kini nga makabalda nga teknolohiya sa AI ngadto sa Azure isip usa ka plataporma sa pag-alagad sa usa ka mas lapad nga mga kustomer," siya miingon. "Ug kini dili lamang usa ka kalampusan sa panukiduki. Ang oras nga gikinahanglan aron maapil kini nga pagkahugno sa palibot sa produksiyon sa Azure usa usab ka kalampusan.
Si Huang midugang nga ang pagkab-ot sa sama sa tawo nga mga resulta nagpadayon sa usa ka uso nga natukod na sa Microsoft's cognitive intelligence systems.
"Sa miaging lima ka tuig, nakab-ot namon ang sama sa tawo nga mga sangputanan sa lima ka dagkong mga lugar: sa pag-ila sa sinultihan, sa paghubad sa makina, sa pagtubag sa mga pangutana, sa pagbasa sa makina ug pagsabut sa teksto, ug sa 2020, bisan pa sa COVID-19, sa paghulagway sa imahe. ' miingon si Juan.
Pinaagi sa hilisgutan
- Bisitaha ang site sa pagkat-on og dugang mahitungod sa computer vision ()
- Basaha ang artikulo
Itandi ang mga resulta sa paghulagway sa mga hulagway nga gihatag sa sistema kaniadto ug karon gamit ang AI
Litrato sa maayong kabubut-on sa Getty Images. Kaniadto nga paghulagway: Close-up sa usa ka tawo nga nag-andam sa usa ka mainit nga iro sa usa ka cutting board. Bag-ong paghulagway: Ang usa ka tawo naghimo og pan.
Litrato sa maayong kabubut-on sa Getty Images. Nauna nga paghulagway: Usa ka tawo naglingkod sa pagsalop sa adlaw. Bag-ong paghulagway: Bonfire sa baybayon.
Litrato sa maayong kabubut-on sa Getty Images. Nauna nga paghulagway: Usa ka lalaki nga nagsul-ob og asul nga kamiseta. Bag-ong paghulagway: Daghang mga tawo nga nagsul-ob og mga maskara sa pag-opera.
Litrato sa maayong kabubut-on sa Getty Images. Miagi nga paghulagway: Usa ka tawo nga nagsakay sa skateboard milupad sa bungbong. Bag-ong paghulagway: Usa ka magdudula sa baseball nagkuha og bola.
Source: www.habr.com