Chèchè Microsoft yo te kreye yon sistèm entèlijans atifisyèl ki ka jenere tit imaj ki, nan anpil ka, yo pi egzak pase deskripsyon moun. Dekouvèt sa a make yon etap enpòtan nan angajman Microsoft pou fè pwodwi ak sèvis li yo enklizif ak aksesib pou tout itilizatè.
"Deskripsyon imaj se youn nan fonksyon debaz yo nan vizyon òdinatè, ki pèmèt yon pakèt sèvis," te di Xuedong Huang (), yon parèy teknik Microsoft ak ofisye anchèf teknoloji Azure AI Cognitive Services nan Redmond, Washington.
Nouvo modèl la disponib kounye a pou konsomatè atravè Computer Vision nan , ki fè pati Azure AI, epi ki pèmèt devlopè yo sèvi ak kapasite sa a pou amelyore disponiblite sèvis yo. Li enkli tou nan aplikasyon Seeing AI epi li pral lanse pita nan ane sa a nan Microsoft Word ak Outlook pou Windows ak Mac, osi byen ke PowerPoint pou Windows, Mac ak entènèt la.
Deskripsyon otomatik ede itilizatè yo jwenn aksè nan kontni enpòtan nenpòt imaj, kit se yon foto retounen nan yon rezilta rechèch oswa yon ilistrasyon pou yon prezantasyon.
Saqib Sheikh te di: "Itilizasyon tit ki dekri kontni imaj yo (ki rele tèks altènatif oswa alt tèks) sou paj wèb ak dokiman yo espesyalman enpòtan pou moun ki avèg oswa ki pa gen vizyon.), manadjè lojisyèl nan gwoup Microsoft AI Platforms nan Redmond.
Pou egzanp, ekip li a ap itilize yon karakteristik deskripsyon imaj amelyore nan app a pou moun ki avèg ak moun ki gen pwoblèm vizyon , ki rekonèt sa kamera a ap filme epi pale sou li. Aplikasyon an sèvi ak tit pwodwi pou dekri foto yo, tankou sou rezo sosyal yo.
"Idealman, tout moun ta dwe ajoute tèks alt nan tout imaj nan dokiman, sou entènèt, ak sou medya sosyal, paske sa pèmèt moun ki avèg jwenn aksè nan kontni epi patisipe nan konvèsasyon. Men, Ay, moun pa fè sa," di Sheikh. "Sepandan, gen plizyè aplikasyon ki itilize karakteristik deskripsyon imaj la pou ajoute tèks altènatif lè pa disponib."
Lijuan Wang, manadjè rechèch ansyen nan laboratwa Redmond Microsoft a, te dirije yon ekip rechèch ki te reyalize rezilta ki sanble ak pi bon rezilta. Foto: Dan DeLong.
Deskripsyon nan nouvo objè yo
"Deskripsyon imaj se youn nan travay prensipal yo nan vizyon òdinatè, ki mande pou yon sistèm entèlijans atifisyèl konprann ak dekri kontni prensipal la oswa aksyon ki reprezante nan imaj la," eksplike Lijuan Wang (), manadjè rechèch ansyen nan laboratwa Microsoft Redmond.
"Ou bezwen konprann sa k ap pase, konnen ki relasyon yo genyen ant objè ak aksyon, epi answit rezime ak dekri tout bagay nan yon fraz nan lang moun konprann," li te di.
Wang te dirije ekip rechèch la ki referans (nouvèl soustilation objè nan echèl, deskripsyon gwo-echèl nan nouvo objè) reyalize rezilta ki konparab ak moun ak depase yo. Tès sa a evalye kijan sistèm AI yo jenere deskripsyon objè ki reprezante yo ki pa fè pati seri done yo te antrene modèl la.
Tipikman, sistèm deskripsyon imaj yo fòme sou seri done ki gen imaj ki akonpaye pa tèks deskripsyon imaj sa yo, se sa ki, sou seri imaj ki make.
"Tès nocaps la montre kouman sistèm nan ka dekri nouvo objè yo pa jwenn nan done fòmasyon yo," di Wang.
Pou rezoud pwoblèm sa a, ekip Microsoft te antrene davans yon gwo modèl AI sou yon seri done vas ki gen imaj ak tag mo, chak nan yo te asosye ak yon objè espesifik nan imaj la.
Li te pi efikas pou kreye seri imaj ak tag mo olye de tit plen, sa ki te pèmèt ekip Wang a bay anpil done nan modèl yo. Apwòch sa a te bay modèl la sa ekip la rele yon vokabilè vizyèl.
Jan Huang te eksplike, apwòch pre-ansèyman vokabilè vizyèl la sanble ak preparasyon timoun yo pou li: Premyèman, yo itilize yon liv foto kote mo endividyèl yo asosye ak foto, pa egzanp, anba foto yon pòm li di "pòm" epi. anba foto yon chat mo "chat".
“Pre-fòmasyon sa a ak yon diksyonè vizyèl se esansyèlman edikasyon inisyal ki nesesè pou fòme sistèm nan. Sa a se ki jan nou eseye devlope yon kalite memwa motè, "Huang te di.
Lè sa a, modèl la pre-antrene rafine lè l sèvi avèk yon seri done ki gen ladan imaj ki gen tit. Nan etap sa a nan fòmasyon, modèl la aprann fòme fraz. Si yon imaj parèt ak nouvo objè, sistèm AI itilize yon diksyonè vizyèl pou kreye deskripsyon egzat.
"Pou fè fas ak nouvo objè pandan tès la, sistèm nan konbine sa li te aprann pandan pre-fòmasyon ak pandan devlopman ki vin apre," di Wang.
Dapre rezilta yo Lè yo evalye tès nocaps, sistèm AI te pwodui deskripsyon ki pi enpòtan ak egzat pase moun yo te fè pou menm imaj yo.
Tranzisyon akselere nan anviwònman travay la
Pami lòt bagay, nouvo sistèm deskripsyon imaj la se de fwa pi bon pase modèl yo itilize nan pwodwi ak sèvis Microsoft depi 2015, dapre yon lòt referans endistri.
Etandone benefis yo ke tout itilizatè yo nan pwodwi ak sèvis Microsoft pral resevwa nan amelyorasyon sa a, Huang te akselere entegrasyon an nan nouvo modèl la nan anviwònman an Azure Desktop.
"Nou ap mennen teknoloji AI dekouvèt sa a nan Azure kòm yon platfòm pou sèvi yon pi gwo ranje kliyan," li te di. "Epi sa a se yon zouti pa sèlman nan rechèch. Tan li te pran pou enkòpore dekouvèt sa a nan anviwònman pwodiksyon Azure se te yon dekouvèt tou.”
Huang te ajoute ke reyalize rezilta ki sanble ak moun ap kontinye yon tandans deja etabli nan sistèm entèlijans mantal Microsoft yo.
"Pandan senk ane ki sot pase yo, nou te reyalize rezilta nan nivo imen nan senk domèn prensipal: rekonesans lapawòl, tradiksyon machin, repons kesyon, lekti machin ak konpreyansyon tèks, ak nan 2020, malgre COVID-19, deskripsyon imaj "te di Juan.
Pa sijè
- Vizite sit la pou aprann plis sou vizyon òdinatè ()
- Li atik la
Konpare rezilta deskripsyon imaj ke sistèm lan te bay anvan ak kounye a lè l sèvi avèk AI
Foto nan bibliyotèk Getty Images. Previous description: Close-up nan yon nonm k ap kwit yon chen cho sou yon tablo koupe. Nouvo deskripsyon: Yon nonm fè pen.
Foto nan bibliyotèk Getty Images. Previous description: Yon nonm chita nan solèy kouche. Nouvo deskripsyon: Bonfire sou plaj la.
Foto nan bibliyotèk Getty Images. Previous description: Yon nonm nan yon chemiz ble. Nouvo deskripsyon: Plizyè moun ki mete mask chirijikal.
Foto nan bibliyotèk Getty Images. Previous deskripsyon: yon nonm sou yon skateboard vole moute miray la. Nouvo deskripsyon: Yon jwè bezbòl kenbe yon boul.
Sous: www.habr.com