Най-новата технология на Microsoft в Azure AI описва изображения, както и хора

Изследователите на Microsoft създадоха система с изкуствен интелект, способна да генерира надписи на изображения, които в много случаи се оказват по-точни от описанията, направени от хора. Този пробив отбеляза важен крайъгълен камък в ангажимента на Microsoft да направи своите продукти и услуги всеобхватни и достъпни за всички потребители.

„Описанието на изображението е една от основните функции на компютърното зрение, което прави възможна широка гама от услуги“, каза Xuedong Huang (Сюедонг Хуанг), технически служител на Microsoft и главен технически директор на Azure AI Cognitive Services в Редмънд, Вашингтон.

Новият модел вече е достъпен за потребителите чрез Computer Vision на Когнитивни услуги на Azure, който е част от Azure AI и позволява на разработчиците да използват тази функция, за да подобрят достъпността на своите услуги. Също така се включва в приложението Seeing AI и ще бъде достъпно по-късно тази година в Microsoft Word и Outlook за Windows и Mac, както и PowerPoint за Windows, Mac и в мрежата.

Автоматичното описание помага на потребителите да получат достъп до важното съдържание на всяко изображение, независимо дали е снимка, върната в резултатите от търсенето, или илюстрация за презентация.

„Използването на надписи, които описват съдържанието на изображения (така наречения алтернативен или алтернативен текст) на уеб страници и документи, е особено важно за незрящи или хора с увредено зрение“, каза Сакиб Шейх (Сакиб Шейх), софтуерен мениджър в Microsoft AI Platform Group в Редмънд.

Например неговият екип използва подобрена функция за описание на изображения в приложението за незрящи и хора с увредено зрение. Виждайки AI, който разпознава какво снима камерата и разказва за това. Приложението използва генерирани надписи, за да опише снимки, включително в социалните медии.

„В идеалния случай всеки трябва да добавя алтернативен текст към всички изображения в документи, в мрежата, в социалните мрежи, тъй като това позволява на незрящи хора да имат достъп до съдържанието и да участват в разговора. Но, уви, хората не правят това“, казва шейхът. „Има обаче няколко приложения, които използват функцията за описание на изображението, за да добавят алтернативен текст, когато липсва.“
  


Лируан Уанг, генерален мениджър на изследванията в Redmond Lab на Microsoft, ръководи изследователски екип, който постигна и надмина човешки резултати. Снимка: Дан Делонг.

Описание на нови обекти

„Описването на изображения е една от основните задачи на компютърното зрение, което изисква система с изкуствен интелект, за да разбере и опише основното съдържание или действие, представено в изображението“, обясни Лируан Уанг (Лиджуан Уанг), генерален мениджър на изследванията в лабораторията на Microsoft в Редмънд.

„Трябва да разберете какво се случва, да разберете какви са връзките между обекти и действия и след това да обобщите и опишете всичко това в изречение на разбираем за хората език“, каза тя.

Уанг ръководи изследователския екип, който в бенчмаркинг nocaps (нови надписи на обекти в мащаб, мащабно описание на нови обекти) постигна резултат, сравним с човешкия, и го надмина. Това тестване ви позволява да оцените колко добре AI системите генерират описания на изобразени обекти, които не са включени в набора от данни, върху който е обучен моделът.

Обикновено системите за описание на изображения се обучават върху набори от данни, които съдържат изображения, придружени от текстово описание на тези изображения, тоест върху набори от подписани изображения.

„Тестът nocaps показва колко добре системата е в състояние да опише нови обекти, които не са намерени в данните за обучение“, казва Уанг.

За да разреши този проблем, екипът на Microsoft предварително обучи голям AI модел върху голям набор от данни, съдържащ изображения с етикети с думи, всяко от които е свързано с конкретен обект в изображението.

Комплектите изображения с етикети с думи вместо пълни надписи са по-ефективни за създаване, което позволява на екипа на Wang да въведе много данни в своя модел. Този подход даде на модела това, което екипът нарича визуален речник.

Както обясни Хуанг, подходът за предварително обучение с използване на визуален речник е подобен на подготовката на децата за четене: първо се използва книжка с картинки, в която отделни думи са свързани с изображения, например под снимка на ябълка е написано „ябълка“ и под снимка на котка има думата "котка".

„Това предварително обучение с визуален речник е по същество първоначалното обучение, необходимо за обучение на системата. Ето как се опитваме да развием един вид двигателна памет“, каза Хуанг.

Предварително обученият модел след това се прецизира с набор от данни, включващ етикетирани изображения. На този етап от обучението моделът се научава да прави изречения. Ако се появи изображение, съдържащо нови обекти, системата AI използва визуалния речник, за да създаде точни описания.

„За да работи с нови обекти по време на тестването, системата интегрира това, което е научила по време на предварителното обучение и по време на последващото усъвършенстване“, казва Уанг.
Според резултатите проучване, когато се оценява на тестовете nocaps, системата AI произвежда по-смислени и точни описания, отколкото хората за същите изображения.

По-бърз преход към работна среда 

Освен всичко друго, новата система за описание на изображения е два пъти по-добра от модела, използван в продуктите и услугите на Microsoft от 2015 г. насам, в сравнение с друг индустриален бенчмарк.

Отчитайки ползите, които всички потребители на продукти и услуги на Microsoft ще получат от това подобрение, Хуанг ускори интегрирането на новия модел в работната среда на Azure.

„Пренасяме тази разрушителна AI технология в Azure като платформа за обслужване на по-широк кръг клиенти“, каза той. „И това не е просто пробив в научните изследвания. Времето, необходимо за включване на този пробив в производствената среда на Azure, също беше пробив.“

Хуанг добави, че постигането на резултати, подобни на човешките, продължава тенденция, която вече е установена в системите за когнитивна интелигентност на Microsoft.

„През последните пет години постигнахме резултати, подобни на човешките, в пет основни области: в разпознаването на реч, в машинния превод, в отговарянето на въпроси, в машинното четене и разбирането на текст и през 2020 г., въпреки COVID-19, в описанието на изображения “, каза Хуан.

По темата

• Посетете сайта Когнитивни услуги на Azure за да научите повече за компютърното зрение (Компютърно зрение)
• Прочети статията Историческо постижение - Изследователите на Microsoft постигат човешки нива в автоматичното разпознаване на реч 

Сравнете резултатите от описанието на изображенията, които системата даде преди и сега, използвайки AI

Снимката е предоставена с любезното съдействие на Getty Images. Предишно описание: Близък план на мъж, който приготвя хот дог върху дъска за рязане. Ново описание: Човек прави хляб.

Снимката е предоставена с любезното съдействие на Getty Images. Предишно описание: Човек седи на залез слънце. Ново описание: Огън на плажа.



Снимката е предоставена с любезното съдействие на Getty Images. Предишно описание: Мъж в синя риза. Ново описание: Няколко души, носещи хирургически маски.

Снимката е предоставена с любезното съдействие на Getty Images. Предишно описание: Човек на скейтборд лети нагоре по стената. Ново описание: Бейзболист хваща топка.

Източник: www.habr.com