Microsoft-ის უახლესი ტექნოლოგია Azure AI-ში აღწერს სურათებს ისევე როგორც ადამიანებს

Microsoft-ის მკვლევარებმა შექმნეს ხელოვნური ინტელექტის სისტემა, რომელსაც შეუძლია შექმნას სურათების წარწერები, რომლებიც, ხშირ შემთხვევაში, უფრო ზუსტი აღმოჩნდება, ვიდრე ადამიანების მიერ გაკეთებული აღწერილობები. ეს გარღვევა იყო მთავარი ეტაპი Microsoft-ის ვალდებულებაში, გახადოს თავისი პროდუქტები და სერვისები ინკლუზიური და ხელმისაწვდომი ყველა მომხმარებლისთვის.

”სურათის აღწერა არის კომპიუტერული ხედვის ერთ-ერთი მთავარი ფუნქცია, რომელიც შესაძლებელს ხდის მომსახურების ფართო სპექტრს,” - თქვა Xuedong Huang (Xuedong Huang), Microsoft-ის ტექნიკური ოფიცერი და Azure AI შემეცნებითი სერვისების CTO რედმონდში, ვაშინგტონი.

ახალი მოდელი უკვე ხელმისაწვდომია მომხმარებლებისთვის Computer Vision-ის მეშვეობით Azure შემეცნებითი მომსახურება, რომელიც არის Azure AI-ს ნაწილი და დეველოპერებს საშუალებას აძლევს გამოიყენონ ეს ფუნქცია თავიანთი სერვისების ხელმისაწვდომობის გასაუმჯობესებლად. ის ასევე შედის Seeing AI აპში და ხელმისაწვდომი იქნება ამ წლის ბოლოს Microsoft Word-სა და Outlook-ში Windows-ისთვის და Mac-ისთვის, ასევე PowerPoint-ში Windows-ისთვის, Mac-ისთვის და ინტერნეტში.

ავტომატური აღწერა ეხმარება მომხმარებლებს ნებისმიერი სურათის მნიშვნელოვან შინაარსზე წვდომაში, იქნება ეს ძიების შედეგებში დაბრუნებული ფოტო თუ პრეზენტაციის ილუსტრაცია.

„სატიტრების გამოყენება, რომლებიც აღწერს სურათების შინაარსს (ე.წ. ალტერნატიული ან ალტერნატიული ტექსტი) ვებ გვერდებზე და დოკუმენტებზე, განსაკუთრებით მნიშვნელოვანია უსინათლო ან მხედველობის უნარის მქონე ადამიანებისთვის“, - თქვა საკიბ შეიხმა.საკიბ შეიხი), პროგრამული მენეჯერი Microsoft-ის AI პლატფორმის ჯგუფში რედმონდში.

მაგალითად, მისი გუნდი იყენებს აპში გამოსახულების აღწერის გაუმჯობესებულ ფუნქციას უსინათლო და მხედველობის უნარის მქონე ადამიანებისთვის. იხილეთ AI, რომელიც ამოიცნობს რას იღებს კამერა და ყვება ამის შესახებ. აპლიკაცია იყენებს გენერირებულ წარწერებს ფოტოების აღსაწერად, მათ შორის სოციალურ მედიაში.

„იდეალურად, ყველამ უნდა დაამატოს ალტერნატიული ტექსტი ყველა სურათს დოკუმენტებში, ინტერნეტში, სოციალურ ქსელებში, რადგან ეს საშუალებას აძლევს უსინათლოებს წვდომა მიიღონ შინაარსზე და მიიღონ მონაწილეობა საუბარში. მაგრამ, სამწუხაროდ, ხალხი ამას არ აკეთებს“, - ამბობს შეიხი. "თუმცა, არის რამდენიმე აპი, რომელიც იყენებს გამოსახულების აღწერის ფუნქციას ალტერნატიული ტექსტის დასამატებლად, როცა ის აკლია."
  


Liruan Wang, Microsoft-ის Redmond Lab-ის კვლევის გენერალური მენეჯერი, ხელმძღვანელობდა კვლევით ჯგუფს, რომელმაც მიაღწია და გადააჭარბა ადამიანურ შედეგებს. ფოტო: დენ დელონგი.

ახალი ობიექტების აღწერა

”გამოსახულებების აღწერა არის კომპიუტერული ხედვის ერთ-ერთი მთავარი ამოცანა, რომელიც მოითხოვს ხელოვნური ინტელექტის სისტემას, რათა გაიგოს და აღწეროს სურათზე წარმოდგენილი ძირითადი შინაარსი ან მოქმედება,” - განმარტა ლირუან ვანგმა.ლიხუან ვანგი), Microsoft-ის რედმონდის ლაბორატორიის კვლევის გენერალური მენეჯერი.

”თქვენ უნდა გესმოდეთ რა ხდება, გაარკვიოთ რა ურთიერთობაა ობიექტებსა და მოქმედებებს შორის და შემდეგ შეაჯამოთ და აღწეროთ ეს ყველაფერი წინადადებაში ადამიანისათვის წასაკითხად ენაზე”, - თქვა მან.

ვანგი ხელმძღვანელობდა კვლევით ჯგუფს, რომელიც კრიტერიუმების შეფასებისას ნოკაპები (ნოველური ობიექტის წარწერა მასშტაბით, ახალი ობიექტების ფართომასშტაბიანი აღწერა) მიაღწია შედეგს, რომელიც შეედრება ადამიანურს და აჯობა მას. ეს ტესტი საშუალებას გაძლევთ შეაფასოთ, რამდენად კარგად აწარმოებენ ხელოვნური ინტელექტის სისტემები გამოსახული ობიექტების აღწერილობებს, რომლებიც არ არის შეტანილი იმ მონაცემთა ნაკრებში, რომელზეც მოდელმა ივარჯიშა.

როგორც წესი, გამოსახულების აღწერის სისტემები ივარჯიშებენ მონაცემთა ნაკრებებზე, რომლებიც შეიცავს სურათებს ამ სურათების ტექსტური აღწერილობით, ანუ ხელმოწერილი სურათების ნაკრებებზე.

„ნოკაპსის ტესტი გვიჩვენებს, რამდენად კარგად შეუძლია სისტემას აღწეროს ახალი ობიექტები, რომლებიც არ არის ნაპოვნი სასწავლო მონაცემებში“, - ამბობს ვანგი.

ამ პრობლემის გადასაჭრელად, Microsoft-ის გუნდმა წინასწარ მოამზადა დიდი ხელოვნური ინტელექტის მოდელი დიდ მონაცემთა ბაზაზე, რომელიც შეიცავს სიტყვით მონიშნულ სურათებს, თითოეული ასოცირდება სურათზე კონკრეტულ ობიექტთან.

გამოსახულების კომპლექტები სრული წარწერების ნაცვლად სიტყვების ტეგებით უფრო ეფექტურია შესაქმნელად, რაც ვანგის გუნდს საშუალებას აძლევს შეაგროვოს ბევრი მონაცემი თავის მოდელში. ამ მიდგომამ მისცა მოდელს, რასაც გუნდი უწოდებს ვიზუალურ ლექსიკას.

როგორც ჰუანგმა განმარტა, წინასწარი სწავლის მიდგომა ვიზუალური ლექსიკის გამოყენებით ბავშვების კითხვისთვის მომზადებას წააგავს: პირველ რიგში, გამოყენებულია სურათებიანი წიგნი, რომელშიც ცალკეული სიტყვები ასოცირდება სურათებთან, მაგალითად, ვაშლის ფოტოს ქვეშ წერია "ვაშლი". და კატის ფოტოს ქვეშ არის სიტყვა "კატა".

„ეს წინასწარი ტრენინგი ვიზუალური ლექსიკით, არსებითად, არის საწყისი განათლება, რომელიც საჭიროა სისტემის მომზადებისთვის. ასე ვცდილობთ განვავითაროთ ერთგვარი საავტომობილო მეხსიერება“, - თქვა ჰუანგმა.

წინასწარ მომზადებული მოდელი დაიხვეწება მონაცემთა ნაკრებით, ეტიკეტირებული სურათების ჩათვლით. ტრენინგის ამ ეტაპზე მოდელი სწავლობს წინადადებების შედგენას. თუ ახალი ობიექტების შემცველი სურათი გამოჩნდება, AI სისტემა იყენებს ვიზუალურ ლექსიკონს ზუსტი აღწერილობის შესაქმნელად.

„ტესტირების დროს ახალ ობიექტებთან მუშაობისთვის სისტემა აერთიანებს იმას, რაც ისწავლა წინასწარი ვარჯიშის დროს და შემდგომი დახვეწის დროს“, - ამბობს ვანგი.
Согласно результам კვლევანოკაპსის ტესტებზე შეფასებისას, ხელოვნური ინტელექტის სისტემამ წარმოადგინა უფრო მნიშვნელოვანი და ზუსტი აღწერილობები, ვიდრე ადამიანებმა გააკეთეს იგივე სურათებისთვის.

უფრო სწრაფი გადასვლა სამუშაო გარემოზე 

სხვა საკითხებთან ერთად, ახალი სურათების აღწერის სისტემა ორჯერ უკეთესია, ვიდრე მოდელი, რომელიც გამოიყენება Microsoft-ის პროდუქტებსა და სერვისებში 2015 წლიდან, სხვა ინდუსტრიის ეტალონთან შედარებით.

იმის გათვალისწინებით, რომ Microsoft-ის პროდუქტებისა და სერვისების ყველა მომხმარებელი მიიღებს ამ გაუმჯობესებისგან, ჰუანგმა დააჩქარა ახალი მოდელის ინტეგრაცია Azure სამუშაო გარემოში.

”ჩვენ ვიღებთ ამ დამაბრკოლებელ AI ტექნოლოგიას Azure-ზე, როგორც პლატფორმაზე, რათა მოვემსახუროთ მომხმარებელთა ფართო სპექტრს,” - თქვა მან. ”და ეს არ არის მხოლოდ გარღვევა კვლევაში. ის დრო, რაც დასჭირდა ამ გარღვევის Azure წარმოების გარემოში ჩართვისთვის, ასევე გარღვევა იყო. ”

ჰუანგმა დასძინა, რომ ადამიანის მსგავსი შედეგების მიღწევა აგრძელებს Microsoft-ის შემეცნებითი ინტელექტის სისტემებში უკვე დამკვიდრებულ ტენდენციას.

„ბოლო ხუთი წლის განმავლობაში ჩვენ მივაღწიეთ ადამიანის მსგავს შედეგებს ხუთ ძირითად სფეროში: მეტყველების ამოცნობაში, მანქანურ თარგმნაში, კითხვებზე პასუხის გაცემაში, მანქანით კითხვისა და ტექსტის გაგებაში და 2020 წელს, მიუხედავად COVID-19-ისა, გამოსახულების აღწერაში. - თქვა ხუანმა.

თემის მიხედვით

• ეწვიეთ საიტზე Azure შემეცნებითი მომსახურება რომ გაიგოთ მეტი კომპიუტერული ხედვის შესახებ (კომპიუტერული ხედვა)
• წაიკითხეთ სტატია ისტორიული მიღწევა - Microsoft-ის მკვლევარებმა მიაღწიეს ადამიანის დონეს მეტყველების ავტომატური ამოცნობაში 

შეადარეთ გამოსახულების აღწერის შედეგები, რომლებიც სისტემამ აჩვენა ადრე და ახლა AI გამოყენებით

ფოტო მიღებულია Getty Images-ისგან. წინა აღწერა: ახლო ხედიდან კაცი, რომელიც ჰოთ-დოგს ამზადებს საჭრელ დაფაზე. ახალი აღწერა: კაცი აკეთებს პურს.

ფოტო მიღებულია Getty Images-ისგან. წინა აღწერა: კაცი მზის ჩასვლისას ზის. ახალი აღწერა: კოცონი სანაპიროზე.



ფოტო მიღებულია Getty Images-ისგან. წინა აღწერა: კაცი ლურჯ პერანგში. ახალი აღწერა: რამდენიმე ადამიანი ატარებს ქირურგიულ ნიღბებს.

ფოტო მიღებულია Getty Images-ისგან. წინა აღწერა: კაცი სკეიტბორდზე დაფრინავს კედელზე. ახალი აღწერა: ბეისბოლის მოთამაშე იჭერს ბურთს.

წყარო: www.habr.com