ჩვენი მომავალი კომპიუტერული ხედვის სისტემის ტექნოლოგიები და მოდელები შეიქმნა და გაუმჯობესდა თანდათან და ჩვენი კომპანიის სხვადასხვა პროექტებში - Mail, Cloud, Search. მწიფდებოდა, როგორც კარგი ყველი ან კონიაკი. ერთ დღეს ჩვენ მივხვდით, რომ ჩვენი ნერვული ქსელები აჩვენებენ შესანიშნავ შედეგებს ამოცნობაში და გადავწყვიტეთ მათი გაერთიანება ერთ b2b პროდუქტად - Vision - რომელსაც ახლა ჩვენ თვითონ ვიყენებთ და შემოგთავაზებთ გამოყენებას.

დღეს ჩვენი კომპიუტერული ხედვის ტექნოლოგია Mail.Ru Cloud Solutions პლატფორმაზე წარმატებით მუშაობს და წყვეტს ძალიან რთულ პრაქტიკულ პრობლემებს. ის დაფუძნებულია უამრავ ნერვულ ქსელზე, რომლებიც გაწვრთნილნი არიან ჩვენს მონაცემთა ნაკრებებზე და სპეციალიზირებულნი არიან გამოყენებული პრობლემების გადაჭრაში. ყველა სერვისი მუშაობს ჩვენს სერვერზე. თქვენ შეგიძლიათ თქვენს აპლიკაციებში ჩართოთ საჯარო Vision API, რომლის მეშვეობითაც სერვისის ყველა შესაძლებლობა ხელმისაწვდომია. API სწრაფია - სერვერის GPU-ების წყალობით, ჩვენს ქსელში რეაგირების საშუალო დრო 100 ms-ია.

წადი კატასთან, არის დეტალური ამბავი და Vision-ის მუშაობის მრავალი მაგალითი.

როგორც სერვისის მაგალითი, რომელშიც ჩვენ თვითონ ვიყენებთ სახის ამოცნობის აღნიშნულ ტექნოლოგიებს, შეგვიძლია მოვიყვანოთ ივენთი. მისი ერთ-ერთი კომპონენტია Vision-ის ფოტო სტენდები, რომლებსაც ვამონტაჟებთ სხვადასხვა კონფერენციებზე. თუ მიუახლოვდებით ასეთ ფოტო სტენდს, გადაიღებთ ფოტოს ჩაშენებული კამერით და შეიყვანთ თქვენს ელ. ფოსტას, სისტემა მაშინვე იპოვის იმ ფოტოებს შორის, რომლებშიც თქვენ გადაიღეთ კონფერენციის თანამშრომლების ფოტოგრაფებმა და, თუ სასურველია, აღმოჩენილ ფოტოებს გამოგიგზავნით ელექტრონული ფოსტით. და ჩვენ არ ვსაუბრობთ დადგმულ პორტრეტულ კადრებზე - Vision გიცნობთ თუნდაც ფონზე მნახველთა ბრბოში. რა თქმა უნდა, არ არის აღიარებული თავად ფოტო სტენდები, ეს არის მხოლოდ ტაბლეტები ლამაზ სტენდებში, რომლებიც უბრალოდ იღებენ სტუმრებს ფოტოებს თავიანთი ჩაშენებული კამერებით და გადასცემენ ინფორმაციას სერვერებზე, სადაც ხდება ამოცნობის მთელი მაგია. და ჩვენ არაერთხელ ვნახეთ, თუ რამდენად გასაკვირია ტექნოლოგიის ეფექტურობა სურათის ამოცნობის სპეციალისტებშიც კი. ქვემოთ რამდენიმე მაგალითზე ვისაუბრებთ.

1. ჩვენი სახის ამოცნობის მოდელი

1.1. ნერვული ქსელი და დამუშავების სიჩქარე

ამოცნობისთვის ვიყენებთ ResNet 101 ნეირონული ქსელის მოდელის მოდიფიკაციას. საშუალო გაერთიანება ბოლოს ჩანაცვლებულია სრულად დაკავშირებული ფენით, ისევე როგორც ArcFace-ში. თუმცა, ვექტორული გამოსახულებების ზომაა 128 და არა 512. ჩვენი სავარჯიშო ნაკრები შეიცავს 10 ადამიანის დაახლოებით 273 მილიონ ფოტოს.

მოდელი მუშაობს ძალიან სწრაფად, გულდასმით შერჩეული სერვერის კონფიგურაციის არქიტექტურისა და GPU გამოთვლის წყალობით. ჩვენს შიდა ქსელებზე API-დან პასუხის მიღებას 100 ms სჭირდება - ეს მოიცავს სახის ამოცნობას (სახის გამოვლენას ფოტოზე), API პასუხში PersonID-ის ამოცნობას და დაბრუნებას. შემოსული მონაცემების დიდი მოცულობით - ფოტო და ვიდეო - გაცილებით მეტი დრო დასჭირდება სერვისში მონაცემების გადატანას და პასუხის მიღებას.

1.2. მოდელის ეფექტურობის შეფასება

მაგრამ ნერვული ქსელების ეფექტურობის განსაზღვრა ძალიან ორაზროვანი ამოცანაა. მათი მუშაობის ხარისხი დამოკიდებულია იმაზე, თუ რა მონაცემთა კომპლექტებზე იყო მომზადებული მოდელები და იყო თუ არა ისინი ოპტიმიზირებული კონკრეტულ მონაცემებთან მუშაობისთვის.

ჩვენ დავიწყეთ ჩვენი მოდელის სიზუსტის შეფასება პოპულარული LFW გადამოწმების ტესტით, მაგრამ ის ძალიან მცირე და მარტივია. 99,8%-იანი სიზუსტის მიღწევის შემდეგ ის აღარ გამოდგება. არის კარგი კონკურენცია ამომცნობი მოდელების შეფასებისთვის - Megaface, რომელზედაც თანდათან მივაღწიეთ 82%-ს 1-ლ რეიტინგში. Megaface ტესტი შედგება მილიონი ფოტოსგან - ყურადღების მიქცევისგან - და მოდელს კარგად უნდა შეეძლოს ცნობილი ადამიანების რამდენიმე ათასი ფოტოს გარჩევა Facescrub-ისგან. ყურადღების გამფანტველების მონაცემთა ნაკრები. თუმცა, Megaface ტესტის შეცდომებისგან გასუფთავების შემდეგ, აღმოვაჩინეთ, რომ გასუფთავებული ვერსიით ჩვენ მივაღწევთ 98%-იან სიზუსტეს 1-ლი რანგის (ცნობილი ადამიანების ფოტოები ზოგადად საკმაოდ სპეციფიკურია). ამიტომ, მათ შექმნეს ცალკე საიდენტიფიკაციო ტესტი, მსგავსი Megaface, მაგრამ "ჩვეულებრივი" ადამიანების ფოტოებით. შემდეგ ჩვენ გავაუმჯობესეთ ამოცნობის სიზუსტე ჩვენს მონაცემთა ნაკრებებზე და წინ წავედით. გარდა ამისა, ვიყენებთ კლასტერიზაციის ხარისხის ტესტს, რომელიც შედგება რამდენიმე ათასი ფოტოსგან; ის ახდენს სახის მონიშვნის სიმულაციას მომხმარებლის ღრუბელში. ამ შემთხვევაში, კლასტერები არის მსგავსი ინდივიდების ჯგუფები, თითო ჯგუფი თითოეული ცნობადი ადამიანისთვის. ჩვენ შევამოწმეთ მუშაობის ხარისხი რეალურ ჯგუფებზე (მართალია).

რა თქმა უნდა, ამოცნობის შეცდომები ხდება ნებისმიერ მოდელთან. მაგრამ ასეთი სიტუაციები ხშირად წყდება ზღვრების დაზუსტებით კონკრეტული პირობებისთვის (ყველა კონფერენციისთვის ჩვენ ვიყენებთ ერთსა და იმავე ზღურბლებს, მაგრამ, მაგალითად, წვდომის კონტროლის სისტემებისთვის ჩვენ უნდა გავზარდოთ ზღურბლები ისე, რომ ნაკლები იყოს ცრუ დადებითი). კონფერენციის ვიზიტორების დიდი უმრავლესობა სწორად იქნა აღიარებული ჩვენი Vision-ის ფოტო ჯიხურებით. ზოგჯერ ვინმე უყურებდა ამოჭრილ გადახედვას და ამბობდა: „თქვენმა სისტემამ შეცდომა დაუშვა, ეს მე არ ვიყავი“. შემდეგ ფოტო მთლიანად გავხსენით და აღმოჩნდა, რომ ფოტოზე ნამდვილად იყო ეს სტუმარი, მხოლოდ ჩვენ მას კი არ ვიღებდით, არამედ ვიღაც სხვას, ადამიანი უბრალოდ შემთხვევით აღმოჩნდა ბუნდოვანი ზონის ფონზე. უფრო მეტიც, ნერვული ქსელი ხშირად სწორად ცნობს მაშინაც კი, როცა სახის ნაწილი არ ჩანს, ან ადამიანი პროფილში დგას, ან თუნდაც ნახევრად შემობრუნებული. სისტემას შეუძლია ადამიანის ამოცნობა მაშინაც კი, თუ სახე ოპტიკური დამახინჯების არეშია, ვთქვათ, ფართოკუთხიანი ლინზებით გადაღებისას.

1.3. რთულ სიტუაციებში ტესტირების მაგალითები

ქვემოთ მოცემულია მაგალითები, თუ როგორ მუშაობს ჩვენი ნერვული ქსელი. ფოტოები გადაეგზავნება შეყვანისას, რომელიც მან უნდა დაასახელოს PersonID-ის გამოყენებით - პიროვნების უნიკალური იდენტიფიკატორი. თუ ორ ან მეტ სურათს აქვს ერთი და იგივე პირადობის მოწმობა, მაშინ, მოდელების მიხედვით, ეს ფოტოები ასახავს ერთსა და იმავე ადამიანს.

დაუყოვნებლივ აღვნიშნოთ, რომ ტესტირებისას ჩვენ გვაქვს წვდომა სხვადასხვა პარამეტრებზე და მოდელის ზღურბლზე, რომელთა კონფიგურაცია შეგვიძლია კონკრეტული შედეგის მისაღწევად. საჯარო API ოპტიმიზებულია საერთო შემთხვევებზე მაქსიმალური სიზუსტისთვის.

დავიწყოთ უმარტივესი საქმით, წინა სახის ამოცნობით.

ისე, ეს ძალიან ადვილი იყო. გავართულოთ დავალება, დავამატოთ წვერი და ერთი მუჭა წელი.

ზოგიერთი იტყვის, რომ ეს არც ისე რთული იყო, რადგან ორივე შემთხვევაში მთელი სახე ჩანს და სახის შესახებ უამრავი ინფორმაციაა ხელმისაწვდომი ალგორითმისთვის. კარგი, მოდით ტომ ჰარდი პროფილად ვაქციოთ. ეს პრობლემა გაცილებით რთულია და ჩვენ დიდი ძალისხმევა დავხარჯეთ მის წარმატებით გადასაჭრელად, შეცდომის დაბალი კოეფიციენტის შენარჩუნებისას: შევარჩიეთ სავარჯიშო ნაკრები, გავითვალისწინეთ ნერვული ქსელის არქიტექტურა, გავაუმჯობესეთ დაკარგვის ფუნქციები და გავაუმჯობესეთ წინასწარი დამუშავება. ფოტოების.

მოდით მას თავსაბურავი შევასრულოთ:

სხვათა შორის, ეს განსაკუთრებით რთული სიტუაციის მაგალითია, რადგან სახე ძლიერად არის დაფარული, ხოლო ქვედა ფოტოში ასევე არის ღრმა ჩრდილი, რომელიც მალავს თვალებს. რეალურ ცხოვრებაში ადამიანები ძალიან ხშირად იცვლიან გარეგნობას მუქი სათვალეების დახმარებით. მოდი იგივე გავაკეთოთ ტომთან.

კარგი, ვცადოთ სხვადასხვა ასაკის ფოტოების გადაღება და ამჯერად განსხვავებულ მსახიობზე ექსპერიმენტებს ჩავატარებთ. ავიღოთ ბევრად უფრო რთული მაგალითი, სადაც ასაკთან დაკავშირებული ცვლილებები განსაკუთრებით გამოხატულია. სიტუაცია არ არის შორს, საკმაოდ ხშირად ხდება, როდესაც პასპორტში არსებული ფოტო უნდა შეადაროთ გადამტანის სახეს. ყოველივე ამის შემდეგ, პირველი ფოტო ემატება პასპორტს, როდესაც მფლობელი 20 წლისაა და 45 წლის ასაკში ადამიანს შეუძლია მნიშვნელოვნად შეიცვალოს:

როგორ ფიქრობთ, შეუძლებელი მისიების მთავარი სპეციალისტი ასაკთან ერთად დიდად არ შეცვლილა? ვფიქრობ, რამდენიმე ადამიანიც კი დააკავშირებს ზედა და ქვედა ფოტოებს, ბიჭი იმდენად შეიცვალა წლების განმავლობაში.

ნერვული ქსელები უფრო ხშირად ხვდებიან გარეგნულ ცვლილებებს. მაგალითად, ზოგჯერ ქალებს შეუძლიათ მნიშვნელოვნად შეცვალონ თავიანთი იმიჯი კოსმეტიკური საშუალებების დახმარებით:

ახლა კიდევ უფრო გავართულოთ დავალება: დავუშვათ, სახის სხვადასხვა ნაწილი სხვადასხვა ფოტოზეა დაფარული. ასეთ შემთხვევებში ალგორითმი ვერ ადარებს მთელ ნიმუშებს. თუმცა, Vision კარგად უმკლავდება მსგავს სიტუაციებს.

სხვათა შორის, ფოტოზე შეიძლება ბევრი სახე იყოს; მაგალითად, დარბაზის ზოგად ფოტოში 100-ზე მეტი ადამიანი ეტევა. ეს რთული ვითარებაა ნერვული ქსელებისთვის, რადგან ბევრი სახე შეიძლება განსხვავებულად განათდეს, ზოგიც ყურადღების მიღმა. თუმცა, თუ ფოტო გადაღებულია საკმარისი გარჩევადობითა და ხარისხით (მინიმუმ 75 პიქსელი თითო კვადრატზე, რომელიც ფარავს სახეს), Vision შეძლებს მის ამოცნობას და ამოცნობას.

რეპორტაჟის ფოტოებისა და სათვალთვალო კამერებიდან გამოსახულებების თავისებურება ის არის, რომ ადამიანები ხშირად ბუნდოვანია, რადგან ისინი იმ მომენტში ყურადღების მიღმა იყვნენ ან მოძრაობდნენ:

ასევე, განათების ინტენსივობა შეიძლება მნიშვნელოვნად განსხვავდებოდეს სურათიდან სურათზე. ეს ასევე ხშირად ხდება დაბრკოლება; ბევრ ალგორითმს უჭირს ზედმეტად მუქი და ზედმეტად ღია სურათების სწორად დამუშავება, რომ აღარაფერი ვთქვათ მათ ზუსტ შესაბამისობაში. შეგახსენებთ, რომ ამ შედეგის მისაღწევად საჭიროა ზღვრების კონფიგურაცია გარკვეული გზით; ეს ფუნქცია ჯერ არ არის საჯაროდ ხელმისაწვდომი. ჩვენ ვიყენებთ ერთსა და იმავე ნერვულ ქსელს ყველა კლიენტისთვის; მას აქვს ზღურბლები, რომლებიც შესაფერისია ყველაზე პრაქტიკული ამოცანებისთვის.

ჩვენ ახლახან გამოვაქვეყნეთ მოდელის ახალი ვერსია, რომელიც ამოიცნობს აზიურ სახეებს მაღალი სიზუსტით. ეს იყო დიდი პრობლემა, რომელსაც "მანქანური სწავლა" (ან "ნერვული ქსელი") რასიზმიც კი ეძახდნენ. ევროპულმა და ამერიკულმა ნერვულმა ქსელებმა კარგად ამოიცნეს კავკასიური სახეები, მაგრამ მონღოლოიდური და ნეგროიდული სახეებით მდგომარეობა გაცილებით უარესი იყო. ჩინეთში, ალბათ, საპირისპირო სიტუაცია იყო. ეს ყველაფერი ეხება ტრენინგის მონაცემთა ნაკრებებს, რომლებიც ასახავს კონკრეტულ ქვეყანაში ადამიანთა დომინანტურ ტიპებს. თუმცა, სიტუაცია იცვლება, დღეს ეს პრობლემა არც ისე მწვავეა. ხედვას არ აქვს პრობლემა სხვადასხვა რასის ადამიანებთან.

სახის ამოცნობა ჩვენი ტექნოლოგიის მრავალი აპლიკაციიდან მხოლოდ ერთ-ერთია; მხედველობის სწავლება შესაძლებელია ყველაფრის ამოცნობისთვის. მაგალითად, სანომრე ნიშნები, მათ შორის ალგორითმებისთვის რთულ პირობებში: მკვეთრი კუთხით, ბინძური და ძნელად წასაკითხი სანომრე ნიშნები.

2. პრაქტიკული გამოყენების შემთხვევები

2.1. ფიზიკური წვდომის კონტროლი: როდესაც ორი ადამიანი იყენებს ერთსა და იმავე საშვს

Vision-ის დახმარებით თქვენ შეგიძლიათ დანერგოთ თანამშრომლების ჩამოსვლისა და გამგზავრების აღრიცხვის სისტემები. ელექტრონულ საშვებზე დაფუძნებულ ტრადიციულ სისტემას აშკარა ნაკლოვანებები აქვს, მაგალითად, ერთი სამკერდე ნიშნით შეგიძლიათ გაიაროთ ორი ადამიანი. თუ წვდომის კონტროლის სისტემას (ACS) დაემატება Vision, ის გულახდილად ჩაიწერს ვინ და როდის მოვიდა/წავიდა.

2.2. დროის თვალყურის დევნება

Vision გამოყენების ეს შემთხვევა მჭიდრო კავშირშია წინასთან. თუ შეავსებთ წვდომის სისტემას ჩვენი სახის ამოცნობის სერვისით, ის შეძლებს არა მხოლოდ წვდომის კონტროლის დარღვევის აღმოჩენას, არამედ დაარეგისტრიროს თანამშრომლების რეალურად ყოფნა შენობაში ან დაწესებულებაში. სხვა სიტყვებით რომ ვთქვათ, Vision დაგეხმარებათ გულახდილად გაითვალისწინოთ, ვინ რა დროს მოვიდა სამსახურში და წავიდა და ვინ საერთოდ გამოტოვა სამუშაო, თუნდაც კოლეგებმა დაფარონ მას უფროსების წინაშე.

2.3. ვიდეო ანალიტიკა: ხალხის თვალყურის დევნება და უსაფრთხოება

Vision-ის გამოყენებით ადამიანების თვალყურის დევნით, შეგიძლიათ ზუსტად შეაფასოთ სავაჭრო ზონების, მატარებლის სადგურების, გადასასვლელების, ქუჩების და მრავალი სხვა საჯარო ადგილის რეალური მოძრაობა. ჩვენი თვალთვალი ასევე შეიძლება დაგვეხმაროს წვდომის კონტროლში, მაგალითად, საწყობში ან სხვა მნიშვნელოვან ოფისში. და რა თქმა უნდა, ადამიანებისა და სახეების თვალყურის დევნება უსაფრთხოების პრობლემების გადაჭრას უწყობს ხელს. დაიჭირეთ ვინმე თქვენი მაღაზიიდან ქურდობაში? დაამატეთ მისი PersonID, რომელიც დაბრუნდა Vision-ის მიერ, თქვენი ვიდეო ანალიტიკური პროგრამული უზრუნველყოფის შავ სიაში და შემდეგ ჯერზე სისტემა დაუყოვნებლივ გააფრთხილებს უსაფრთხოებას, თუ ეს ტიპი კვლავ გამოჩნდება.

2.4. ვაჭრობაში

საცალო და სხვადასხვა სერვისის ბიზნესი დაინტერესებულია რიგის ამოცნობით. Vision-ის დახმარებით თქვენ შეგიძლიათ აღიაროთ, რომ ეს არ არის ხალხის შემთხვევითი ბრბო, არამედ რიგი და განსაზღვროთ მისი სიგრძე. შემდეგ კი სისტემა აცნობებს პასუხისმგებელ პირებს რიგის შესახებ, რათა მათ გაარკვიონ სიტუაცია: ან ვიზიტორთა შემოდინებაა და დამატებითი მუშაკების გამოძახებაა საჭირო, ან ვიღაც აფერხებს სამუშაო მოვალეობებს.

კიდევ ერთი საინტერესო ამოცანაა დარბაზში მყოფი კომპანიის თანამშრომლების გამოყოფა ვიზიტორებისგან. როგორც წესი, სისტემა ივარჯიშება საგნების განცალკევებისთვის, რომლებიც ატარებენ გარკვეულ ტანსაცმელს (დრეს კოდი) ან რაიმე გამორჩეული თვისებით (ბრენდირებული შარფი, სამკერდე ნიშანი მკერდზე და ა.შ.). ეს ხელს უწყობს დასწრების უფრო ზუსტად შეფასებას (ისე, რომ თანამშრომლებმა არ „გაბერონ“ დარბაზში მყოფი ადამიანების სტატისტიკა მათი უბრალო ყოფნით).

სახის ამოცნობის საშუალებით თქვენ ასევე შეგიძლიათ შეაფასოთ თქვენი აუდიტორია: როგორია ვიზიტორების ლოიალობა, ანუ რამდენი ადამიანი ბრუნდება თქვენს დაწესებულებაში და რა სიხშირით. გამოთვალეთ რამდენი უნიკალური ვიზიტორი მოდის თქვენთან თვეში. მოზიდვისა და შეკავების ხარჯების ოპტიმიზაციის მიზნით, ასევე შეგიძლიათ გაიგოთ ტრაფიკის ცვლილება კვირის დღეზე და დღის დროზეც კი.

ფრანჩაიზერებსა და ქსელურ კომპანიებს შეუძლიათ შეუკვეთონ შეფასება სხვადასხვა საცალო ვაჭრობის ბრენდის ხარისხის ფოტოების საფუძველზე: ლოგოების, ნიშნების, პლაკატების, ბანერების არსებობა და ა.შ.

2.5. ტრანსპორტით

ვიდეო ანალიტიკის გამოყენებით უსაფრთხოების უზრუნველყოფის კიდევ ერთი მაგალითია აეროპორტების ან მატარებლის სადგურების დარბაზებში მიტოვებული ნივთების იდენტიფიცირება. ხედვა შეიძლება ივარჯიშოს ასობით კლასის საგნების ამოცნობისთვის: ავეჯის ნაჭრები, ჩანთები, ჩემოდნები, ქოლგები, სხვადასხვა სახის ტანსაცმელი, ბოთლები და ა.შ. თუ თქვენი ვიდეო ანალიტიკური სისტემა აღმოაჩენს უპატრონო ობიექტს და ამოიცნობს მას Vision-ის გამოყენებით, ის სიგნალს უგზავნის უსაფრთხოების სამსახურს. მსგავსი დავალება ასოცირდება არაჩვეულებრივი სიტუაციების ავტომატურ გამოვლენასთან საჯარო ადგილებში: ვიღაც თავს ცუდად გრძნობს, ან ვინმე ეწევა არასწორ ადგილას, ან ადამიანი ეცემა რელსებზე და ასე შემდეგ - ყველა ეს ნიმუში შეიძლება ამოიცნოს ვიდეო ანალიტიკური სისტემებით. Vision API-ს მეშვეობით.

2.6. დოკუმენტის ნაკადი

Vision-ის კიდევ ერთი საინტერესო სამომავლო აპლიკაცია, რომელსაც ჩვენ ამჟამად ვამუშავებთ, არის დოკუმენტების ამოცნობა და მათი ავტომატური ანალიზი მონაცემთა ბაზებში. იმის ნაცვლად, რომ ხელით შეიყვანოთ (ან უარესი, შეიყვანოთ) გაუთავებელი სერიები, ნომრები, გამოშვების თარიღები, ანგარიშის ნომრები, ბანკის დეტალები, დაბადების თარიღები და ადგილები და მრავალი სხვა ოფიციალური მონაცემები, შეგიძლიათ დოკუმენტების სკანირება და ავტომატურად გაგზავნა უსაფრთხო არხზე. API ღრუბელში, სადაც სისტემა დაუყოვნებლივ ამოიცნობს ამ დოკუმენტებს, გააანალიზებს მათ და დააბრუნებს პასუხს მონაცემთა ბაზაში ავტომატური შეყვანისთვის საჭირო ფორმატში. დღეს Vision-მა უკვე იცის როგორ მოახდინოს დოკუმენტების კლასიფიკაცია (მათ შორის PDF) - განასხვავებს პასპორტებს, SNILS, TIN, დაბადების მოწმობებს, ქორწინების მოწმობებს და სხვა.

რა თქმა უნდა, ნერვულ ქსელს არ შეუძლია გაუმკლავდეს ყველა ამ სიტუაციას. თითოეულ შემთხვევაში, ახალი მოდელი აგებულია კონკრეტული მომხმარებლისთვის, გათვალისწინებულია მრავალი ფაქტორი, ნიუანსი და მოთხოვნა, შეირჩევა მონაცემთა ნაკრები და ტარდება ტრენინგის, ტესტირებისა და კონფიგურაციის გამეორებები.

3. API ოპერაციის სქემა

Vision-ის „შესასვლელი კარიბჭე“ მომხმარებლებისთვის არის REST API. მას შეუძლია მიიღოს ფოტოები, ვიდეო ფაილები და გადაცემები ქსელური კამერებიდან (RTSP ნაკადები) შეყვანის სახით.

Vision-ის გამოსაყენებლად გჭირდებათ რეგისტრაცია Mail.ru Cloud Solutions სერვისში და მიიღეთ წვდომის ნიშნები (client_id + client_secret). მომხმარებლის ავთენტიფიკაცია ხორციელდება OAuth პროტოკოლის გამოყენებით. წყაროს მონაცემები POST მოთხოვნის ორგანოებში იგზავნება API-ზე. და საპასუხოდ, კლიენტი იღებს API-დან ამოცნობის შედეგს JSON ფორმატში და პასუხი სტრუქტურირებულია: შეიცავს ინფორმაციას ნაპოვნი ობიექტებისა და მათი კოორდინატების შესახებ.

პასუხის ნიმუში

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

პასუხი შეიცავს საინტერესო პარამეტრის გასაოცარებას - ეს არის სახის პირობითი „სიგრილე“ ფოტოზე, მისი დახმარებით ჩვენ ვირჩევთ სახის საუკეთესო კადრს თანმიმდევრობიდან. ჩვენ ვავარჯიშეთ ნერვული ქსელი, რათა გამოგვედგინა ფოტოს მოწონების ალბათობა სოციალურ ქსელებში. რაც უფრო კარგია ფოტოს ხარისხი და რაც უფრო გაღიმებული იქნება სახე, მით მეტია გასაოცარია.

API Vision იყენებს კონცეფციას, რომელსაც ეწოდება სივრცე. ეს არის ინსტრუმენტი სახეების სხვადასხვა ნაკრების შესაქმნელად. სივრცეების მაგალითებია შავი და თეთრი სიები, ვიზიტორების, თანამშრომლების, კლიენტების სიები და ა.შ. Vision-ში თითოეული ტოკენისთვის შეგიძლიათ შექმნათ 10-მდე სივრცე, თითოეულ სივრცეს შეიძლება ჰქონდეს 50 ათასამდე PersonID, ანუ 500 ათასამდე. თითო ჟეტონზე. უფრო მეტიც, ერთ ანგარიშზე ტოკენების რაოდენობა შეზღუდული არ არის.

დღეს API მხარს უჭერს გამოვლენისა და ამოცნობის შემდეგ მეთოდებს:

• Recognize/Set - სახეების ამოცნობა და ამოცნობა. ავტომატურად ანიჭებს PersonID-ს თითოეულ უნიკალურ პირს, აბრუნებს პიროვნების ID-ს და ნაპოვნი პირების კოორდინატებს.
• წაშლა - პიროვნების მონაცემთა ბაზიდან კონკრეტული PersonID-ის წაშლა.
• Truncate - ასუფთავებს მთელ სივრცეს PersonID-დან, სასარგებლოა, თუ ის გამოიყენებოდა როგორც სატესტო სივრცე და თქვენ გჭირდებათ მონაცემთა ბაზის გადატვირთვა წარმოებისთვის.
• Detect - ობიექტების, სცენების, სანომრე ნიშნების, ღირშესანიშნაობების, რიგების და ა.შ. ამოცნობა. აბრუნებს ნაპოვნი ობიექტების კლასს და მათ კოორდინატებს
• დოკუმენტების ამოცნობა - აღმოაჩენს რუსეთის ფედერაციის დოკუმენტების სპეციფიკურ ტიპებს (განარჩევს პასპორტს, SNILS-ს, საგადასახადო საიდენტიფიკაციო ნომერს და ა.შ.).

ჩვენ ასევე მალე დავასრულებთ მუშაობას OCR-ის მეთოდებზე, სქესის, ასაკისა და ემოციების დადგენის, ასევე სავაჭრო პრობლემების გადაჭრაზე, ანუ მაღაზიებში საქონლის ჩვენების ავტომატურად კონტროლზე. თქვენ შეგიძლიათ იპოვოთ სრული API დოკუმენტაცია აქ: https://mcs.mail.ru/help/vision-api

4. დასკვნა

ახლა, საჯარო API-ს მეშვეობით, შეგიძლიათ მიიღოთ სახის ამოცნობა ფოტოებსა და ვიდეოებში; მხარდაჭერილია სხვადასხვა ობიექტების, სანომრე ნიშნების, ღირშესანიშნაობების, დოკუმენტების და მთელი სცენების იდენტიფიკაცია. განაცხადის სცენარები - ზღვა. მობრძანდით, შეამოწმეთ ჩვენი სერვისი, დააყენეთ ყველაზე რთული ამოცანები. პირველი 5000 ტრანზაქცია უფასოა. შესაძლოა, ეს იყოს თქვენი პროექტების "დაკარგული ინგრედიენტი".

თქვენ შეგიძლიათ მყისიერად შეხვიდეთ API-ზე რეგისტრაციისა და დაკავშირებისთანავე. ხედვა. Habra-ს ყველა მომხმარებელი იღებს სარეკლამო კოდს დამატებითი ტრანზაქციისთვის. გთხოვთ მომწეროთ ელექტრონული ფოსტის მისამართი, რომელიც გამოიყენეთ თქვენი ანგარიშის რეგისტრაციისთვის!

წყარო: www.habr.com