आमच्या भविष्यातील संगणक दृष्टी प्रणालीसाठी तंत्रज्ञान आणि मॉडेल्स हळूहळू आणि आमच्या कंपनीच्या विविध प्रकल्पांमध्ये - मेल, क्लाउड, शोध मध्ये तयार आणि सुधारित केल्या गेल्या. ते चांगले चीज किंवा कॉग्नाकसारखे परिपक्व झाले. एके दिवशी आम्हाला समजले की आमचे न्यूरल नेटवर्क ओळखीत उत्कृष्ट परिणाम दाखवतात आणि आम्ही त्यांना एकाच b2b उत्पादनामध्ये एकत्र करण्याचे ठरवले - व्हिजन - जे आम्ही आता स्वतः वापरतो आणि तुम्हाला वापरण्याची ऑफर देतो.

आज, Mail.Ru क्लाउड सोल्यूशन्स प्लॅटफॉर्मवरील आमचे संगणक दृष्टी तंत्रज्ञान यशस्वीरित्या कार्य करत आहे आणि अतिशय जटिल व्यावहारिक समस्या सोडवत आहे. हे अनेक न्यूरल नेटवर्क्सवर आधारित आहे जे आमच्या डेटा सेटवर प्रशिक्षित आहेत आणि लागू केलेल्या समस्यांचे निराकरण करण्यात माहिर आहेत. सर्व सेवा आमच्या सर्व्हर सुविधांवर चालतात. तुम्ही तुमच्या ऍप्लिकेशन्समध्ये पब्लिक व्हिजन API समाकलित करू शकता, ज्याद्वारे सेवेच्या सर्व क्षमता उपलब्ध आहेत. API जलद आहे - सर्व्हर GPU ला धन्यवाद, आमच्या नेटवर्कमधील सरासरी प्रतिसाद वेळ 100 ms आहे.

मांजरीकडे जा, तेथे एक तपशीलवार कथा आहे आणि व्हिजनच्या कार्याची अनेक उदाहरणे आहेत.

आम्ही स्वतः नमूद केलेल्या चेहर्यावरील ओळख तंत्रज्ञानाचा वापर करतो अशा सेवेचे उदाहरण आहे आगामी कार्यक्रम. त्यातील एक घटक म्हणजे व्हिजन फोटो स्टँड, जे आम्ही विविध परिषदांमध्ये स्थापित करतो. तुम्ही अशा फोटो स्टँडकडे गेल्यास, अंगभूत कॅमेर्‍याने फोटो घ्या आणि तुमचा ईमेल एंटर करा, सिस्टीमला लगेचच कॉन्फरन्सच्या स्टाफ फोटोग्राफर्सनी टिपलेली छायाचित्रे सापडतील आणि इच्छित असल्यास, सापडलेली छायाचित्रे तुम्हाला ईमेलने पाठवतील. आणि आम्ही स्टेज केलेल्या पोर्ट्रेट शॉट्सबद्दल बोलत नाही आहोत—अभ्यागतांच्या गर्दीतही व्हिजन तुम्हाला ओळखते. अर्थात, हे फोटो स्टँड स्वतःच ओळखले जात नाहीत, हे फक्त सुंदर स्टँडमधील टॅब्लेट आहेत जे त्यांच्या अंगभूत कॅमेर्‍यांसह अतिथींचे फोटो घेतात आणि सर्व्हरवर माहिती प्रसारित करतात, जिथे सर्व ओळखीची जादू घडते. आणि इमेज रेकग्निशन तज्ञांमध्येही तंत्रज्ञानाची प्रभावीता किती आश्चर्यकारक आहे हे आम्ही एकापेक्षा जास्त वेळा पाहिले आहे. खाली आपण काही उदाहरणांबद्दल बोलू.

1. आमचे फेस रेकग्निशन मॉडेल

१.१. न्यूरल नेटवर्क आणि प्रक्रिया गती

ओळखीसाठी, आम्ही ResNet 101 न्यूरल नेटवर्क मॉडेलमधील बदल वापरतो. शेवटी सरासरी पूलिंग पूर्णपणे कनेक्ट केलेल्या लेयरने बदलले जाते, जसे ते ArcFace मध्ये केले जाते. तथापि, वेक्टर प्रतिनिधित्वाचा आकार 128 आहे, 512 नाही. आमच्या प्रशिक्षण सेटमध्ये 10 लोकांचे सुमारे 273 दशलक्ष फोटो आहेत.

काळजीपूर्वक निवडलेल्या सर्व्हर कॉन्फिगरेशन आर्किटेक्चर आणि GPU संगणनामुळे मॉडेल खूप लवकर चालते. आमच्या अंतर्गत नेटवर्कवर API कडून प्रतिसाद प्राप्त करण्यासाठी 100 ms पासून लागतात - यामध्ये चेहरा ओळख (फोटोमध्ये चेहरा शोधणे), API प्रतिसादात PersonID ओळखणे आणि परत करणे समाविष्ट आहे. मोठ्या प्रमाणात येणार्‍या डेटासह - फोटो आणि व्हिडिओ - सेवेवर डेटा हस्तांतरित करण्यासाठी आणि प्रतिसाद प्राप्त करण्यासाठी जास्त वेळ लागेल.

१.२. मॉडेलच्या प्रभावीतेचे मूल्यांकन

परंतु न्यूरल नेटवर्क्सची कार्यक्षमता निश्चित करणे हे एक अतिशय संदिग्ध कार्य आहे. मॉडेल्सना कोणत्या डेटा सेटवर प्रशिक्षित केले गेले आणि विशिष्ट डेटासह कार्य करण्यासाठी ते ऑप्टिमाइझ केले गेले की नाही यावर त्यांच्या कामाची गुणवत्ता अवलंबून असते.

आम्ही लोकप्रिय LFW पडताळणी चाचणीसह आमच्या मॉडेलच्या अचूकतेचे मूल्यमापन करण्यास सुरुवात केली, परंतु ते खूपच लहान आणि सोपे आहे. 99,8% अचूकतेपर्यंत पोहोचल्यानंतर, ते यापुढे उपयुक्त नाही. ओळख मॉडेलचे मूल्यांकन करण्यासाठी चांगली स्पर्धा आहे - मेगाफेस, ज्यावर आम्ही हळूहळू 82% रँक 1 वर पोहोचलो आहोत. मेगाफेस चाचणीमध्ये एक दशलक्ष छायाचित्रे आहेत - विचलित करणारी - आणि मॉडेल फेसस्क्रबमधून सेलिब्रिटींची हजारो छायाचित्रे चांगल्या प्रकारे ओळखण्यास सक्षम असावे. विचलित करणारा डेटासेट. तथापि, त्रुटींची मेगाफेस चाचणी पूर्ण केल्यावर, आम्हाला आढळले की साफ केलेल्या आवृत्तीसह आम्ही 98% रँक 1 ची अचूकता प्राप्त करतो (सेलिब्रेटींचे फोटो सामान्यतः विशिष्ट असतात). म्हणून, त्यांनी मेगाफेस प्रमाणेच, परंतु "सामान्य" लोकांच्या छायाचित्रांसह एक वेगळी ओळख चाचणी तयार केली. मग आम्ही आमच्या डेटासेटवर ओळख अचूकता सुधारली आणि खूप पुढे गेलो. याव्यतिरिक्त, आम्ही क्लस्टरिंग गुणवत्ता चाचणी वापरतो ज्यामध्ये अनेक हजार फोटो असतात; हे वापरकर्त्याच्या क्लाउडमध्ये फेस टॅगिंगचे अनुकरण करते. या प्रकरणात, क्लस्टर्स समान व्यक्तींचे गट आहेत, प्रत्येक ओळखण्यायोग्य व्यक्तीसाठी एक गट. आम्ही वास्तविक गटांवर कामाची गुणवत्ता तपासली (खरे).

अर्थात, कोणत्याही मॉडेलमध्ये ओळख त्रुटी आढळतात. परंतु अशा परिस्थितींचे निराकरण बर्‍याचदा विशिष्ट परिस्थितींसाठी थ्रेशोल्ड फाइन-ट्यूनिंग करून केले जाते (सर्व कॉन्फरन्ससाठी आम्ही समान थ्रेशोल्ड वापरतो, परंतु, उदाहरणार्थ, ऍक्सेस कंट्रोल सिस्टमसाठी आम्हाला थ्रेशोल्ड मोठ्या प्रमाणात वाढवावे लागतील जेणेकरून कमी खोट्या सकारात्मक गोष्टी असतील). आमच्या व्हिजन फोटो बूथद्वारे बहुसंख्य कॉन्फरन्स अभ्यागतांना योग्यरित्या ओळखले गेले. काहीवेळा कोणीतरी क्रॉप केलेल्या पूर्वावलोकनाकडे बघेल आणि म्हणेल, "तुमच्या सिस्टमने चूक केली, ती मी नव्हतो." मग आम्ही फोटो संपूर्णपणे उघडला, आणि असे दिसून आले की फोटोमध्ये खरोखर हा अभ्यागत होता, फक्त आम्ही त्याचे फोटो काढत नाही, तर ती व्यक्ती फक्त ब्लर झोनमध्ये पार्श्वभूमीत होती. शिवाय, चेहऱ्याचा काही भाग दिसत नसताना किंवा व्यक्ती प्रोफाइलमध्ये उभी असताना किंवा अर्धवट वळलेली असतानाही मज्जातंतू नेटवर्क अनेकदा योग्यरित्या ओळखते. वाइड-एंगल लेन्सने शूटिंग करताना चेहरा ऑप्टिकल विकृतीच्या क्षेत्रात असला तरीही सिस्टम एखाद्या व्यक्तीला ओळखू शकते.

१.३. कठीण परिस्थितीत चाचणीची उदाहरणे

आमचे न्यूरल नेटवर्क कसे कार्य करते याची उदाहरणे खाली दिली आहेत. फोटो इनपुटवर सबमिट केले जातात, ज्याला तिने PersonID वापरून लेबल केले पाहिजे - एखाद्या व्यक्तीचा एक अद्वितीय ओळखकर्ता. जर दोन किंवा अधिक प्रतिमांमध्ये समान आयडी असेल तर, मॉडेलनुसार, हे फोटो एकाच व्यक्तीचे चित्रण करतात.

चला ताबडतोब लक्षात घ्या की चाचणी करताना, आमच्याकडे विविध पॅरामीटर्स आणि मॉडेल थ्रेशोल्डमध्ये प्रवेश आहे जे आम्ही विशिष्ट परिणाम प्राप्त करण्यासाठी कॉन्फिगर करू शकतो. सार्वजनिक API सामान्य प्रकरणांवर जास्तीत जास्त अचूकतेसाठी ऑप्टिमाइझ केले आहे.

चला सर्वात सोप्या गोष्टीपासून सुरुवात करूया, समोरचा चेहरा ओळखणे.

बरं, ते खूप सोपे होते. चला कार्य क्लिष्ट करूया, दाढी आणि मूठभर वर्षे जोडा.

काहीजण म्हणतील की हे देखील फार कठीण नव्हते, कारण दोन्ही प्रकरणांमध्ये संपूर्ण चेहरा दृश्यमान आहे आणि चेहर्याबद्दल बरीच माहिती अल्गोरिदमला उपलब्ध आहे. ठीक आहे, टॉम हार्डीला प्रोफाइलमध्ये बदलूया. ही समस्या खूपच गुंतागुंतीची आहे, आणि कमी त्रुटी दर राखून यशस्वीरित्या सोडवण्यासाठी आम्ही खूप प्रयत्न केले: आम्ही एक प्रशिक्षण संच निवडला, न्यूरल नेटवर्कच्या आर्किटेक्चरचा विचार केला, नुकसान कार्ये पूर्ण केली आणि पूर्व-प्रक्रिया सुधारली. छायाचित्रे.

चला त्याच्यावर शिरोभूषण घालूया:

तसे, हे विशेषतः कठीण परिस्थितीचे उदाहरण आहे, कारण चेहरा जोरदारपणे अस्पष्ट आहे आणि तळाच्या फोटोमध्ये डोळे लपविणारी एक खोल सावली देखील आहे. वास्तविक जीवनात, लोक बरेचदा गडद चष्म्याच्या मदतीने त्यांचे स्वरूप बदलतात. टॉमच्या बाबतीतही तेच करूया.

ठीक आहे, चला वेगवेगळ्या वयोगटातील फोटो टाकण्याचा प्रयत्न करूया आणि यावेळी आम्ही वेगळ्या अभिनेत्यासह प्रयोग करू. चला एक अधिक जटिल उदाहरण घेऊ, जिथे वय-संबंधित बदल विशेषतः उच्चारले जातात. परिस्थिती फार दूरची नाही; जेव्हा आपल्याला पासपोर्टमधील फोटोची वाहकाच्या चेहऱ्याशी तुलना करण्याची आवश्यकता असते तेव्हा असे बरेचदा घडते. शेवटी, जेव्हा मालक 20 वर्षांचा असतो तेव्हा पहिला फोटो पासपोर्टमध्ये जोडला जातो आणि वयाच्या 45 व्या वर्षी एखादी व्यक्ती मोठ्या प्रमाणात बदलू शकते:

अशक्य मोहिमेतील मुख्य तज्ञ वयानुसार फारसा बदलला नाही असे तुम्हाला वाटते का? मला वाटते की काही लोक अगदी वरचे आणि खालचे फोटो एकत्र करतील, मुलगा गेल्या काही वर्षांत खूप बदलला आहे.

न्यूरल नेटवर्क्सचे स्वरूप अधिक वेळा बदलते. उदाहरणार्थ, कधीकधी महिला सौंदर्यप्रसाधनांच्या मदतीने त्यांची प्रतिमा मोठ्या प्रमाणात बदलू शकतात:

आता कार्य आणखी गुंतागुंतीचे करूया: समजा चेहऱ्याचे वेगवेगळे भाग वेगवेगळ्या छायाचित्रांमध्ये झाकलेले आहेत. अशा परिस्थितीत, अल्गोरिदम संपूर्ण नमुन्यांची तुलना करू शकत नाही. तथापि, दृष्टी अशा परिस्थिती चांगल्या प्रकारे हाताळते.

तसे, एका छायाचित्रात बरेच चेहरे असू शकतात; उदाहरणार्थ, एका हॉलच्या सर्वसाधारण छायाचित्रात १०० हून अधिक लोक बसू शकतात. न्यूरल नेटवर्क्ससाठी ही एक कठीण परिस्थिती आहे, कारण अनेक चेहरे वेगळ्या प्रकारे प्रकाशित केले जाऊ शकतात, काही फोकसच्या बाहेर. तथापि, फोटो पुरेशा रिझोल्यूशन आणि गुणवत्तेसह (कमीत कमी 100 पिक्सेल प्रति चौरस चेहरा झाकून) घेतल्यास, दृष्टी तो शोधण्यात आणि ओळखण्यास सक्षम असेल.

पाळत ठेवलेल्या कॅमेर्‍यातील रिपोर्टेज छायाचित्रे आणि प्रतिमांचे वैशिष्ठ्य हे आहे की लोक अनेकदा अस्पष्ट असतात कारण ते फोकसच्या बाहेर होते किंवा त्या क्षणी हलत होते:

तसेच, प्रकाशाची तीव्रता प्रतिमेनुसार मोठ्या प्रमाणात बदलू शकते. हे देखील अनेकदा अडखळणारे ठरते; बर्याच अल्गोरिदमना खूप गडद आणि खूप हलक्या प्रतिमांवर योग्यरित्या प्रक्रिया करण्यात मोठी अडचण येते, त्या अचूकपणे जुळल्याचा उल्लेख नाही. मी तुम्हाला आठवण करून देतो की हा परिणाम साध्य करण्यासाठी तुम्हाला थ्रेशोल्ड एका विशिष्ट प्रकारे कॉन्फिगर करणे आवश्यक आहे; हे वैशिष्ट्य अद्याप सार्वजनिकरित्या उपलब्ध नाही. आम्ही सर्व क्लायंटसाठी समान न्यूरल नेटवर्क वापरतो; त्यात थ्रेशोल्ड आहेत जे बहुतेक व्यावहारिक कार्यांसाठी योग्य आहेत.

आम्ही अलीकडेच मॉडेलची नवीन आवृत्ती आणली आहे जी उच्च अचूकतेसह आशियाई चेहरे ओळखते. ही एक मोठी समस्या असायची, ज्याला “मशीन लर्निंग” (किंवा “न्यूरल नेटवर्क”) वर्णद्वेष असेही म्हटले जात असे. युरोपियन आणि अमेरिकन न्यूरल नेटवर्क्सने कॉकेशियन चेहरे चांगले ओळखले, परंतु मंगोलॉइड आणि नेग्रॉइड चेहऱ्यांमुळे परिस्थिती खूपच वाईट होती. कदाचित, चीनमध्ये परिस्थिती अगदी उलट होती. हे सर्व प्रशिक्षण डेटा सेटबद्दल आहे जे विशिष्ट देशातील प्रबळ प्रकारचे लोक प्रतिबिंबित करतात. तथापि, परिस्थिती बदलत आहे; आज ही समस्या इतकी तीव्र नाही. विविध जातींच्या लोकांना दृष्टीची कोणतीही अडचण नाही.

चेहऱ्याची ओळख ही आमच्या तंत्रज्ञानाच्या अनेक ऍप्लिकेशन्सपैकी एक आहे; कोणतीही गोष्ट ओळखण्यासाठी दृष्टी प्रशिक्षित केली जाऊ शकते. उदाहरणार्थ, अल्गोरिदमसाठी कठीण परिस्थितीसह परवाना प्लेट्स: तीक्ष्ण कोनात, गलिच्छ आणि परवाना प्लेट्स वाचण्यास कठीण.

2. व्यावहारिक वापर प्रकरणे

२.१. भौतिक प्रवेश नियंत्रण: जेव्हा दोन लोक समान पास वापरतात

व्हिजनच्या मदतीने तुम्ही कर्मचाऱ्यांचे आगमन आणि निर्गमन रेकॉर्ड करण्यासाठी सिस्टम लागू करू शकता. इलेक्ट्रॉनिक पासवर आधारित पारंपारिक प्रणालीचे स्पष्ट तोटे आहेत, उदाहरणार्थ, आपण एक बॅज वापरून दोन लोकांना पास करू शकता. जर ऍक्सेस कंट्रोल सिस्टीम (ACS) व्हिजनसह पूरक असेल, तर ते प्रामाणिकपणे रेकॉर्ड करेल की कोण आले/डावीकडे आणि कधी आले.

२.२. वेळ ट्रॅकिंग

ही दृष्टी वापर प्रकरण मागील प्रकरणाशी जवळून संबंधित आहे. तुम्ही आमच्या फेशियल रेकग्निशन सेवेसह ऍक्सेस सिस्टीमची पूर्तता केल्यास, ती केवळ ऍक्सेस कंट्रोलचे उल्लंघन शोधण्यातच सक्षम नाही, तर इमारत किंवा सुविधेतील कर्मचाऱ्यांची प्रत्यक्ष उपस्थिती देखील नोंदवू शकते. दुसऱ्या शब्दांत, व्हिजन तुम्हाला प्रामाणिकपणे विचारात घेण्यास मदत करेल की कोण कामावर आले आणि कोणत्या वेळी निघून गेले आणि कोणी काम पूर्णपणे वगळले, जरी त्याच्या सहकाऱ्यांनी त्याच्या वरिष्ठांसमोर त्याच्यासाठी कव्हर केले तरीही.

२.३. व्हिडिओ विश्लेषण: लोक ट्रॅकिंग आणि सुरक्षा

व्हिजन वापरून लोकांचा मागोवा घेऊन, तुम्ही शॉपिंग एरिया, ट्रेन स्टेशन्स, पॅसेज, रस्ते आणि इतर अनेक सार्वजनिक ठिकाणांच्या वास्तविक रहदारीचे अचूक मूल्यांकन करू शकता. आमच्या ट्रॅकिंगमुळे प्रवेश नियंत्रित करण्यासाठी देखील खूप मदत होऊ शकते, उदाहरणार्थ, वेअरहाऊस किंवा इतर महत्त्वाच्या कार्यालय परिसरात. आणि अर्थातच, लोक आणि चेहर्‍यांचा मागोवा घेणे सुरक्षा समस्यांचे निराकरण करण्यात मदत करते. तुमच्या दुकानातून कोणीतरी चोरी करताना पकडले? त्याचा PersonID, जो Vision ने परत केला होता, तुमच्या व्हिडिओ विश्लेषण सॉफ्टवेअरच्या काळ्या यादीत जोडा आणि पुढच्या वेळी हा प्रकार पुन्हा दिसल्यास सिस्टम ताबडतोब सुरक्षिततेला अलर्ट करेल.

२.४. व्यापारात

किरकोळ आणि विविध सेवा व्यवसायांना रांग ओळखण्यात रस आहे. व्हिजनच्या मदतीने तुम्ही ओळखू शकता की ही लोकांची यादृच्छिक गर्दी नाही तर रांग आहे आणि त्याची लांबी निश्चित करू शकता. आणि मग सिस्टम प्रभारी लोकांना रांगेबद्दल माहिती देते जेणेकरून ते परिस्थिती जाणून घेऊ शकतील: एकतर अभ्यागतांचा ओघ आहे आणि अतिरिक्त कामगारांना बोलावणे आवश्यक आहे किंवा कोणीतरी त्यांच्या नोकरीच्या कर्तव्यात ढिलाई करत आहे.

हॉलमधील कंपनीचे कर्मचारी अभ्यागतांपासून वेगळे करणे हे आणखी एक मनोरंजक कार्य आहे. सामान्यतः, प्रणालीला विशिष्ट कपडे (ड्रेस कोड) किंवा काही विशिष्ट वैशिष्ट्यांसह (ब्रँडेड स्कार्फ, छातीवर बॅज, इत्यादी) परिधान केलेल्या वस्तू वेगळे करण्याचे प्रशिक्षण दिले जाते. हे उपस्थितीचे अधिक अचूक मूल्यांकन करण्यास मदत करते (जेणेकरून कर्मचारी त्यांच्या केवळ उपस्थितीने सभागृहातील लोकांची आकडेवारी "फुगवू" शकत नाहीत).

चेहर्यावरील ओळख वापरून, आपण आपल्या प्रेक्षकांचे मूल्यांकन देखील करू शकता: अभ्यागतांची निष्ठा काय आहे, म्हणजे, किती लोक आपल्या स्थापनेवर आणि कोणत्या वारंवारतेसह परत येतात. दर महिन्याला तुमच्याकडे किती अद्वितीय अभ्यागत येतात याची गणना करा. आकर्षण आणि धारणा खर्च ऑप्टिमाइझ करण्यासाठी, आपण आठवड्याच्या दिवसावर आणि दिवसाच्या वेळेनुसार रहदारीतील बदल देखील शोधू शकता.

फ्रँचायझर्स आणि साखळी कंपन्या विविध रिटेल आउटलेटच्या ब्रँडिंगच्या गुणवत्तेच्या छायाचित्रांवर आधारित मूल्यांकन ऑर्डर करू शकतात: लोगो, चिन्हे, पोस्टर्स, बॅनर इत्यादींची उपस्थिती.

2.5. वाहतुकीने

व्हिडिओ अॅनालिटिक्स वापरून सुरक्षा सुनिश्चित करण्याचे आणखी एक उदाहरण म्हणजे विमानतळ किंवा रेल्वे स्थानकांच्या हॉलमध्ये सोडलेल्या वस्तू ओळखणे. शेकडो वर्गातील वस्तू ओळखण्यासाठी दृष्टी प्रशिक्षित केली जाऊ शकते: फर्निचरचे तुकडे, पिशव्या, सुटकेस, छत्र्या, विविध प्रकारचे कपडे, बाटल्या इ. जर तुमची व्हिडिओ विश्लेषण प्रणाली मालक नसलेली वस्तू शोधते आणि व्हिजन वापरून ती ओळखते, तर ती सुरक्षा सेवेला सिग्नल पाठवते. तत्सम कार्य सार्वजनिक ठिकाणी असामान्य परिस्थितींच्या स्वयंचलित तपासणीशी संबंधित आहे: कोणीतरी आजारी आहे, किंवा कोणीतरी चुकीच्या ठिकाणी धुम्रपान करतो, किंवा एखादी व्यक्ती रेल्वेवर पडते, इत्यादी - हे सर्व नमुने व्हिडिओ विश्लेषण प्रणालीद्वारे ओळखले जाऊ शकतात. Vision API द्वारे.

२.६. दस्तऐवज प्रवाह

आम्ही सध्या विकसित करत असलेल्या व्हिजनचा आणखी एक मनोरंजक भविष्यातील अनुप्रयोग म्हणजे दस्तऐवज ओळखणे आणि डेटाबेसमध्ये त्यांचे स्वयंचलित पार्सिंग. अंतहीन मालिका, क्रमांक, इश्यूच्या तारखा, खाते क्रमांक, बँक तपशील, तारखा आणि जन्म ठिकाणे आणि इतर अनेक औपचारिक डेटा मॅन्युअली एंटर करण्याऐवजी (किंवा वाईट, प्रविष्ट करणे), तुम्ही दस्तऐवज स्कॅन करू शकता आणि ते स्वयंचलितपणे सुरक्षित चॅनेलद्वारे पाठवू शकता. क्लाउडला API, जिथे सिस्टम हे दस्तऐवज फ्लायवर ओळखेल, त्यांचे विश्लेषण करेल आणि डेटाबेसमध्ये स्वयंचलित प्रवेशासाठी आवश्यक स्वरूपातील डेटासह प्रतिसाद देईल. आज व्हिजनला कागदपत्रांचे वर्गीकरण कसे करावे हे आधीच माहित आहे (पीडीएफसह) - पासपोर्ट, एसएनआयएलएस, टीआयएन, जन्म प्रमाणपत्रे, विवाह प्रमाणपत्रे आणि इतरांमधील फरक ओळखतो.

अर्थात, न्यूरल नेटवर्क या सर्व परिस्थिती बॉक्सच्या बाहेर हाताळण्यास सक्षम नाही. प्रत्येक बाबतीत, विशिष्ट ग्राहकासाठी नवीन मॉडेल तयार केले जाते, अनेक घटक, बारकावे आणि आवश्यकता विचारात घेतल्या जातात, डेटा संच निवडले जातात आणि प्रशिक्षण, चाचणी आणि कॉन्फिगरेशनची पुनरावृत्ती केली जाते.

3. API ऑपरेशन योजना

वापरकर्त्यांसाठी व्हिजनचे "प्रवेशद्वार" हे REST API आहे. हे इनपुट म्हणून नेटवर्क कॅमेरे (RTSP प्रवाह) वरून फोटो, व्हिडिओ फाइल्स आणि प्रसारणे प्राप्त करू शकते.

व्हिजन वापरण्यासाठी, आपल्याला आवश्यक आहे साइन अप Mail.ru क्लाउड सोल्यूशन्स सेवेमध्ये आणि प्रवेश टोकन प्राप्त करा (client_id + client_secret). OAuth प्रोटोकॉल वापरून वापरकर्ता प्रमाणीकरण केले जाते. POST विनंत्यांच्या मुख्य भागातील स्त्रोत डेटा API कडे पाठविला जातो. आणि प्रतिसादात, क्लायंटला API कडून JSON फॉरमॅटमध्ये एक ओळख परिणाम प्राप्त होतो आणि प्रतिसाद संरचित केला जातो: त्यात सापडलेल्या वस्तू आणि त्यांच्या निर्देशांकांबद्दल माहिती असते.

नमुना उत्तर

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

उत्तरामध्ये एक मनोरंजक पॅरामीटर अद्भुतता आहे - हे फोटोमधील चेहर्याचे सशर्त "थंडपणा" आहे, त्याच्या मदतीने आम्ही अनुक्रमांमधून चेहर्याचा सर्वोत्तम शॉट निवडतो. सोशल नेटवर्क्सवर फोटो आवडला जाण्याची शक्यता वर्तवण्यासाठी आम्ही न्यूरल नेटवर्कला प्रशिक्षण दिले. फोटोचा दर्जा जितका चांगला आणि चेहरा जितका हसरा तितकाच कमालीचा.

API व्हिजन स्पेस नावाची संकल्पना वापरते. चेहऱ्यांचे विविध संच तयार करण्यासाठी हे एक साधन आहे. स्पेसची उदाहरणे म्हणजे काळ्या आणि पांढर्या याद्या, अभ्यागतांच्या याद्या, कर्मचारी, क्लायंट इ. व्हिजनमधील प्रत्येक टोकनसाठी, तुम्ही 10 स्पेसपर्यंत तयार करू शकता, प्रत्येक स्पेसमध्ये 50 हजार पर्सनआयडी असू शकतात, म्हणजेच 500 हजारांपर्यंत प्रति टोकन शिवाय, प्रति खाते टोकनची संख्या मर्यादित नाही.

आज API खालील शोध आणि ओळख पद्धतींना समर्थन देते:

• ओळखणे/सेट - ओळखणे आणि चेहरे ओळखणे. प्रत्येक अनन्य व्यक्तीला आपोआप एक PersonID नियुक्त करते, PersonID आणि सापडलेल्या व्यक्तींचे समन्वय परत करते.
• हटवा - व्यक्तीच्या डेटाबेसमधून विशिष्ट PersonID हटवणे.
• ट्रंकेट - PersonID वरून संपूर्ण जागा साफ करते, जर ती चाचणी स्थान म्हणून वापरली गेली असेल आणि तुम्हाला उत्पादनासाठी डेटाबेस रीसेट करण्याची आवश्यकता असेल तर उपयुक्त.
• शोधणे - वस्तू, दृश्ये, परवाना प्लेट्स, खुणा, रांगा इ. शोधणे. सापडलेल्या वस्तूंचा वर्ग आणि त्यांचे निर्देशांक मिळवते
• दस्तऐवजांसाठी शोधा - रशियन फेडरेशनचे विशिष्ट प्रकारचे दस्तऐवज शोधते (पासपोर्ट, एसएनआयएलएस, कर ओळख क्रमांक इ. वेगळे करते).

आम्ही लवकरच OCR साठी पद्धती, लिंग, वय आणि भावना निश्चित करणे, तसेच व्यापारी समस्या सोडवणे, म्हणजेच स्टोअरमध्ये वस्तूंचे प्रदर्शन स्वयंचलितपणे नियंत्रित करण्यासाठी काम पूर्ण करणार आहोत. तुम्ही येथे पूर्ण API दस्तऐवज शोधू शकता: https://mcs.mail.ru/help/vision-api

4 निष्कर्ष

आता, सार्वजनिक API द्वारे, तुम्ही फोटो आणि व्हिडिओंमध्ये चेहर्यावरील ओळख मिळवू शकता; विविध वस्तू, परवाना प्लेट्स, खुणा, दस्तऐवज आणि संपूर्ण दृश्यांची ओळख समर्थित आहे. अनुप्रयोग परिस्थिती - समुद्र. या, आमच्या सेवेची चाचणी घ्या, सर्वात अवघड कार्ये सेट करा. पहिले 5000 व्यवहार मोफत आहेत. कदाचित तो तुमच्या प्रकल्पांसाठी "गहाळ घटक" असेल.

नोंदणी आणि कनेक्शनवर तुम्ही त्वरित API मध्ये प्रवेश करू शकता. दृष्टी. सर्व Habra वापरकर्त्यांना अतिरिक्त व्यवहारांसाठी प्रचारात्मक कोड प्राप्त होतो. कृपया तुम्ही तुमच्या खात्याची नोंदणी करण्यासाठी वापरलेला ईमेल पत्ता मला लिहा!

स्त्रोत: www.habr.com