Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Die Technologien und Modelle fĂŒr unser zukĂŒnftiges System der Computer Vision wurden schrittweise in verschiedenen Projekten unseres Unternehmens entwickelt und perfektioniert – in der Post, in der Cloud und in der Suche. Sie reiften wie guter KĂ€se oder Cognac. Eines Tages erkannten wir, dass unsere neuronalen Netzwerke hervorragende Ergebnisse in der Erkennung zeigten, und beschlossen, sie in ein einheitliches B2B-Produkt – Vision – zu bĂŒndeln, das wir nun selbst nutzen und Ihnen anbieten.

Heute arbeitet unsere Technologie der Computer Vision erfolgreich auf der Plattform Mail.Ru Cloud Solutions und löst sehr komplexe praktische Aufgaben. Grundlage sind mehrere neuronale Netzwerke, die auf unseren DatensĂ€tzen trainiert wurden und sich auf die Lösung praktischer Probleme spezialisiert haben. Alle Dienste laufen auf unseren Serverleistungen. Sie können die öffentliche API von Vision in Ihre Anwendungen integrieren, ĂŒber die alle Funktionen des Dienstes zugĂ€nglich sind. Die API ist leistungsstark – dank der serverseitigen GPUs liegt die durchschnittliche Reaktionszeit innerhalb unseres Netzwerks bei etwa 100 ms.

Klicken Sie hier, um mehr zu erfahren, dort finden Sie eine ausfĂŒhrliche ErklĂ€rung und viele Beispiele fĂŒr die Funktionsweise von Vision.

Ein Beispiel fĂŒr einen Service, bei dem wir die erwĂ€hnten Gesichtserkennungstechnologien verwenden, ist Veranstaltungen. Ein Bestandteil davon sind die Vision-FotostĂ€nde, die wir auf verschiedenen Konferenzen aufstellen. Wenn Sie sich an so einem Fotostand fotografieren lassen und Ihre E-Mail-Adresse eingeben, findet das System sofort unter den Fotografien die Bilder, auf denen Sie von den offiziellen Fotografen der Konferenz aufgenommen wurden, und kann Ihnen die gefundenen Fotos, wenn gewĂŒnscht, direkt per E-Mail zuschicken. Dabei handelt es sich nicht um inszenierte Portraits — Vision erkennt Sie sogar im hintersten Teil der Menge. NatĂŒrlich sind es nicht die FotostĂ€nde selbst, die erkennen, sondern es sind Tablets in eleganten Aufstellern, die einfach die GĂ€ste ĂŒber ihre eingebauten Kameras fotografieren und die Informationen an Server ĂŒbermitteln, wo die gesamte Magie der Erkennung stattfindet. Wir haben oft gesehen, wie beeindruckt selbst Experten fĂŒr Bildverarbeitung von der Effizienz der Technologie sind. Im Folgenden werden wir einige Beispiele erlĂ€utern.

Video abspielen

1. Unser Modell zur Gesichtserkennung

1.1. Neuronales Netzwerk und Verarbeitungszeit

Zur Erkennung verwenden wir eine modifizierte Version des neuronalen Netzwerkmodells ResNet 101. Das Average Pooling am Ende wurde durch eine vollstĂ€ndig verbundene Schicht ersetzt, Ă€hnlich wie bei ArcFace. Allerdings betrĂ€gt die GrĂ¶ĂŸe der Vektor-ReprĂ€sentationen 128 und nicht 512. Unser Trainingsdatensatz umfasst etwa 10 Millionen Fotografien von 273.593 Personen.

Das Modell arbeitet sehr schnell dank einer sorgfĂ€ltig ausgewĂ€hlten Serverarchitektur und GPU-Berechnungen. Die Antwortzeit des APIs in unseren internen Netzwerken liegt bei etwa 100 ms – darin sind die Gesichtserkennung (Erkennung des Gesichts auf dem Foto), die Identifizierung und die RĂŒckgabe der Person-ID im API-Antwort enthalten. Bei großen Mengen an Eingabedaten – Fotos und Videos – wird jedoch erheblich mehr Zeit fĂŒr die DatenĂŒbertragung an den Dienst und fĂŒr die RĂŒckkehr der Antwort benötigt.

1.2. Bewertung der Modelleffizienz

Die Bewertung der Effizienz von neuronalen Netzwerken ist jedoch eine sehr komplexe Aufgabe. Die QualitÀt ihrer Leistung hÀngt davon ab, auf welchen DatensÀtzen die Modelle trainiert wurden und ob sie auf die Verarbeitung spezifischer Daten optimiert wurden.

Wir haben die Genauigkeit unseres Modells mit dem beliebten Verifizierungstest LFW bewertet, doch dieser ist zu klein und einfach. Nach Erreichen von 99,8 % Genauigkeit ist er nicht mehr hilfreich. Es gibt einen hervorragenden Wettbewerb zur Bewertung von Erkennungsmodellen – Megaface, wo wir schrittweise 82 % bei Rank 1 erreicht haben. Der Megaface-Test besteht aus einer Million Fotos – Ablenkungsbildern – und das Modell muss in der Lage sein, mehrere tausend Fotos von Prominenten aus dem Facescrub-Datensatz von diesen Ablenkungsbildern zu unterscheiden. Nachdem wir jedoch den Megaface-Test von Fehlern bereinigt haben, stellte sich heraus, dass wir mit der bereinigten Version eine Genauigkeit von 98 % bei Rank 1 erreichen (die Fotos von Prominenten sind insgesamt ziemlich spezifisch). Deshalb haben wir einen separaten Identifikationstest erstellt, der dem Megaface Ă€hnlich ist, aber Fotos von "normalen" Menschen enthĂ€lt. Anschließend haben wir die Erkennungsgenauigkeit mit unseren DatensĂ€tzen weiter verbessert und sind weit vorangekommen. DarĂŒber hinaus verwenden wir einen QualitĂ€tstest zur Clusterbildung, der aus mehreren tausend Fotos besteht; er simuliert die Markierung von Gesichtern in der Cloud des Nutzers. In diesem Fall sind Cluster Gruppen Ă€hnlicher Gesichter, mit einer Gruppe fĂŒr jede erkennbare Person. Die QualitĂ€t unserer Arbeit haben wir an echten (wahren) Gruppen ĂŒberprĂŒft.

NatĂŒrlich können bei jedem Modell Fehler bei der Erkennung auftreten. Solche Situationen lassen sich jedoch oft durch eine gezielte Anpassung der Schwellenwerte an die spezifischen Bedingungen lösen (fĂŒr alle Konferenzen verwenden wir dieselben Schwellenwerte, wĂ€hrend wir beispielsweise fĂŒr die Zutrittskontrollsysteme die Schwellenwerte deutlich anheben mĂŒssen, um weniger falsch-positive Erkennungen zu haben). Die ĂŒberwiegende Mehrheit der Konferenzbesucher wurde von unseren Vision-FotostĂ€nden korrekt erkannt. Manchmal schaute jemand auf das zugeschnittene Vorschaubild und sagte: „Ihr System hat sich geirrt, das bin nicht ich.“ Dann öffneten wir das komplette Foto und es stellte sich heraus, dass dieser Besucher tatsĂ€chlich abgebildet ist, nur war nicht er selbst sondern jemand anderes im Bild, der zufĂ€llig im Hintergrund unscharf stand. DarĂŒber hinaus erkennt das neuronale Netzwerk oft korrekt, selbst wenn ein Teil des Gesichts nicht sichtbar ist oder die Person im Profil steht, oder sogar ganz seitlich. Das System kann eine Person erkennen, selbst wenn das Gesicht in einen Bereich optischer Verzerrungen gerĂ€t, beispielsweise durch eine Weitwinkelaufnahme.

1.3. Beispiele fĂŒr Tests in komplexen Situationen

Im Folgenden finden Sie Beispiele fĂŒr die Arbeit unseres neuronalen Netzwerks. Es verarbeitet Fotos und kennzeichnet diese mithilfe von PersonID – einer einzigartigen Kennung fĂŒr Gesichter. Wenn zwei oder mehr Bilder die gleiche Kennung haben, bedeutet das, dass die Modelle der Ansicht sind, dass auf diesen Fotos dieselbe Person abgebildet ist.

Es ist wichtig zu erwĂ€hnen, dass uns beim Testen verschiedene Parameter und Schwellenwerte der Modelle zur VerfĂŒgung stehen, die wir anpassen können, um unterschiedliche Ergebnisse zu erzielen. Die öffentliche API ist optimiert, um maximale Genauigkeit bei allgemeinen AnwendungsfĂ€llen zu gewĂ€hrleisten.

Lassen Sie uns mit dem einfachsten Beispiel beginnen: der Gesichtserkennung im Frontalansicht.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Das war zu einfach. Lassen Sie uns die Aufgabe komplizierter gestalten, indem wir einen Bart und eine Handvoll Haare hinzufĂŒgen.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Manche werden sagen, dass das auch nicht allzu schwer war, denn in beiden FĂ€llen ist das Gesicht vollstĂ€ndig sichtbar und der Algorithmus hat viele Informationen darĂŒber. Gut, drehen wir Tom Hardy zur Seite. Diese Aufgabe ist viel schwieriger, und wir haben viel Energie fĂŒr eine erfolgreiche Lösung mit niedriger Fehlerquote aufgewendet: Wir haben den Trainingsdatensatz ausgewĂ€hlt, die Architektur des neuronalen Netzwerks durchdacht, Verlustfunktionen verfeinert und die Vorverarbeitung der Fotos optimiert.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Wir ziehen ihm einen Hut auf:

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Übrigens ist das ein Beispiel fĂŒr eine besonders schwierige Situation, da das Gesicht hier stark verdeckt ist und im unteren Bild auch noch ein tiefer Schatten die Augen verbirgt. Im realen Leben verĂ€ndern Menschen oft ihr Aussehen mit Sonnenbrillen. Lassen Sie uns dasselbe mit Tom tun.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Gut, wir versuchen nun, Fotos aus verschiedenen Lebensphasen zu erstellen und setzen diesmal auf ein anderes Schauspieler. Nehmen wir ein viel komplexeres Beispiel, bei dem sich AltersverĂ€nderungen besonders deutlich zeigen. Es ist eine realistische Situation, die hĂ€ufig vorkommt, wenn man ein Reisepassfoto mit dem Gesicht des Inhabers vergleichen muss. Schließlich wird das erste Foto im Reisepass gemacht, wenn der Besitzer 20 Jahre alt ist, und bis er 45 ist, kann sich das Aussehen stark verĂ€ndern.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Denken Sie, dass der Hauptspezialist fĂŒr unmögliche Missionen sich mit dem Alter nicht besonders verĂ€ndert hat? Ich denke, selbst nur wenige Menschen wĂŒrden die oberen und unteren Fotos zusammenfĂŒhren, da sich der Junge in diesen Jahren so stark verĂ€ndert hat.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Neuro-Netzwerke haben viel hÀufiger mit VerÀnderungen im Aussehen zu tun. Zum Beispiel können Frauen manchmal ihr Erscheinungsbild mit Hilfe von Make-up stark verÀndern:

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Jetzt machen wir die Aufgabe noch komplizierter: Lassen Sie auf den verschiedenen Fotos verschiedene Teile des Gesichts verdeckt sein. In solchen FÀllen kann der Algorithmus die Muster nicht vollstÀndig vergleichen. Vision meistert jedoch solche Situationen gut.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Übrigens können auf einem Gruppenfoto viele Gesichter erscheinen, zum Beispiel können in einem Saal mehr als 100 Personen untergebracht werden. Dies stellt eine Herausforderung fĂŒr neuronale Netze dar, da viele Gesichter unterschiedlich beleuchtet sein können und einige möglicherweise außerhalb des Fokus liegen. Wenn das Foto jedoch mit ausreichend Auflösung und QualitĂ€t (mindestens 75 Pixel pro Quadrat, das das Gesicht abdeckt) aufgenommen wurde, kann Vision es erkennen und identifizieren.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Das Besondere an Reportagefotos und Bildern von Überwachungskameras ist, dass Personen oft verschwommen sind, weil sie sich außerhalb des Fokus befanden oder sich gerade bewegten:

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Die LichtintensitĂ€t kann von Bild zu Bild stark variieren. Dies wird hĂ€ufig zu einem Hindernis, da viele Algorithmen Schwierigkeiten haben, extrem dunkle und extrem helle Bilder korrekt zu verarbeiten, ganz zu schweigen von der genauen Zuordnung. Ich erinnere Sie daran, dass es erforderlich ist, die Schwellenwerte entsprechend zu konfigurieren, um ein solches Ergebnis zu erzielen; diese Möglichkeit ist derzeit nicht öffentlich verfĂŒgbar. FĂŒr alle Kunden verwenden wir dasselbe neuronale Netzwerk, das mit Schwellenwerten konfiguriert ist, die fĂŒr die meisten praktischen Anwendungen geeignet sind.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

KĂŒrzlich haben wir ein neues Modell herausgebracht, das asiatische Gesichter mit hoher PrĂ€zision erkennt. Zuvor war dies ein großes Problem, das sogar als „Rassismus des maschinellen Lernens“ (oder „neuronale Netze“) bezeichnet wurde. EuropĂ€ische und amerikanische neuronale Netze konnten europĂ€isch aussehende Gesichter gut erkennen, bei mongoloiden und negroiden Gesichtern war das viel schwieriger. Wahrscheinlich war die Situation in China genau umgekehrt. Das liegt an den Trainingsdaten, die die vorherrschenden Gesichtsmerkmale in unterschiedlichen LĂ€ndern widerspiegeln. Allerdings Ă€ndert sich die Situation, heute ist dieses Problem lĂ€ngst nicht mehr so akut. Vision hat keinerlei Schwierigkeiten mit Vertretern verschiedener Rassen.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Die Gesichtserkennung ist nur eine von vielen Anwendungen unserer Technologie; Vision kann darin geschult werden, alles Mögliche zu erkennen. Beispielsweise Kfz-Kennzeichen, auch unter fĂŒr Algorithmen schwierigen Bedingungen: aus schrĂ€gen Winkeln, schmutzige und schwer lesbare Nummernschilder.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

2. Praktische Anwendungsbeispiele

2.1. Kontrolle des physischen Zugangs: wenn zwei Personen mit einem einzigen Ausweis eintreten.

Mit Vision können Mitarbeitereingangs- und -ausgangssysteme erstellt werden. Traditionelle Systeme, die auf elektronischen Ausweisen basieren, haben offensichtliche Nachteile, wie zum Beispiel die Möglichkeit, dass zwei Personen mit einem einzigen Badge eintreten können. Wird das Zugangssystem (Zutrittskontrolle) jedoch mit Vision ergÀnzt, erfasst es zuverlÀssig, wer wann gekommen ist und gegangen ist.

2.2. Arbeitszeiterfassung

Dieses Nutzungsszenario von Vision steht in engem Zusammenhang mit dem vorherigen. Wenn das Zugangssystem mit unserem Gesichtserkennungssystem ergĂ€nzt wird, kann es nicht nur RegelverstĂ¶ĂŸe beim Zutritt bemerken, sondern auch die tatsĂ€chliche Anwesenheit von Mitarbeitern im GebĂ€ude oder auf dem GelĂ€nde registrieren. Mit anderen Worten, Vision hilft, zuverlĂ€ssig zu erfassen, wer wann zur Arbeit gekommen ist und sie verlassen hat, und wer ĂŒberhaupt unentschuldigt gefehlt hat, selbst wenn Kollegen ihn vor dem Vorgesetzten gedeckt haben.

2.3. Videoanalytik: Überwachung von Personen und Sicherheit

Mit Vision können Sie genau die tatsĂ€chliche FußgĂ€ngerfrequenz in Verkaufsbereichen, Bahnhöfen, ÜbergĂ€ngen, Straßen und vielen anderen öffentlichen Orten erfassen. Unser Tracking unterstĂŒtzt zudem effektiv die Zugangskontrolle, beispielsweise zu LagerrĂ€umen oder anderen wichtigen Betriebsbereichen. NatĂŒrlich hilft die Verfolgung von Personen und Gesichtern auch bei Sicherheitsaufgaben. Haben Sie jemanden beim Stehlen in Ihrem GeschĂ€ft erwischt? FĂŒgen Sie dessen Person-ID, die von Vision zurĂŒckgegeben wurde, in die schwarze Liste Ihrer Videoanalytik-Software ein, und das nĂ€chste Mal wird das System sofort das Sicherheitspersonal alarmieren, wenn diese Person wieder auftaucht.

2.4. Im Handel

Der Einzelhandel und verschiedene Dienstleistungsunternehmen sind an der Erkennung von Warteschlangen interessiert. Mit Vision können Sie feststellen, dass es sich nicht um eine zufĂ€llige Ansammlung von Menschen handelt, sondern um eine Warteschlange, und deren LĂ€nge bestimmen. Anschließend informiert das System die Verantwortlichen ĂŒber die Entstehung der Warteschlange, sodass sie die Situation klĂ€ren können: Entweder handelt es sich um einen Ansturm von Besuchern und es mĂŒssen zusĂ€tzliche Mitarbeiter gerufen werden, oder jemand erfĂŒllt seine Arbeitsaufgaben nicht ordnungsgemĂ€ĂŸ.

Eine weitere interessante Aufgabe besteht darin, die Mitarbeiter des Unternehmens im Raum von den Besuchern zu trennen. Üblicherweise wird das System darauf trainiert, Objekte anhand bestimmter Kleidung (Dresscode) oder mit besonderen Merkmalen (Firmen-Schal, Namensschild auf der Brust usw.) zu unterscheiden. Dies hilft dabei, die Besucherzahlen genauer zu bewerten, da die bloße Anwesenheit der Mitarbeiter nicht die Statistik der Personen im Raum verfĂ€lscht.

Mit Hilfe der Gesichtserkennung können Sie auch Ihre Zuschauer analysieren: Wie hoch ist die LoyalitĂ€t der Besucher, das heißt, wie viele Personen kehren wieder in Ihre Einrichtung zurĂŒck und wie hĂ€ufig. ZĂ€hlen Sie, wie viele einzigartige Besucher Ihnen im Monat begegnen. Um die Kosten fĂŒr Akquise und Bindung zu optimieren, können Sie auch die Besuchszahlen je nach Wochentag und sogar Tageszeit untersuchen.

Franchisenehmer und Netzwerkunternehmen können eine Bewertung anhand von Fotos zur QualitÀt der MarkenprÀsenz an verschiedenen Einzelhandelsstandorten anfordern: Vorhandensein von Logos, Schildern, Plakaten, Bannern usw.

2.5. Im Verkehr

Ein weiteres Beispiel fĂŒr Sicherheitsmaßnahmen durch Videoanalytik ist die Erkennung zurĂŒckgelassener GegenstĂ€nde in Flughafenterminals oder Bahnhöfen. Vision kann trainiert werden, um Objekte aus Hunderten von Klassen zu erkennen: Möbel, Taschen, Koffer, Regenschirme, verschiedene Arten von Kleidung, Flaschen usw. Wenn Ihr Videoanalysesystem ein herrenloses Objekt erkennt und es mithilfe von Vision identifiziert, wird ein Signal an die Sicherheitsbehörde gesendet. Ein Ă€hnliches Problem besteht darin, untypische Situationen an öffentlichen Orten automatisch zu erkennen: jemand hat gesundheitliche Probleme, oder jemand raucht an einem nicht erlaubten Ort, oder eine Person ist auf die Gleise gefallen usw. - all diese Muster kann das Videoanalysesystem ĂŒber die API Vision erkennen.

2.6. Dokumentenmanagement

Eine weitere interessante zukĂŒnftige Anwendung von Vision, die wir derzeit entwickeln, ist die Dokumentenerkennung und deren automatisches Parsen in Datenbanken. Anstatt endlos Serien, Nummern, Ausstellungsdaten, Rechnungsnummern, Bankdaten, Geburtsdaten und viele andere formalisierten Daten manuell einzugeben (oder noch schlimmer, sie hĂ€ndisch zu notieren), wird es möglich sein, Dokumente zu scannen und sie ĂŒber einen sicheren Kanal per API in die Cloud zu senden, wo das System diese Dokumente in Echtzeit erkennt, parst und die Daten im benötigten Format zur automatischen Eingabe in die Datenbank zurĂŒckgibt. Heute kann Vision bereits Dokumente klassifizieren (einschließlich PDF) und unterscheidet PĂ€sse, SNILS, INN, Geburts- und Heiratsurkunden und andere.

SelbstverstĂ€ndlich kann das Neuralnetzwerk all diese Situationen nicht sofort verarbeiten. FĂŒr jeden speziellen Auftraggeber wird ein neues Modell entwickelt, das zahlreiche Faktoren, Nuancen und Anforderungen berĂŒcksichtigt, entsprechende DatensĂ€tze ausgewĂ€hlt und Iterationen von Training, Test und Anpassung durchgefĂŒhrt.

3. API-Arbeitsweise

Die "Eingangstore"-Vision fĂŒr Benutzer ist die REST API. Sie kann Fotos, Videodateien und Live-Streams von Netzwerkkameras (RTSP-Streams) empfangen.

Um Vision nutzen zu können, mĂŒssen Sie sich registrieren bei Mail.ru Cloud Solutions und Zugriffstoken (client_id + client_secret) erhalten. Die Benutzerauthentifizierung erfolgt ĂŒber das OAuth-Protokoll. Die Eingabedaten werden in den POST-Anfragen an die API gesendet. Als Antwort erhĂ€lt der Client das Erkennungsergebnis im JSON-Format, wobei die Antwort strukturiert ist: sie enthĂ€lt Informationen ĂŒber die gefundenen Objekte und deren Koordinaten.

Mit Bart, in dunklen Sonnenbrillen und im Profil: Herausfordernde Situationen fĂŒr die Computer Vision.

Beispielantwort

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9",
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10",
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"],
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined",
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

Eine interessante Kennzahl in der Antwort ist der Parameter "awesomeness" — dies ist eine bedingte "Coolness" der Person auf dem Foto. Damit wĂ€hlen wir das beste Gesicht aus einer Sequenz aus. Wir haben das neuronale Netz darauf trainiert, die Wahrscheinlichkeit vorherzusagen, dass das Bild in sozialen Medien geliket wird. Je besser das Foto und je lĂ€chelnder das Gesicht, desto höher die "awesomeness".

In der API Vision gibt es den Begriff 'space'. Dies ist ein Werkzeug zum Erstellen verschiedener Gruppen von EntitĂ€ten. Beispiele fĂŒr Spaces sind schwarze und weiße Listen, Besucher-, Mitarbeiter- und Kundenlisten usw. FĂŒr jedes Token in Vision können bis zu 10 Spaces erstellt werden, wobei jeder Space bis zu 50.000 PersonIDs umfassen kann, also bis zu 500.000 pro Token. Die Anzahl der Tokens pro Konto ist dabei unbegrenzt.

Heute unterstĂŒtzt die API folgende Methoden zur Identifikation und Erkennung:

  • Recognize/Set – Identifikation und Erkennung von Gesichtern. Weist automatisch jeder einzigartigen Person eine PersonID zu und gibt die PersonID sowie die Koordinaten der gefundenen Gesichter zurĂŒck.
  • Delete – Löschen einer bestimmten PersonID aus der Datenbank der Personen.
  • Truncate – Bereinigen eines gesamten Spaces von PersonIDs, was nĂŒtzlich ist, wenn dieser als Testspace verwendet wurde und die Datenbank fĂŒr die Produktion zurĂŒckgesetzt werden muss.
  • Detect – Erkennung von Objekten, Szenen, Kfz-Kennzeichen, SehenswĂŒrdigkeiten, Warteschlangen usw. Gibt die Klasse der gefundenen Objekte sowie deren Koordinaten zurĂŒck.
  • Detect fĂŒr Dokumente – erkennt bestimmte Dokumenttypen in der RF (unterscheidet Reisepass, SNILS, INN usw.).

In KĂŒrze werden wir auch Methoden zur OCR, Geschlechter-, Alters- und Emotionsbestimmung sowie Lösungen fĂŒr Merchandising-Probleme abschließen, also fĂŒr die automatische Kontrolle der Produktplatzierung in GeschĂ€ften. Die vollstĂ€ndige Dokumentation zur API finden Sie hier: https://mcs.mail.ru/help/vision-api

4. Fazit

Der öffentliche API-Zugang bietet jetzt die Möglichkeit, Gesichter in Fotos und Videos zu erkennen. Es werden verschiedene Objekte, Nummernschilder, SehenswĂŒrdigkeiten, Dokumente und sogar ganze Szenen erkannt. Die Anwendungsmöglichkeiten sind vielfĂ€ltig. Kommen Sie vorbei, testen Sie unseren Service und stellen Sie ihm die kniffligsten Herausforderungen. Die ersten 5000 Transaktionen sind kostenlos. Möglicherweise ist es das 'fehlende PuzzlestĂŒck' fĂŒr Ihre Projekte.

Den API-Zugang erhalten Sie sofort nach der Registrierung und Aktivierung. Vision. Allen Habr-Nutzern steht ein Promo-Code fĂŒr zusĂ€tzliche Transaktionen zur VerfĂŒgung. Schreiben Sie mir eine private Nachricht mit der E-Mail-Adresse, mit der Sie Ihr Konto registriert haben!

Quelle: habr.com

Kaufen Sie zuverlĂ€ssiges Hosting fĂŒr Websites mit DDoS-Schutz, VPS VDS-Server đŸ”„ Kaufen Sie zuverlĂ€ssiges Hosting fĂŒr Websites mit DDoS-Schutz, VPS VDS-Server | ProHoster