🥇Erstellung eines automatisierten Systems zur Bekämpfung von Täuschern auf der Website (Betrug)

In den letzten etwa einem halben Jahr habe ich mich mit der Schaffung eines Systems zur Bekämpfung von Betrug (fraudulent activity, fraud, etc.) ohne jegliche anfängliche Infrastruktur dafür beschäftigt. Die heutigen Ideen, die wir gefunden und in unser System implementiert haben, helfen uns, viele betrügerische Handlungen zu erkennen und zu analysieren. In diesem Artikel möchte ich über die Prinzipien sprechen, die wir befolgt haben, und was wir getan haben, um den aktuellen Zustand unseres Systems zu erreichen, ohne dabei in technische Details einzutauchen.

Die Prinzipien unseres Systems

Wenn Sie Begriffe wie „automatic“ und „fraud“ hören, denken Sie wahrscheinlich sofort an maschinelles Lernen, Apache Spark, Hadoop, Python, Airflow und andere Technologien des Apache Foundation-Ökosystems und des Bereichs Data Science. Ich denke, es gibt einen Aspekt der Nutzung dieser Werkzeuge, der normalerweise nicht erwähnt wird: Sie erfordern bestimmte Voraussetzungen in Ihrem Unternehmenssystem, bevor Sie sie nutzen können. Kurz gesagt, Sie benötigen eine Unternehmens-Datenplattform, die einen Data Lake und eine Datenablage umfasst. Aber was ist, wenn Sie eine solche Plattform nicht haben und trotzdem diese Praxis entwickeln müssen? Die folgenden Prinzipien, die ich unten beschreibe, haben uns geholfen, einen Punkt zu erreichen, an dem wir uns auf die Verbesserung unserer Ideen konzentrieren können, anstatt nach einer funktionierenden Lösung zu suchen. Dennoch ist dies kein „Plateau“ des Projekts; es gibt noch viele Dinge aus technischer und produktbezogener Sicht zu tun.

Prinzip 1: Geschäftswert steht an erster Stelle

An der Spitze all unserer Bemühungen steht „Geschäftswert“. Allgemein gehört jedes System zur automatischen Analyse zu einer Gruppe komplexer Systeme mit hohem Automatisierungsgrad und technischer Komplexität. Die Schaffung einer vollständigen Lösung würde viel Zeit in Anspruch nehmen, wenn Sie alles von Grund auf neu erstellen. Wir haben beschlossen, den Geschäftswert an erste Stelle zu setzen und die technische Vollständigkeit an zweiter Stelle. Im realen Leben bedeutet dies, dass wir fortschrittliche Technologien nicht als Dogma akzeptieren. Wir wählen die Technologie, die im Moment am besten für uns funktioniert. Im Laufe der Zeit könnte es so erscheinen, als müssten wir einige Module neu implementieren. Dies ist ein Kompromiss, den wir eingegangen sind.

Prinzip 2: Erweiterte Intelligenz des Menschen (augmented intelligence)

Ich wette, die meisten Menschen, die nicht tief in die Entwicklung von maschinellen Lernlösungen involviert sind, denken, dass der Ersatz von Menschen das Ziel ist. Tatsächlich sind maschinelle Lernlösungen weit von der Perfektion entfernt und ein Ersatz ist nur in bestimmten Bereichen möglich. Wir haben von Anfang an aus mehreren Gründen von dieser Idee Abstand genommen: unausgewogene Daten zu betrügerischen Aktivitäten und die Unfähigkeit, eine umfassende Liste von Funktionen für maschinelle Lernmodelle bereitzustellen. Im Gegensatz dazu haben wir uns für die Möglichkeit mit erweitertem Intellekt entschieden. Dies ist ein alternatives Konzept der künstlichen Intelligenz, das sich auf die unterstützende Rolle von KI konzentriert und den Fakt betont, dass kognitive Technologien dazu bestimmt sind, menschliche Intelligenz zu verbessern, und nicht sie zu ersetzen. [1]

In Anbetracht dessen würde die Entwicklung einer vollständigen maschinellen Lernlösung von Grund auf enorme Anstrengungen erfordern, die die Schaffung von Werten für unser Unternehmen verzögert hätten. Wir haben beschlossen, ein System mit einem iterativ wachsenden Aspekt des maschinellen Lernens unter der Aufsicht unserer Fachexperten zu erstellen. Der komplizierte Teil der Entwicklung eines solchen Systems besteht darin, dass es unseren Analysten Fälle bieten muss, und zwar nicht nur aus der Perspektive, ob es sich um betrügerische Aktivitäten handelt oder nicht. Im Allgemeinen ist jede Anomalie im Verhalten der Kunden ein verdächtiger Fall, den die Spezialisten untersuchen und irgendwie darauf reagieren müssen. Nur ein Teil dieser erfassten Fälle kann tatsächlich als Betrug eingestuft werden.

Prinzip 3: Plattform für umfassende Analysen

Der herausforderndste Teil unseres Systems ist die durchgängige Überprüfung des Arbeitsprozesses. Analysten und Entwickler müssen leicht Zugriff auf Datensätze aus vergangenen Perioden mit allen Metriken haben, die für die Analyse verwendet wurden. Darüber hinaus muss die Datenplattform einen einfachen Weg bieten, um bestehende Metriksets mit neuen zu ergänzen. Die Prozesse, die wir kreieren – und das sind nicht nur Softwareprozesse – sollten es ermöglichen, frühere Perioden leicht neu zu berechnen, neue Metriken hinzuzufügen und die Datenprognosen zu ändern. Wir könnten dies erreichen, indem wir alle Daten sammeln, die unser Produktionssystem generiert. In diesem Fall würden die Daten schrittweise zur Belastung werden. Wir würden ein wachsendes Volumen an Daten speichern müssen, die wir nicht verwenden, und müssten diese schützen. In einem solchen Szenario würde die Relevanz der Daten im Laufe der Zeit abnehmen, dennoch würde es unsere Mühe erfordern, sie zu verwalten. Für uns machte das Ansammeln von Daten keinen Sinn, und wir beschlossen, einen anderen Ansatz zu verfolgen. Wir entschieden uns, Echtzeit-Datenspeicher um die Zielentitäten zu organisieren, die wir klassifizieren möchten, und nur die Daten aufzubewahren, die es ermöglichen, die letzten und relevantesten Perioden zu überprüfen. Die Komplexität dieser Anstrengungen liegt darin, dass unser System heterogen ist, mit mehreren Datenspeichern und Softwaremodulen, die eine sorgfältige Planung für ein konsistentes Funktionieren erfordern.

Konstruktive Konzepte unseres Systems

Wir haben vier Hauptkomponenten in unserem System: das Eingabesystem (ingestion system), die Berechnung (computational), die Analyse (BI analysis) und das Tracking-System (tracking system). Sie dienen spezifischen isolierten Zwecken, und wir halten sie isoliert, indem wir bestimmten Ansätzen in der Entwicklung folgen.

Vertragsbasierter Entwurf

Zunächst haben wir uns darauf geeinigt, dass die Komponenten sich ausschließlich auf bestimmte Datenstrukturen (Verträge) stützen müssen, die zwischen ihnen ausgetauscht werden. Dies ermöglicht eine einfache Integration und zwingt nicht zu einer spezifischen Zusammensetzung (und Reihenfolge) der Komponenten. In einigen Fällen ermöglicht uns dies beispielsweise, direkt das Empfangssystem mit dem Warnverfolgungssystem zu integrieren. In einem solchen Fall wird dies gemäß dem vereinbarten Vertrag für Benachrichtigungen erfolgen. Das bedeutet, dass beide Komponenten mithilfe eines Vertrags integriert werden, den jeder andere Bestandteil nutzen kann. Wir werden keinen zusätzlichen Vertrag zum Hinzufügen von Warnungen aus dem Geben-System in das Verfolgungssystem einfügen. Dieser Ansatz erfordert die Verwendung einer im Voraus festgelegten minimalen Anzahl von Verträgen und vereinfacht das System sowie die Kommunikation. Im Wesentlichen verwenden wir einen Ansatz, der als „Contract First Design“ bezeichnet wird, und wenden ihn auf die Datenstream-Verträge an. [2]

Streaming überall

Die Speicherung und Verwaltung des Zustands im System wird unweigerlich zu Komplikationen bei dessen Umsetzung führen. Im Allgemeinen sollte der Zustand aus jeder Komponente zugänglich sein, konsistent sein und den aktuellsten Wert für alle Komponenten bereitstellen und zuverlässig mit den richtigen Werten sein. Darüber hinaus wird die Notwendigkeit, ständig auf den Speicher zuzugreifen, um den letzten Zustand abzurufen, die Anzahl der Ein- und Ausgabeoperationen und die Komplexität der Algorithmen erhöhen, die in unseren Echtzeit-Pipelines verwendet werden. Aus diesem Grund haben wir beschlossen, die Speicherung des Zustands, wo immer möglich, ganz aus unserem System zu entfernen. Dieser Ansatz erfordert, dass alle erforderlichen Daten im übertragbaren Datenblock (Nachricht) enthalten sind. Wenn wir beispielsweise die Gesamtzahl bestimmter Beobachtungen (Anzahl der Operationen oder Fälle mit bestimmten Merkmalen) berechnen müssen, berechnen wir sie im Speicher und generieren einen Strom solcher Werte. Abhängige Module verwenden Partitionierung und Batchverarbeitung, um den Strom nach Entitäten zu unterteilen und mit den neuesten Werten zu operieren. Dieser Ansatz hat die Notwendigkeit beseitigt, ein permanentes Datenspeicherlaufwerk für solche Daten zu haben. Unser System verwendet Kafka als Nachrichtenbroker, und es kann als Datenbank mit KSQL verwendet werden. [3] Die Verwendung würde unsere Lösung jedoch stark an Kafka binden, weshalb wir uns entschieden haben, es nicht zu verwenden. Unser gewählter Ansatz ermöglicht es uns, Kafka durch einen anderen Nachrichtenbroker ohne wesentliche interne Änderungen am System zu ersetzen.

Dieses Konzept bedeutet nicht, dass wir keine Datenspeicher und Datenbanken verwenden. Um die Leistung des Systems zu überprüfen und zu analysieren, müssen wir einen erheblichen Teil der Daten auf der Festplatte speichern, die verschiedene Metriken und Zustände darstellen. Ein wichtiger Punkt hierbei ist, dass die Echtzeit-Algorithmen nicht von solchen Daten abhängen. In den meisten Fällen verwenden wir die gespeicherten Daten für die eigenständige Analyse, die Fehlersuche und die Verfolgung spezifischer Fälle und Ergebnisse, die das System liefert.

Probleme unseres Systems

Es gibt bestimmte Probleme, die wir bis zu einem gewissen Punkt gelöst haben, die jedoch durchdachtere Lösungen erfordern. Jetzt möchte ich sie einfach hier erwähnen, denn jeder Punkt verdient einen eigenen Artikel.

Wir müssen immer noch die Prozesse und Richtlinien definieren, die zur Ansammlung bedeutungsvoller und relevanter Daten für unsere automatisierte Analyse, Erkennung und Untersuchung von Daten beitragen.
Die Implementierung der Ergebnisse der menschlichen Analyse in den Prozess der automatisierten Systemanpassung zur Aktualisierung mit den aktuellsten Daten. Das ist nicht nur ein Update unseres Modells, sondern auch eine Aktualisierung der Prozesse und ein besseres Verständnis unserer Daten.
Das Finden eines Gleichgewichts zwischen einem deterministischen IF-ELSE-Ansatz und ML. Jemand sagte: „ML ist ein Werkzeug für die Verzweifelten“. Das bedeutet, dass Sie ML verwenden möchten, wenn Sie nicht mehr verstehen, wie Sie Ihre Algorithmen optimieren und verbessern können. Andererseits erlaubt der deterministische Ansatz nicht die Entdeckung von Anomalien, die nicht vorhergesehen wurden.
Wir brauchen eine einfache Möglichkeit, unsere Hypothesen oder Korrelationen zwischen Metriken in den Daten zu überprüfen.
Das System sollte mehrere Ebenen an echten positiven Ergebnissen haben. Betrugsfälle sind nur ein Teil aller Fälle, die als positiv für das System angesehen werden können. Zum Beispiel möchten Analysten alle verdächtigen Fälle zur Prüfung erhalten, und nur ein kleiner Teil davon ist Betrug. Das System sollte den Analysten alle Fälle effektiv liefern, unabhängig davon, ob es sich um echten Betrug oder einfach nur um verdächtiges Verhalten handelt.
Die Datenplattform sollte es ermöglichen, Datensätze aus früheren Zeiträumen mit Berechnungen abzurufen, die in Echtzeit erstellt und berechnet wurden.
Einfache und automatische Bereitstellung eines der Systemkomponenten in mindestens drei verschiedenen Umgebungen: Produktions-, Experimentier- (Beta) und Entwicklerumgebung.
Und zuletzt, aber nicht weniger wichtig. Wir müssen eine umfassende Plattform zur Leistungsüberprüfung schaffen, auf der wir unsere Modelle analysieren können. [4]