🥇Создавање на автоматски систем за борба против натрапниците на локацијата (измама)

Последните околу шест месеци креирав систем за борба против измамите (измамнички активности, измами итн.) без никаква почетна инфраструктура за ова. Денешните идеи што ги најдовме и ги имплементиравме во нашиот систем ни помагаат да откриеме и анализираме многу измамнички активности. Во оваа статија, би сакал да зборувам за принципите што ги следевме и што направивме за да ја постигнеме моменталната состојба на нашиот систем, без да навлегувам во техничкиот дел.

Принципи на нашиот систем

Кога ќе слушнете термини како „автоматско“ и „измама“, најверојатно ќе почнете да размислувате за машинско учење, Apache Spark, Hadoop, Python, Airflow и други технологии од екосистемот на Apache Foundation и полето на Data Science. Мислам дека има еден аспект од користењето на овие алатки што вообичаено не се споменува: тие бараат одредени предуслови во системот на вашата компанија пред да почнете да ги користите. Накратко, потребна ви е платформа за податоци за претпријатие која вклучува езеро и складиште за податоци. Но, што ако немате таква платформа и сè уште треба да ја развивате оваа практика? Следниве принципи што ги споделувам подолу ни помогнаа да дојдеме до точка каде што можеме да се фокусираме на подобрување на нашите идеи наместо да најдеме некоја што функционира. Сепак, ова не е плато на проектот. Има уште многу работи во планот од технолошки и производствен аспект.

Принцип 1: Прво деловната вредност

Ние ја ставаме „деловна вредност“ во првите редови на сите наши напори. Општо земено, секој систем за автоматска анализа спаѓа во групата на сложени системи со високо ниво на автоматизација и техничка сложеност. Создавањето комплетно решение ќе потрае многу време ако го креирате од нула. Решивме да ја ставиме деловната вредност на прво место, а технолошката комплетност на второ. Во реалниот живот, тоа значи дека не ја прифаќаме напредната технологија како догма. Ние ја избираме технологијата што ни функционира најдобро во моментот. Со текот на времето, може да изгледа дека ќе треба повторно да имплементираме некои модули. Ова е компромисот што го прифативме.

Принцип 2: Зголемена интелигенција

Се обложувам дека повеќето луѓе кои не се длабоко вклучени во развојот на решенија за машинско учење можеби мислат дека замената на луѓето е целта. Всушност, решенијата за машинско учење се далеку од совршени и само во одредени области е можна замена. Од самиот почеток ја отфрливме оваа идеја поради неколку причини: неурамнотежени податоци за лажни активности и неможност да се обезбеди сеопфатна листа на функции за моделите за машинско учење. Спротивно на тоа, ја избравме опцијата за подобрена интелигенција. Ова е алтернативен концепт на вештачка интелигенција кој се фокусира на помошната улога на вештачката интелигенција, нагласувајќи го фактот дека когнитивните технологии имаат за цел да ја подобрат човечката интелигенција наместо да ја заменат. [1]

Со оглед на тоа, развојот на целосно решение за машинско учење од самиот почеток би барало огромен напор, што би го одложило создавањето вредност за нашиот бизнис. Решивме да изградиме систем со итеративно растечки аспект на машинско учење под водство на нашите експерти за домен. Предизвикувачкиот дел од развојот на таков систем е што тој треба да им обезбеди на нашите аналитичари случаи не само во однос на тоа дали се работи за измама или не. Генерално, секоја аномалија во однесувањето на клиентите е сомнителен случај што специјалистите треба да го истражат и некако да одговорат. Само дел од овие пријавени случаи навистина може да се класифицираат како измама.

Принцип 3: Платформа за богата анализа

Најпредизвикувачкиот дел од нашиот систем е проверката од крај до крај на работниот тек на системот. Аналитичарите и програмерите треба лесно да добијат збирки на историски податоци со сите метрики што се користат за анализа. Дополнително, платформата за податоци треба да обезбеди лесен начин за дополнување на постоечки сет на метрика со нови. Процесите што ги создаваме, а тоа не се само софтверски процеси, треба да ни овозможат лесно да ги пресметуваме претходните периоди, да додаваме нови метрики и да ја промениме прогнозата за податоците. Тоа би можеле да го постигнеме со акумулирање на сите податоци што ги генерира нашиот производствен систем. Во овој случај, податоците постепено би станале непријатност. Ќе треба да складираме сè поголем број податоци што не ги користиме и да ги заштитиме. Во такво сценарио, податоците со текот на времето ќе стануваат сè поневажни, но сепак бараат наши напори за управување со нив. За нас, собирањето податоци немаше смисла, па решивме да заземеме поинаков пристап. Решивме да организираме складишта на податоци во реално време околу целните ентитети што сакаме да ги класифицираме и да ги складираме само податоците што ни овозможуваат да ги провериме најновите и релевантни периоди. Предизвикот за овој напор е што нашиот систем е хетероген, со повеќе складишта на податоци и софтверски модули кои бараат внимателно планирање за да функционира на конзистентен начин.

Дизајнерски концепти на нашиот систем

Имаме четири главни компоненти во нашиот систем: систем за голтање, пресметковен, БИ анализа и систем за следење. Тие служат за специфични, изолирани цели, а ние ги држиме изолирани следејќи специфични пристапи за дизајнирање.

Дизајн заснован на договор

Најпрво, се согласивме дека компонентите треба да се потпираат само на одредени структури на податоци (договори) кои се пренесуваат меѓу нив. Ова го олеснува интегрирањето меѓу нив и не наметнува специфичен состав (и редослед) на компоненти. На пример, во некои случаи ова ни овозможува директно да го интегрираме системот за довод со системот за следење на алармирање. Во таков случај, тоа ќе се направи во согласност со договорениот договор за предупредување. Ова значи дека двете компоненти ќе бидат интегрирани со користење на договор што може да го користи која било друга компонента. Нема да додаваме дополнителен договор за додавање предупредувања на системот за следење од системот за внесување. Овој пристап бара употреба на однапред одреден минимален број на договори и ги поедноставува системот и комуникациите. Во суштина, ние преземаме пристап наречен „Прв дизајн на договор“ и го применуваме на договорите за стриминг. [2]

Стриминг насекаде

Зачувувањето и управувањето со состојбата во системот неизбежно ќе доведе до компликации во неговата имплементација. Општо земено, состојбата треба да биде достапна од која било компонента, треба да биде конзистентна и да ја обезбедува најактуелната вредност кај сите компоненти и треба да биде доверлива со точните вредности. Дополнително, имањето повици до постојано складирање за враќање на најновата состојба ќе го зголеми бројот на I/O операции и сложеноста на алгоритмите што се користат во нашите цевководи во реално време. Поради ова, решивме целосно да го отстраниме државното складирање, ако е можно, од нашиот систем. Овој пристап бара сите потребни податоци да бидат вклучени во пренесениот блок на податоци (порака). На пример, ако треба да го пресметаме вкупниот број на некои набљудувања (бројот на операции или случаи со одредени карактеристики), го пресметуваме во меморија и генерираме поток од такви вредности. Зависните модули ќе користат партиција и серија за да го поделат преносот на ентитети и да работат на најновите вредности. Овој пристап ја елиминира потребата од постојано складирање на дискот за такви податоци. Нашиот систем го користи Кафка како брокер за пораки и може да се користи како база на податоци со KSQL. [3] Но, ако го искористиме, нашето решение силно ќе го поврзе со Кафка, и решивме да не го користиме. Пристапот што го избравме ни овозможува да го замениме Кафка со друг брокер за пораки без големи внатрешни промени во системот.

Овој концепт не значи дека не користиме складирање на диск и бази на податоци. За да ги тестираме и анализираме перформансите на системот, треба да складираме значителна количина на податоци на дискот што претставува различни метрики и состојби. Важна точка овде е дека алгоритмите во реално време не зависат од такви податоци. Во повеќето случаи, ги користиме зачуваните податоци за офлајн анализа, дебагирање и следење на конкретни случаи и резултати што ги произведува системот.

Проблеми на нашиот систем

Има одредени проблеми кои ги решивме до одредено ниво, но бараат попромислени решенија. Сега би сакал само да ги спомнам овде бидејќи секоја точка вреди своја статија.

Сè уште треба да дефинираме процеси и политики кои поддржуваат акумулација на значајни и релевантни податоци за нашата автоматска анализа, откривање и истражување на податоци.
Вградувањето на човечка анализа резултира во процесот на автоматско поставување на системот за да се ажурира со најновите податоци. Ова не е само ажурирање на нашиот модел, туку и ажурирање на нашите процеси и подобрување на нашето разбирање за нашите податоци.
Наоѓање рамнотежа помеѓу детерминистичкиот пристап на IF-ELSE и ML. Некој рече: „МЛ е алатка за очајните“. Ова значи дека ќе сакате да користите ML кога повеќе не разбирате како да ги оптимизирате и подобрите вашите алгоритми. Од друга страна, детерминистичкиот пристап не дозволува откривање на аномалии кои не биле предвидени.
Ни треба едноставен начин да ги тестираме нашите хипотези или корелации помеѓу метриката во податоците.
Системот мора да има неколку нивоа на вистински позитивни резултати. Случаите за измама се само дел од сите случаи кои може да се сметаат за позитивни за системот. На пример, аналитичарите сакаат да ги добијат сите сомнителни случаи на проверка, а само мал дел од нив се измами. Системот мора ефикасно да ги презентира сите случаи пред аналитичарите, без разлика дали се работи за вистинска измама или само сомнително однесување.
Платформата за податоци треба да може да ги поврати историските збирки на податоци со пресметки генерирани и пресметани во лет.
Лесно и автоматски распоредете која било од компонентите на системот во најмалку три различни средини: производство, експериментално (бета) и за програмери.
И последно, но не и најмалку важно. Треба да изградиме богата платформа за тестирање на перформансите на која ќе можеме да ги анализираме нашите модели. [4]

референци

Извор: www.habr.com

Создавање на автоматски систем за борба против натрапниците на локацијата (измама)