🥇Креирање аутоматског система за борбу против уљеза на сајту (превара)

Последњих око шест месеци сам креирао систем за борбу против превара (преварне активности, превара, итд.) без икакве почетне инфраструктуре за ово. Данашње идеје које смо пронашли и имплементирали у наш систем помажу нам да откријемо и анализирамо многе лажне активности. У овом чланку бих желео да говорим о принципима које смо следили и шта смо урадили да постигнемо тренутно стање нашег система, не улазећи у технички део.

Принципи нашег система

Када чујете термине као што су „аутоматски“ и „превара“, највероватније почињете да размишљате о машинском учењу, Апацхе Спарк, Хадооп, Питхон, Аирфлов и другим технологијама из екосистема Апацхе Фоундатион и области Дата Сциенце. Мислим да постоји један аспект коришћења ових алата који се обично не помиње: они захтевају одређене предуслове у вашем систему предузећа пре него што почнете да их користите. Укратко, потребна вам је платформа за податке предузећа која укључује језеро података и складиште. Али шта ако немате такву платформу и још увек морате да развијете ову праксу? Следећи принципи које делим у наставку су нам помогли да дођемо до тачке у којој можемо да се фокусирамо на побољшање наших идеја уместо на проналажење оне која функционише. Међутим, ово није пројектни плато. У плану је још доста ствари са технолошке и производне тачке гледишта.

Принцип 1: Пословна вредност на првом месту

Стављамо „пословну вредност“ у први план свих наших напора. Генерално, сваки систем аутоматске анализе спада у групу сложених система са високим нивоом аутоматизације и техничке сложености. Стварање комплетног решења ће потрајати много времена ако га креирате од нуле. Одлучили смо да пословну вредност ставимо на прво место, а технолошку комплетност на друго. У стварном животу, то значи да не прихватамо напредну технологију као догму. Бирамо технологију која нам тренутно најбоље одговара. Временом се може чинити да ћемо морати поново да имплементирамо неке модуле. Ово је компромис који смо прихватили.

Принцип 2: Повећана интелигенција

Кладим се да би већина људи који нису дубоко укључени у развој решења за машинско учење можда мислили да је замена људи циљ. У ствари, решења за машинско учење су далеко од савршених и само у одређеним областима могућа је замена. Одбацили смо ову идеју од самог почетка из неколико разлога: неуравнотежених података о лажним активностима и немогућности пружања свеобухватне листе функција за моделе машинског учења. Насупрот томе, ми смо изабрали опцију побољшане интелигенције. Ово је алтернативни концепт вештачке интелигенције који се фокусира на помоћну улогу вештачке интелигенције, наглашавајући чињеницу да когнитивне технологије имају за циљ да унапреде људску интелигенцију, а не да је замене. [1]

С обзиром на ово, развој комплетног решења за машинско учење од самог почетка би захтевао огроман напор, што би одложило стварање вредности за наше пословање. Одлучили смо да изградимо систем са итеративно растућим аспектом машинског учења под вођством наших стручњака из домена. Изазовни део развоја таквог система је то што он мора нашим аналитичарима да пружи случајеве не само у смислу да ли се ради о превари или не. Генерално, свака аномалија у понашању купаца је сумњив случај који стручњаци треба да истраже и некако реагују. Само делић ових пријављених случајева може се заиста класификовати као превара.

Принцип 3: Платформа богате аналитике

Најизазовнији део нашег система је верификација тока рада система од краја до краја. Аналитичари и програмери би требало да лако добију историјске скупове података са свим метрикама које се користе за анализу. Поред тога, платформа података треба да обезбеди једноставан начин да се постојећи скуп метрика допуни новим. Процеси које креирамо, а то нису само софтверски процеси, треба да нам омогуће да лако прерачунамо претходне периоде, додамо нове метрике и променимо прогнозу података. То бисмо могли постићи акумулацијом свих података које наш производни систем генерише. У овом случају, подаци би постепено постали сметња. Требало би да складиштимо све већу количину података које не користимо и да их заштитимо. У таквом сценарију, подаци ће временом постајати све ирелевантнији, али и даље су потребни наши напори да њима управљамо. За нас гомилање података није имало смисла, па смо одлучили да заузмемо другачији приступ. Одлучили смо да организујемо складишта података у реалном времену око циљних ентитета које желимо да класификујемо и чувамо само податке који нам омогућавају да проверимо најновије и релевантне периоде. Изазов за овај напор је што је наш систем хетероген, са више складишта података и софтверских модула који захтевају пажљиво планирање да би функционисали на доследан начин.

Концепти дизајна нашег система

Имамо четири главне компоненте у нашем систему: систем за унос, рачунарство, БИ анализу и систем за праћење. Они служе специфичним, изолованим сврхама, а ми их држимо изолованим пратећи специфичне приступе дизајну.

Дизајн на основу уговора

Пре свега, сложили смо се да компоненте треба да се ослањају само на одређене структуре података (уговоре) који се преносе између њих. Ово олакшава интеграцију између њих и не намеће специфичан састав (и редослед) компоненти. На пример, у неким случајевима ово нам омогућава да директно интегришемо систем усисавања са системом за праћење упозорења. У том случају, то ће бити урађено у складу са уговореним уговором о узбуњивању. То значи да ће обе компоненте бити интегрисане коришћењем уговора који било која друга компонента може да користи. Нећемо додавати додатни уговор за додавање упозорења систему за праћење из система за унос. Овај приступ захтева коришћење унапред одређеног минималног броја уговора и поједностављује систем и комуникације. У суштини, користимо приступ који се зове „Дизајн првог уговора“ и примењујемо га на уговоре за стриминг. [2]

Стреаминг свуда

Чување и управљање стањем у систему неминовно ће довести до компликација у његовој имплементацији. Генерално, стању треба да се приступи из било које компоненте, требало би да буде конзистентно и да пружа најновију вредност за све компоненте, и требало би да буде поуздано са тачним вредностима. Поред тога, позивање трајног складишта за преузимање најновијег стања повећаће број И/О операција и сложеност алгоритама који се користе у нашим цевоводима у реалном времену. Због тога смо одлучили да уклонимо државно складиште, ако је могуће, потпуно из нашег система. Овај приступ захтева да сви неопходни подаци буду укључени у пренети блок података (поруку). На пример, ако треба да израчунамо укупан број неких посматрања (број операција или случајева са одређеним карактеристикама), израчунавамо га у меморији и генеришемо ток таквих вредности. Зависни модули ће користити партицију и батцхинг да поделе ток на ентитете и раде на најновијим вредностима. Овај приступ је елиминисао потребу за постојаним складиштем на диску за такве податке. Наш систем користи Кафку као посредника за поруке и може се користити као база података са КСКЛ-ом. [3] Али његово коришћење би наше решење у великој мери везало за Кафку, и одлучили смо да га не користимо. Приступ који смо изабрали омогућава нам да заменимо Кафку другим брокером порука без већих интерних промена у систему.

Овај концепт не значи да не користимо складиште на диску и базе података. Да бисмо тестирали и анализирали перформансе система, потребно је да ускладиштимо значајну количину података на диску који представљају различите метрике и стања. Овде је важно да алгоритми у реалном времену не зависе од таквих података. У већини случајева користимо сачуване податке за офлајн анализу, отклањање грешака и праћење специфичних случајева и резултата које систем производи.

Проблеми нашег система

Постоје одређени проблеми које смо решили до одређеног нивоа, али они захтевају промишљенија решења. Сада бих само желео да их поменем овде јер свака тачка вреди свој чланак.

Још увек морамо да дефинишемо процесе и смернице које подржавају акумулацију смислених и релевантних података за нашу аутоматску анализу, откривање и истраживање података.
Укључивање људске анализе резултира у процес аутоматског подешавања система да га ажурира најновијим подацима. Ово није само ажурирање нашег модела, већ и ажурирање наших процеса и побољшање нашег разумевања наших података.
Проналажење равнотеже између детерминистичког приступа ИФ-ЕЛСЕ и МЛ. Неко је рекао: „МЛ је алат за очајнике. То значи да ћете желети да користите МЛ када више не разумете како да оптимизујете и побољшате своје алгоритме. С друге стране, детерминистички приступ не дозвољава откривање аномалија које нису биле предвиђене.
Потребан нам је једноставан начин да тестирамо наше хипотезе или корелације између метрика у подацима.
Систем мора имати неколико нивоа истинских позитивних резултата. Случајеви преваре су само делић свих случајева који се могу сматрати позитивним за систем. На пример, аналитичари желе да приме све сумњиве случајеве на проверу, а само мали део њих су преваре. Систем мора ефикасно да представи све случајеве аналитичарима, без обзира да ли се ради о стварној превари или само о сумњивом понашању.
Платформа података би требало да буде у стању да преузме историјске скупове података са прорачунима генерисаним и израчунатим у ходу.
Лако и аутоматски примените било коју компоненту система у најмање три различита окружења: производно, експериментално (бета) и за програмере.
И на крају, али не најмање. Морамо да изградимо богату платформу за тестирање перформанси на којој можемо анализирати наше моделе. [4]

референце

Извор: ввв.хабр.цом

Израда аутоматског система за борбу против уљеза на сајту (превара)