સાઇટ પર ઘૂસણખોરોનો સામનો કરવા માટે સ્વચાલિત સિસ્ટમની રચના (છેતરપિંડી)

છેલ્લા લગભગ છ મહિનાથી હું આ માટે કોઈપણ પ્રારંભિક ઈન્ફ્રાસ્ટ્રક્ચર વિના છેતરપિંડી (છેતરપિંડી પ્રવૃત્તિ, છેતરપિંડી, વગેરે) નો સામનો કરવા માટે એક સિસ્ટમ બનાવી રહ્યો છું. આજના વિચારો કે જે અમને અમારી સિસ્ટમમાં મળ્યા અને અમલમાં મૂક્યા છે તે અમને ઘણી કપટી પ્રવૃત્તિઓ શોધવા અને તેનું વિશ્લેષણ કરવામાં મદદ કરે છે. આ લેખમાં, હું તકનીકી ભાગમાં ગયા વિના, અમે જે સિદ્ધાંતોનું પાલન કર્યું અને અમારી સિસ્ટમની વર્તમાન સ્થિતિ પ્રાપ્ત કરવા માટે અમે શું કર્યું તે વિશે વાત કરવા માંગુ છું.

અમારી સિસ્ટમના સિદ્ધાંતો

જ્યારે તમે "ઓટોમેટિક" અને "ફ્રોડ" જેવા શબ્દો સાંભળો છો, ત્યારે તમે મોટે ભાગે મશીન લર્નિંગ, Apache Spark, Hadoop, Python, Airflow અને Apache Foundation ઇકોસિસ્ટમ અને ડેટા સાયન્સ ક્ષેત્રની અન્ય તકનીકો વિશે વિચારવાનું શરૂ કરો છો. મને લાગે છે કે આ ટૂલ્સનો ઉપયોગ કરવાનું એક પાસું છે જેનો સામાન્ય રીતે ઉલ્લેખ થતો નથી: તમે તેનો ઉપયોગ કરવાનું શરૂ કરો તે પહેલાં તેને તમારી એન્ટરપ્રાઇઝ સિસ્ટમમાં ચોક્કસ પૂર્વજરૂરીયાતોની જરૂર છે. ટૂંકમાં, તમારે એન્ટરપ્રાઇઝ ડેટા પ્લેટફોર્મની જરૂર છે જેમાં ડેટા લેક અને વેરહાઉસ શામેલ હોય. પરંતુ જો તમારી પાસે આવું પ્લેટફોર્મ ન હોય અને હજુ પણ આ પ્રથા વિકસાવવાની જરૂર હોય તો શું? નીચે આપેલા સિદ્ધાંતો કે જે હું નીચે શેર કરું છું તે અમને એવા બિંદુ સુધી પહોંચવામાં મદદ કરે છે જ્યાં અમે કાર્ય કરે છે તે શોધવાને બદલે અમારા વિચારોને સુધારવા પર ધ્યાન કેન્દ્રિત કરી શકીએ. જો કે, આ કોઈ પ્રોજેક્ટ પ્લેટુ નથી. તકનીકી અને ઉત્પાદનના દૃષ્ટિકોણથી યોજનામાં હજુ પણ ઘણી વસ્તુઓ છે.

સિદ્ધાંત 1: વ્યાપાર મૂલ્ય પ્રથમ

અમે અમારા તમામ પ્રયત્નોમાં "વ્યવસાયિક મૂલ્ય" ને મોખરે રાખીએ છીએ. સામાન્ય રીતે, કોઈપણ સ્વચાલિત વિશ્લેષણ સિસ્ટમ ઉચ્ચ સ્તરના ઓટોમેશન અને તકનીકી જટિલતા સાથે જટિલ સિસ્ટમોના જૂથની છે. જો તમે તેને શરૂઆતથી બનાવશો તો સંપૂર્ણ સોલ્યુશન બનાવવામાં ઘણો સમય લાગશે. અમે વ્યવસાયિક મૂલ્યને પ્રથમ અને તકનીકી પૂર્ણતાને બીજા સ્થાને રાખવાનું નક્કી કર્યું. વાસ્તવિક જીવનમાં, આનો અર્થ એ છે કે આપણે અદ્યતન તકનીકને કટ્ટરપંથી તરીકે સ્વીકારતા નથી. અમે તે ટેક્નોલોજી પસંદ કરીએ છીએ જે આ ક્ષણે અમારા માટે શ્રેષ્ઠ કામ કરે છે. સમય જતાં, એવું લાગે છે કે આપણે કેટલાક મોડ્યુલોને ફરીથી અમલમાં મૂકવા પડશે. આ સમાધાન અમે સ્વીકાર્યું છે.

સિદ્ધાંત 2: સંવર્ધિત બુદ્ધિ

હું શરત લગાવું છું કે મોટા ભાગના લોકો કે જેઓ મશીન લર્નિંગ સોલ્યુશન્સ વિકસાવવામાં ઊંડાણપૂર્વક સંકળાયેલા નથી તેઓ વિચારી શકે છે કે માનવોને બદલવાનું લક્ષ્ય છે. વાસ્તવમાં, મશીન લર્નિંગ સોલ્યુશન્સ પરફેક્ટથી દૂર છે અને માત્ર અમુક વિસ્તારોમાં રિપ્લેસમેન્ટ શક્ય છે. અમે ઘણા કારણોસર આ વિચારને શરૂઆતથી જ નકારી કાઢ્યો છે: કપટપૂર્ણ પ્રવૃત્તિ પર અસંતુલિત ડેટા અને મશીન લર્નિંગ મોડલ્સ માટે સુવિધાઓની વ્યાપક સૂચિ પ્રદાન કરવામાં અસમર્થતા. તેનાથી વિપરીત, અમે ઉન્નત બુદ્ધિ વિકલ્પ પસંદ કર્યો. આ આર્ટિફિશિયલ ઇન્ટેલિજન્સનો વૈકલ્પિક ખ્યાલ છે જે AI ની સહાયક ભૂમિકા પર ધ્યાન કેન્દ્રિત કરે છે, તે હકીકત પર ભાર મૂકે છે કે જ્ઞાનાત્મક તકનીકો તેને બદલવાને બદલે માનવ બુદ્ધિને વધારવાનો હેતુ ધરાવે છે. [1]

આ જોતાં, શરૂઆતથી સંપૂર્ણ મશીન લર્નિંગ સોલ્યુશન વિકસાવવા માટે એક વિશાળ પ્રયત્નની જરૂર પડશે, જે અમારા વ્યવસાય માટે મૂલ્યના નિર્માણમાં વિલંબ કરશે. અમે અમારા ડોમેન નિષ્ણાતોના માર્ગદર્શન હેઠળ પુનરાવર્તિત રીતે વિકસતા મશીન લર્નિંગ પાસા સાથે સિસ્ટમ બનાવવાનું નક્કી કર્યું છે. આવી સિસ્ટમ વિકસાવવાનો પડકારરૂપ ભાગ એ છે કે તે છેતરપિંડી પ્રવૃત્તિ છે કે નહીં તે સંદર્ભમાં જ નહીં કે તે અમારા વિશ્લેષકોને કેસો પ્રદાન કરે છે. સામાન્ય રીતે, ગ્રાહકની વર્તણૂકમાં કોઈપણ વિસંગતતા એ એક શંકાસ્પદ કેસ છે જેની નિષ્ણાતોએ તપાસ કરવાની અને કોઈક રીતે જવાબ આપવાની જરૂર છે. આ નોંધાયેલા કેસોમાંથી માત્ર એક અંશને જ ખરેખર છેતરપિંડી તરીકે વર્ગીકૃત કરી શકાય છે.

સિદ્ધાંત 3: રિચ એનાલિટિક્સ પ્લેટફોર્મ

અમારી સિસ્ટમનો સૌથી પડકારજનક ભાગ એ સિસ્ટમના વર્કફ્લોની એન્ડ-ટુ-એન્ડ ચકાસણી છે. વિશ્લેષકો અને વિકાસકર્તાઓએ વિશ્લેષણ માટે ઉપયોગમાં લેવાતા તમામ મેટ્રિક્સ સાથે સરળતાથી ઐતિહાસિક ડેટા સેટ મેળવવો જોઈએ. વધુમાં, ડેટા પ્લેટફોર્મ નવા સાથે મેટ્રિક્સના હાલના સેટને પૂરક બનાવવા માટે એક સરળ રીત પ્રદાન કરવી જોઈએ. અમે જે પ્રક્રિયાઓ બનાવીએ છીએ, અને આ માત્ર સોફ્ટવેર પ્રક્રિયાઓ નથી, તે અમને અગાઉના સમયગાળાને સરળતાથી પુનઃગણતરી કરવા, નવા મેટ્રિક્સ ઉમેરવા અને ડેટા અનુમાન બદલવાની મંજૂરી આપવી જોઈએ. અમારી પ્રોડક્શન સિસ્ટમ જનરેટ કરે છે તે તમામ ડેટા એકઠા કરીને અમે આ હાંસલ કરી શકીએ છીએ. આ કિસ્સામાં, ડેટા ધીમે ધીમે ઉપદ્રવ બની જશે. અમારે ડેટાની વધતી જતી માત્રાને સંગ્રહિત કરવાની જરૂર પડશે જેનો અમે ઉપયોગ કરતા નથી અને તેનું રક્ષણ કરીએ છીએ. આવા સંજોગોમાં, સમય જતાં ડેટા વધુ ને વધુ અપ્રસ્તુત બનશે, પરંતુ હજુ પણ તેને સંચાલિત કરવા માટે અમારા પ્રયત્નોની જરૂર છે. અમારા માટે, ડેટા હોર્ડિંગનો કોઈ અર્થ નથી, તેથી અમે અલગ અભિગમ અપનાવવાનું નક્કી કર્યું. અમે લક્ષ્ય એકમોની આસપાસ રીઅલ-ટાઇમ ડેટા સ્ટોર્સ ગોઠવવાનું નક્કી કર્યું છે જેને અમે વર્ગીકૃત કરવા માંગીએ છીએ, અને ફક્ત તે જ ડેટાને સંગ્રહિત કરવાનો છે જે અમને સૌથી તાજેતરના અને સંબંધિત સમયગાળાને તપાસવાની મંજૂરી આપે છે. આ પ્રયાસ માટે પડકાર એ છે કે અમારી સિસ્ટમ વિજાતીય છે, જેમાં બહુવિધ ડેટા સ્ટોર્સ અને સોફ્ટવેર મોડ્યુલો છે જેને સુસંગત રીતે કામ કરવા માટે સાવચેત આયોજનની જરૂર છે.

અમારી સિસ્ટમના ડિઝાઇન ખ્યાલો

અમારી સિસ્ટમમાં અમારી પાસે ચાર મુખ્ય ઘટકો છે: ઇન્જેશન સિસ્ટમ, કોમ્પ્યુટેશનલ, BI વિશ્લેષણ અને ટ્રેકિંગ સિસ્ટમ. તેઓ ચોક્કસ, અલગ હેતુઓ પૂરા પાડે છે અને અમે ચોક્કસ ડિઝાઇન અભિગમોને અનુસરીને તેમને અલગ રાખીએ છીએ.

કરાર આધારિત ડિઝાઇન

સૌ પ્રથમ, અમે સંમત થયા છીએ કે ઘટકોએ માત્ર અમુક ડેટા સ્ટ્રક્ચર્સ (કરાર) પર આધાર રાખવો જોઈએ જે તેમની વચ્ચે પસાર થાય છે. આ તેમની વચ્ચે સંકલન કરવાનું સરળ બનાવે છે અને ઘટકોની ચોક્કસ રચના (અને ઓર્ડર) લાદતા નથી. ઉદાહરણ તરીકે, કેટલાક કિસ્સાઓમાં આ અમને ચેતવણી ટ્રેકિંગ સિસ્ટમ સાથે ઇન્ટેક સિસ્ટમને સીધી રીતે સંકલિત કરવાની મંજૂરી આપે છે. આવા કિસ્સામાં, આ સંમત ચેતવણી કરાર અનુસાર કરવામાં આવશે. આનો અર્થ એ છે કે બંને ઘટકો એક કરારનો ઉપયોગ કરીને સંકલિત કરવામાં આવશે જેનો અન્ય કોઈપણ ઘટક ઉપયોગ કરી શકે છે. અમે ઇનપુટ સિસ્ટમથી ટ્રેકિંગ સિસ્ટમમાં ચેતવણીઓ ઉમેરવા માટે વધારાનો કરાર ઉમેરીશું નહીં. આ અભિગમ માટે પૂર્વનિર્ધારિત લઘુત્તમ સંખ્યામાં કરારનો ઉપયોગ જરૂરી છે અને સિસ્ટમ અને સંચારને સરળ બનાવે છે. આવશ્યકપણે, અમે "કોન્ટ્રાક્ટ ફર્સ્ટ ડિઝાઇન" નામનો અભિગમ અપનાવીએ છીએ અને તેને સ્ટ્રીમિંગ કોન્ટ્રાક્ટમાં લાગુ કરીએ છીએ. [2]

દરેક જગ્યાએ સ્ટ્રીમિંગ

સિસ્ટમમાં રાજ્યની બચત અને વ્યવસ્થાપન અનિવાર્યપણે તેના અમલીકરણમાં જટિલતાઓ તરફ દોરી જશે. સામાન્ય રીતે, રાજ્ય કોઈપણ ઘટકમાંથી સુલભ હોવું જોઈએ, તે સુસંગત હોવું જોઈએ અને તમામ ઘટકોમાં સૌથી વર્તમાન મૂલ્ય પ્રદાન કરતું હોવું જોઈએ, અને તે યોગ્ય મૂલ્યો સાથે વિશ્વસનીય હોવું જોઈએ. વધુમાં, નવીનતમ સ્થિતિ પુનઃપ્રાપ્ત કરવા માટે સતત સ્ટોરેજ પર કૉલ કરવાથી અમારી રીઅલ-ટાઇમ પાઇપલાઇન્સમાં ઉપયોગમાં લેવાતા I/O ઑપરેશન્સની સંખ્યા અને અલ્ગોરિધમ્સની જટિલતામાં વધારો થશે. આ કારણે, અમે અમારી સિસ્ટમમાંથી, જો શક્ય હોય તો, સ્ટેટ સ્ટોરેજને સંપૂર્ણપણે દૂર કરવાનું નક્કી કર્યું. આ અભિગમ માટે જરૂરી છે કે તમામ જરૂરી ડેટા ટ્રાન્સમિટેડ ડેટા બ્લોક (સંદેશ)માં સામેલ કરવામાં આવે. ઉદાહરણ તરીકે, જો આપણે કેટલાક અવલોકનોની કુલ સંખ્યા (ચોક્કસ લાક્ષણિકતાઓવાળા ઓપરેશન્સ અથવા કેસોની સંખ્યા) ની ગણતરી કરવાની જરૂર હોય, તો અમે તેની મેમરીમાં ગણતરી કરીએ છીએ અને આવા મૂલ્યોનો પ્રવાહ જનરેટ કરીએ છીએ. આશ્રિત મોડ્યુલો સ્ટ્રીમને એન્ટિટીમાં વિભાજિત કરવા અને નવીનતમ મૂલ્યો પર કાર્ય કરવા માટે પાર્ટીશન અને બેચિંગનો ઉપયોગ કરશે. આ અભિગમે આવા ડેટા માટે સતત ડિસ્ક સ્ટોરેજ રાખવાની જરૂરિયાતને દૂર કરી. અમારી સિસ્ટમ કાફકાનો ઉપયોગ મેસેજ બ્રોકર તરીકે કરે છે અને તેનો KSQL સાથે ડેટાબેઝ તરીકે ઉપયોગ કરી શકાય છે. [૩] પરંતુ તેનો ઉપયોગ કરીને અમારું સોલ્યુશન કાફકા સાથે ખૂબ જ જોડાયેલું હોત, અને અમે તેનો ઉપયોગ ન કરવાનું નક્કી કર્યું. અમે પસંદ કરેલ અભિગમ અમને સિસ્ટમમાં મોટા આંતરિક ફેરફારો વિના કાફકાને અન્ય સંદેશ બ્રોકર સાથે બદલવાની મંજૂરી આપે છે.

આ ખ્યાલનો અર્થ એ નથી કે અમે ડિસ્ક સ્ટોરેજ અને ડેટાબેસેસનો ઉપયોગ કરતા નથી. સિસ્ટમના પ્રભાવને ચકાસવા અને તેનું વિશ્લેષણ કરવા માટે, અમારે ડિસ્ક પર નોંધપાત્ર પ્રમાણમાં ડેટા સ્ટોર કરવાની જરૂર છે જે વિવિધ મેટ્રિક્સ અને સ્ટેટ્સને રજૂ કરે છે. અહીં મહત્વનો મુદ્દો એ છે કે રીઅલ-ટાઇમ અલ્ગોરિધમ્સ આવા ડેટા પર આધારિત નથી. મોટા ભાગના કિસ્સાઓમાં, અમે ઑફલાઇન પૃથ્થકરણ, ડિબગીંગ અને ચોક્કસ કેસ અને પરિણામોના ટ્રેકિંગ માટે સંગ્રહિત ડેટાનો ઉપયોગ કરીએ છીએ જે સિસ્ટમ ઉત્પન્ન કરે છે.

અમારી સિસ્ટમની સમસ્યાઓ

કેટલીક સમસ્યાઓ છે જેને આપણે ચોક્કસ સ્તર સુધી હલ કરી છે, પરંતુ તેમને વધુ વિચારશીલ ઉકેલોની જરૂર છે. હવે હું તેમનો અહીં ઉલ્લેખ કરવા માંગુ છું કારણ કે દરેક મુદ્દા તેના પોતાના લેખને યોગ્ય છે.

• અમને હજી પણ પ્રક્રિયાઓ અને નીતિઓ વ્યાખ્યાયિત કરવાની જરૂર છે જે અમારા સ્વચાલિત ડેટા વિશ્લેષણ, શોધ અને સંશોધન માટે અર્થપૂર્ણ અને સંબંધિત ડેટાના સંચયને સમર્થન આપે છે.
• તાજેતરના ડેટા સાથે અપડેટ કરવા માટે સિસ્ટમને આપમેળે સેટ કરવાની પ્રક્રિયામાં માનવ વિશ્લેષણના પરિણામોનો સમાવેશ થાય છે. આ ફક્ત અમારા મોડલને જ અપડેટ કરતું નથી, પરંતુ અમારી પ્રક્રિયાઓને પણ અપડેટ કરે છે અને અમારા ડેટા વિશેની અમારી સમજને સુધારે છે.
• IF-ELSE અને ML ના નિર્ણાયક અભિગમ વચ્ચે સંતુલન શોધવું. કોઈએ કહ્યું, "ML એ ભયાવહ માટેનું સાધન છે." આનો અર્થ એ છે કે જ્યારે તમે તમારા અલ્ગોરિધમ્સને કેવી રીતે ઑપ્ટિમાઇઝ અને બહેતર બનાવવું તે સમજી શકતા નથી ત્યારે તમે ML નો ઉપયોગ કરવા માંગો છો. બીજી બાજુ, નિર્ધારિત અભિગમ અપેક્ષિત ન હોય તેવી વિસંગતતાઓને શોધવાની મંજૂરી આપતું નથી.
• ડેટામાં મેટ્રિક્સ વચ્ચેની અમારી પૂર્વધારણાઓ અથવા સહસંબંધોને ચકાસવા માટે અમને એક સરળ રીતની જરૂર છે.
• સિસ્ટમમાં સાચા હકારાત્મક પરિણામોના ઘણા સ્તરો હોવા જોઈએ. છેતરપિંડીના કેસો એ તમામ કેસોનો માત્ર એક અંશ છે જે સિસ્ટમ માટે હકારાત્મક ગણી શકાય. ઉદાહરણ તરીકે, વિશ્લેષકો ચકાસણી માટે તમામ શંકાસ્પદ કેસો મેળવવા માંગે છે, અને તેમાંથી માત્ર એક નાનો ભાગ છેતરપિંડી છે. સિસ્ટમે તમામ કેસો વિશ્લેષકો સમક્ષ અસરકારક રીતે રજૂ કરવા જોઈએ, પછી ભલે તે વાસ્તવિક છેતરપિંડી હોય કે માત્ર શંકાસ્પદ વર્તન હોય.
• ડેટા પ્લેટફોર્મ ઐતિહાસિક ડેટા સેટ્સ પુનઃપ્રાપ્ત કરવા માટે સક્ષમ હોવું જોઈએ અને ફ્લાય પર જનરેટ કરેલ ગણતરીઓ સાથે.
• ઓછામાં ઓછા ત્રણ અલગ-અલગ વાતાવરણમાં સિસ્ટમના કોઈપણ ઘટકોને સરળતાથી અને આપમેળે ગોઠવો: ઉત્પાદન, પ્રાયોગિક (બીટા) અને વિકાસકર્તાઓ માટે.
• અને છેલ્લું પરંતુ ઓછામાં ઓછું નહીં. અમારે એક સમૃદ્ધ પ્રદર્શન પરીક્ષણ પ્લેટફોર્મ બનાવવાની જરૂર છે જેના પર અમે અમારા મોડલ્સનું વિશ્લેષણ કરી શકીએ. [4]

સંદર્ભો

1. ઓગમેન્ટેડ ઇન્ટેલિજન્સ શું છે?
2. API-પ્રથમ ડિઝાઇન પદ્ધતિનો અમલ
3. કાફકા "ઇવેન્ટ સ્ટ્રીમિંગ ડેટાબેઝ" માં પરિવર્તિત થઈ રહ્યું છે
4. AUC - ROC કર્વને સમજવું

સોર્સ: www.habr.com