સુરક્ષા અને ગોપનીયતા માટે સ્કેલેબલ ડેટા વર્ગીકરણ

સામગ્રી-આધારિત ડેટા વર્ગીકરણ એક ખુલ્લી સમસ્યા છે. પરંપરાગત ડેટા નુકશાન નિવારણ (DLP) સિસ્ટમો સંબંધિત ડેટાને ફિંગરપ્રિન્ટ કરીને અને ફિંગરપ્રિંટિંગ માટેના અંતિમ બિંદુઓનું નિરીક્ષણ કરીને આ સમસ્યાને હલ કરે છે. Facebook પર સતત બદલાતા ડેટા સંસાધનોની મોટી સંખ્યામાં જોતાં, આ અભિગમ માત્ર માપી શકાય તેવું નથી, પણ ડેટા ક્યાં રહે છે તે નિર્ધારિત કરવા માટે બિનઅસરકારક પણ છે. આ પેપર ફેસબુકમાં સંવેદનશીલ સિમેન્ટીક પ્રકારોને સ્કેલ પર શોધવા અને ડેટા સ્ટોરેજ અને એક્સેસ કંટ્રોલને આપમેળે લાગુ કરવા માટે બનેલ એન્ડ-ટુ-એન્ડ સિસ્ટમ પર ધ્યાન કેન્દ્રિત કરે છે.

અહીં વર્ણવેલ અભિગમ એ અમારી પ્રથમ એન્ડ-ટુ-એન્ડ ગોપનીયતા સિસ્ટમ છે જે Facebook પરના તમામ ડેટાને મેપ કરવા અને વર્ગીકૃત કરવા માટે ડેટા સિગ્નલ, મશીન લર્નિંગ અને પરંપરાગત ફિંગરપ્રિન્ટિંગ તકનીકોનો સમાવેશ કરીને આ સમસ્યાને ઉકેલવાનો પ્રયાસ કરે છે. વર્ણવેલ સિસ્ટમ પ્રોડક્શન એન્વાયર્નમેન્ટમાં ચલાવવામાં આવે છે, જે વિવિધ ગોપનીયતા વર્ગોમાં 2+ નો સરેરાશ F0,9 સ્કોર હાંસલ કરે છે જ્યારે ડઝનબંધ રિપોઝીટરીઝમાં મોટા પ્રમાણમાં ડેટા સંસાધનોની પ્રક્રિયા કરે છે. મશીન લર્નિંગ પર આધારિત સુરક્ષા અને ગોપનીયતા માટે સ્કેલેબલ ડેટા વર્ગીકરણ પર Facebookના ArXiv પેપરનો અનુવાદ રજૂ કરી રહ્યાં છીએ.

પરિચય

આજે, સંસ્થાઓ વિવિધ ફોર્મેટ અને સ્થાનો [1] માં મોટી માત્રામાં ડેટા એકત્ર કરે છે અને સંગ્રહિત કરે છે, પછી ડેટાનો ઉપયોગ ઘણી જગ્યાએ કરવામાં આવે છે, કેટલીકવાર ઘણી વખત કૉપિ કરવામાં આવે છે અથવા કેશ કરવામાં આવે છે, પરિણામે મૂલ્યવાન અને સંવેદનશીલ વ્યવસાય માહિતી ઘણા એન્ટરપ્રાઇઝ ડેટામાં વિખેરાઈ જાય છે. સ્ટોર્સ જ્યારે કોઈ સંસ્થાને અમુક કાનૂની અથવા નિયમનકારી આવશ્યકતાઓને પૂર્ણ કરવાની આવશ્યકતા હોય છે, જેમ કે સિવિલ કાર્યવાહીમાં નિયમોનું પાલન, ત્યારે જરૂરી ડેટાના સ્થાન વિશેનો ડેટા એકત્રિત કરવો જરૂરી બને છે. જ્યારે ગોપનીયતા નિયમન જણાવે છે કે અનધિકૃત સંસ્થાઓ સાથે વ્યક્તિગત માહિતી શેર કરતી વખતે સંસ્થાએ તમામ સામાજિક સુરક્ષા નંબરો (SSNs) માસ્ક કરવા જોઈએ, ત્યારે કુદરતી પ્રથમ પગલું એ સંસ્થાના ડેટા સ્ટોર્સમાં તમામ SSN શોધવાનું છે. આવા સંજોગોમાં, માહિતી વર્ગીકરણ નિર્ણાયક બની જાય છે [1]. વર્ગીકરણ સિસ્ટમ સંસ્થાઓને આપમેળે ગોપનીયતા અને સુરક્ષા નીતિઓ લાગુ કરવાની મંજૂરી આપશે, જેમ કે ઍક્સેસ નિયંત્રણ નીતિઓને સક્ષમ કરવી, ડેટા રીટેન્શન. Facebook અમે Facebook પર બનાવેલ સિસ્ટમ રજૂ કરી રહ્યું છે જે સંવેદનશીલ સિમેન્ટીક ડેટા પ્રકારો શોધવા માટે બહુવિધ ડેટા સિગ્નલ, સ્કેલેબલ સિસ્ટમ આર્કિટેક્ચર અને મશીન લર્નિંગનો ઉપયોગ કરે છે.

ડેટા શોધ અને વર્ગીકરણ એ ડેટાને શોધવા અને લેબલીંગ કરવાની પ્રક્રિયા છે જેથી જ્યારે જરૂરી હોય ત્યારે સંબંધિત માહિતી ઝડપથી અને અસરકારક રીતે પુનઃપ્રાપ્ત કરી શકાય. વર્તમાન પ્રક્રિયા પ્રકૃતિમાં તેના બદલે મેન્યુઅલ છે અને તેમાં સંબંધિત કાયદાઓ અથવા નિયમોનું પરીક્ષણ કરવું, કયા પ્રકારની માહિતીને સંવેદનશીલ ગણવી જોઈએ અને સંવેદનશીલતાના વિવિધ સ્તરો શું છે તે નિર્ધારિત કરવા, અને પછી તે મુજબ વર્ગો અને વર્ગીકરણ નીતિઓનું નિર્માણ કરવું [1]. ડેટા લોસ પ્રિવેન્શન (DLP) પછી ડેટાની ફિંગરપ્રિન્ટ કરે છે અને ફિંગરપ્રિન્ટ્સ મેળવવા માટે ડાઉનસ્ટ્રીમ એન્ડપોઇન્ટનું મોનિટર કરે છે. ડેટાના પેટાબાઇટ્સ સાથે એસેટ-હેવી વેરહાઉસ સાથે કામ કરતી વખતે, આ અભિગમ ફક્ત માપન કરતું નથી.

અમારો ધ્યેય ડેટા વર્ગીકરણ સિસ્ટમ બનાવવાનો છે જે ડેટા પ્રકાર અથવા ફોર્મેટ પર કોઈપણ વધારાના નિયંત્રણો વિના, મજબૂત અને ક્ષણિક વપરાશકર્તા ડેટા બંને માટે માપન કરે છે. આ એક હિંમતવાન ધ્યેય છે, અને સ્વાભાવિક રીતે તે પડકારો સાથે આવે છે. આપેલ ડેટા રેકોર્ડ હજારો અક્ષરો લાંબો હોઈ શકે છે.

આકૃતિ 1. ઓનલાઈન અને ઓફલાઈન આગાહીનો પ્રવાહ

તેથી, આપણે તેને એક સામાન્ય સુવિધાઓના સમૂહનો ઉપયોગ કરીને અસરકારક રીતે રજૂ કરવું જોઈએ જે પાછળથી જોડાઈ શકે છે અને સરળતાથી આસપાસ ખસેડી શકાય છે. આ સુવિધાઓએ માત્ર ચોક્કસ વર્ગીકરણ જ પ્રદાન કરવું જોઈએ નહીં, પરંતુ ભવિષ્યમાં નવા ડેટા પ્રકારોને સરળતાથી ઉમેરવા અને શોધવા માટે લવચીકતા અને વિસ્તરણતા પણ પ્રદાન કરવી જોઈએ. બીજું, તમારે મોટા ઑફલાઇન કોષ્ટકો સાથે વ્યવહાર કરવાની જરૂર છે. ટકાઉ ડેટા કોષ્ટકોમાં સંગ્રહિત કરી શકાય છે જે કદમાં ઘણા પેટાબાઇટ્સ છે. આ ધીમી સ્કેન ઝડપમાં પરિણમી શકે છે. ત્રીજું, આપણે અસ્થિર ડેટા પર કડક SLA વર્ગીકરણનું પાલન કરવું જોઈએ. આ સિસ્ટમને અત્યંત કાર્યક્ષમ, ઝડપી અને સચોટ બનવા માટે દબાણ કરે છે. છેલ્લે, અમારે રીઅલ-ટાઇમ વર્ગીકરણ તેમજ ઈન્ટરનેટ ઉપયોગના કેસ માટે અસ્થિર ડેટા માટે ઓછી વિલંબતા ડેટા વર્ગીકરણ પ્રદાન કરવું આવશ્યક છે.

આ પેપર વર્ણવે છે કે અમે ઉપરોક્ત પડકારોનો સામનો કેવી રીતે કર્યો અને એક ઝડપી અને માપી શકાય તેવી વર્ગીકરણ પ્રણાલી રજૂ કરે છે જે સુવિધાઓના સામાન્ય સમૂહના આધારે તમામ પ્રકારના, ફોર્મેટ અને સ્ત્રોતોના ડેટા ઘટકોનું વર્ગીકરણ કરે છે. અમે સિસ્ટમ આર્કિટેક્ચરને વિસ્તૃત કર્યું છે અને ઑફલાઇન અને ઑનલાઇન ડેટાને ઝડપથી વર્ગીકૃત કરવા માટે કસ્ટમ મશીન લર્નિંગ મોડલ બનાવ્યું છે. આ પેપર નીચે પ્રમાણે ગોઠવાયેલ છે: વિભાગ 2 સિસ્ટમની એકંદર ડિઝાઇન રજૂ કરે છે. વિભાગ 3 મશીન લર્નિંગ સિસ્ટમના ભાગોની ચર્ચા કરે છે. વિભાગો 4 અને 5 સંબંધિત કાર્યને પ્રકાશિત કરે છે અને કાર્યની ભાવિ દિશાઓ દર્શાવે છે.

સ્થાપત્ય

સતત અને ફેસબુક-સ્કેલ ઓનલાઈન ડેટાના પડકારોનો સામનો કરવા માટે, વર્ગીકરણ પ્રણાલીમાં બે અલગ-અલગ પ્રવાહો છે, જેની અમે વિગતવાર ચર્ચા કરીશું.

ટકાઉ ડેટા

શરૂઆતમાં, સિસ્ટમે Facebookની ઘણી માહિતી સંપત્તિઓ વિશે શીખવું આવશ્યક છે. દરેક ભંડાર માટે, કેટલીક મૂળભૂત માહિતી એકત્રિત કરવામાં આવે છે, જેમ કે તે ડેટા ધરાવતું ડેટા સેન્ટર, તે ડેટા ધરાવતી સિસ્ટમ અને ચોક્કસ ડેટા રિપોઝીટરીમાં સ્થિત અસ્કયામતો. આ એક મેટાડેટા કેટલોગ બનાવે છે જે સિસ્ટમને અન્ય એન્જિનિયરો દ્વારા ઉપયોગમાં લેવાતા ક્લાયંટ અને સંસાધનોને ઓવરલોડ કર્યા વિના અસરકારક રીતે ડેટા પુનઃપ્રાપ્ત કરવાની મંજૂરી આપે છે.

આ મેટાડેટા કેટલોગ તમામ સ્કેન કરેલી સંપત્તિઓ માટે એક અધિકૃત સ્રોત પ્રદાન કરે છે અને તમને વિવિધ સંપત્તિઓની સ્થિતિને ટ્રૅક કરવાની મંજૂરી આપે છે. આ માહિતીનો ઉપયોગ કરીને, સિસ્ટમમાંથી એકત્રિત ડેટા અને આંતરિક માહિતીના આધારે શેડ્યૂલિંગ અગ્રતા સ્થાપિત કરવામાં આવે છે, જેમ કે સંપત્તિ છેલ્લે સફળતાપૂર્વક સ્કેન કરવામાં આવી હતી અને તે બનાવવામાં આવી હતી તે સમય, તેમજ તે સંપત્તિ માટે ભૂતકાળની મેમરી અને CPU જરૂરિયાતો જો તે પહેલાં સ્કેન કરવામાં આવ્યું છે. પછી, દરેક ડેટા સંસાધન માટે (જેમ સંસાધનો ઉપલબ્ધ થાય છે), ખરેખર સંસાધનને સ્કેન કરવા માટે જોબ કહેવામાં આવે છે.

દરેક જોબ એક સંકલિત બાઈનરી ફાઇલ છે જે દરેક સંપત્તિ માટે ઉપલબ્ધ નવીનતમ ડેટા પર બર્નૌલી સેમ્પલિંગ કરે છે. સંપત્તિને વ્યક્તિગત કૉલમમાં વિભાજિત કરવામાં આવે છે, જ્યાં દરેક કૉલમના વર્ગીકરણ પરિણામની સ્વતંત્ર રીતે પ્રક્રિયા કરવામાં આવે છે. વધુમાં, સિસ્ટમ કૉલમની અંદર કોઈપણ સંતૃપ્ત ડેટા માટે સ્કેન કરે છે. JSON, એરે, એન્કોડેડ સ્ટ્રક્ચર્સ, URL, આધાર 64 સીરીયલાઇઝ્ડ ડેટા અને વધુ બધું સ્કેન કરેલ છે. આ સ્કેન એક્ઝેક્યુશન સમયને નોંધપાત્ર રીતે વધારી શકે છે કારણ કે એક ટેબલમાં બ્લોબમાં હજારો નેસ્ટેડ કૉલમ હોઈ શકે છે. json.

ડેટા એસેટમાં પસંદ કરેલ દરેક પંક્તિ માટે, વર્ગીકરણ સિસ્ટમ સામગ્રીમાંથી ફ્લોટ અને ટેક્સ્ટ ઑબ્જેક્ટ્સ કાઢે છે અને દરેક ઑબ્જેક્ટને તે કૉલમ સાથે સાંકળે છે જ્યાંથી તે લેવામાં આવ્યું હતું. ફીચર એક્સટ્રેશન સ્ટેપનું આઉટપુટ એ ડેટા એસેટમાં જોવા મળતી દરેક કોલમ માટેની તમામ સુવિધાઓનો નકશો છે.

ચિહ્નો શું છે?

વિશેષતાઓનો ખ્યાલ મુખ્ય છે. ફ્લોટ અને ટેક્સ્ટ લક્ષણોને બદલે, અમે કાચી સ્ટ્રિંગ નમૂનાઓ પસાર કરી શકીએ છીએ જે દરેક ડેટા સ્ત્રોતમાંથી સીધા જ કાઢવામાં આવે છે. વધુમાં, મશીન લર્નિંગ મૉડલ્સને દરેક નમૂના પર સીધું જ પ્રશિક્ષિત કરી શકાય છે, તેના બદલે સેંકડો ફિચર ગણતરીઓ કે જે માત્ર સેમ્પલનો અંદાજ કાઢવાનો પ્રયાસ કરે છે. આના માટે ઘણા કારણો છે:

1. પ્રથમ ગોપનીયતા: સૌથી અગત્યનું, વિશેષતાઓનો ખ્યાલ અમને ફક્ત તે જ પેટર્નને મેમરીમાં સંગ્રહિત કરવાની મંજૂરી આપે છે જે અમે પુનઃપ્રાપ્ત કરીએ છીએ. આ સુનિશ્ચિત કરે છે કે અમે એક જ હેતુ માટે નમૂનાઓનો સંગ્રહ કરીએ છીએ અને અમારા પોતાના પ્રયત્નો દ્વારા તેને ક્યારેય લૉગ કરીએ છીએ. આ ખાસ કરીને અસ્થિર ડેટા માટે મહત્વપૂર્ણ છે, કારણ કે સેવાએ આગાહી આપતા પહેલા અમુક વર્ગીકરણ સ્થિતિ જાળવી રાખવી આવશ્યક છે.
2. મેમરી: કેટલાક નમૂના હજારો અક્ષરો લાંબુ હોઈ શકે છે. આવા ડેટાને સંગ્રહિત કરવા અને તેને સિસ્ટમના ભાગોમાં ટ્રાન્સમિટ કરવા માટે બિનજરૂરી રીતે ઘણા વધારાના બાઈટનો ઉપયોગ થાય છે. બે પરિબળો સમય જતાં ભેગા થઈ શકે છે, જો કે હજારો કૉલમ સાથે ઘણા ડેટા સંસાધનો છે.
3. વિશેષતા એકત્રીકરણ: સુવિધાઓ દરેક સ્કેનના પરિણામોને લક્ષણોના સમૂહ દ્વારા સ્પષ્ટપણે રજૂ કરે છે, જે સિસ્ટમને સમાન ડેટા સંસાધનના અગાઉના સ્કેનનાં પરિણામોને અનુકૂળ રીતે જોડવાની મંજૂરી આપે છે. બહુવિધ રનમાં એક જ ડેટા રિસોર્સમાંથી સ્કેન પરિણામોને એકત્રિત કરવા માટે આ ઉપયોગી થઈ શકે છે.

પછી સુવિધાઓને આગાહી સેવા પર મોકલવામાં આવે છે જ્યાં અમે દરેક કૉલમના ડેટા લેબલની આગાહી કરવા માટે નિયમ-આધારિત વર્ગીકરણ અને મશીન લર્નિંગનો ઉપયોગ કરીએ છીએ. સેવા નિયમ વર્ગીકરણ અને મશીન લર્નિંગ બંને પર આધાર રાખે છે અને દરેક અનુમાન ઓબ્જેક્ટમાંથી આપેલ શ્રેષ્ઠ અનુમાન પસંદ કરે છે.

નિયમ વર્ગીકરણ મેન્યુઅલ હ્યુરિસ્ટિક્સ છે, તેઓ 0 થી 100 ની રેન્જમાં ઑબ્જેક્ટને સામાન્ય બનાવવા માટે ગણતરીઓ અને ગુણાંકનો ઉપયોગ કરે છે. એકવાર તે ડેટા સાથે સંકળાયેલ દરેક ડેટા પ્રકાર અને કૉલમના નામ માટે આવો પ્રારંભિક સ્કોર જનરેટ થઈ જાય, તે કોઈપણ "પ્રતિબંધ"માં શામેલ નથી. સૂચિઓ" ,નિયમ વર્ગીકૃતકર્તા તમામ ડેટા પ્રકારોમાંથી સૌથી વધુ સામાન્ય સ્કોર પસંદ કરે છે.

વર્ગીકરણની જટિલતાને લીધે, ફક્ત મેન્યુઅલ હ્યુરિસ્ટિક્સ પર આધાર રાખવાથી નીચી વર્ગીકરણ ચોકસાઈ થાય છે, ખાસ કરીને અસંગઠિત ડેટા માટે. આ કારણોસર, અમે અનસ્ટ્રક્ચર્ડ ડેટાના વર્ગીકરણ સાથે કામ કરવા માટે મશીન લર્નિંગ સિસ્ટમ વિકસાવી છે જેમ કે વપરાશકર્તા સામગ્રી અને સરનામાં. મશીન લર્નિંગે મેન્યુઅલ હ્યુરિસ્ટિક્સથી દૂર જવાનું શરૂ કરવાનું અને વધારાના ડેટા સિગ્નલો (દા.ત. કૉલમના નામ, ડેટા પ્રોવેન્સ) લાગુ કરવાનું શક્ય બનાવ્યું છે, જે શોધની ચોકસાઈમાં નોંધપાત્ર સુધારો કરે છે. અમે પછીથી અમારા મશીન લર્નિંગ આર્કિટેક્ચરમાં ઊંડા ઉતરીશું.

આગાહી સેવા સ્કેનના સમય અને સ્થિતિને લગતા મેટાડેટા સાથે દરેક કૉલમ માટે પરિણામો સંગ્રહિત કરે છે. કોઈપણ ઉપભોક્તા અને ડાઉનસ્ટ્રીમ પ્રક્રિયાઓ કે જે આ ડેટા પર આધાર રાખે છે તે દૈનિક પ્રકાશિત ડેટાસેટમાંથી તેને વાંચી શકે છે. આ સેટ આ બધી સ્કેન જોબ્સ અથવા રીઅલ-ટાઇમ ડેટા કેટલોગ API ના પરિણામોને એકીકૃત કરે છે. પ્રકાશિત આગાહીઓ ગોપનીયતા અને સુરક્ષા નીતિઓના સ્વચાલિત અમલ માટેનો પાયો છે.

અંતે, આગાહી સેવા બધો ડેટા લખે અને તમામ આગાહીઓ સંગ્રહિત થઈ જાય પછી, અમારું ડેટા કેટલોગ API રીઅલ ટાઈમમાં સંસાધન માટેના તમામ ડેટા પ્રકાર અનુમાનો પરત કરી શકે છે. દરરોજ સિસ્ટમ દરેક સંપત્તિ માટે તમામ નવીનતમ આગાહીઓ ધરાવતો ડેટાસેટ પ્રકાશિત કરે છે.

અસ્થિર ડેટા

જ્યારે ઉપરોક્ત પ્રક્રિયા સતત અસ્કયામતો માટે રચાયેલ છે, ત્યારે બિન-સતત ટ્રાફિકને પણ સંસ્થાના ડેટાનો ભાગ ગણવામાં આવે છે અને તે મહત્વપૂર્ણ હોઈ શકે છે. આ કારણોસર, સિસ્ટમ કોઈપણ તૂટક તૂટક ટ્રાફિક માટે રીઅલ-ટાઇમ વર્ગીકરણ અનુમાનો જનરેટ કરવા માટે ઑનલાઇન API પ્રદાન કરે છે. આઉટબાઉન્ડ ટ્રાફિક, ઇનબાઉન્ડ ટ્રાફિકને મશીન લર્નિંગ મોડલ અને જાહેરાતકર્તા ડેટામાં વર્ગીકૃત કરવા માટે રીઅલ-ટાઇમ ફોરકાસ્ટિંગ સિસ્ટમનો વ્યાપકપણે ઉપયોગ થાય છે.

અહીં API બે મુખ્ય દલીલો લે છે: ગ્રૂપિંગ કી અને કાચો ડેટા જે અનુમાનિત કરવાનો છે. સેવા ઉપર વર્ણવ્યા પ્રમાણે સમાન ઑબ્જેક્ટ પુનઃપ્રાપ્તિ કરે છે અને સમાન કી માટે ઑબ્જેક્ટને એકસાથે જૂથબદ્ધ કરે છે. આ સુવિધાઓ નિષ્ફળતા પુનઃપ્રાપ્તિ માટે દ્રઢતા કેશમાં પણ સમર્થિત છે. દરેક જૂથ કી માટે, સેવા ખાતરી કરે છે કે તેણે ઉપર વર્ણવેલ પ્રક્રિયાને અનુસરીને, આગાહી સેવાને કૉલ કરતા પહેલા પૂરતા નમૂનાઓ જોયા છે.

ઑપ્ટિમાઇઝેશન

કેટલાક સ્ટોરેજને સ્કેન કરવા માટે, અમે હોટ સ્ટોરેજ [2] માંથી વાંચનને ઑપ્ટિમાઇઝ કરવા માટે પુસ્તકાલયો અને તકનીકોનો ઉપયોગ કરીએ છીએ અને ખાતરી કરીએ છીએ કે સમાન સ્ટોરેજને ઍક્સેસ કરતા અન્ય વપરાશકર્તાઓ તરફથી કોઈ વિક્ષેપ ન આવે.

અત્યંત મોટા કોષ્ટકો (50+ પેટાબાઇટ્સ) માટે, તમામ ઑપ્ટિમાઇઝેશન અને મેમરી કાર્યક્ષમતા હોવા છતાં, સિસ્ટમ મેમરી સમાપ્ત થાય તે પહેલાં બધું સ્કેન અને ગણતરી કરવાનું કામ કરે છે. છેવટે, સ્કેન સંપૂર્ણપણે મેમરીમાં ગણાય છે અને સ્કેન દરમિયાન સંગ્રહિત થતું નથી. જો મોટા કોષ્ટકોમાં ડેટાના અનસ્ટ્રક્ચર્ડ ક્લમ્પ્સ સાથે હજારો કૉલમ હોય, તો સમગ્ર ટેબલ પર અનુમાન લગાવતી વખતે અપૂરતા મેમરી સંસાધનોને કારણે કાર્ય નિષ્ફળ થઈ શકે છે. આનાથી કવરેજમાં ઘટાડો થશે. આનો સામનો કરવા માટે, અમે સિસ્ટમ વર્તમાન વર્કલોડને કેટલી સારી રીતે હેન્ડલ કરે છે તે માટે પ્રોક્સી તરીકે સ્કેન સ્પીડનો ઉપયોગ કરવા માટે સિસ્ટમને ઑપ્ટિમાઇઝ કરી છે. અમે સ્પીડનો ઉપયોગ મેમરીની સમસ્યાઓ જોવા અને ફીચર મેપની અનુમાનિત રીતે ગણતરી કરવા માટે અનુમાનિત પદ્ધતિ તરીકે કરીએ છીએ. તે જ સમયે, અમે સામાન્ય કરતાં ઓછા ડેટાનો ઉપયોગ કરીએ છીએ.

ડેટા સિગ્નલો

વર્ગીકરણ પ્રણાલી ડેટામાંથી સિગ્નલો જેટલી જ સારી છે. અહીં આપણે વર્ગીકરણ પ્રણાલી દ્વારા ઉપયોગમાં લેવાતા તમામ સંકેતો જોઈશું.

• સામગ્રી આધારિત: અલબત્ત, પ્રથમ અને સૌથી મહત્વપૂર્ણ સંકેત સામગ્રી છે. Bernoulli સેમ્પલિંગ દરેક ડેટા એસેટ પર કરવામાં આવે છે જેને અમે ડેટા સામગ્રીના આધારે સ્કેન કરીએ છીએ અને સુવિધાઓ બહાર કાઢીએ છીએ. સામગ્રીમાંથી ઘણા ચિહ્નો આવે છે. ફ્લોટિંગ ઑબ્જેક્ટ્સની કોઈપણ સંખ્યા શક્ય છે, જે ચોક્કસ નમૂનાનો પ્રકાર કેટલી વખત જોવામાં આવ્યો છે તેની ગણતરી દર્શાવે છે. ઉદાહરણ તરીકે, અમારી પાસે નમૂનામાં જોવા મળેલી ઇમેઇલ્સની સંખ્યાના ચિહ્નો અથવા નમૂનામાં કેટલા ઇમોજી જોવા મળે છે તેના ચિહ્નો હોઈ શકે છે. આ સુવિધાની ગણતરીઓને સામાન્ય કરી શકાય છે અને વિવિધ સ્કેન પર એકીકૃત કરી શકાય છે.
• ડેટા પ્રોવેન્સન્સ: એક મહત્વપૂર્ણ સિગ્નલ જે જ્યારે પેરેન્ટ ટેબલમાંથી સામગ્રી બદલાઈ ગઈ હોય ત્યારે મદદ કરી શકે છે. એક સામાન્ય ઉદાહરણ હેશ કરેલ ડેટા છે. જ્યારે ચાઇલ્ડ ટેબલમાંનો ડેટા હેશ કરવામાં આવે છે, ત્યારે તે ઘણીવાર પેરેન્ટ ટેબલમાંથી આવે છે, જ્યાં તે સ્પષ્ટ રહે છે. વંશીય ડેટા ચોક્કસ પ્રકારના ડેટાને વર્ગીકૃત કરવામાં મદદ કરે છે જ્યારે તે સ્પષ્ટ રીતે વાંચવામાં ન આવે અથવા અપસ્ટ્રીમ કોષ્ટકમાંથી રૂપાંતરિત કરવામાં આવે.
• ટીકાઓ: અન્ય ઉચ્ચ-ગુણવત્તા સિગ્નલ કે જે અનસ્ટ્રક્ચર્ડ ડેટાને ઓળખવામાં મદદ કરે છે. હકીકતમાં, એનોટેશન્સ અને પ્રોવેનન્સ ડેટા વિવિધ ડેટા અસ્કયામતોમાં વિશેષતાઓનો પ્રચાર કરવા માટે એકસાથે કામ કરી શકે છે. ટીકાઓ અનસ્ટ્રક્ચર્ડ ડેટાના સ્ત્રોતને ઓળખવામાં મદદ કરે છે, જ્યારે વંશનો ડેટા સમગ્ર રીપોઝીટરીમાં તે ડેટાના પ્રવાહને ટ્રૅક કરવામાં મદદ કરી શકે છે.
• ડેટા ઇન્જેક્શન એ એક તકનીક છે જ્યાં વિશિષ્ટ, વાંચી ન શકાય તેવા અક્ષરો જાણી જોઈને જાણીતા ડેટા પ્રકારોના જાણીતા સ્ત્રોતોમાં રજૂ કરવામાં આવે છે. પછી, જ્યારે પણ અમે સમાન વાંચી ન શકાય તેવા અક્ષર ક્રમ સાથે સામગ્રીને સ્કેન કરીએ છીએ, ત્યારે અમે અનુમાન કરી શકીએ છીએ કે સામગ્રી તે જાણીતા ડેટા પ્રકારમાંથી આવે છે. આ એનોટેશનની જેમ જ અન્ય ગુણાત્મક ડેટા સિગ્નલ છે. તે સિવાય સામગ્રી-આધારિત શોધ દાખલ કરેલ ડેટાને શોધવામાં મદદ કરે છે.

માપન મેટ્રિક્સ

એક મહત્વપૂર્ણ ઘટક એ મેટ્રિક્સને માપવા માટે સખત પદ્ધતિ છે. વર્ગીકરણ સુધારણા પુનરાવૃત્તિ માટે મુખ્ય મેટ્રિક્સ દરેક લેબલની ચોકસાઇ અને યાદ છે, જેમાં F2 સ્કોર સૌથી મહત્વપૂર્ણ છે.

આ મેટ્રિક્સની ગણતરી કરવા માટે, ડેટા અસ્કયામતોને લેબલ કરવા માટે એક સ્વતંત્ર પદ્ધતિની જરૂર છે જે સિસ્ટમથી સ્વતંત્ર છે, પરંતુ તેનો ઉપયોગ તેની સાથે સીધી સરખામણી માટે થઈ શકે છે. નીચે અમે વર્ણન કરીએ છીએ કે કેવી રીતે અમે Facebook પરથી ગ્રાઉન્ડ ટ્રુથ એકત્રિત કરીએ છીએ અને તેનો ઉપયોગ અમારી વર્ગીકરણ સિસ્ટમને તાલીમ આપવા માટે કરીએ છીએ.

વિશ્વસનીય માહિતીનો સંગ્રહ

અમે નીચે સૂચિબદ્ધ દરેક સ્ત્રોતમાંથી તેના પોતાના કોષ્ટકમાં વિશ્વસનીય ડેટા એકઠા કરીએ છીએ. દરેક કોષ્ટક તે ચોક્કસ સ્ત્રોતમાંથી નવીનતમ અવલોકન કરેલ મૂલ્યોને એકત્રિત કરવા માટે જવાબદાર છે. દરેક સ્ત્રોત માટે દરેક સ્ત્રોત માટે અવલોકન કરેલ મૂલ્યો ઉચ્ચ ગુણવત્તાની છે અને તેમાં નવીનતમ ડેટા પ્રકાર લેબલ્સ છે તેની ખાતરી કરવા માટે દરેક સ્રોતમાં ડેટા ગુણવત્તા તપાસો છે.

• લૉગિંગ પ્લેટફોર્મ રૂપરેખાંકનો: મધપૂડો કોષ્ટકોમાંના અમુક ક્ષેત્રો ચોક્કસ પ્રકારના ડેટાથી ભરેલા હોય છે. આ ડેટાનો ઉપયોગ અને પ્રસાર સત્યના વિશ્વસનીય સ્ત્રોત તરીકે સેવા આપે છે.
• મેન્યુઅલ લેબલિંગ: સિસ્ટમની જાળવણી કરતા વિકાસકર્તાઓ તેમજ બાહ્ય લેબલર્સને કૉલમ લેબલ કરવા માટે તાલીમ આપવામાં આવે છે. આ સામાન્ય રીતે વેરહાઉસમાંના તમામ પ્રકારના ડેટા માટે સારી રીતે કામ કરે છે, અને કેટલાક અનસ્ટ્રક્ચર્ડ ડેટા, જેમ કે સંદેશ ડેટા અથવા વપરાશકર્તા સામગ્રી માટે સત્યનો પ્રાથમિક સ્ત્રોત બની શકે છે.
• પિતૃ કોષ્ટકોમાંથી કૉલમ ચોક્કસ ડેટા ધરાવતા તરીકે ચિહ્નિત અથવા ટીકા કરી શકાય છે, અને અમે તે ડેટાને બાળકોના કોષ્ટકોમાં ટ્રૅક કરી શકીએ છીએ.
• એક્ઝેક્યુશનના થ્રેડ્સનું આનયન: ફેસબુકમાં એક્ઝેક્યુશનના થ્રેડો ચોક્કસ પ્રકારનો ડેટા ધરાવે છે. સર્વિસ આર્કિટેક્ચર તરીકે અમારા સ્કેનરનો ઉપયોગ કરીને, અમે એવા સ્ટ્રીમના નમૂના લઈ શકીએ છીએ કે જેમાં ડેટા પ્રકારો જાણીતા છે અને તેમને સિસ્ટમ દ્વારા મોકલી શકીએ છીએ. સિસ્ટમ આ ડેટા સ્ટોર નહીં કરવાનું વચન આપે છે.
• નમૂના કોષ્ટકો: મોટા મધપૂડો કોષ્ટકો, જે સમગ્ર ડેટા કોર્પસ ધરાવે છે, તેનો ઉપયોગ તાલીમ ડેટા તરીકે પણ થઈ શકે છે અને સેવા તરીકે સ્કેનરમાંથી પસાર થઈ શકે છે. ડેટા પ્રકારોની સંપૂર્ણ શ્રેણી સાથેના કોષ્ટકો માટે આ સરસ છે, જેથી રેન્ડમ પર કૉલમનું નમૂના લેવું તે ડેટા પ્રકારના સમગ્ર સેટને નમૂના લેવા સમાન છે.
• સિન્થેટિક ડેટા: અમે લાઇબ્રેરીઓનો પણ ઉપયોગ કરી શકીએ છીએ જે ફ્લાય પર ડેટા જનરેટ કરે છે. આ સરનામું અથવા GPS જેવા સરળ, સાર્વજનિક ડેટા પ્રકારો માટે સારી રીતે કામ કરે છે.
• ડેટા સ્ટુઅર્ડ્સ: ગોપનીયતા કાર્યક્રમો સામાન્ય રીતે ડેટાના ટુકડાઓને મેન્યુઅલી નીતિઓ સોંપવા માટે ડેટા સ્ટુઅર્ડનો ઉપયોગ કરે છે. આ સત્યના અત્યંત સચોટ સ્ત્રોત તરીકે સેવા આપે છે.

અમે સત્યના દરેક મુખ્ય સ્ત્રોતને તે તમામ ડેટા સાથે એક કોર્પસમાં જોડીએ છીએ. માન્યતા સાથેનો સૌથી મોટો પડકાર એ સુનિશ્ચિત કરવાનો છે કે તે ડેટા રિપોઝીટરીનું પ્રતિનિધિત્વ કરે છે. નહિંતર, વર્ગીકરણ એન્જિન ઓવરટ્રેન થઈ શકે છે. આનો સામનો કરવા માટે, ઉપરોક્ત તમામ સ્ત્રોતોનો ઉપયોગ મોડલને તાલીમ આપતી વખતે અથવા મેટ્રિક્સની ગણતરી કરતી વખતે સંતુલન સુનિશ્ચિત કરવા માટે કરવામાં આવે છે. વધુમાં, હ્યુમન લેબલર્સ રિપોઝીટરીમાં એકસરખી રીતે અલગ-અલગ કૉલમના નમૂના લે છે અને તે મુજબ ડેટાને લેબલ કરે છે જેથી ગ્રાઉન્ડ ટ્રુથનો સંગ્રહ નિષ્પક્ષ રહે.

સતત એકીકરણ

ઝડપી પુનરાવૃત્તિ અને સુધારણાને સુનિશ્ચિત કરવા માટે, વાસ્તવિક સમયમાં સિસ્ટમની કામગીરીને હંમેશા માપવી મહત્વપૂર્ણ છે. અમે આજે સિસ્ટમ સામે દરેક વર્ગીકરણ સુધારણાને માપી શકીએ છીએ, તેથી અમે ડેટાના આધારે ભવિષ્યના સુધારાઓને વ્યૂહાત્મક રીતે માર્ગદર્શન આપી શકીએ છીએ. અહીં આપણે જોઈએ છીએ કે સિસ્ટમ કઈ રીતે ફીડબેક લૂપને પૂર્ણ કરે છે જે માન્ય ડેટા દ્વારા આપવામાં આવે છે.

જ્યારે શેડ્યુલિંગ સિસ્ટમ એવી સંપત્તિનો સામનો કરે છે કે જેમાં વિશ્વસનીય સ્ત્રોતનું લેબલ હોય, ત્યારે અમે બે કાર્યોનું શેડ્યૂલ કરીએ છીએ. પ્રથમ અમારા ઉત્પાદન સ્કેનર અને આમ અમારી ઉત્પાદન ક્ષમતાઓનો ઉપયોગ કરે છે. બીજું કાર્ય નવીનતમ સુવિધાઓ સાથે નવીનતમ બિલ્ડ સ્કેનરનો ઉપયોગ કરે છે. દરેક કાર્ય તેનું આઉટપુટ તેના પોતાના ટેબલ પર લખે છે, વર્ગીકરણ પરિણામો સાથે વર્ઝનને ટેગ કરે છે.

આ રીતે અમે રીલીઝ ઉમેદવારના વર્ગીકરણ પરિણામો અને રીઅલ ટાઇમમાં ઉત્પાદન મોડેલની તુલના કરીએ છીએ.

જ્યારે ડેટાસેટ્સ RC અને PROD સુવિધાઓની તુલના કરે છે, ત્યારે આગાહી સેવાના ML વર્ગીકરણ એન્જિનની ઘણી વિવિધતાઓ લૉગ થયેલ છે. તાજેતરમાં બનેલ મશીન લર્નિંગ મૉડલ, ઉત્પાદનમાં વર્તમાન મૉડલ અને કોઈપણ પ્રાયોગિક મૉડલ. સમાન અભિગમ અમને મોડેલના વિવિધ સંસ્કરણો (અમારા નિયમ વર્ગીકરણ માટે અજ્ઞેયવાદી) અને વાસ્તવિક સમયમાં મેટ્રિક્સની તુલના કરવાની મંજૂરી આપે છે. આનાથી ML પ્રયોગ ઉત્પાદનમાં જવા માટે ક્યારે તૈયાર છે તે નિર્ધારિત કરવાનું સરળ બનાવે છે.

દરરોજ રાત્રે, તે દિવસ માટે ગણતરી કરાયેલ આરસી સુવિધાઓ ML તાલીમ પાઇપલાઇન પર મોકલવામાં આવે છે, જ્યાં મોડેલને નવીનતમ RC સુવિધાઓ પર તાલીમ આપવામાં આવે છે અને ગ્રાઉન્ડ ટ્રુથ ડેટાસેટ સામે તેના પ્રદર્શનનું મૂલ્યાંકન કરે છે.

દરરોજ સવારે, મોડેલ તાલીમ પૂર્ણ કરે છે અને પ્રાયોગિક મોડેલ તરીકે આપમેળે પ્રકાશિત થાય છે. તે પ્રાયોગિક સૂચિમાં આપમેળે શામેલ છે.

કેટલાક પરિણામો

100 થી વધુ વિવિધ પ્રકારના ડેટા ઉચ્ચ ચોકસાઈ સાથે લેબલ થયેલ છે. ઈમેલ અને ફોન નંબર જેવા સુસંરચિત પ્રકારોને 2 કરતા વધારે f0,95 સ્કોર સાથે વર્ગીકૃત કરવામાં આવે છે. ફ્રી ડેટા પ્રકારો જેમ કે યુઝર-જનરેટેડ કન્ટેન્ટ અને નામ પણ 2 કરતા વધુ F0,85 સ્કોર સાથે ખૂબ જ સારી કામગીરી બજાવે છે.

નિરંતર અને અસ્થિર ડેટાની મોટી સંખ્યામાં વ્યક્તિગત કૉલમ દરેક રિપોઝીટરીઝમાં દરરોજ વર્ગીકૃત કરવામાં આવે છે. 500 થી વધુ ડેટા વેરહાઉસમાં દરરોજ 10 થી વધુ ટેરાબાઈટ સ્કેન કરવામાં આવે છે. આમાંની મોટાભાગની રિપોઝીટરીઝ 98% થી વધુ કવરેજ ધરાવે છે.

સમય જતાં, વર્ગીકરણ ખૂબ જ કાર્યક્ષમ બન્યું છે, સતત ઑફલાઇન સ્ટ્રીમમાં વર્ગીકરણની નોકરીઓ દરેક કૉલમ માટે અનુમાનની ગણતરી કરવા માટે સંપત્તિને સ્કેન કરવાથી સરેરાશ 35 સેકન્ડ લે છે.

ચોખા. 2. RC ઑબ્જેક્ટ્સ કેવી રીતે જનરેટ થાય છે અને મોડેલ પર મોકલવામાં આવે છે તે સમજવા માટે સતત એકીકરણ પ્રવાહનું વર્ણન કરતું રેખાકૃતિ.

આકૃતિ 3. મશીન લર્નિંગ ઘટકનું ઉચ્ચ-સ્તરનું રેખાકૃતિ.

મશીન લર્નિંગ સિસ્ટમ ઘટક

પાછલા વિભાગમાં, અમે એકંદર સિસ્ટમ આર્કિટેક્ચર, હાઇલાઇટિંગ સ્કેલ, ઑપ્ટિમાઇઝેશન અને ઑફલાઇન અને ઑનલાઇન ડેટા ફ્લોમાં ઊંડા ઉતર્યા. આ વિભાગમાં, અમે આગાહી સેવાને જોઈશું અને મશીન લર્નિંગ સિસ્ટમનું વર્ણન કરીશું જે આગાહી સેવાને શક્તિ આપે છે.

100 થી વધુ ડેટા પ્રકારો અને કેટલાક અનસ્ટ્રક્ચર્ડ કન્ટેન્ટ જેમ કે મેસેજ ડેટા અને યુઝર કન્ટેન્ટ સાથે, કેવળ મેન્યુઅલ હ્યુરિસ્ટિક્સનો ઉપયોગ કરીને સબપેરામેટ્રિક વર્ગીકરણની ચોકસાઈમાં પરિણમે છે, ખાસ કરીને અનસ્ટ્રક્ચર્ડ ડેટા માટે. આ કારણોસર, અમે અનસ્ટ્રક્ચર્ડ ડેટાની જટિલતાઓને પહોંચી વળવા માટે મશીન લર્નિંગ સિસ્ટમ પણ વિકસાવી છે. મશીન લર્નિંગનો ઉપયોગ કરવાથી તમે મેન્યુઅલ હ્યુરિસ્ટિક્સથી દૂર જવાનું શરૂ કરી શકો છો અને ચોકસાઈ સુધારવા માટે વિશેષતાઓ અને વધારાના ડેટા સિગ્નલો (ઉદાહરણ તરીકે, કૉલમના નામ, ડેટા મૂળ) સાથે કામ કરી શકો છો.

અમલમાં મૂકાયેલ મોડેલ ગાઢ અને છૂટાછવાયા પદાર્થો પર વેક્ટર રજૂઆતો [3] અલગથી અભ્યાસ કરે છે. પછી આને વેક્ટર બનાવવા માટે જોડવામાં આવે છે, જે બેચ નોર્મલાઇઝેશન [4] અને અંતિમ પરિણામ લાવવા માટે બિનરેખીયતા પગલાંની શ્રેણીમાંથી પસાર થાય છે. અંતિમ પરિણામ એ દરેક લેબલ માટે [0-1] ની વચ્ચેનો ફ્લોટિંગ પોઈન્ટ નંબર છે, જે સંભવિતતા દર્શાવે છે કે ઉદાહરણ તે સંવેદનશીલતા પ્રકારનું છે. મૉડલ માટે PyTorch નો ઉપયોગ કરવાથી અમને ઝડપથી આગળ વધવાની મંજૂરી મળી, જે ટીમની બહારના વિકાસકર્તાઓને ઝડપથી ફેરફારો કરવા અને પરીક્ષણ કરવાની મંજૂરી આપે છે.

આર્કિટેક્ચરની રચના કરતી વખતે, સ્પાર્સ (દા.ત. લખાણ) અને ગાઢ (દા.ત. આંકડાકીય) વસ્તુઓને તેમના અંતર્ગત તફાવતોને કારણે અલગથી મોડેલ બનાવવાનું મહત્વનું હતું. અંતિમ આર્કિટેક્ચર માટે, લર્નિંગ રેટ, બેચ સાઇઝ અને અન્ય હાયપરપેરામીટર્સ માટે શ્રેષ્ઠ મૂલ્ય શોધવા માટે પેરામીટર સ્વીપ કરવું પણ મહત્વપૂર્ણ હતું. ઑપ્ટિમાઇઝરની પસંદગી પણ એક મહત્વપૂર્ણ હાયપરપેરામીટર હતી. અમને તે એક લોકપ્રિય ઑપ્ટિમાઇઝર મળ્યું આદમઘણીવાર ઓવરફિટિંગ તરફ દોરી જાય છે, જ્યારે સાથે એક મોડેલ SGD વધુ સ્થિર. ત્યાં વધારાની ઘોંઘાટ હતી જે અમારે સીધા મોડેલમાં શામેલ કરવાની હતી. ઉદાહરણ તરીકે, સ્થિર નિયમો કે જે સુનિશ્ચિત કરે છે કે જ્યારે કોઈ વિશેષતાનું ચોક્કસ મૂલ્ય હોય ત્યારે મોડેલ નિર્ણાયક આગાહી કરે છે. આ સ્થિર નિયમો અમારા ગ્રાહકો દ્વારા વ્યાખ્યાયિત કરવામાં આવે છે. અમે શોધી કાઢ્યું છે કે તેમને મોડેલમાં સીધા જ સામેલ કરવાથી વધુ સ્વ-સમાયેલ અને મજબૂત આર્કિટેક્ચરમાં પરિણમ્યું, કારણ કે આ વિશિષ્ટ ધારના કેસોને હેન્ડલ કરવા માટે પોસ્ટ-પ્રોસેસિંગ પગલાને અમલમાં મૂકવાના વિરોધમાં. એ પણ નોંધ કરો કે આ નિયમો તાલીમ દરમિયાન અક્ષમ કરવામાં આવે છે જેથી કરીને ગ્રેડિયન્ટ ડિસેન્ટ તાલીમ પ્રક્રિયામાં દખલ ન થાય.

સમસ્યાઓ

એક પડકાર ઉચ્ચ-ગુણવત્તા, વિશ્વસનીય ડેટા એકત્રિત કરવાનો હતો. મોડેલને દરેક વર્ગ માટે આત્મવિશ્વાસની જરૂર છે જેથી કરીને તે ઑબ્જેક્ટ અને લેબલ્સ વચ્ચેના જોડાણો શીખી શકે. અગાઉના વિભાગમાં, અમે સિસ્ટમ માપન અને મોડલ તાલીમ બંને માટે ડેટા એકત્રીકરણ પદ્ધતિઓની ચર્ચા કરી હતી. વિશ્લેષણ દર્શાવે છે કે ક્રેડિટ કાર્ડ અને બેંક એકાઉન્ટ નંબર જેવા ડેટા વર્ગો અમારા વેરહાઉસમાં બહુ સામાન્ય નથી. આનાથી મોડેલોને તાલીમ આપવા માટે મોટી માત્રામાં વિશ્વસનીય ડેટા એકત્રિત કરવાનું મુશ્કેલ બને છે. આ મુદ્દાને ઉકેલવા માટે, અમે આ વર્ગો માટે સિન્થેટિક ગ્રાઉન્ડ ટ્રુથ ડેટા મેળવવા માટેની પ્રક્રિયાઓ વિકસાવી છે. અમે સંવેદનશીલ પ્રકારો સહિત આવો ડેટા જનરેટ કરીએ છીએ SSN, ક્રેડિટ કાર્ડ નંબરો и આઈબીએન-સંખ્યા કે જેના માટે મોડેલ અગાઉ આગાહી કરી શક્યું ન હતું. આ અભિગમ વાસ્તવિક સંવેદનશીલ ડેટાને છુપાવવા સાથે સંકળાયેલ ગોપનીયતા જોખમો વિના સંવેદનશીલ ડેટા પ્રકારોને પ્રક્રિયા કરવાની મંજૂરી આપે છે.

ગ્રાઉન્ડ ટ્રુથ મુદ્દાઓ ઉપરાંત, ત્યાં ખુલ્લા આર્કિટેક્ચરલ મુદ્દાઓ છે જેના પર અમે કામ કરી રહ્યા છીએ, જેમ કે અલગતા બદલો и વહેલું બંધ. ચેન્જ આઇસોલેશન એ સુનિશ્ચિત કરવા માટે મહત્વપૂર્ણ છે કે જ્યારે નેટવર્કના વિવિધ ભાગોમાં વિવિધ ફેરફારો કરવામાં આવે છે, ત્યારે અસર ચોક્કસ વર્ગો માટે અલગ પડે છે અને એકંદર આગાહી કામગીરી પર વ્યાપક અસર થતી નથી. વહેલા બંધ થવાના માપદંડમાં સુધારો કરવો એ પણ મહત્વપૂર્ણ છે જેથી અમે તમામ વર્ગો માટે એક સ્થિર બિંદુ પર તાલીમ પ્રક્રિયાને રોકી શકીએ, તેના બદલે કેટલાક વર્ગો ઓવરટ્રેન કરે છે અને અન્ય ન કરે.

લક્ષણ મહત્વ

જ્યારે મોડેલમાં નવી સુવિધા દાખલ કરવામાં આવે છે, ત્યારે અમે મોડેલ પર તેની એકંદર અસર જાણવા માંગીએ છીએ. અમે એ પણ સુનિશ્ચિત કરવા માંગીએ છીએ કે આગાહીઓ માનવ અર્થઘટન કરી શકાય તેવી છે જેથી અમે દરેક પ્રકારના ડેટા માટે કઈ સુવિધાઓનો ઉપયોગ કરવામાં આવી રહ્યો છે તે બરાબર સમજી શકીએ. આ હેતુ માટે અમે વિકાસ અને પરિચય આપ્યો છે વર્ગ દ્વારા PyTorch મોડેલ માટે સુવિધાઓનું મહત્વ. નોંધ કરો કે આ એકંદર વિશેષતાના મહત્વથી અલગ છે, જે સામાન્ય રીતે સમર્થિત છે, કારણ કે તે અમને જણાવતું નથી કે ચોક્કસ વર્ગ માટે કઈ વિશેષતાઓ મહત્વપૂર્ણ છે. ઑબ્જેક્ટને ફરીથી ગોઠવ્યા પછી આગાહી ભૂલમાં થયેલા વધારાની ગણતરી કરીને અમે ઑબ્જેક્ટનું મહત્વ માપીએ છીએ. જ્યારે મૂલ્યોની અદલાબદલી મોડેલની ભૂલમાં વધારો કરે છે ત્યારે સુવિધા "મહત્વપૂર્ણ" છે કારણ કે આ કિસ્સામાં મોડેલ તેની આગાહી કરવા માટે સુવિધા પર આધાર રાખતું હતું. એક લક્ષણ "બિનમહત્વપૂર્ણ" છે જ્યારે તેના મૂલ્યોને શફલિંગ કરવાથી મોડેલની ભૂલ અપરિવર્તિત રહે છે, કારણ કે આ કિસ્સામાં મોડેલે તેને અવગણ્યું છે [5].

દરેક વર્ગ માટે વિશેષતાનું મહત્વ અમને મોડેલને અર્થઘટનયોગ્ય બનાવવાની મંજૂરી આપે છે જેથી અમે જોઈ શકીએ કે લેબલની આગાહી કરતી વખતે મોડેલ શું જોઈ રહ્યું છે. ઉદાહરણ તરીકે, જ્યારે આપણે વિશ્લેષણ કરીએ છીએ એડીડીઆર, પછી અમે બાંહેધરી આપીએ છીએ કે સરનામા સાથે સંકળાયેલ ચિહ્ન, જેમ કે AddressLinesCount, દરેક વર્ગ માટે વિશેષતાના મહત્વના કોષ્ટકમાં ઉચ્ચ ક્રમાંક ધરાવે છે જેથી આપણું માનવ અંતર્જ્ઞાન મોડેલ જે શીખ્યા છે તેની સાથે સારી રીતે મેળ ખાય.

મૂલ્યાંકન

સફળતા માટે એક જ મેટ્રિક વ્યાખ્યાયિત કરવી મહત્વપૂર્ણ છે. અમે પસંદ કર્યું F2 - રિકોલ અને ચોકસાઈ વચ્ચે સંતુલન (રિકોલ પૂર્વગ્રહ થોડો મોટો છે). ચોકસાઈ કરતાં ગોપનીયતાના ઉપયોગના કેસ માટે યાદ રાખવું વધુ મહત્વનું છે કારણ કે ટીમ માટે કોઈપણ સંવેદનશીલ ડેટા ચૂકી ન જાય તે મહત્વપૂર્ણ છે (વાજબી ચોકસાઈની ખાતરી કરતી વખતે). અમારા મોડેલનું વાસ્તવિક F2 પ્રદર્શન મૂલ્યાંકન આ પેપરના અવકાશની બહાર છે. જો કે, સાવચેત ટ્યુનિંગ સાથે અમે સૌથી મહત્વપૂર્ણ સંવેદનશીલ વર્ગો માટે ઉચ્ચ (0,9+) F2 સ્કોર્સ હાંસલ કરી શકીએ છીએ.

સંબંધિત કામ

પેટર્ન મેચિંગ, દસ્તાવેજ સમાનતા શોધ અને વિવિધ મશીન લર્નિંગ પદ્ધતિઓ (બેયેશિયન, નિર્ણય વૃક્ષો, k-નજીકના પડોશીઓ અને અન્ય ઘણા લોકો) [6] જેવી વિવિધ પદ્ધતિઓનો ઉપયોગ કરીને અનસ્ટ્રક્ચર્ડ દસ્તાવેજોના સ્વચાલિત વર્ગીકરણ માટે ઘણા અલ્ગોરિધમ્સ છે. આમાંથી કોઈપણનો ઉપયોગ વર્ગીકરણના ભાગ રૂપે થઈ શકે છે. જો કે, સમસ્યા માપનીયતાની છે. આ લેખમાં વર્ગીકરણનો અભિગમ લવચીકતા અને કામગીરી તરફ પક્ષપાતી છે. આ અમને ભવિષ્યમાં નવા વર્ગોને સમર્થન આપવા અને લેટન્સી ઓછી રાખવાની મંજૂરી આપે છે.

ડેટા ફિંગરપ્રિન્ટિંગ પર પણ ઘણું કામ છે. ઉદાહરણ તરીકે, [7] માં લેખકોએ એક ઉકેલ વર્ણવ્યો છે જે સંવેદનશીલ ડેટા લીકને પકડવાની સમસ્યા પર ધ્યાન કેન્દ્રિત કરે છે. અંતર્ગત ધારણા એ છે કે ડેટાને જાણીતા સંવેદનશીલ ડેટાના સમૂહ સાથે મેચ કરવા માટે ફિંગરપ્રિન્ટ કરી શકાય છે. [8] માં લેખકો ગોપનીયતા લિકેજની સમાન સમસ્યાનું વર્ણન કરે છે, પરંતુ તેનું નિરાકરણ ચોક્કસ Android આર્કિટેક્ચર પર આધારિત છે અને જો વપરાશકર્તાની ક્રિયાઓ વ્યક્તિગત માહિતીની વહેંચણીમાં પરિણમે છે અથવા જો અંતર્ગત એપ્લિકેશન વપરાશકર્તાના ડેટાને લીક કરે છે તો જ તેનું વર્ગીકરણ કરવામાં આવે છે. અહીં પરિસ્થિતિ કંઈક અંશે અલગ છે કારણ કે વપરાશકર્તા ડેટા પણ અત્યંત અસંગઠિત હોઈ શકે છે. તેથી, અમને ફિંગરપ્રિન્ટિંગ કરતાં વધુ જટિલ તકનીકની જરૂર છે.

છેલ્લે, અમુક પ્રકારના સંવેદનશીલ ડેટા માટે ડેટાની તંગીનો સામનો કરવા માટે, અમે સિન્થેટિક ડેટા રજૂ કર્યો. ડેટા ઓગમેન્ટેશન પર સાહિત્યનો મોટો ભાગ છે, ઉદાહરણ તરીકે, [9] માં લેખકોએ તાલીમ દરમિયાન અવાજ ઇન્જેક્શનની ભૂમિકાની શોધ કરી અને નિરીક્ષણ કરેલ શિક્ષણમાં સકારાત્મક પરિણામોનું અવલોકન કર્યું. ગોપનીયતા પ્રત્યેનો અમારો અભિગમ અલગ છે કારણ કે ઘોંઘાટીયા ડેટાનો પરિચય પ્રતિકૂળ હોઈ શકે છે, અને અમે તેના બદલે ઉચ્ચ-ગુણવત્તાવાળા સિન્થેટિક ડેટા પર ધ્યાન કેન્દ્રિત કરીએ છીએ.

નિષ્કર્ષ

આ પેપરમાં, અમે એક સિસ્ટમ રજૂ કરી છે જે ડેટાના ટુકડાને વર્ગીકૃત કરી શકે છે. આ અમને ગોપનીયતા અને સુરક્ષા નીતિઓ લાગુ કરવા માટે સિસ્ટમ્સ બનાવવાની મંજૂરી આપે છે. અમે બતાવ્યું છે કે સ્કેલેબલ ઈન્ફ્રાસ્ટ્રક્ચર, સતત એકીકરણ, મશીન લર્નિંગ અને ઉચ્ચ-ગુણવત્તાની ડેટા ખાતરી અમારી ઘણી ગોપનીયતા પહેલની સફળતામાં મુખ્ય ભૂમિકા ભજવે છે.

ભવિષ્યના કામ માટે ઘણી દિશાઓ છે. આમાં અનસ્કેમેટાઈઝ્ડ ડેટા (ફાઈલો) માટે આધાર પૂરો પાડવો, માત્ર ડેટા પ્રકાર જ નહીં પરંતુ સંવેદનશીલતા સ્તરનું પણ વર્ગીકરણ, અને સચોટ કૃત્રિમ ઉદાહરણો જનરેટ કરીને તાલીમ દરમિયાન સ્વ-નિરીક્ષિત શિક્ષણનો ઉપયોગ શામેલ હોઈ શકે છે. જે બદલામાં, મોડલને સૌથી મોટી રકમથી નુકસાન ઘટાડવામાં મદદ કરશે. ભાવિ કાર્ય તપાસ કાર્યપ્રવાહ પર પણ ધ્યાન કેન્દ્રિત કરી શકે છે, જ્યાં અમે તપાસથી આગળ વધીએ છીએ અને વિવિધ ગોપનીયતા ઉલ્લંઘનોના મૂળ કારણ વિશ્લેષણ પ્રદાન કરીએ છીએ. આ સંવેદનશીલતા વિશ્લેષણ જેવા કેસોમાં મદદ કરશે (એટલે ​​​​કે ડેટા પ્રકારની ગોપનીયતા સંવેદનશીલતા વધારે છે (દા.ત. વપરાશકર્તા IP) અથવા ઓછી છે (દા.ત. Facebook આંતરિક IP)).

ગ્રંથસૂચિ

1. ડેવિડ બેન-ડેવિડ, તામર ડોમની અને એબીગેઇલ ટેરેમ. સિમેન્ટીક વેબ ટેકનોલોજીનો ઉપયોગ કરીને એન્ટરપ્રાઇઝ ડેટા વર્ગીકરણ. પીટર એફ.Ï પટેલ-શ્નાઇડર, યુ પેન, પાસ્કલ હિટ્ઝલર, પીટર મીકા, લેઇ ઝાંગ, જેફ ઝેડ. પાન, ઇયાન હોરોક્સ અને બિર્ટે ગ્લિમમાં, સંપાદકો, ધ સિમેન્ટીક વેબ – ISWC 2010, પૃષ્ઠ 66–81, બર્લિન, હેડલબર્ગ, 2010. સ્પ્રિંગર બર્લિન હાઈડલબર્ગ.
2. સુબ્રમણ્યમ મુરલીધર, વ્યાટ લોયડ, સબ્યસાચી રોય, કોરી હિલ, અર્નેસ્ટ લિન, વીવેન લિયુ, સતાદ્રુ પાન, શિવ શંકર, વિશ્વનાથ શિવકુમાર, લિનપેંગ તાંગ અને સંજીવ કુમાર. f4: ફેસબુકની ગરમ BLOB સ્ટોરેજ સિસ્ટમ. માં ઓપરેટિંગ સિસ્ટમ્સ ડિઝાઇન અને અમલીકરણ પર 11મો USENIX સિમ્પોઝિયમ (OSDI 14), પૃષ્ઠો 383–398, Broomfield, CO, ઓક્ટોબર 2014. USENIX એસોસિએશન.
3. ટોમસ મિકોલોવ, ઇલ્યા સુતસ્કેવર, કાઇ ચેન, ગ્રેગ એસ કોરાડો અને જેફ ડીન. શબ્દો અને શબ્દસમૂહોની વિતરિત રજૂઆતો અને તેમની રચનાત્મકતા. સી.જે.સી. બર્ગેસ, એલ. બોટોઉ, એમ. વેલિંગ, ઝેડ. ગહરમાની, અને કે. ક્યૂ. વેઇનબર્ગર, સંપાદકોમાં, ન્યુરલ ઇન્ફોર્મેશન પ્રોસેસિંગ સિસ્ટમ્સમાં એડવાન્સિસ 26, પૃષ્ઠ 3111–3119. કુરન એસોસિએટ્સ, ઇન્ક., 2013.
4. સેર્ગેઈ આઈઓફે અને ક્રિશ્ચિયન સેઝેડી. બેચ નોર્મલાઇઝેશન: આંતરિક કોવેરિયેટ શિફ્ટ ઘટાડીને ડીપ નેટવર્ક તાલીમને વેગ આપવો. ફ્રાન્સિસ બાચ અને ડેવિડ બ્લેઈમાં, સંપાદકો, મશીન લર્નિંગ પર 32મી આંતરરાષ્ટ્રીય પરિષદની કાર્યવાહી, વોલ્યુમ 37 નું મશીન લર્નિંગ સંશોધનની કાર્યવાહી, પૃષ્ઠો 448–456, લિલી, ફ્રાન્સ, 07–09 જુલાઇ 2015. PMLR.
5. લીઓ બ્રેઇમન. રેન્ડમ જંગલો. માચ. શીખો., 45(1):5–32, ઓક્ટોબર 2001.
6. Thair Nu Phyu. ડેટા માઇનિંગમાં વર્ગીકરણ તકનીકોનું સર્વેક્ષણ.
7. એક્સ. શુ, ડી. યાઓ અને ઇ. બર્ટિનો. સંવેદનશીલ ડેટા એક્સપોઝરની ગોપનીયતા-જાળવણી શોધ. માહિતી ફોરેન્સિક્સ અને સુરક્ષા પર IEEE વ્યવહારો, 10(5):1092–1103, 2015.
8. ઝેમિન યાંગ, મીન યાંગ, યુઆન ઝાંગ, ગુઓફેઇ ગુ, પેંગ નિંગ અને ઝિયાઓયાંગ વાંગ. નિયુક્તિ: ગોપનીયતા લિકેજ શોધ માટે એન્ડ્રોઇડમાં સંવેદનશીલ ડેટા ટ્રાન્સમિશનનું વિશ્લેષણ. પૃષ્ઠો 1043–1054, 11 2013.
9. ક્વિઝે ઝી, ઝિહાંગ ડાઈ, એડ્યુઅર્ડ એચ. હોવી, મિન્હ-થાંગ લુઓંગ અને ક્વોક વી. લે. અસુરક્ષિત ડેટા વૃદ્ધિ.

સ્કિલફૅક્ટરી ઑનલાઇન અભ્યાસક્રમો લઈને કૌશલ્યો અને પગારના સંદર્ભમાં શરૂઆતથી અથવા લેવલ અપ કેવી રીતે મેળવવો તે અંગેની વિગતો મેળવો:

• શરૂઆતથી ડેટા સાયન્સના વ્યવસાયને શીખવવું (12 મહિના)
• મશીન લર્નિંગ કોર્સ (12 અઠવાડિયા)
• એડવાન્સ કોર્સ "મશીન લર્નિંગ પ્રો + ડીપ લર્નિંગ" (20 અઠવાડિયા)
• કોર્સ "ડેટા સાયન્સ માટે ગણિત અને મશીન લર્નિંગ" (20 અઠવાડિયા)

વધુ અભ્યાસક્રમો

• વેબ ડેવલપમેન્ટ કોર્સ માટે પાયથોન (9 મહિના)
• વ્યવસાય વેબ ડેવલપર (8 મહિના)
• કોઈપણ પ્રારંભિક સ્તરે વિશ્લેષક વ્યવસાય (9 મહિના)
• DevOps કોર્સ (12 મહિના)
• શરૂઆતથી વ્યવસાય જાવા ડેવલપર (18 મહિના)
• જાવાસ્ક્રિપ્ટ કોર્સ (12 મહિના)
• શરૂઆતથી વ્યવસાય UX ડિઝાઇનર (9 મહિના)
• વ્યવસાય વેબ ડિઝાઇનર (7 મહિના)

સોર્સ: www.habr.com