सुरक्षितता आणि गोपनीयतेसाठी स्केलेबल डेटा वर्गीकरण

सामग्री-आधारित डेटा वर्गीकरण ही एक खुली समस्या आहे. पारंपारिक डेटा लॉस प्रिव्हेंशन (DLP) सिस्टीम संबंधित डेटाचे फिंगरप्रिंट करून आणि फिंगरप्रिंटिंगसाठी एंडपॉइंट्सचे निरीक्षण करून ही समस्या सोडवतात. Facebook वर मोठ्या संख्येने सतत बदलत असलेल्या डेटा रिसोर्सेस पाहता, हा दृष्टीकोन केवळ मोजता येण्याजोगा नाही तर डेटा कोठे राहतो हे ठरवण्यासाठी कुचकामी देखील आहे. हा पेपर Facebook मधील संवेदनशील शब्दार्थ प्रकार मोठ्या प्रमाणात शोधण्यासाठी आणि स्वयंचलितपणे डेटा संचयन आणि प्रवेश नियंत्रण लागू करण्यासाठी तयार केलेल्या एंड-टू-एंड सिस्टमवर केंद्रित आहे.

येथे वर्णन केलेला दृष्टीकोन ही आमची पहिली एंड-टू-एंड गोपनीयता प्रणाली आहे जी Facebook वरील सर्व डेटा मॅप आणि वर्गीकृत करण्यासाठी डेटा सिग्नल, मशीन लर्निंग आणि पारंपारिक फिंगरप्रिंटिंग तंत्रांचा समावेश करून या समस्येचे निराकरण करण्याचा प्रयत्न करते. वर्णन केलेली प्रणाली उत्पादन वातावरणात ऑपरेट केली जाते, डझनभर रेपॉजिटरीजमध्ये मोठ्या प्रमाणात डेटा संसाधनांवर प्रक्रिया करताना विविध गोपनीयता वर्गांमध्ये सरासरी F2 स्कोअर 0,9+ प्राप्त करते. मशीन लर्निंगवर आधारित सुरक्षा आणि गोपनीयतेसाठी स्केलेबल डेटा वर्गीकरणावरील Facebook च्या ArXiv पेपरचे भाषांतर सादर करत आहे.

परिचय

आज, संस्था विविध स्वरूपांमध्ये आणि स्थानांमध्ये मोठ्या प्रमाणात डेटा संकलित आणि संग्रहित करतात [१], नंतर डेटा बर्‍याच ठिकाणी वापरला जातो, कधीकधी कॉपी किंवा अनेक वेळा कॅशे केला जातो, परिणामी मौल्यवान आणि संवेदनशील व्यवसाय माहिती अनेक एंटरप्राइझ डेटामध्ये विखुरली जाते. स्टोअर्स जेव्हा एखाद्या संस्थेला काही कायदेशीर किंवा नियामक आवश्यकता पूर्ण करणे आवश्यक असते, जसे की दिवाणी कार्यवाहीमधील नियमांचे पालन करणे, आवश्यक डेटाच्या स्थानाबद्दल डेटा गोळा करणे आवश्यक होते. जेव्हा गोपनीयता नियमन असे सांगते की अनधिकृत संस्थांसोबत वैयक्तिक माहिती सामायिक करताना संस्थेने सर्व सामाजिक सुरक्षा क्रमांक (SSNs) मास्क केले पाहिजेत, तेव्हा नैसर्गिक पहिली पायरी म्हणजे संस्थेच्या डेटा स्टोअरमध्ये सर्व SSN शोधणे. अशा परिस्थितीत, डेटा वर्गीकरण गंभीर बनते [१]. वर्गीकरण प्रणाली संस्थांना स्वयंचलितपणे गोपनीयता आणि सुरक्षा धोरणे लागू करण्यास अनुमती देईल, जसे की प्रवेश नियंत्रण धोरणे सक्षम करणे, डेटा धारणा. Facebook आम्ही Facebook वर तयार केलेली एक प्रणाली सादर करत आहे जी संवेदनशील अर्थविषयक डेटा प्रकार शोधण्यासाठी एकाधिक डेटा सिग्नल, स्केलेबल सिस्टम आर्किटेक्चर आणि मशीन लर्निंग वापरते.

डेटा शोध आणि वर्गीकरण ही डेटा शोधण्याची आणि लेबल करण्याची प्रक्रिया आहे जेणेकरून आवश्यकतेनुसार संबंधित माहिती जलद आणि कार्यक्षमतेने पुनर्प्राप्त केली जाऊ शकते. सध्याची प्रक्रिया ऐवजी मॅन्युअल स्वरूपाची आहे आणि त्यात संबंधित कायदे किंवा नियमांचे परीक्षण करणे, कोणत्या प्रकारची माहिती संवेदनशील मानली जावी आणि संवेदनशीलतेचे विविध स्तर काय आहेत हे निर्धारित करणे आणि त्यानंतर त्यानुसार वर्ग आणि वर्गीकरण धोरणे तयार करणे [१]. डेटा लॉस प्रिव्हेंशन (DLP) नंतर डेटाचे फिंगरप्रिंट करते आणि फिंगरप्रिंट्स मिळविण्यासाठी डाउनस्ट्रीम एंडपॉइंट्सचे निरीक्षण करते. डेटाच्या पेटाबाइट्ससह मालमत्ता-जड गोदामाशी व्यवहार करताना, हा दृष्टीकोन फक्त मोजला जात नाही.

डेटा प्रकार किंवा फॉरमॅटवर कोणतेही अतिरिक्त निर्बंध न ठेवता मजबूत आणि क्षणिक वापरकर्ता डेटा दोन्हीसाठी स्केल करणारी डेटा वर्गीकरण प्रणाली तयार करणे हे आमचे ध्येय आहे. हे एक धाडसी ध्येय आहे आणि स्वाभाविकपणे ते आव्हानांसह येते. दिलेला डेटा रेकॉर्ड हजारो वर्णांचा असू शकतो.

आकृती 1. ऑनलाइन आणि ऑफलाइन अंदाज प्रवाह

म्हणून, आम्ही वैशिष्ट्यांचा एक सामान्य संच वापरून त्याचे कार्यक्षमतेने प्रतिनिधित्व केले पाहिजे जे नंतर एकत्र केले जाऊ शकतात आणि सहजपणे फिरू शकतात. या वैशिष्ट्यांनी केवळ अचूक वर्गीकरणच देऊ नये, तर भविष्यात नवीन डेटा प्रकार सहजपणे जोडण्यासाठी आणि शोधण्यासाठी लवचिकता आणि विस्तारक्षमता देखील प्रदान केली पाहिजे. दुसरे म्हणजे, तुम्हाला मोठ्या ऑफलाइन टेबल्सचा सामना करावा लागेल. टिकाऊ डेटा टेबलमध्ये संग्रहित केला जाऊ शकतो ज्याचा आकार अनेक पेटाबाइट्स आहे. यामुळे स्कॅनचा वेग कमी होऊ शकतो. तिसरे, आम्ही अस्थिर डेटावर कठोर SLA वर्गीकरणाचे पालन केले पाहिजे. हे प्रणालीला अत्यंत कार्यक्षम, जलद आणि अचूक होण्यास भाग पाडते. शेवटी, रिअल-टाइम वर्गीकरण तसेच इंटरनेट वापर प्रकरणांसाठी आम्ही अस्थिर डेटासाठी कमी विलंब डेटा वर्गीकरण प्रदान केले पाहिजे.

हा पेपर आम्ही वरील आव्हानांना कसे सामोरे गेलो याचे वर्णन करतो आणि एक जलद आणि स्केलेबल वर्गीकरण प्रणाली सादर करतो जी वैशिष्ट्यांच्या सामान्य संचाच्या आधारे सर्व प्रकारचे डेटा घटक, स्वरूप आणि स्त्रोतांचे वर्गीकरण करते. आम्ही सिस्टम आर्किटेक्चरचा विस्तार केला आणि ऑफलाइन आणि ऑनलाइन डेटाचे द्रुतपणे वर्गीकरण करण्यासाठी कस्टम मशीन लर्निंग मॉडेल तयार केले. हा पेपर खालीलप्रमाणे आयोजित केला आहे: विभाग 2 प्रणालीची संपूर्ण रचना सादर करते. विभाग 3 मशीन लर्निंग सिस्टमच्या भागांची चर्चा करतो. विभाग 4 आणि 5 संबंधित काम हायलाइट करतात आणि भविष्यातील कामाच्या दिशानिर्देशांची रूपरेषा देतात.

आर्किटेक्चर

सतत आणि Facebook-स्केल ऑनलाइन डेटाच्या आव्हानांना सामोरे जाण्यासाठी, वर्गीकरण प्रणालीमध्ये दोन स्वतंत्र प्रवाह आहेत, ज्याची आपण तपशीलवार चर्चा करू.

शाश्वत डेटा

सुरुवातीला, सिस्टमला Facebook च्या अनेक माहिती मालमत्तेबद्दल जाणून घेणे आवश्यक आहे. प्रत्येक भांडारासाठी, काही मूलभूत माहिती गोळा केली जाते, जसे की तो डेटा असलेले डेटा केंद्र, तो डेटा असलेली प्रणाली आणि विशिष्ट डेटा भांडारात असलेली मालमत्ता. हे एक मेटाडेटा कॅटलॉग तयार करते जे सिस्टमला इतर अभियंत्यांनी वापरलेल्या क्लायंट आणि संसाधने ओव्हरलोड न करता कार्यक्षमतेने डेटा पुनर्प्राप्त करण्यास अनुमती देते.

हा मेटाडेटा कॅटलॉग सर्व स्कॅन केलेल्या मालमत्तेसाठी अधिकृत स्त्रोत प्रदान करतो आणि तुम्हाला विविध मालमत्तांच्या स्थितीचा मागोवा घेण्याची परवानगी देतो. या माहितीचा वापर करून, सिस्टीममधून गोळा केलेला डेटा आणि अंतर्गत माहितीच्या आधारावर शेड्युलिंग प्राधान्य स्थापित केले जाते, जसे की मालमत्ता शेवटची यशस्वीरित्या स्कॅन केली गेली आणि ती तयार केली गेली, तसेच त्या मालमत्तेसाठी मागील मेमरी आणि CPU आवश्यकता. ते आधी स्कॅन केले गेले आहे. त्यानंतर, प्रत्येक डेटा रिसोर्ससाठी (जसे संसाधने उपलब्ध होतील), संसाधन स्कॅन करण्यासाठी एक कार्य म्हटले जाते.

प्रत्येक जॉब एक ​​संकलित बायनरी फाइल आहे जी प्रत्येक मालमत्तेसाठी उपलब्ध नवीनतम डेटावर बर्नौली सॅम्पलिंग करते. मालमत्ता वैयक्तिक स्तंभांमध्ये विभाजित केली जाते, जिथे प्रत्येक स्तंभाच्या वर्गीकरण परिणामावर स्वतंत्रपणे प्रक्रिया केली जाते. याव्यतिरिक्त, सिस्टीम स्तंभांमधील कोणत्याही संतृप्त डेटासाठी स्कॅन करते. JSON, अॅरे, एन्कोडेड स्ट्रक्चर्स, URLs, बेस 64 सीरियलाइज्ड डेटा आणि बरेच काही स्कॅन केले आहे. हे स्कॅन अंमलबजावणीच्या वेळेत लक्षणीय वाढ करू शकते कारण एका टेबलमध्ये ब्लॉबमध्ये हजारो नेस्टेड कॉलम असू शकतात. json.

डेटा मालमत्तेमध्ये निवडलेल्या प्रत्येक पंक्तीसाठी, वर्गीकरण प्रणाली सामग्रीमधून फ्लोट आणि मजकूर ऑब्जेक्ट्स काढते आणि प्रत्येक ऑब्जेक्ट परत ज्या स्तंभातून घेतला होता त्या स्तंभाशी संबद्ध करते. फीचर एक्स्ट्रॅक्शन स्टेपचे आउटपुट डेटा अॅसेटमध्ये आढळणाऱ्या प्रत्येक कॉलमसाठी सर्व वैशिष्ट्यांचा नकाशा आहे.

चिन्हे कशासाठी आहेत?

गुणधर्मांची संकल्पना महत्त्वाची आहे. फ्लोट आणि मजकूर वैशिष्ट्यांऐवजी, आम्ही प्रत्येक डेटा संसाधनातून थेट काढलेले कच्चे स्ट्रिंग नमुने पास करू शकतो. याव्यतिरिक्त, मशीन लर्निंग मॉडेल्सना प्रत्येक नमुन्यावर थेट प्रशिक्षित केले जाऊ शकते, केवळ नमुन्याचा अंदाज घेण्याचा प्रयत्न करणाऱ्या शेकडो वैशिष्ट्यांच्या गणनेपेक्षा. याची अनेक कारणे आहेत:

1. गोपनीयता प्रथम: सर्वात महत्त्वाचे म्हणजे, वैशिष्ट्यांची संकल्पना आम्हाला मेमरीमध्ये फक्त तेच नमुने साठवण्याची परवानगी देते जे आम्ही पुनर्प्राप्त करतो. हे सुनिश्चित करते की आम्ही एकाच उद्देशासाठी नमुने संग्रहित करतो आणि आमच्या स्वतःच्या प्रयत्नांद्वारे ते कधीही लॉग करत नाही. हे अस्थिर डेटासाठी विशेषतः महत्वाचे आहे, कारण सेवेने अंदाज प्रदान करण्यापूर्वी काही वर्गीकरण स्थिती राखली पाहिजे.
2. मेमरी: काही नमुने हजारो वर्णांचे असू शकतात. असा डेटा संचयित करणे आणि ते सिस्टमच्या काही भागांमध्ये प्रसारित करणे अनावश्यकपणे अनेक अतिरिक्त बाइट्स वापरतात. दोन घटक कालांतराने एकत्र होऊ शकतात, कारण हजारो स्तंभांसह अनेक डेटा संसाधने आहेत.
3. वैशिष्ट्य एकत्रीकरण: वैशिष्ट्ये प्रत्येक स्कॅनचे परिणाम वैशिष्ट्यांच्या संचाद्वारे स्पष्टपणे दर्शवतात, ज्यामुळे सिस्टमला समान डेटा संसाधनाच्या मागील स्कॅनचे परिणाम सोयीस्कर पद्धतीने एकत्र करता येतात. एकाधिक धावांवर एकाच डेटा संसाधनातून स्कॅन परिणाम एकत्रित करण्यासाठी हे उपयुक्त ठरू शकते.

वैशिष्ट्ये नंतर अंदाज सेवेकडे पाठवली जातात जिथे आम्ही प्रत्येक स्तंभाच्या डेटा लेबल्सचा अंदाज घेण्यासाठी नियम-आधारित वर्गीकरण आणि मशीन लर्निंग वापरतो. सेवा नियम वर्गीकरण आणि मशीन लर्निंग या दोन्हींवर अवलंबून असते आणि प्रत्येक प्रेडिक्शन ऑब्जेक्टमधून दिलेले सर्वोत्तम अंदाज निवडते.

नियम क्लासिफायर हे मॅन्युअल ह्युरिस्टिक्स आहेत, ते 0 ते 100 च्या श्रेणीत ऑब्जेक्टला सामान्य करण्यासाठी गणना आणि गुणांक वापरतात. एकदा त्या डेटाशी संबंधित प्रत्येक डेटा प्रकार आणि स्तंभाच्या नावासाठी असा प्रारंभिक स्कोअर तयार झाला की, तो कोणत्याही "बंदीमध्ये समाविष्ट केला जात नाही. सूची" ,नियम वर्गीकरणकर्ता, सर्व डेटा प्रकारांमध्ये सर्वाधिक सामान्यीकृत स्कोअर निवडतो.

वर्गीकरणाच्या जटिलतेमुळे, केवळ मॅन्युअल हेरिस्टिक्सवर अवलंबून राहिल्याने कमी वर्गीकरण अचूकता येते, विशेषत: असंरचित डेटासाठी. या कारणास्तव, आम्ही वापरकर्ता सामग्री आणि पत्ता यासारख्या असंरचित डेटाच्या वर्गीकरणासह कार्य करण्यासाठी मशीन शिक्षण प्रणाली विकसित केली आहे. मशीन लर्निंगमुळे मॅन्युअल ह्युरिस्टिक्सपासून दूर जाणे आणि अतिरिक्त डेटा सिग्नल लागू करणे शक्य झाले आहे (उदा. कॉलमची नावे, डेटा प्रोव्हेन्स), शोध अचूकता लक्षणीयरीत्या सुधारते. आम्ही नंतर आमच्या मशीन लर्निंग आर्किटेक्चरमध्ये खोलवर जाऊ.

अंदाज सेवा स्कॅनची वेळ आणि स्थिती संबंधित मेटाडेटासह प्रत्येक स्तंभासाठी परिणाम संग्रहित करते. या डेटावर अवलंबून असलेले कोणतेही ग्राहक आणि डाउनस्ट्रीम प्रक्रिया दररोज प्रकाशित डेटासेटवरून ते वाचू शकतात. हा संच या सर्व स्कॅन नोकऱ्यांचे किंवा रिअल-टाइम डेटा कॅटलॉग API चे परिणाम एकत्रित करतो. प्रकाशित अंदाज हे गोपनीयता आणि सुरक्षा धोरणांच्या स्वयंचलित अंमलबजावणीचा पाया आहेत.

शेवटी, पूर्वानुमान सेवेने सर्व डेटा लिहिल्यानंतर आणि सर्व अंदाज संग्रहित केल्यानंतर, आमचा डेटा कॅटलॉग API रिअल टाइममध्ये संसाधनासाठी सर्व डेटा प्रकार अंदाज परत करू शकतो. प्रणाली दररोज प्रत्येक मालमत्तेसाठी सर्व नवीनतम अंदाज असलेला डेटासेट प्रकाशित करते.

अस्थिर डेटा

उपरोक्त प्रक्रिया कायम ठेवलेल्या मालमत्तेसाठी डिझाइन केलेली असताना, सतत नसलेली रहदारी ही संस्थेच्या डेटाचा भाग मानली जाते आणि ती महत्त्वपूर्ण असू शकते. या कारणास्तव, प्रणाली कोणत्याही मधूनमधून येणाऱ्या रहदारीसाठी रिअल-टाइम वर्गीकरण अंदाज व्युत्पन्न करण्यासाठी ऑनलाइन API प्रदान करते. आउटबाउंड ट्रॅफिक, मशीन लर्निंग मॉडेल्स आणि जाहिरातदार डेटामध्ये इनबाउंड रहदारीचे वर्गीकरण करण्यासाठी रिअल-टाइम अंदाज प्रणालीचा मोठ्या प्रमाणावर वापर केला जातो.

येथे API दोन मुख्य युक्तिवाद घेते: ग्रुपिंग की आणि कच्चा डेटा जो अंदाज लावायचा आहे. सेवा वर वर्णन केल्याप्रमाणे समान ऑब्जेक्ट पुनर्प्राप्ती करते आणि त्याच की साठी ऑब्जेक्ट्स एकत्रित करते. ही वैशिष्ट्ये अयशस्वी पुनर्प्राप्तीसाठी पर्सिस्टन्स कॅशेमध्ये देखील समर्थित आहेत. प्रत्येक ग्रुपिंग कीसाठी, सेवेने वर वर्णन केलेल्या प्रक्रियेचे अनुसरण करून, भविष्यवाणी सेवेला कॉल करण्यापूर्वी पुरेसे नमुने पाहिले आहेत याची खात्री करते.

सर्वोत्तमीकरण

काही स्टोरेज स्कॅन करण्यासाठी, आम्ही हॉट स्टोरेज [२] मधून वाचन ऑप्टिमाइझ करण्यासाठी लायब्ररी आणि तंत्रांचा वापर करतो आणि त्याच स्टोरेजमध्ये प्रवेश करणार्‍या इतर वापरकर्त्यांकडून कोणतेही व्यत्यय येत नाहीत याची खात्री करतो.

अत्यंत मोठ्या टेबल्ससाठी (50+ पेटाबाइट्स), सर्व ऑप्टिमायझेशन्स आणि मेमरी कार्यक्षमता असूनही, सिस्टम मेमरी संपण्यापूर्वी सर्वकाही स्कॅन आणि गणना करण्यासाठी कार्य करते. शेवटी, स्कॅनची संपूर्णपणे मेमरीमध्ये गणना केली जाते आणि स्कॅन दरम्यान संग्रहित केली जात नाही. मोठ्या सारण्यांमध्ये डेटाच्या असंरचित क्लंपसह हजारो स्तंभ असल्यास, संपूर्ण टेबलवर अंदाज लावताना अपुऱ्या मेमरी संसाधनांमुळे कार्य अयशस्वी होऊ शकते. यामुळे कव्हरेज कमी होईल. याचा मुकाबला करण्यासाठी, सिस्टम सध्याच्या वर्कलोडला किती चांगल्या प्रकारे हाताळते यासाठी प्रॉक्सी म्हणून स्कॅन गती वापरण्यासाठी आम्ही सिस्टमला ऑप्टिमाइझ केले. आम्ही मेमरी समस्या पाहण्यासाठी आणि वैशिष्ट्य नकाशाची अंदाजानुसार गणना करण्यासाठी एक अंदाज यंत्रणा म्हणून वेग वापरतो. त्याच वेळी, आम्ही नेहमीपेक्षा कमी डेटा वापरतो.

डेटा सिग्नल

एक वर्गीकरण प्रणाली डेटा पासून सिग्नल म्हणून चांगले आहे. येथे आपण वर्गीकरण प्रणालीद्वारे वापरलेले सर्व सिग्नल पाहू.

• सामग्री आधारित: अर्थातच, पहिला आणि सर्वात महत्त्वाचा संकेत सामग्री आहे. बर्नौली सॅम्पलिंग प्रत्येक डेटा मालमत्तेवर केले जाते जे आम्ही डेटा सामग्रीवर आधारित वैशिष्ट्ये स्कॅन करतो आणि काढतो. सामग्रीमधून अनेक चिन्हे येतात. कितीही फ्लोटिंग ऑब्जेक्ट्स शक्य आहेत, जे विशिष्ट नमुना प्रकार किती वेळा पाहिला गेला याची गणना दर्शवतात. उदाहरणार्थ, आमच्याकडे नमुन्यात दिसलेल्या ईमेलच्या संख्येची चिन्हे किंवा नमुन्यात किती इमोजी दिसत आहेत याची चिन्हे असू शकतात. या वैशिष्ट्यांची गणना सामान्यीकृत केली जाऊ शकते आणि वेगवेगळ्या स्कॅनमध्ये एकत्रित केली जाऊ शकते.
• डेटा प्रोव्हेंन्स: एक महत्त्वाचा सिग्नल जो मूळ सारणीवरून सामग्री बदलली असताना मदत करू शकतो. हॅश केलेला डेटा हे एक सामान्य उदाहरण आहे. जेव्हा चाइल्ड टेबलमधील डेटा हॅश केला जातो, तेव्हा तो अनेकदा पॅरेंट टेबलमधून येतो, जिथे तो स्पष्ट असतो. वंश डेटा विशिष्ट प्रकारच्या डेटाचे वर्गीकरण करण्यात मदत करते जेव्हा ते स्पष्टपणे वाचले जात नाहीत किंवा अपस्ट्रीम टेबलमधून रूपांतरित केले जातात.
• भाष्य: आणखी एक उच्च-गुणवत्तेचा सिग्नल जो असंरचित डेटा ओळखण्यात मदत करतो. खरं तर, विविध डेटा मालमत्तेवर गुणधर्मांचा प्रसार करण्यासाठी भाष्ये आणि मूळ डेटा एकत्रितपणे कार्य करू शकतात. भाष्ये असंरचित डेटाचा स्रोत ओळखण्यात मदत करतात, तर वंश डेटा संपूर्ण रेपॉजिटरीमध्ये डेटाच्या प्रवाहाचा मागोवा घेण्यास मदत करू शकतात.
• डेटा इंजेक्शन हे एक तंत्र आहे जिथे विशेष, न वाचता येणारे वर्ण जाणूनबुजून ज्ञात डेटा प्रकारांच्या ज्ञात स्त्रोतांमध्ये सादर केले जातात. त्यानंतर, जेव्हाही आम्ही समान न वाचता येणार्‍या वर्ण क्रमाने सामग्री स्कॅन करतो, तेव्हा आम्ही अनुमान काढू शकतो की सामग्री त्या ज्ञात डेटा प्रकारातून आली आहे. हे भाष्यांसारखेच आणखी एक गुणात्मक डेटा सिग्नल आहे. त्याशिवाय सामग्री-आधारित शोध प्रविष्ट केलेला डेटा शोधण्यात मदत करते.

मेट्रिक्स मोजणे

एक महत्त्वाचा घटक म्हणजे मेट्रिक्स मोजण्यासाठी कठोर पद्धत. वर्गीकरण सुधारणा पुनरावृत्तीसाठी मुख्य मेट्रिक्स प्रत्येक लेबलची अचूकता आणि रिकॉल आहेत, ज्यामध्ये F2 स्कोअर सर्वात महत्वाचा आहे.

या मेट्रिक्सची गणना करण्यासाठी, डेटा मालमत्ता लेबलिंगसाठी स्वतंत्र पद्धत आवश्यक आहे जी सिस्टमपासून स्वतंत्र आहे, परंतु त्याच्याशी थेट तुलना करण्यासाठी वापरली जाऊ शकते. खाली आम्ही वर्णन करतो की आम्ही Facebook वरून ग्राउंड सत्य कसे गोळा करतो आणि आमच्या वर्गीकरण प्रणालीला प्रशिक्षित करण्यासाठी त्याचा वापर करतो.

विश्वसनीय डेटाचे संकलन

आम्ही खाली सूचीबद्ध केलेल्या प्रत्येक स्त्रोताकडून त्याच्या स्वतःच्या सारणीमध्ये विश्वसनीय डेटा जमा करतो. प्रत्येक सारणी त्या विशिष्ट स्त्रोताकडील नवीनतम निरीक्षण मूल्ये एकत्रित करण्यासाठी जबाबदार आहे. प्रत्येक स्रोतासाठी निरीक्षण केलेली मूल्ये उच्च दर्जाची आहेत आणि त्यात नवीनतम डेटा प्रकार लेबले आहेत याची खात्री करण्यासाठी प्रत्येक स्त्रोतामध्ये डेटा गुणवत्ता तपासणी असते.

• लॉगिंग प्लॅटफॉर्म कॉन्फिगरेशन: हाइव्ह टेबलमधील काही फील्ड विशिष्ट प्रकारच्या डेटाने भरलेली असतात. या डेटाचा वापर आणि प्रसार सत्याचा एक विश्वासार्ह स्रोत म्हणून काम करतो.
• मॅन्युअल लेबलिंग: सिस्टीमची देखरेख करणारे विकासक तसेच बाह्य लेबलर यांना स्तंभ लेबल करण्यासाठी प्रशिक्षित केले जाते. हे सामान्यतः वेअरहाऊसमधील सर्व प्रकारच्या डेटासाठी चांगले कार्य करते आणि संदेश डेटा किंवा वापरकर्ता सामग्री यासारख्या काही असंरचित डेटासाठी सत्याचा प्राथमिक स्रोत असू शकतो.
• पालक सारण्यांवरील स्तंभ विशिष्ट डेटा असलेले म्हणून चिन्हांकित किंवा भाष्य केले जाऊ शकतात आणि आम्ही त्या डेटाचा मुलांच्या सारण्यांमध्ये मागोवा घेऊ शकतो.
• अंमलबजावणीचे धागे आणत आहे: Facebook मधील अंमलबजावणीचे धागे विशिष्ट प्रकारचे डेटा असतात. आमच्या स्कॅनरचा सर्व्हिस आर्किटेक्चर म्हणून वापर करून, आम्ही ज्ञात डेटा प्रकार असलेल्या प्रवाहांचे नमुने करू शकतो आणि ते सिस्टमद्वारे पाठवू शकतो. प्रणाली हा डेटा संचयित न करण्याचे वचन देते.
• नमुना तक्ते: मोठ्या पोळ्याच्या सारण्या, ज्यात संपूर्ण डेटा कॉर्पस आहे म्हणून ओळखले जाते, ते प्रशिक्षण डेटा म्हणून देखील वापरले जाऊ शकतात आणि स्कॅनरमधून सेवा म्हणून पास केले जाऊ शकतात. डेटा प्रकारांची संपूर्ण श्रेणी असलेल्या सारण्यांसाठी हे उत्तम आहे, जेणेकरून यादृच्छिकपणे स्तंभाचा नमुना घेणे त्या डेटा प्रकाराच्या संपूर्ण संचाचे नमुने घेण्यासारखे आहे.
• सिंथेटिक डेटा: आम्ही लायब्ररी देखील वापरू शकतो जे फ्लायवर डेटा तयार करतात. हे साध्या, सार्वजनिक डेटा प्रकार जसे की पत्ता किंवा GPS साठी चांगले कार्य करते.
• डेटा स्टीवर्ड्स: प्रायव्हसी प्रोग्राम्स डेटाच्या तुकड्यांमध्ये मॅन्युअली पॉलिसी नियुक्त करण्यासाठी डेटा स्टीवर्ड्सचा वापर करतात. हे सत्याचा अत्यंत अचूक स्रोत म्हणून काम करते.

आम्ही सत्याचा प्रत्येक प्रमुख स्त्रोत त्या सर्व डेटासह एका कॉर्पसमध्ये एकत्र करतो. वैधतेसह सर्वात मोठे आव्हान म्हणजे ते डेटा रिपॉझिटरीचे प्रतिनिधी असल्याचे सुनिश्चित करणे. अन्यथा, वर्गीकरण इंजिन ओव्हरट्रेन करू शकतात. याचा मुकाबला करण्यासाठी, वरील सर्व स्रोतांचा वापर मॉडेल्सचे प्रशिक्षण देताना किंवा मेट्रिक्सची गणना करताना शिल्लक सुनिश्चित करण्यासाठी केला जातो. याव्यतिरिक्त, मानवी लेबलर रेपॉजिटरीमधील वेगवेगळ्या स्तंभांचे एकसमान नमुने तयार करतात आणि त्यानुसार डेटा लेबल करतात जेणेकरुन ग्राउंड सत्याचे संकलन निष्पक्ष राहते.

सतत एकात्मता

जलद पुनरावृत्ती आणि सुधारणा सुनिश्चित करण्यासाठी, रिअल टाइममध्ये नेहमी सिस्टम कार्यप्रदर्शन मोजणे महत्वाचे आहे. आम्ही आज प्रणालीच्या विरूद्ध प्रत्येक वर्गीकरण सुधारणा मोजू शकतो, म्हणून आम्ही डेटाच्या आधारे भविष्यातील सुधारणांचे कुशलतेने मार्गदर्शन करू शकतो. येथे आम्ही वैध डेटाद्वारे प्रदान केलेला फीडबॅक लूप सिस्टम कसा पूर्ण करतो ते पाहू.

जेव्हा शेड्युलिंग सिस्टमला विश्वासार्ह स्त्रोताकडून लेबल असलेली मालमत्ता आढळते, तेव्हा आम्ही दोन कार्ये शेड्यूल करतो. प्रथम आमचे उत्पादन स्कॅनर आणि अशा प्रकारे आमची उत्पादन क्षमता वापरते. दुसरे कार्य नवीनतम वैशिष्ट्यांसह नवीनतम बिल्ड स्कॅनर वापरते. प्रत्येक कार्य त्याचे आउटपुट स्वतःच्या टेबलवर लिहिते, वर्गीकरण परिणामांसह आवृत्त्यांना टॅग करते.

रिअल टाइममध्ये आम्ही रिलीझ उमेदवाराचे वर्गीकरण परिणाम आणि उत्पादन मॉडेलची अशा प्रकारे तुलना करतो.

डेटासेट RC आणि PROD वैशिष्ट्यांची तुलना करत असताना, प्रेडिक्शन सेवेच्या ML वर्गीकरण इंजिनच्या अनेक भिन्नता लॉग केल्या आहेत. सर्वात अलीकडे तयार केलेले मशीन लर्निंग मॉडेल, उत्पादनातील सध्याचे मॉडेल आणि कोणतेही प्रायोगिक मॉडेल. हाच दृष्टिकोन आम्हाला मॉडेलच्या वेगवेगळ्या आवृत्त्या (आमच्या नियम वर्गीकरणासाठी अज्ञेयवादी) "स्लाइस" करण्याची आणि रिअल टाइममध्ये मेट्रिक्सची तुलना करण्यास अनुमती देतो. हे ML प्रयोग उत्पादनात जाण्यासाठी केव्हा तयार आहे हे निर्धारित करणे सोपे करते.

प्रत्येक रात्री, त्या दिवसासाठी गणना केलेली RC वैशिष्ट्ये ML प्रशिक्षण पाइपलाइनवर पाठविली जातात, जिथे मॉडेलला नवीनतम RC वैशिष्ट्यांवर प्रशिक्षण दिले जाते आणि ग्राउंड ट्रूथ डेटासेटच्या विरूद्ध त्याच्या कामगिरीचे मूल्यांकन केले जाते.

दररोज सकाळी, मॉडेल प्रशिक्षण पूर्ण करते आणि आपोआप प्रायोगिक मॉडेल म्हणून प्रकाशित केले जाते. ते आपोआप प्रायोगिक सूचीमध्ये समाविष्ट केले जाते.

काही परिणाम

100 पेक्षा जास्त विविध प्रकारचे डेटा उच्च अचूकतेसह लेबल केले आहेत. ईमेल आणि फोन नंबर यासारखे सु-संरचित प्रकार ०.९५ पेक्षा जास्त f2 स्कोअरसह वर्गीकृत केले जातात. मोफत डेटा प्रकार जसे की वापरकर्ता-व्युत्पन्न सामग्री आणि नाव देखील चांगले कार्य करते, F0,95 स्कोअर 2 पेक्षा जास्त आहेत.

पर्सिस्टंट आणि अस्थिर डेटाच्या मोठ्या संख्येने वैयक्तिक कॉलम्स दररोज सर्व रिपॉझिटरीजमध्ये वर्गीकृत केले जातात. 500 पेक्षा जास्त डेटा वेअरहाऊसमध्ये दररोज 10 पेक्षा जास्त टेराबाइट स्कॅन केले जातात. यापैकी बहुतेक रेपॉजिटरीजमध्ये 98% पेक्षा जास्त कव्हरेज आहे.

कालांतराने, वर्गीकरण खूप कार्यक्षम झाले आहे, कायम ऑफलाइन प्रवाहात वर्गीकरण नोकऱ्यांना मालमत्ता स्कॅन करण्यापासून प्रत्येक स्तंभासाठी अंदाज मोजण्यासाठी सरासरी 35 सेकंद लागतात.

तांदूळ. 2. आरसी ऑब्जेक्ट्स कसे तयार केले जातात आणि मॉडेलला कसे पाठवले जातात हे समजून घेण्यासाठी सतत एकीकरण प्रवाहाचे वर्णन करणारा आकृती.

आकृती 3. मशीन लर्निंग घटकाचा उच्च-स्तरीय आकृती.

मशीन लर्निंग सिस्टम घटक

मागील विभागात, आम्ही संपूर्ण सिस्टम आर्किटेक्चर, हायलाइटिंग स्केल, ऑप्टिमायझेशन आणि ऑफलाइन आणि ऑनलाइन डेटा प्रवाहात खोलवर जा. या विभागात, आम्ही अंदाज सेवेकडे लक्ष देऊ आणि मशीन लर्निंग सिस्टमचे वर्णन करू जे पूर्वानुमान सेवेला सामर्थ्य देते.

100 पेक्षा जास्त डेटा प्रकार आणि काही असंरचित सामग्री जसे की संदेश डेटा आणि वापरकर्ता सामग्री, पूर्णपणे मॅन्युअल ह्युरिस्टिक्स वापरून सबपॅरामेट्रिक वर्गीकरण अचूकतेमध्ये परिणाम होतो, विशेषत: असंरचित डेटासाठी. या कारणास्तव, आम्ही असंरचित डेटाच्या गुंतागुंतांना सामोरे जाण्यासाठी मशीन लर्निंग सिस्टम देखील विकसित केली आहे. मशीन लर्निंग वापरल्याने तुम्हाला मॅन्युअल ह्युरिस्टिक्सपासून दूर जाण्यास आणि अचूकता सुधारण्यासाठी वैशिष्ट्ये आणि अतिरिक्त डेटा सिग्नल (उदाहरणार्थ, कॉलमची नावे, डेटा मूळ) सह कार्य करण्यास अनुमती मिळते.

अंमलात आणलेले मॉडेल दाट आणि विरळ वस्तूंवर वेक्टर प्रतिनिधित्व [३] चा स्वतंत्रपणे अभ्यास करते. हे नंतर एक वेक्टर तयार करण्यासाठी एकत्र केले जातात, जे बॅच नॉर्मलायझेशन [४] च्या मालिकेतून जाते आणि अंतिम परिणाम तयार करण्यासाठी नॉनलाइनरिटी पायऱ्यांमधून जातात. अंतिम परिणाम म्हणजे प्रत्येक लेबलसाठी [3-4] दरम्यान फ्लोटिंग पॉइंट क्रमांक आहे, जे उदाहरण त्या संवेदनशीलतेच्या प्रकाराशी संबंधित असल्याची संभाव्यता दर्शवते. मॉडेलसाठी PyTorch वापरल्याने आम्हाला जलद हालचाल करण्याची अनुमती दिली, ज्यामुळे संघाबाहेरील विकसकांना त्वरीत बदल करण्याची आणि चाचणी करण्याची अनुमती दिली.

आर्किटेक्चरची रचना करताना, विरळ (उदा. मजकूर) आणि दाट (उदा. संख्यात्मक) वस्तू त्यांच्यातील अंतर्भूत फरकांमुळे स्वतंत्रपणे मॉडेल करणे महत्त्वाचे होते. अंतिम आर्किटेक्चरसाठी, शिकण्याचा दर, बॅच आकार आणि इतर हायपरपॅरामीटर्ससाठी इष्टतम मूल्य शोधण्यासाठी पॅरामीटर स्वीप करणे देखील महत्त्वाचे होते. ऑप्टिमायझरची निवड देखील एक महत्त्वाचा हायपरपॅरामीटर होता. आम्हाला ते एक लोकप्रिय ऑप्टिमायझर आढळले आदामअनेकदा overfitting ठरतो, तर एक मॉडेल सह SGD अधिक स्थिर. तेथे अतिरिक्त बारकावे आहेत ज्या आम्हाला थेट मॉडेलमध्ये समाविष्ट कराव्या लागल्या. उदाहरणार्थ, वैशिष्ट्याचे विशिष्ट मूल्य असते तेव्हा मॉडेल एक निर्धारवादी अंदाज करते याची खात्री करणारे स्थिर नियम. हे स्थिर नियम आमच्या क्लायंटद्वारे परिभाषित केले जातात. आम्हाला आढळले की त्यांना थेट मॉडेलमध्ये समाविष्ट केल्याने अधिक स्वयंपूर्ण आणि मजबूत आर्किटेक्चर प्राप्त झाले, या विशेष धार केसेस हाताळण्यासाठी पोस्ट-प्रोसेसिंग चरण लागू करण्याऐवजी. हे देखील लक्षात घ्या की हे नियम प्रशिक्षणादरम्यान अक्षम केले आहेत जेणेकरून ग्रेडियंट डिसेंट प्रशिक्षण प्रक्रियेत व्यत्यय येऊ नये.

समस्या

उच्च-गुणवत्तेचा, विश्वासार्ह डेटा गोळा करणे हे एक आव्हान होते. मॉडेलला प्रत्येक वर्गासाठी आत्मविश्वास आवश्यक आहे जेणेकरून ते ऑब्जेक्ट्स आणि लेबल्समधील संबंध शिकू शकेल. मागील विभागात, आम्ही सिस्टम मापन आणि मॉडेल प्रशिक्षण या दोन्हीसाठी डेटा संकलन पद्धतींवर चर्चा केली. विश्लेषणात असे दिसून आले की क्रेडिट कार्ड आणि बँक खाते क्रमांक यासारखे डेटा वर्ग आमच्या गोदामात फारसे सामान्य नाहीत. यामुळे प्रशिक्षित मॉडेल्ससाठी मोठ्या प्रमाणात विश्वसनीय डेटा गोळा करणे कठीण होते. या समस्येचे निराकरण करण्यासाठी, आम्ही या वर्गांसाठी सिंथेटिक ग्राउंड सत्य डेटा प्राप्त करण्यासाठी प्रक्रिया विकसित केली आहे. आम्ही यासह संवेदनशील प्रकारांसाठी असा डेटा व्युत्पन्न करतो SSN, क्रेडिट कार्ड क्रमांक и IBAN पुन्हा-ज्या संख्यांसाठी मॉडेल पूर्वी अंदाज लावू शकत नव्हते. हा दृष्टिकोन वास्तविक संवेदनशील डेटा लपविण्याशी संबंधित गोपनीयता जोखमींशिवाय संवेदनशील डेटा प्रकारांवर प्रक्रिया करण्याची परवानगी देतो.

ग्राउंड सत्य समस्यांव्यतिरिक्त, आम्ही काम करत आहोत अशा खुल्या वास्तुशास्त्रीय समस्या आहेत, जसे की अलगाव बदला и लवकर थांबा. जेव्हा नेटवर्कच्या वेगवेगळ्या भागांमध्ये वेगवेगळे बदल केले जातात, तेव्हा त्याचा प्रभाव विशिष्ट वर्गांसाठी वेगळा केला जातो आणि एकूण अंदाज कार्यक्षमतेवर त्याचा व्यापक प्रभाव पडत नाही याची खात्री करण्यासाठी बदल वेगळे करणे महत्त्वाचे आहे. लवकर थांबण्याचे निकष सुधारणे देखील महत्त्वाचे आहे जेणेकरुन आम्ही प्रशिक्षण प्रक्रिया सर्व वर्गांसाठी स्थिर बिंदूवर थांबवू शकतो, ज्या ठिकाणी काही वर्ग ओव्हरट्रेन करतात आणि इतर करत नाहीत.

वैशिष्ट्य महत्त्व

जेव्हा एखादे नवीन वैशिष्ट्य मॉडेलमध्ये सादर केले जाते, तेव्हा आम्ही मॉडेलवर त्याचा एकूण प्रभाव जाणून घेऊ इच्छितो. आम्ही हे देखील सुनिश्चित करू इच्छितो की अंदाज मानवी अर्थ लावता येण्याजोगे आहेत जेणेकरून प्रत्येक प्रकारच्या डेटासाठी कोणती वैशिष्ट्ये वापरली जात आहेत हे आम्हाला समजू शकेल. या उद्देशाने आम्ही विकसित केले आहे आणि ओळख करून दिली आहे वर्गानुसार PyTorch मॉडेलसाठी वैशिष्ट्यांचे महत्त्व. लक्षात घ्या की हे एकंदर वैशिष्ट्य महत्त्वापेक्षा वेगळे आहे, जे सहसा समर्थित असते, कारण ते आम्हाला सांगत नाही की विशिष्ट वर्गासाठी कोणती वैशिष्ट्ये महत्त्वाची आहेत. ऑब्जेक्टची पुनर्रचना केल्यावर प्रेडिक्शन एररमध्ये झालेली वाढ मोजून आम्ही ऑब्जेक्टचे महत्त्व मोजतो. जेव्हा व्हॅल्यू अदलाबदल केल्याने मॉडेलची त्रुटी वाढते तेव्हा वैशिष्ट्य "महत्त्वाचे" असते कारण या प्रकरणात मॉडेल त्याची भविष्यवाणी करण्यासाठी वैशिष्ट्यावर अवलंबून होते. वैशिष्‍ट्य "बिनमहत्त्वाचे" असते जेव्हा त्याची व्हॅल्यू शफल केल्याने मॉडेल एरर अपरिवर्तित राहते, कारण या प्रकरणात मॉडेलने त्याकडे दुर्लक्ष केले [५].

प्रत्येक वर्गासाठी वैशिष्ट्याचे महत्त्व आम्‍हाला मॉडेलचे अर्थ लावण्‍यायोग्य बनविण्‍याची अनुमती देते जेणेकरून लेबलचा अंदाज लावताना मॉडेल काय पाहत आहे ते पाहू शकतो. उदाहरणार्थ, जेव्हा आपण विश्लेषण करतो एडीडीआर, नंतर आम्ही हमी देतो की पत्त्याशी संबंधित चिन्ह, जसे की AddressLinesCount, प्रत्‍येक वर्गासाठी वैशिष्‍ट्‍य महत्‍त्‍वाच्‍या सारणीमध्‍ये वरचे स्थान आहे जेणेकरून आमची मानवी अंतर्ज्ञान मॉडेलने शिकलेल्या गोष्टींशी चांगले जुळते.

मूल्यमापन

यशासाठी एकच मेट्रिक परिभाषित करणे महत्त्वाचे आहे. आम्ही निवडले F2 - रिकॉल आणि अचूकता यांच्यातील समतोल (आठवण पूर्वाग्रह थोडा मोठा आहे). गोपनीयतेच्या वापरासाठी अचूकतेपेक्षा रिकॉल अधिक महत्त्वाचे आहे कारण टीमने कोणताही संवेदनशील डेटा चुकवू नये (वाजवी अचूकता सुनिश्चित करताना) हे महत्त्वाचे आहे. आमच्या मॉडेलचे वास्तविक F2 कार्यप्रदर्शन मूल्यमापन या पेपरच्या व्याप्तीच्या पलीकडे आहे. तथापि, काळजीपूर्वक ट्यूनिंग करून आम्ही सर्वात महत्त्वाच्या संवेदनशील वर्गांसाठी उच्च (0,9+) F2 स्कोअर मिळवू शकतो.

संबधित काम

पॅटर्न मॅचिंग, दस्तऐवज समानता शोध आणि विविध मशीन लर्निंग पद्धती (बायेशियन, निर्णय वृक्ष, के-जवळचे शेजारी आणि इतर अनेक) [६] यासारख्या विविध पद्धती वापरून असंरचित दस्तऐवजांच्या स्वयंचलित वर्गीकरणासाठी अनेक अल्गोरिदम आहेत. यापैकी कोणतेही वर्गीकरणाचा भाग म्हणून वापरले जाऊ शकते. तथापि, समस्या स्केलेबिलिटी आहे. या लेखातील वर्गीकरण दृष्टीकोन लवचिकता आणि कार्यक्षमतेसाठी पक्षपाती आहे. हे आम्हाला भविष्यात नवीन वर्गांना समर्थन देण्यास आणि विलंब कमी ठेवण्यास अनुमती देते.

डेटा फिंगरप्रिंटिंगवरही खूप काम आहे. उदाहरणार्थ, [७] मधील लेखकांनी एक उपाय वर्णन केला आहे जो संवेदनशील डेटा लीक कॅप्चर करण्याच्या समस्येवर लक्ष केंद्रित करतो. अंतर्निहित गृहितक असा आहे की डेटा ओळखल्या जाणार्‍या संवेदनशील डेटाच्या संचाशी जुळण्यासाठी फिंगरप्रिंट केला जाऊ शकतो. [८] मधील लेखकांनी गोपनीयता गळतीच्या समान समस्येचे वर्णन केले आहे, परंतु त्यांचे निराकरण विशिष्ट Android आर्किटेक्चरवर आधारित आहे आणि जर वापरकर्त्याच्या कृतीमुळे वैयक्तिक माहिती सामायिक झाली किंवा अंतर्निहित अनुप्रयोग वापरकर्त्याचा डेटा लीक झाला तरच त्याचे वर्गीकरण केले जाईल. येथे परिस्थिती थोडी वेगळी आहे कारण वापरकर्ता डेटा देखील अत्यंत असंरचित असू शकतो. म्हणून, आपल्याला फिंगरप्रिंटिंगपेक्षा अधिक जटिल तंत्राची आवश्यकता आहे.

शेवटी, काही प्रकारच्या संवेदनशील डेटासाठी डेटाच्या कमतरतेचा सामना करण्यासाठी, आम्ही सिंथेटिक डेटा सादर केला. डेटा ऑगमेंटेशनवर मोठ्या प्रमाणात साहित्य आहे, उदाहरणार्थ, [9] मधील लेखकांनी प्रशिक्षणादरम्यान आवाज इंजेक्शनची भूमिका शोधली आणि पर्यवेक्षी शिक्षणात सकारात्मक परिणाम पाहिले. गोपनीयतेसाठी आमचा दृष्टीकोन वेगळा आहे कारण गोंगाट करणारा डेटा सादर करणे प्रतिकूल असू शकते आणि आम्ही त्याऐवजी उच्च-गुणवत्तेच्या कृत्रिम डेटावर लक्ष केंद्रित करतो.

निष्कर्ष

या पेपरमध्ये, आम्ही एक प्रणाली सादर केली जी डेटाच्या तुकड्याचे वर्गीकरण करू शकते. हे आम्हाला गोपनीयता आणि सुरक्षा धोरणांची अंमलबजावणी करण्यासाठी सिस्टम तयार करण्यास अनुमती देते. आम्‍ही दाखवून दिले आहे की स्केलेबल पायाभूत सुविधा, सतत एकत्रीकरण, मशीन लर्निंग आणि उच्च-गुणवत्तेची डेटा हमी आमच्या अनेक गोपनीयता उपक्रमांच्या यशात महत्त्वाची भूमिका बजावतात.

भविष्यातील कामासाठी अनेक दिशा आहेत. यामध्ये अनस्कीमॅटाइज्ड डेटा (फाईल्स) साठी समर्थन प्रदान करणे, केवळ डेटा प्रकारच नव्हे तर संवेदनशीलता पातळीचे वर्गीकरण करणे आणि अचूक कृत्रिम उदाहरणे तयार करून प्रशिक्षणादरम्यान स्वयं-पर्यवेक्षित शिक्षण वापरणे समाविष्ट असू शकते. जे, यामधून, मॉडेलला मोठ्या प्रमाणात नुकसान कमी करण्यास मदत करेल. भविष्यातील कार्य तपास कार्यप्रवाहावर देखील लक्ष केंद्रित करू शकते, जिथे आम्ही शोधण्याच्या पलीकडे जातो आणि विविध गोपनीयता उल्लंघनांचे मूळ कारण विश्लेषण प्रदान करतो. हे संवेदनशीलता विश्लेषणासारख्या प्रकरणांमध्ये मदत करेल (म्हणजे डेटा प्रकाराची गोपनीयता संवेदनशीलता जास्त आहे (उदा. वापरकर्ता IP) किंवा कमी आहे (उदा. Facebook अंतर्गत IP)).

ग्रंथसंग्रह

1. डेव्हिड बेन-डेव्हिड, तामार डोमनी आणि अबीगेल तारेम. सिमेंटिक वेब तंत्रज्ञान वापरून एंटरप्राइझ डेटा वर्गीकरण. पीटर एफ.Ï पटेल-श्नायडर, यू पॅन, पास्कल हिट्झलर, पीटर मिका, लेई झांग, जेफ झेड पॅन, इयान हॉरॉक्स आणि बिर्टे ग्लिम, संपादक, सिमेंटिक वेब – ISWC 2010, पृष्ठे 66–81, बर्लिन, हेडलबर्ग, 2010. स्प्रिंगर बर्लिन हेडलबर्ग.
2. सुब्रमण्यम मुरलीधर, व्याट लॉयड, सब्यसाची रॉय, कोरी हिल, अर्नेस्ट लिन, वेईवेन लिऊ, सताद्रू पान, शिवा शंकर, विश्वनाथ शिवकुमार, लिनपेंग तांग आणि संजीव कुमार. f4: Facebook ची उबदार BLOB स्टोरेज सिस्टम. मध्ये ऑपरेटिंग सिस्टम डिझाइन आणि अंमलबजावणी (OSDI 11) वर 14 व्या USENIX सिम्पोजियम, पृष्ठे 383–398, Broomfield, CO, ऑक्टोबर 2014. USENIX असोसिएशन.
3. टॉमस मिकोलोव्ह, इल्या सुत्स्केव्हर, काई चेन, ग्रेग एस कोराडो आणि जेफ डीन. शब्द आणि वाक्प्रचार आणि त्यांची रचना यांचे वितरीत प्रतिनिधित्व. C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, संपादकांमध्ये, न्यूरल इन्फॉर्मेशन प्रोसेसिंग सिस्टम्समधील प्रगती 26, पृष्ठे 3111–3119. Curran Associates, Inc., 2013.
4. सर्जी इओफे आणि ख्रिश्चन झेगेडी. बॅच सामान्यीकरण: अंतर्गत कोव्हरिएट शिफ्ट कमी करून सखोल नेटवर्क प्रशिक्षणाला गती देणे. फ्रान्सिस बाख आणि डेव्हिड ब्लेई, संपादकांमध्ये, मशीन लर्निंगवरील 32 व्या आंतरराष्ट्रीय परिषदेची कार्यवाही, खंड 37 मशीन लर्निंग संशोधनाची कार्यवाही, पृष्ठे ४४८–४५६, लिले, फ्रान्स, ०७–०९ जुलै २०१५. पीएमएलआर.
5. लिओ ब्रेमन. यादृच्छिक जंगले. माच. शिका., 45(1):5–32, ऑक्टोबर 2001.
6. थायर नु फ्यु. डेटा मायनिंगमधील वर्गीकरण तंत्रांचे सर्वेक्षण.
7. एक्स. शू, डी. याओ आणि ई. बर्टिनो. संवेदनशील डेटा एक्सपोजरची गोपनीयता-संरक्षण शोध. माहिती फॉरेन्सिक्स आणि सुरक्षिततेवर IEEE व्यवहार, 10(5):1092–1103, 2015.
8. झेमिन यांग, मिन यांग, युआन झांग, गुओफेई गु, पेंग निंग आणि झिओयांग वांग. नियुक्त: गोपनीयता गळती शोधण्यासाठी android मध्ये संवेदनशील डेटा ट्रान्समिशनचे विश्लेषण करणे. पृष्ठे 1043–1054, 11 2013.
9. किझे झी, झिहांग दाई, एडुआर्ड एच. हॉवी, मिन्ह-थांग लुओंग आणि क्वोक व्ही. ले. पर्यवेक्षित डेटा वाढवणे.

स्किलफॅक्टरी ऑनलाइन कोर्सेस घेऊन कौशल्य आणि पगाराच्या बाबतीत सुरवातीपासून किंवा लेव्हल अप कसा मिळवायचा याबद्दल तपशील शोधा:

• डेटा सायन्सचा व्यवसाय सुरवातीपासून शिकवणे (12 महिने)
• मशीन लर्निंग कोर्स (६ आठवडे)
• प्रगत अभ्यासक्रम "मशीन लर्निंग प्रो + डीप लर्निंग" (६ आठवडे)
• कोर्स "डेटा सायन्ससाठी गणित आणि मशीन लर्निंग" (६ आठवडे)

अधिक अभ्यासक्रम

• वेब डेव्हलपमेंट कोर्ससाठी पायथन (9 महिने)
• प्रोफेशन वेब डेव्हलपर (8 महिने)
• कोणत्याही प्रारंभिक स्तरावर विश्लेषक व्यवसाय (9 महिने)
• DevOps कोर्स (12 महिने)
• प्रोफेशन जावा डेव्हलपर सुरवातीपासून (18 महिने)
• जावास्क्रिप्ट कोर्स (12 महिने)
• प्रोफेशन UX डिझायनर सुरवातीपासून (9 महिने)
• व्यवसाय वेब डिझायनर (7 महिने)

स्त्रोत: www.habr.com