सुरक्षा और गोपनीयता के लिए स्केलेबल डेटा वर्गीकरण

सामग्री-आधारित डेटा वर्गीकरण एक खुली समस्या है। पारंपरिक डेटा हानि रोकथाम (डीएलपी) सिस्टम प्रासंगिक डेटा को फ़िंगरप्रिंट करके और फ़िंगरप्रिंटिंग के लिए अंतिम बिंदुओं की निगरानी करके इस समस्या का समाधान करते हैं। फेसबुक पर लगातार बदलते डेटा संसाधनों की बड़ी संख्या को देखते हुए, यह दृष्टिकोण न केवल स्केलेबल नहीं है, बल्कि यह निर्धारित करने के लिए भी अप्रभावी है कि डेटा कहाँ रहता है। यह पेपर बड़े पैमाने पर फेसबुक में संवेदनशील अर्थ प्रकारों का पता लगाने और स्वचालित रूप से डेटा भंडारण और पहुंच नियंत्रण को लागू करने के लिए बनाई गई एंड-टू-एंड प्रणाली पर केंद्रित है।

यहां वर्णित दृष्टिकोण हमारी पहली एंड-टू-एंड गोपनीयता प्रणाली है जो फेसबुक पर सभी डेटा को मैप और वर्गीकृत करने के लिए डेटा सिग्नल, मशीन लर्निंग और पारंपरिक फिंगरप्रिंटिंग तकनीकों को शामिल करके इस समस्या को हल करने का प्रयास करती है। वर्णित प्रणाली एक उत्पादन वातावरण में संचालित होती है, जो दर्जनों रिपॉजिटरी में बड़ी मात्रा में डेटा संसाधनों को संसाधित करते समय विभिन्न गोपनीयता वर्गों में 2+ का औसत F0,9 स्कोर प्राप्त करती है। पेश है मशीन लर्निंग पर आधारित सुरक्षा और गोपनीयता के लिए स्केलेबल डेटा वर्गीकरण पर फेसबुक के ArXiv पेपर का अनुवाद।

परिचय

आज, संगठन विभिन्न स्वरूपों और स्थानों में बड़ी मात्रा में डेटा एकत्र और संग्रहीत करते हैं [1], फिर डेटा को कई स्थानों पर उपभोग किया जाता है, कभी-कभी कई बार कॉपी या कैश किया जाता है, जिसके परिणामस्वरूप मूल्यवान और संवेदनशील व्यावसायिक जानकारी कई एंटरप्राइज़ डेटा में बिखर जाती है। भंडार. जब किसी संगठन को कुछ कानूनी या नियामक आवश्यकताओं को पूरा करने की आवश्यकता होती है, जैसे कि नागरिक कार्यवाही में नियमों का अनुपालन, तो आवश्यक डेटा के स्थान के बारे में डेटा एकत्र करना आवश्यक हो जाता है। जब गोपनीयता विनियमन में कहा गया है कि किसी संगठन को अनधिकृत संस्थाओं के साथ व्यक्तिगत जानकारी साझा करते समय सभी सामाजिक सुरक्षा नंबरों (एसएसएन) को छिपाना होगा, तो स्वाभाविक पहला कदम संगठन के डेटा स्टोर में सभी एसएसएन की खोज करना है। ऐसी परिस्थितियों में, डेटा वर्गीकरण महत्वपूर्ण हो जाता है [1]। वर्गीकरण प्रणाली संगठनों को गोपनीयता और सुरक्षा नीतियों को स्वचालित रूप से लागू करने की अनुमति देगी, जैसे पहुंच नियंत्रण नीतियों, डेटा प्रतिधारण को सक्षम करना। फेसबुक एक ऐसा सिस्टम पेश कर रहा है जिसे हमने फेसबुक पर बनाया था जो संवेदनशील सिमेंटिक डेटा प्रकारों की खोज के लिए कई डेटा सिग्नल, स्केलेबल सिस्टम आर्किटेक्चर और मशीन लर्निंग का उपयोग करता है।

डेटा खोज और वर्गीकरण डेटा को खोजने और लेबल करने की प्रक्रिया है ताकि जरूरत पड़ने पर प्रासंगिक जानकारी जल्दी और कुशलता से प्राप्त की जा सके। वर्तमान प्रक्रिया प्रकृति में मैनुअल है और इसमें प्रासंगिक कानूनों या विनियमों की जांच करना, यह निर्धारित करना शामिल है कि किस प्रकार की जानकारी को संवेदनशील माना जाना चाहिए और संवेदनशीलता के विभिन्न स्तर क्या हैं, और फिर उसके अनुसार कक्षाएं और वर्गीकरण नीतियां बनाना [1]। डेटा हानि निवारण (डीएलपी) फिर डेटा को फ़िंगरप्रिंट करता है और फ़िंगरप्रिंट प्राप्त करने के लिए डाउनस्ट्रीम एंडपॉइंट को ट्रैक करता है। पेटाबाइट डेटा वाले परिसंपत्ति-भारी गोदाम के साथ काम करते समय, यह दृष्टिकोण बस स्केल नहीं करता है।

हमारा लक्ष्य एक डेटा वर्गीकरण प्रणाली का निर्माण करना है जो डेटा प्रकार या प्रारूप पर किसी भी अतिरिक्त प्रतिबंध के बिना, मजबूत और क्षणिक उपयोगकर्ता डेटा दोनों को मापता है। यह एक साहसिक लक्ष्य है और स्वाभाविक रूप से यह चुनौतियों के साथ आता है। एक दिया गया डेटा रिकॉर्ड हजारों वर्ण लंबा हो सकता है।

चित्र 1. ऑनलाइन और ऑफ़लाइन पूर्वानुमान प्रवाह

इसलिए, हमें सुविधाओं के एक सामान्य सेट का उपयोग करके इसे कुशलतापूर्वक प्रस्तुत करना चाहिए जिसे बाद में संयोजित किया जा सकता है और आसानी से इधर-उधर ले जाया जा सकता है। इन सुविधाओं को न केवल सटीक वर्गीकरण प्रदान करना चाहिए, बल्कि भविष्य में नए डेटा प्रकारों को आसानी से जोड़ने और खोजने के लिए लचीलापन और विस्तारशीलता भी प्रदान करनी चाहिए। दूसरे, आपको बड़ी ऑफ़लाइन तालिकाओं से निपटने की ज़रूरत है। टिकाऊ डेटा को कई पेटाबाइट आकार की तालिकाओं में संग्रहीत किया जा सकता है। इसके परिणामस्वरूप स्कैन गति धीमी हो सकती है. तीसरा, हमें अस्थिर डेटा पर सख्त एसएलए वर्गीकरण का पालन करना चाहिए। यह सिस्टम को अत्यधिक कुशल, तेज़ और सटीक होने के लिए बाध्य करता है। अंत में, हमें वास्तविक समय वर्गीकरण के साथ-साथ इंटरनेट उपयोग के मामलों के लिए अस्थिर डेटा के लिए कम विलंबता डेटा वर्गीकरण प्रदान करना होगा।

यह पेपर वर्णन करता है कि हमने उपरोक्त चुनौतियों से कैसे निपटा और एक तेज़ और स्केलेबल वर्गीकरण प्रणाली प्रस्तुत की जो सुविधाओं के एक सामान्य सेट के आधार पर सभी प्रकार, प्रारूपों और स्रोतों के डेटा तत्वों को वर्गीकृत करती है। हमने सिस्टम आर्किटेक्चर का विस्तार किया और ऑफ़लाइन और ऑनलाइन डेटा को तुरंत वर्गीकृत करने के लिए एक कस्टम मशीन लर्निंग मॉडल बनाया। यह पेपर इस प्रकार व्यवस्थित किया गया है: खंड 2 सिस्टम का समग्र डिज़ाइन प्रस्तुत करता है। धारा 3 मशीन लर्निंग सिस्टम के भागों पर चर्चा करती है। अनुभाग 4 और 5 संबंधित कार्य पर प्रकाश डालते हैं और कार्य की भविष्य की दिशाओं की रूपरेखा तैयार करते हैं।

आर्किटेक्चर

लगातार और फेसबुक-स्केल ऑनलाइन डेटा की चुनौतियों से निपटने के लिए, वर्गीकरण प्रणाली में दो अलग-अलग धाराएँ हैं, जिन पर हम विस्तार से चर्चा करेंगे।

टिकाऊ डेटा

प्रारंभ में, सिस्टम को फेसबुक की कई सूचना परिसंपत्तियों के बारे में सीखना होगा। प्रत्येक रिपॉजिटरी के लिए, कुछ बुनियादी जानकारी एकत्र की जाती है, जैसे डेटा सेंटर जिसमें वह डेटा होता है, सिस्टम जिसमें वह डेटा होता है, और विशिष्ट डेटा रिपॉजिटरी में स्थित संपत्तियां। यह एक मेटाडेटा कैटलॉग बनाता है जो सिस्टम को अन्य इंजीनियरों द्वारा उपयोग किए जाने वाले ग्राहकों और संसाधनों को ओवरलोड किए बिना कुशलतापूर्वक डेटा पुनर्प्राप्त करने की अनुमति देता है।

यह मेटाडेटा कैटलॉग सभी स्कैन की गई संपत्तियों के लिए एक आधिकारिक स्रोत प्रदान करता है और आपको विभिन्न संपत्तियों की स्थिति को ट्रैक करने की अनुमति देता है। इस जानकारी का उपयोग करते हुए, सिस्टम से एकत्र किए गए डेटा और आंतरिक जानकारी के आधार पर शेड्यूलिंग प्राथमिकता स्थापित की जाती है, जैसे कि परिसंपत्ति को अंतिम बार सफलतापूर्वक स्कैन किया गया था और इसे बनाने का समय, साथ ही उस संपत्ति के लिए पिछली मेमोरी और सीपीयू आवश्यकताएं यदि इसे पहले भी स्कैन किया जा चुका है. फिर, प्रत्येक डेटा संसाधन के लिए (जैसे-जैसे संसाधन उपलब्ध होते हैं), संसाधन को वास्तव में स्कैन करने के लिए एक कार्य को बुलाया जाता है।

प्रत्येक कार्य एक संकलित बाइनरी फ़ाइल है जो प्रत्येक परिसंपत्ति के लिए उपलब्ध नवीनतम डेटा पर बर्नौली नमूनाकरण करता है। परिसंपत्ति को अलग-अलग कॉलम में विभाजित किया गया है, जहां प्रत्येक कॉलम का वर्गीकरण परिणाम स्वतंत्र रूप से संसाधित किया जाता है। इसके अतिरिक्त, सिस्टम कॉलम के भीतर किसी भी संतृप्त डेटा को स्कैन करता है। JSON, सरणियाँ, एन्कोडेड संरचनाएँ, URL, आधार 64 क्रमबद्ध डेटा, और बहुत कुछ स्कैन किया गया है। यह स्कैन निष्पादन समय को महत्वपूर्ण रूप से बढ़ा सकता है क्योंकि एक एकल तालिका में एक ब्लॉब में हजारों नेस्टेड कॉलम हो सकते हैं json.

डेटा परिसंपत्ति में चुनी गई प्रत्येक पंक्ति के लिए, वर्गीकरण प्रणाली सामग्री से फ़्लोट और टेक्स्ट ऑब्जेक्ट निकालती है और प्रत्येक ऑब्जेक्ट को उस कॉलम में वापस जोड़ती है जहां से इसे लिया गया था। फीचर निष्कर्षण चरण का आउटपुट डेटा एसेट में पाए जाने वाले प्रत्येक कॉलम के लिए सभी सुविधाओं का एक मानचित्र है।

संकेत किस लिए हैं?

गुणों की अवधारणा प्रमुख है. फ़्लोट और टेक्स्ट लक्षणों के बजाय, हम कच्चे स्ट्रिंग नमूने पास कर सकते हैं जो सीधे प्रत्येक डेटा संसाधन से निकाले जाते हैं। इसके अलावा, मशीन लर्निंग मॉडल को सैकड़ों फीचर गणनाओं के बजाय सीधे प्रत्येक नमूने पर प्रशिक्षित किया जा सकता है जो केवल नमूने का अनुमान लगाने की कोशिश करते हैं। इसके अनेक कारण हैं:

1. गोपनीयता पहले: सबसे महत्वपूर्ण बात यह है कि सुविधाओं की अवधारणा हमें स्मृति में केवल उन्हीं पैटर्न को संग्रहीत करने की अनुमति देती है जिन्हें हम पुनः प्राप्त करते हैं। यह सुनिश्चित करता है कि हम नमूनों को एक ही उद्देश्य के लिए संग्रहीत करते हैं और उन्हें कभी भी अपने स्वयं के प्रयासों से लॉग इन नहीं करते हैं। यह अस्थिर डेटा के लिए विशेष रूप से महत्वपूर्ण है, क्योंकि भविष्यवाणी प्रदान करने से पहले सेवा को कुछ वर्गीकरण स्थिति बनाए रखनी होगी।
2. मेमोरी: कुछ नमूने हजारों वर्ण लंबे हो सकते हैं। ऐसे डेटा को संग्रहीत करने और इसे सिस्टम के कुछ हिस्सों में प्रसारित करने में अनावश्यक रूप से कई अतिरिक्त बाइट्स की खपत होती है। यह देखते हुए कि हजारों कॉलम वाले कई डेटा संसाधन मौजूद हैं, दोनों कारक समय के साथ जुड़ सकते हैं।
3. फ़ीचर एकत्रीकरण: फ़ीचर सुविधाओं के एक सेट के माध्यम से प्रत्येक स्कैन के परिणामों को स्पष्ट रूप से दर्शाते हैं, जिससे सिस्टम को एक ही डेटा संसाधन के पिछले स्कैन के परिणामों को सुविधाजनक तरीके से संयोजित करने की अनुमति मिलती है। यह एक ही डेटा संसाधन से एकाधिक रन में स्कैन परिणामों को एकत्रित करने के लिए उपयोगी हो सकता है।

फिर सुविधाओं को एक भविष्यवाणी सेवा में भेजा जाता है जहां हम प्रत्येक कॉलम के डेटा लेबल की भविष्यवाणी करने के लिए नियम-आधारित वर्गीकरण और मशीन लर्निंग का उपयोग करते हैं। सेवा नियम वर्गीकरणकर्ता और मशीन लर्निंग दोनों पर निर्भर करती है और प्रत्येक भविष्यवाणी ऑब्जेक्ट से दी गई सर्वोत्तम भविष्यवाणी का चयन करती है।

नियम क्लासिफायर मैन्युअल अनुमान हैं, वे किसी ऑब्जेक्ट को 0 से 100 की सीमा तक सामान्य करने के लिए गणना और गुणांक का उपयोग करते हैं। एक बार उस डेटा से जुड़े प्रत्येक डेटा प्रकार और कॉलम नाम के लिए ऐसा प्रारंभिक स्कोर उत्पन्न हो जाता है, तो इसे किसी भी "प्रतिबंध" में शामिल नहीं किया जाता है। सूचियाँ", नियम वर्गीकरणकर्ता सभी डेटा प्रकारों के बीच उच्चतम सामान्यीकृत स्कोर का चयन करता है।

वर्गीकरण की जटिलता के कारण, केवल मैन्युअल अनुमानों पर निर्भर रहने से कम वर्गीकरण सटीकता प्राप्त होती है, विशेषकर असंरचित डेटा के लिए। इस कारण से, हमने उपयोगकर्ता सामग्री और पते जैसे असंरचित डेटा के वर्गीकरण के साथ काम करने के लिए एक मशीन लर्निंग सिस्टम विकसित किया है। मशीन लर्निंग ने मैन्युअल अनुमानों से दूर जाना और अतिरिक्त डेटा सिग्नल (जैसे कॉलम नाम, डेटा उत्पत्ति) लागू करना संभव बना दिया है, जिससे पहचान सटीकता में काफी सुधार हुआ है। हम बाद में अपने मशीन लर्निंग आर्किटेक्चर के बारे में गहराई से जानेंगे।

पूर्वानुमान सेवा स्कैन के समय और स्थिति के संबंध में मेटाडेटा के साथ प्रत्येक कॉलम के परिणामों को संग्रहीत करती है। कोई भी उपभोक्ता और डाउनस्ट्रीम प्रक्रियाएं जो इस डेटा पर निर्भर हैं, इसे दैनिक प्रकाशित डेटासेट से पढ़ सकते हैं। यह सेट इन सभी स्कैन नौकरियों, या रीयल-टाइम डेटा कैटलॉग एपीआई के परिणामों को एकत्रित करता है। प्रकाशित पूर्वानुमान गोपनीयता और सुरक्षा नीतियों के स्वचालित प्रवर्तन की नींव हैं।

अंत में, पूर्वानुमान सेवा द्वारा सभी डेटा लिखने और सभी पूर्वानुमान संग्रहीत होने के बाद, हमारा डेटा कैटलॉग एपीआई वास्तविक समय में संसाधन के लिए सभी डेटा प्रकार के पूर्वानुमान वापस कर सकता है। हर दिन सिस्टम एक डेटासेट प्रकाशित करता है जिसमें प्रत्येक परिसंपत्ति के लिए सभी नवीनतम पूर्वानुमान शामिल होते हैं।

अस्थिर डेटा

जबकि उपरोक्त प्रक्रिया स्थायी परिसंपत्तियों के लिए डिज़ाइन की गई है, गैर-स्थायी ट्रैफ़िक को भी किसी संगठन के डेटा का हिस्सा माना जाता है और यह महत्वपूर्ण हो सकता है। इस कारण से, सिस्टम किसी भी रुक-रुक कर आने वाले ट्रैफ़िक के लिए वास्तविक समय वर्गीकरण पूर्वानुमान उत्पन्न करने के लिए एक ऑनलाइन एपीआई प्रदान करता है। वास्तविक समय पूर्वानुमान प्रणाली का व्यापक रूप से आउटबाउंड ट्रैफ़िक, इनबाउंड ट्रैफ़िक को मशीन लर्निंग मॉडल और विज्ञापनदाता डेटा में वर्गीकृत करने में उपयोग किया जाता है।

यहां एपीआई दो मुख्य तर्क लेता है: समूहीकरण कुंजी और कच्चा डेटा जिसकी भविष्यवाणी की जानी है। सेवा ऊपर बताए अनुसार समान ऑब्जेक्ट पुनर्प्राप्ति करती है और एक ही कुंजी के लिए ऑब्जेक्ट को एक साथ समूहित करती है। विफलता पुनर्प्राप्ति के लिए ये सुविधाएँ दृढ़ता कैश में भी समर्थित हैं। प्रत्येक समूहीकरण कुंजी के लिए, सेवा यह सुनिश्चित करती है कि उसने ऊपर वर्णित प्रक्रिया का पालन करते हुए, पूर्वानुमान सेवा को कॉल करने से पहले पर्याप्त नमूने देख लिए हैं।

इष्टतमीकरण

कुछ स्टोरेज को स्कैन करने के लिए, हम हॉट स्टोरेज से रीडिंग को अनुकूलित करने के लिए लाइब्रेरी और तकनीकों का उपयोग करते हैं [2] और यह सुनिश्चित करते हैं कि अन्य उपयोगकर्ताओं द्वारा उसी स्टोरेज तक पहुंचने में कोई व्यवधान न हो।

अत्यधिक बड़ी तालिकाओं (50+ पेटाबाइट्स) के लिए, सभी अनुकूलन और मेमोरी दक्षता के बावजूद, सिस्टम मेमोरी खत्म होने से पहले सब कुछ स्कैन और गणना करने के लिए काम करता है। आख़िरकार, स्कैन की गणना पूरी तरह से मेमोरी में की जाती है और स्कैन के दौरान संग्रहीत नहीं की जाती है। यदि बड़ी तालिकाओं में डेटा के असंरचित समूहों के साथ हजारों कॉलम होते हैं, तो संपूर्ण तालिका पर पूर्वानुमान निष्पादित करते समय अपर्याप्त मेमोरी संसाधनों के कारण कार्य विफल हो सकता है। इसके परिणामस्वरूप कवरेज कम हो जाएगी. इससे निपटने के लिए, हमने सिस्टम को प्रॉक्सी के रूप में स्कैन गति का उपयोग करने के लिए अनुकूलित किया कि सिस्टम वर्तमान कार्यभार को कितनी अच्छी तरह संभालता है। हम स्मृति समस्याओं को देखने और फीचर मैप की पूर्वानुमानित गणना करने के लिए एक पूर्वानुमान तंत्र के रूप में गति का उपयोग करते हैं। साथ ही, हम सामान्य से कम डेटा का उपयोग करते हैं।

डेटा संकेत

एक वर्गीकरण प्रणाली केवल डेटा के संकेतों जितनी ही अच्छी होती है। यहां हम वर्गीकरण प्रणाली द्वारा उपयोग किए जाने वाले सभी संकेतों को देखेंगे।

• सामग्री आधारित: बेशक, पहला और सबसे महत्वपूर्ण संकेत सामग्री है। बर्नौली नमूनाकरण प्रत्येक डेटा परिसंपत्ति पर किया जाता है जिसे हम डेटा सामग्री के आधार पर स्कैन और निकालते हैं। कंटेंट से कई संकेत मिलते हैं. किसी भी संख्या में फ़्लोटिंग ऑब्जेक्ट संभव हैं, जो इस गणना का प्रतिनिधित्व करते हैं कि किसी विशेष नमूना प्रकार को कितनी बार देखा गया है। उदाहरण के लिए, हमारे पास एक नमूने में देखे गए ईमेल की संख्या के संकेत हो सकते हैं, या एक नमूने में कितने इमोजी देखे जा सकते हैं इसके संकेत हो सकते हैं। इन फीचर गणनाओं को सामान्यीकृत किया जा सकता है और विभिन्न स्कैन में एकत्रित किया जा सकता है।
• डेटा उत्पत्ति: एक महत्वपूर्ण संकेत जो तब मदद कर सकता है जब सामग्री मूल तालिका से बदल गई हो। एक सामान्य उदाहरण हैशेड डेटा है. जब चाइल्ड टेबल में डेटा हैश किया जाता है, तो यह अक्सर मूल टेबल से आता है, जहां यह स्पष्ट रहता है। वंशावली डेटा कुछ प्रकार के डेटा को वर्गीकृत करने में मदद करता है जब उन्हें स्पष्ट रूप से पढ़ा नहीं जाता है या अपस्ट्रीम तालिका से परिवर्तित किया जाता है।
• एनोटेशन: एक और उच्च गुणवत्ता वाला संकेत जो असंरचित डेटा की पहचान करने में मदद करता है। वास्तव में, एनोटेशन और उद्गम डेटा विभिन्न डेटा परिसंपत्तियों में विशेषताओं को प्रसारित करने के लिए एक साथ काम कर सकते हैं। एनोटेशन असंरचित डेटा के स्रोत की पहचान करने में मदद करते हैं, जबकि वंश डेटा पूरे भंडार में उस डेटा के प्रवाह को ट्रैक करने में मदद कर सकता है।
• डेटा इंजेक्शन एक ऐसी तकनीक है जहां विशेष, अपठनीय वर्णों को जानबूझकर ज्ञात डेटा प्रकारों के ज्ञात स्रोतों में पेश किया जाता है। फिर, जब भी हम उसी अपठनीय वर्ण अनुक्रम के साथ सामग्री को स्कैन करते हैं, तो हम अनुमान लगा सकते हैं कि सामग्री उस ज्ञात डेटा प्रकार से आती है। यह एनोटेशन के समान एक और गुणात्मक डेटा सिग्नल है। सिवाय इसके कि सामग्री-आधारित पहचान दर्ज किए गए डेटा को खोजने में मदद करती है।

मापने के मेट्रिक्स

एक महत्वपूर्ण घटक मेट्रिक्स को मापने के लिए एक कठोर पद्धति है। वर्गीकरण सुधार पुनरावृत्ति के लिए मुख्य मीट्रिक प्रत्येक लेबल की सटीकता और रिकॉल हैं, जिसमें F2 स्कोर सबसे महत्वपूर्ण है।

इन मेट्रिक्स की गणना करने के लिए, डेटा संपत्तियों को लेबल करने के लिए एक स्वतंत्र पद्धति की आवश्यकता होती है जो सिस्टम से स्वतंत्र होती है, लेकिन इसका उपयोग इसके साथ सीधे तुलना के लिए किया जा सकता है। नीचे हम वर्णन करते हैं कि हम फेसबुक से जमीनी सच्चाई कैसे एकत्र करते हैं और इसका उपयोग अपनी वर्गीकरण प्रणाली को प्रशिक्षित करने के लिए करते हैं।

विश्वसनीय डेटा का संग्रह

हम नीचे सूचीबद्ध प्रत्येक स्रोत से विश्वसनीय डेटा को उसकी अपनी तालिका में संग्रहीत करते हैं। प्रत्येक तालिका उस विशेष स्रोत से नवीनतम देखे गए मानों को एकत्रित करने के लिए जिम्मेदार है। प्रत्येक स्रोत में यह सुनिश्चित करने के लिए डेटा गुणवत्ता जांच होती है कि प्रत्येक स्रोत के लिए देखे गए मान उच्च गुणवत्ता वाले हैं और उनमें नवीनतम डेटा प्रकार लेबल शामिल हैं।

• लॉगिंग प्लेटफ़ॉर्म कॉन्फ़िगरेशन: हाइव तालिकाओं में कुछ फ़ील्ड एक विशिष्ट प्रकार के डेटा से भर जाते हैं। इस डेटा का उपयोग और प्रसार सत्य के विश्वसनीय स्रोत के रूप में कार्य करता है।
• मैनुअल लेबलिंग: सिस्टम को बनाए रखने वाले डेवलपर्स के साथ-साथ बाहरी लेबलर्स को कॉलम लेबल करने के लिए प्रशिक्षित किया जाता है। यह आम तौर पर वेयरहाउस में सभी प्रकार के डेटा के लिए अच्छा काम करता है, और कुछ असंरचित डेटा, जैसे संदेश डेटा या उपयोगकर्ता सामग्री के लिए सत्य का प्राथमिक स्रोत हो सकता है।
• मूल तालिकाओं के कॉलमों को कुछ डेटा वाले के रूप में चिह्नित या एनोटेट किया जा सकता है, और हम उस डेटा को बच्चों की तालिकाओं में ट्रैक कर सकते हैं।
• निष्पादन के धागे प्राप्त करना: फेसबुक में निष्पादन के धागे विशिष्ट प्रकार के डेटा ले जाते हैं। एक सेवा आर्किटेक्चर के रूप में अपने स्कैनर का उपयोग करके, हम ज्ञात डेटा प्रकारों वाली स्ट्रीम का नमूना ले सकते हैं और उन्हें सिस्टम के माध्यम से भेज सकते हैं। सिस्टम इस डेटा को संग्रहीत न करने का वादा करता है।
• नमूना तालिकाएँ: बड़ी हाइव तालिकाएँ, जो संपूर्ण डेटा कॉर्पस को समाहित करने के लिए जानी जाती हैं, का उपयोग प्रशिक्षण डेटा के रूप में भी किया जा सकता है और एक सेवा के रूप में स्कैनर के माध्यम से पारित किया जा सकता है। यह डेटा प्रकारों की पूरी श्रृंखला वाली तालिकाओं के लिए बहुत अच्छा है, ताकि यादृच्छिक रूप से किसी कॉलम का नमूना लेना उस डेटा प्रकार के पूरे सेट का नमूना लेने के बराबर हो।
• सिंथेटिक डेटा: हम उन पुस्तकालयों का भी उपयोग कर सकते हैं जो तुरंत डेटा उत्पन्न करते हैं। यह पते या जीपीएस जैसे सरल, सार्वजनिक डेटा प्रकारों के लिए अच्छा काम करता है।
• डेटा प्रबंधक: गोपनीयता कार्यक्रम आम तौर पर डेटा के टुकड़ों को मैन्युअल रूप से नीतियां निर्दिष्ट करने के लिए डेटा प्रबंधक का उपयोग करते हैं। यह सत्य के अत्यधिक सटीक स्रोत के रूप में कार्य करता है।

हम सत्य के प्रत्येक प्रमुख स्रोत को उस सभी डेटा के साथ एक कोष में जोड़ते हैं। वैधता के साथ सबसे बड़ी चुनौती यह सुनिश्चित करना है कि यह डेटा वेयरहाउस का प्रतिनिधि है। अन्यथा, वर्गीकरण इंजन ओवरट्रेन कर सकते हैं। इससे निपटने के लिए, उपरोक्त सभी स्रोतों का उपयोग मॉडलों को प्रशिक्षित करते समय या मेट्रिक्स की गणना करते समय संतुलन सुनिश्चित करने के लिए किया जाता है। इसके अलावा, मानव लेबलर रिपॉजिटरी में अलग-अलग कॉलमों का समान रूप से नमूना लेते हैं और डेटा को तदनुसार लेबल करते हैं ताकि जमीनी सच्चाई का संग्रह निष्पक्ष रहे।

लगातार एकीकरण

तीव्र पुनरावृत्ति और सुधार सुनिश्चित करने के लिए, सिस्टम के प्रदर्शन को हमेशा वास्तविक समय में मापना महत्वपूर्ण है। हम आज सिस्टम के विरुद्ध प्रत्येक वर्गीकरण सुधार को माप सकते हैं, ताकि हम डेटा के आधार पर भविष्य के सुधारों का चतुराईपूर्वक मार्गदर्शन कर सकें। यहां हम देखते हैं कि सिस्टम वैध डेटा द्वारा प्रदान किए गए फीडबैक लूप को कैसे पूरा करता है।

जब शेड्यूलिंग सिस्टम को किसी विश्वसनीय स्रोत से लेबल वाली परिसंपत्ति का सामना करना पड़ता है, तो हम दो कार्यों को शेड्यूल करते हैं। पहला हमारे उत्पादन स्कैनर और इस प्रकार हमारी उत्पादन क्षमताओं का उपयोग करता है। दूसरा कार्य नवीनतम सुविधाओं के साथ नवीनतम बिल्ड स्कैनर का उपयोग करता है। प्रत्येक कार्य अपना आउटपुट अपनी तालिका में लिखता है, वर्गीकरण परिणामों के साथ संस्करणों को टैग करता है।

इस प्रकार हम वास्तविक समय में रिलीज़ उम्मीदवार और उत्पादन मॉडल के वर्गीकरण परिणामों की तुलना करते हैं।

जबकि डेटासेट RC और PROD सुविधाओं की तुलना करते हैं, पूर्वानुमान सेवा के ML वर्गीकरण इंजन के कई रूप लॉग किए जाते हैं। सबसे हाल ही में निर्मित मशीन लर्निंग मॉडल, उत्पादन में वर्तमान मॉडल और कोई भी प्रयोगात्मक मॉडल। वही दृष्टिकोण हमें मॉडल के विभिन्न संस्करणों को "स्लाइस" करने की अनुमति देता है (हमारे नियम क्लासिफायर के लिए अज्ञेयवादी) और वास्तविक समय में मेट्रिक्स की तुलना करता है। इससे यह निर्धारित करना आसान हो जाता है कि कोई एमएल प्रयोग उत्पादन में जाने के लिए कब तैयार है।

प्रत्येक रात, उस दिन के लिए गणना की गई आरसी सुविधाओं को एमएल प्रशिक्षण पाइपलाइन में भेजा जाता है, जहां मॉडल को नवीनतम आरसी सुविधाओं पर प्रशिक्षित किया जाता है और जमीनी सच्चाई डेटासेट के खिलाफ इसके प्रदर्शन का मूल्यांकन किया जाता है।

प्रत्येक सुबह, मॉडल प्रशिक्षण पूरा करता है और स्वचालित रूप से एक प्रयोगात्मक मॉडल के रूप में प्रकाशित होता है। यह स्वचालित रूप से प्रायोगिक सूची में शामिल हो जाता है।

कुछ परिणाम

100 से अधिक विभिन्न प्रकार के डेटा को उच्च सटीकता के साथ लेबल किया गया है। ईमेल और फोन नंबर जैसे अच्छी तरह से संरचित प्रकारों को 2 से अधिक एफ0,95 स्कोर के साथ वर्गीकृत किया जाता है। उपयोगकर्ता-जनित सामग्री और नाम जैसे मुफ़्त डेटा प्रकार भी बहुत अच्छा प्रदर्शन करते हैं, F2 स्कोर 0,85 से अधिक है।

सभी रिपॉजिटरी में बड़ी संख्या में लगातार और अस्थिर डेटा के व्यक्तिगत कॉलमों को प्रतिदिन वर्गीकृत किया जाता है। 500 से अधिक डेटा वेयरहाउस में प्रतिदिन 10 से अधिक टेराबाइट्स स्कैन किए जाते हैं। इनमें से अधिकांश रिपॉजिटरी में 98% से अधिक कवरेज है।

समय के साथ, वर्गीकरण बहुत कुशल हो गया है, किसी संपत्ति को स्कैन करने से लेकर प्रत्येक कॉलम के लिए पूर्वानुमानों की गणना करने तक लगातार ऑफ़लाइन स्ट्रीम में वर्गीकरण कार्यों में औसतन 35 सेकंड का समय लगता है।

चावल। 2. यह समझने के लिए निरंतर एकीकरण प्रवाह का वर्णन करने वाला आरेख कि आरसी ऑब्जेक्ट कैसे उत्पन्न होते हैं और मॉडल में भेजे जाते हैं।

चित्र 3. मशीन लर्निंग घटक का उच्च-स्तरीय आरेख।

मशीन लर्निंग सिस्टम घटक

पिछले अनुभाग में, हमने समग्र सिस्टम आर्किटेक्चर, पैमाने, अनुकूलन और ऑफ़लाइन और ऑनलाइन डेटा प्रवाह पर प्रकाश डाला। इस अनुभाग में, हम पूर्वानुमान सेवा को देखेंगे और मशीन लर्निंग सिस्टम का वर्णन करेंगे जो पूर्वानुमान सेवा को शक्ति प्रदान करता है।

100 से अधिक डेटा प्रकारों और कुछ असंरचित सामग्री जैसे संदेश डेटा और उपयोगकर्ता सामग्री के साथ, विशुद्ध रूप से मैन्युअल अनुमान का उपयोग करने से उपपैरामीट्रिक वर्गीकरण सटीकता प्राप्त होती है, विशेष रूप से असंरचित डेटा के लिए। इस कारण से, हमने असंरचित डेटा की जटिलताओं से निपटने के लिए एक मशीन लर्निंग सिस्टम भी विकसित किया है। मशीन लर्निंग का उपयोग करने से आप मैन्युअल अनुमानों से दूर जाना शुरू कर सकते हैं और सटीकता में सुधार के लिए सुविधाओं और अतिरिक्त डेटा संकेतों (उदाहरण के लिए, कॉलम नाम, डेटा मूल) के साथ काम कर सकते हैं।

कार्यान्वित मॉडल सघन और विरल वस्तुओं पर अलग-अलग वेक्टर अभ्यावेदन [3] का अध्ययन करता है। फिर इन्हें एक वेक्टर बनाने के लिए संयोजित किया जाता है, जो अंतिम परिणाम उत्पन्न करने के लिए बैच सामान्यीकरण [4] और गैर-रैखिकता चरणों की एक श्रृंखला से गुजरता है। अंतिम परिणाम प्रत्येक लेबल के लिए [0-1] के बीच एक फ्लोटिंग पॉइंट संख्या है, जो इस संभावना को दर्शाता है कि उदाहरण उस संवेदनशीलता प्रकार से संबंधित है। मॉडल के लिए PyTorch का उपयोग करने से हमें तेजी से आगे बढ़ने की अनुमति मिली, जिससे टीम के बाहर के डेवलपर्स को जल्दी से बदलाव करने और परीक्षण करने की अनुमति मिली।

वास्तुकला को डिजाइन करते समय, विरल (जैसे पाठ) और सघन (जैसे संख्यात्मक) वस्तुओं को उनके अंतर्निहित अंतर के कारण अलग-अलग मॉडल करना महत्वपूर्ण था। अंतिम आर्किटेक्चर के लिए, सीखने की दर, बैच आकार और अन्य हाइपरपैरामीटर के लिए इष्टतम मूल्य खोजने के लिए पैरामीटर स्वीप करना भी महत्वपूर्ण था। ऑप्टिमाइज़र का चुनाव भी एक महत्वपूर्ण हाइपरपैरामीटर था। हमें वह एक लोकप्रिय अनुकूलक मिला ऐडम अक्सर ओवरफिटिंग की ओर ले जाता है, जबकि एक मॉडल के साथ एसजीडी और अधिक स्थिर। कुछ अतिरिक्त बारीकियाँ थीं जिन्हें हमें सीधे मॉडल में शामिल करना था। उदाहरण के लिए, स्थैतिक नियम जो यह सुनिश्चित करते हैं कि मॉडल एक नियतात्मक भविष्यवाणी करता है जब किसी सुविधा का एक निश्चित मूल्य होता है। ये स्थिर नियम हमारे ग्राहकों द्वारा परिभाषित किए गए हैं। हमने पाया कि उन्हें सीधे मॉडल में शामिल करने से इन विशेष किनारे वाले मामलों को संभालने के लिए पोस्ट-प्रोसेसिंग चरण को लागू करने के विपरीत, अधिक आत्मनिर्भर और मजबूत वास्तुकला उत्पन्न हुई। यह भी ध्यान दें कि ये नियम प्रशिक्षण के दौरान अक्षम हैं ताकि ग्रेडिएंट डिसेंट प्रशिक्षण प्रक्रिया में हस्तक्षेप न हो।

समस्याओं

चुनौतियों में से एक उच्च-गुणवत्ता, विश्वसनीय डेटा एकत्र करना था। मॉडल को प्रत्येक वर्ग के लिए आत्मविश्वास की आवश्यकता होती है ताकि वह वस्तुओं और लेबलों के बीच संबंध सीख सके। पिछले अनुभाग में, हमने सिस्टम माप और मॉडल प्रशिक्षण दोनों के लिए डेटा संग्रह विधियों पर चर्चा की। विश्लेषण से पता चला कि क्रेडिट कार्ड और बैंक खाता संख्या जैसे डेटा वर्ग हमारे गोदाम में बहुत आम नहीं हैं। इससे मॉडलों को प्रशिक्षित करने के लिए बड़ी मात्रा में विश्वसनीय डेटा एकत्र करना मुश्किल हो जाता है। इस समस्या के समाधान के लिए, हमने इन वर्गों के लिए सिंथेटिक जमीनी सच्चाई डेटा प्राप्त करने की प्रक्रियाएँ विकसित की हैं। हम संवेदनशील प्रकारों के लिए ऐसा डेटा तैयार करते हैं एसएसएन, क्रेडिट कार्ड नंबर и IBAN-संख्याएँ जिनके लिए मॉडल पहले भविष्यवाणी नहीं कर सका। यह दृष्टिकोण वास्तविक संवेदनशील डेटा को छिपाने से जुड़े गोपनीयता जोखिमों के बिना संवेदनशील डेटा प्रकारों को संसाधित करने की अनुमति देता है।

जमीनी सच्चाई के मुद्दों के अलावा, कुछ खुले वास्तुशिल्प मुद्दे भी हैं जिन पर हम काम कर रहे हैं, जैसे अलगाव बदलें и जल्दी रुकना. परिवर्तन अलगाव यह सुनिश्चित करने के लिए महत्वपूर्ण है कि जब नेटवर्क के विभिन्न हिस्सों में अलग-अलग परिवर्तन किए जाते हैं, तो प्रभाव विशिष्ट वर्गों तक अलग हो जाता है और समग्र पूर्वानुमान प्रदर्शन पर व्यापक प्रभाव नहीं पड़ता है। जल्दी रोकने के मानदंड में सुधार करना भी महत्वपूर्ण है ताकि हम प्रशिक्षण प्रक्रिया को सभी वर्गों के लिए एक स्थिर बिंदु पर रोक सकें, न कि उस बिंदु पर जहां कुछ वर्ग ओवरट्रेनिंग करते हैं और अन्य नहीं।

विशेषता महत्व

जब किसी मॉडल में कोई नई सुविधा पेश की जाती है, तो हम मॉडल पर उसके समग्र प्रभाव को जानना चाहते हैं। हम यह भी सुनिश्चित करना चाहते हैं कि भविष्यवाणियाँ मानवीय व्याख्या योग्य हों ताकि हम ठीक से समझ सकें कि प्रत्येक प्रकार के डेटा के लिए किन विशेषताओं का उपयोग किया जा रहा है। इस प्रयोजन के लिए हमने इसे विकसित और प्रस्तुत किया है कक्षा के अनुसार PyTorch मॉडल के लिए सुविधाओं का महत्व। ध्यान दें कि यह समग्र सुविधा महत्व से अलग है, जिसे आमतौर पर समर्थित किया जाता है, क्योंकि यह हमें नहीं बताता है कि किसी विशेष वर्ग के लिए कौन सी विशेषताएं महत्वपूर्ण हैं। हम वस्तु को पुनर्व्यवस्थित करने के बाद भविष्यवाणी त्रुटि में वृद्धि की गणना करके किसी वस्तु के महत्व को मापते हैं। एक सुविधा "महत्वपूर्ण" होती है जब मूल्यों की अदला-बदली से मॉडल की त्रुटि बढ़ जाती है क्योंकि इस मामले में मॉडल अपनी भविष्यवाणी करने के लिए सुविधा पर निर्भर था। एक विशेषता "महत्वहीन" होती है जब इसके मूल्यों में फेरबदल करने से मॉडल त्रुटि अपरिवर्तित रह जाती है, क्योंकि इस मामले में मॉडल ने इसे नजरअंदाज कर दिया है [5]।

प्रत्येक वर्ग के लिए सुविधा का महत्व हमें मॉडल को व्याख्या योग्य बनाने की अनुमति देता है ताकि हम देख सकें कि लेबल की भविष्यवाणी करते समय मॉडल क्या देख रहा है। उदाहरण के लिए, जब हम विश्लेषण करते हैं प, तो हम गारंटी देते हैं कि पते से जुड़े चिह्न, जैसे एड्रेसलाइन्सकाउंट, प्रत्येक वर्ग के लिए फीचर महत्व तालिका में उच्च स्थान पर है ताकि मॉडल ने जो सीखा है उसके साथ हमारा मानव अंतर्ज्ञान अच्छी तरह से मेल खाए।

मूल्यांकन

सफलता के लिए एकल मीट्रिक को परिभाषित करना महत्वपूर्ण है। हम चुनते हैं F2 - रिकॉल और सटीकता के बीच संतुलन (रिकॉल पूर्वाग्रह थोड़ा बड़ा है)। गोपनीयता उपयोग के मामले में सटीकता की तुलना में रिकॉल अधिक महत्वपूर्ण है क्योंकि टीम के लिए यह महत्वपूर्ण है कि कोई भी संवेदनशील डेटा न छूटे (उचित सटीकता सुनिश्चित करते हुए)। हमारे मॉडल का वास्तविक F2 प्रदर्शन मूल्यांकन इस पेपर के दायरे से परे है। हालाँकि, सावधानीपूर्वक ट्यूनिंग से हम सबसे महत्वपूर्ण संवेदनशील वर्गों के लिए उच्च (0,9+) F2 स्कोर प्राप्त कर सकते हैं।

संबंधित कार्य

पैटर्न मिलान, दस्तावेज़ समानता खोज और विभिन्न मशीन सीखने के तरीकों (बायेसियन, निर्णय पेड़, के-निकटतम पड़ोसियों और कई अन्य) जैसे विभिन्न तरीकों का उपयोग करके असंरचित दस्तावेज़ों के स्वचालित वर्गीकरण के लिए कई एल्गोरिदम हैं [6]। इनमें से किसी को भी वर्गीकरण के भाग के रूप में उपयोग किया जा सकता है। हालाँकि, समस्या स्केलेबिलिटी है। इस लेख में वर्गीकरण दृष्टिकोण लचीलेपन और प्रदर्शन के प्रति पक्षपाती है। यह हमें भविष्य में नई कक्षाओं का समर्थन करने और विलंबता कम रखने की अनुमति देता है।

डेटा फ़िंगरप्रिंटिंग पर भी काफ़ी काम हो रहा है. उदाहरण के लिए, [7] में लेखकों ने एक समाधान का वर्णन किया है जो संवेदनशील डेटा लीक को पकड़ने की समस्या पर केंद्रित है। अंतर्निहित धारणा यह है कि डेटा को ज्ञात संवेदनशील डेटा के सेट के साथ मिलान करने के लिए फिंगरप्रिंट किया जा सकता है। [8] में लेखक एक समान गोपनीयता रिसाव समस्या का वर्णन करते हैं, लेकिन उनका समाधान एक विशिष्ट एंड्रॉइड आर्किटेक्चर पर आधारित है और इसे केवल तभी वर्गीकृत किया जाता है जब उपयोगकर्ता के कार्यों के परिणामस्वरूप व्यक्तिगत जानकारी साझा होती है या यदि अंतर्निहित एप्लिकेशन उपयोगकर्ता डेटा लीक करता है। यहां स्थिति कुछ अलग है क्योंकि उपयोगकर्ता डेटा अत्यधिक असंरचित भी हो सकता है। इसलिए, हमें फ़िंगरप्रिंटिंग से अधिक जटिल तकनीक की आवश्यकता है।

अंत में, कुछ प्रकार के संवेदनशील डेटा के लिए डेटा की कमी से निपटने के लिए, हमने सिंथेटिक डेटा पेश किया। डेटा संवर्द्धन पर साहित्य का एक बड़ा भंडार है, उदाहरण के लिए, [9] में लेखकों ने प्रशिक्षण के दौरान शोर इंजेक्शन की भूमिका का पता लगाया और पर्यवेक्षित शिक्षण में सकारात्मक परिणाम देखे। गोपनीयता के प्रति हमारा दृष्टिकोण अलग है क्योंकि शोर वाला डेटा पेश करना प्रतिकूल हो सकता है, और हम इसके बजाय उच्च गुणवत्ता वाले सिंथेटिक डेटा पर ध्यान केंद्रित करते हैं।

निष्कर्ष

इस पेपर में, हमने एक ऐसी प्रणाली प्रस्तुत की है जो डेटा के एक टुकड़े को वर्गीकृत कर सकती है। यह हमें गोपनीयता और सुरक्षा नीतियों को लागू करने के लिए सिस्टम बनाने की अनुमति देता है। हमने दिखाया है कि स्केलेबल इंफ्रास्ट्रक्चर, निरंतर एकीकरण, मशीन लर्निंग और उच्च गुणवत्ता वाले डेटा आश्वासन हमारी कई गोपनीयता पहलों की सफलता में महत्वपूर्ण भूमिका निभाते हैं।

भविष्य के काम के लिए कई दिशाएँ हैं। इसमें अनिर्धारित डेटा (फ़ाइलों) के लिए समर्थन प्रदान करना, न केवल डेटा प्रकार बल्कि संवेदनशीलता स्तर को वर्गीकृत करना और सटीक सिंथेटिक उदाहरण उत्पन्न करके प्रशिक्षण के दौरान स्व-पर्यवेक्षित शिक्षण का उपयोग करना शामिल हो सकता है। जो, बदले में, मॉडल को घाटे को अधिकतम मात्रा में कम करने में मदद करेगा। भविष्य का काम जांच वर्कफ़्लो पर भी केंद्रित हो सकता है, जहां हम पता लगाने से परे जाते हैं और विभिन्न गोपनीयता उल्लंघनों का मूल कारण विश्लेषण प्रदान करते हैं। इससे संवेदनशीलता विश्लेषण (जैसे कि डेटा प्रकार की गोपनीयता संवेदनशीलता अधिक है (जैसे उपयोगकर्ता आईपी) या कम (जैसे फेसबुक आंतरिक आईपी)) जैसे मामलों में मदद मिलेगी।

ग्रंथ सूची

1. डेविड बेन-डेविड, तामार डोमनी, और अबीगैल तारेम। सिमेंटिक वेब प्रौद्योगिकियों का उपयोग करके एंटरप्राइज़ डेटा वर्गीकरण। पीटर एफ.ए. पटेल-श्नाइडर, यू पैन, पास्कल हित्ज़लर, पीटर मिका, लेई झांग, जेफ जेड पैन, इयान हॉरोक्स और बिर्टे ग्लिम, संपादकों में, सिमेंटिक वेब - आईएसडब्ल्यूसी 2010, पृष्ठ 66-81, बर्लिन, हीडलबर्ग, 2010। स्प्रिंगर बर्लिन हीडलबर्ग।
2. सुब्रमण्यम मुरलीधर, व्याट लॉयड, सब्यसाची रॉय, कोरी हिल, अर्नेस्ट लिन, वीवेन लियू, सताद्रु पैन, शिव शंकर, विश्वनाथ शिवकुमार, लिनपेंग टैंग और संजीव कुमार। f4: Facebook का वार्म BLOB स्टोरेज सिस्टम। में ऑपरेटिंग सिस्टम डिजाइन और कार्यान्वयन पर 11वीं यूसेनिक्स संगोष्ठी (ओएसडीआई 14), पेज 383-398, ब्रूमफील्ड, सीओ, अक्टूबर 2014। यूसेनिक्स एसोसिएशन।
3. टॉमस मिकोलोव, इल्या सुतस्केवर, काई चेन, ग्रेग एस कोराडो, और जेफ डीन। शब्दों और वाक्यांशों और उनकी संरचना का वितरित प्रतिनिधित्व। सी.जे.सी. बर्गेस, एल. बोटौ, एम. वेलिंग, जेड. घरमनी, और के.क्यू. वेनबर्गर, संपादकों में, तंत्रिका सूचना प्रसंस्करण प्रणालियों में प्रगति 26, पृष्ठ 3111-3119। कुरेन एसोसिएट्स, इंक., 2013।
4. सर्गेई इओफ़े और क्रिश्चियन सजेगेडी। बैच सामान्यीकरण: आंतरिक सहसंयोजक बदलाव को कम करके गहन नेटवर्क प्रशिक्षण में तेजी लाना। फ़्रांसिस बाख और डेविड ब्लेई, संपादकों में, मशीन लर्निंग पर 32वें अंतर्राष्ट्रीय सम्मेलन की कार्यवाही, खंड 37 मशीन लर्निंग रिसर्च की कार्यवाही, पृष्ठ 448-456, लिली, फ़्रांस, 07-09 जुलाई 2015। पीएमएलआर।
5. लियो ब्रिमन. बेतरतीब जंगल. मच। जानें।, 45(1):5-32, अक्टूबर 2001।
6. थायर नू फ़्यू. डेटा माइनिंग में वर्गीकरण तकनीकों का सर्वेक्षण।
7. एक्स. शू, डी. याओ, और ई. बर्टिनो। संवेदनशील डेटा एक्सपोज़र की गोपनीयता-संरक्षण पहचान। IEEE सूचना फोरेंसिक और सुरक्षा पर लेनदेन, 10(5):1092–1103, 2015.
8. ज़ेमिन यांग, मिन यांग, युआन झांग, गुओफ़ेई गु, पेंग निंग और ज़ियाओयांग वांग। आवेदक: गोपनीयता रिसाव का पता लगाने के लिए एंड्रॉइड में संवेदनशील डेटा ट्रांसमिशन का विश्लेषण करना। पृष्ठ 1043-1054, 11 2013।
9. किज़े ज़ी, ज़िहांग दाई, एडुआर्ड एच. होवी, मिन्ह-थांग लुओंग, और क्वोक वी. ले। बिना पर्यवेक्षित डेटा वृद्धि.

स्किलफैक्ट्री ऑनलाइन पाठ्यक्रम लेकर कौशल और वेतन के मामले में एक पसंदीदा पेशा कैसे प्राप्त करें या लेवल अप कैसे प्राप्त करें, इसके बारे में विवरण प्राप्त करें:

• स्क्रैच से डेटा साइंस के पेशे को पढ़ाना (12 महीने)
• मशीन लर्निंग कोर्स (12 सप्ताह)
• उन्नत पाठ्यक्रम "मशीन लर्निंग प्रो + डीप लर्निंग" (20 सप्ताह)
• कोर्स "डेटा साइंस के लिए गणित और मशीन लर्निंग" (20 सप्ताह)

अधिक पाठ्यक्रम

• वेब डेवलपमेंट कोर्स के लिए पायथन (9 महीने)
• व्यवसाय वेब डेवलपर (8 महीने)
• किसी भी शुरुआती स्तर पर विश्लेषक का पेशा (9 महीने)
• डेवऑप्स कोर्स (12 महीने)
• शुरू से ही पेशा जावा डेवलपर (18 महीने)
• जावास्क्रिप्ट पाठ्यक्रम (12 महीने)
• शुरू से ही पेशा यूएक्स डिजाइनर (9 महीने)
• पेशे वेब डिजाइनर (7 महीने)

स्रोत: www.habr.com