सुरक्षा र गोपनीयताको लागि स्केलेबल डेटा वर्गीकरण

सामग्री-आधारित डेटा वर्गीकरण एक खुला समस्या हो। परम्परागत डेटा हानि रोकथाम (DLP) प्रणालीहरूले यस समस्यालाई सान्दर्भिक डेटा फिंगरप्रिन्ट गरेर र फिंगरप्रिन्टिङका ​​लागि अन्तिम बिन्दुहरूको निगरानी गरेर समाधान गर्छ। Facebook मा लगातार परिवर्तन हुने डाटा स्रोतहरूको ठूलो संख्यालाई ध्यानमा राख्दै, यो दृष्टिकोण मापनयोग्य मात्र होइन, तर डाटा कहाँ रहन्छ भनेर निर्धारण गर्न पनि अप्रभावी छ। यो कागजले Facebook मा संवेदनशील सिमान्टिक प्रकारहरू स्केलमा पत्ता लगाउन र स्वचालित रूपमा डेटा भण्डारण र पहुँच नियन्त्रण लागू गर्न निर्मित अन्त-देखि-अन्त प्रणालीमा केन्द्रित छ।

यहाँ वर्णन गरिएको दृष्टिकोण हाम्रो पहिलो अन्त-देखि-अन्त गोपनीयता प्रणाली हो जसले डेटा संकेतहरू, मेसिन लर्निङ, र Facebook मा सबै डेटालाई नक्सा र वर्गीकरण गर्न परम्परागत फिंगरप्रिन्टिङ प्रविधिहरू समावेश गरेर यो समस्या समाधान गर्ने प्रयास गर्दछ। वर्णन गरिएको प्रणाली उत्पादन वातावरणमा संचालित छ, विभिन्न गोपनीयता वर्गहरूमा ०.९+ को औसत F2 स्कोर प्राप्त गर्दै दर्जनौं भण्डारहरूमा ठूलो मात्रामा डेटा स्रोतहरू प्रशोधन गर्दै। मेसिन लर्निङमा आधारित सुरक्षा र गोपनीयताका लागि स्केलेबल डेटा वर्गीकरणमा Facebook को ArXiv पेपरको अनुवाद प्रस्तुत गर्दै।

परिचय

आज, संगठनहरूले विभिन्न ढाँचाहरू र स्थानहरूमा ठूलो मात्रामा डाटा सङ्कलन र भण्डारण गर्दछ [१], त्यसपछि डाटा धेरै ठाउँहरूमा खपत हुन्छ, कहिलेकाहीँ धेरै पटक प्रतिलिपि वा क्यास गरिन्छ, परिणामस्वरूप मूल्यवान र संवेदनशील व्यापार जानकारी धेरै उद्यम डाटामा छरिएको हुन्छ। स्टोरहरू। जब संस्थाले केही कानुनी वा नियामक आवश्यकताहरू पूरा गर्न आवश्यक हुन्छ, जस्तै सिविल कार्यवाहीमा नियमहरूको अनुपालन, आवश्यक डाटाको स्थानको बारेमा डाटा सङ्कलन गर्न आवश्यक हुन्छ। जब एक गोपनीयता नियमले बताउँछ कि संस्थाले अनधिकृत संस्थाहरूसँग व्यक्तिगत जानकारी साझा गर्दा सबै सामाजिक सुरक्षा नम्बरहरू (SSNs) मास्क गर्नुपर्छ, प्राकृतिक पहिलो चरण भनेको संगठनको डाटा स्टोरहरूमा सबै SSN हरू खोज्नु हो। यस्तो परिस्थितिमा, डेटा वर्गीकरण महत्वपूर्ण हुन्छ [१]। वर्गीकरण प्रणालीले संस्थाहरूलाई गोपनीयता र सुरक्षा नीतिहरू स्वचालित रूपमा लागू गर्न अनुमति दिनेछ, जस्तै पहुँच नियन्त्रण नीतिहरू सक्षम पार्ने, डाटा रिटेन्सन। Facebook ले हामीले Facebook मा बनाएको एउटा प्रणाली प्रस्तुत गर्दैछ जसले धेरै डाटा सिग्नलहरू, स्केलेबल सिस्टम आर्किटेक्चर, र संवेदनशील सिमान्टिक डेटा प्रकारहरू पत्ता लगाउन मेसिन लर्निङ प्रयोग गर्छ।

डाटा खोज र वर्गीकरण डाटा फेला पार्न र लेबल गर्ने प्रक्रिया हो ताकि सान्दर्भिक जानकारी छिटो र कुशलतापूर्वक पुन: प्राप्त गर्न सकिन्छ जब आवश्यक छ। हालको प्रक्रिया बरु म्यानुअल प्रकृतिको छ र यसमा सान्दर्भिक कानून वा नियमहरू जाँच्ने, कुन प्रकारको जानकारीलाई संवेदनशील मान्ने र संवेदनशीलताका विभिन्न स्तरहरू के हो भनेर निर्धारण गर्ने, र त्यसपछि तदनुसार वर्गहरू र वर्गीकरण नीतिहरू निर्माण गर्ने [१]। डेटा हानि रोकथाम (DLP) त्यसपछि डेटा फिंगरप्रिन्ट गर्दछ र फिंगरप्रिन्टहरू प्राप्त गर्न डाउनस्ट्रीम अन्त बिन्दुहरू निगरानी गर्दछ। डाटाको पेटाबाइट्सको साथ सम्पत्ति-भारी गोदामसँग व्यवहार गर्दा, यो दृष्टिकोणले मापन गर्दैन।

हाम्रो लक्ष्य डेटा प्रकार वा ढाँचामा कुनै अतिरिक्त प्रतिबन्ध बिना, दुवै बलियो र क्षणिक प्रयोगकर्ता डेटा मापन गर्ने डेटा वर्गीकरण प्रणाली निर्माण गर्नु हो। यो एक साहसी लक्ष्य हो, र स्वाभाविक रूपमा यो चुनौतीहरु संग आउँछ। दिइएको डाटा रेकर्ड हजारौं वर्ण लामो हुन सक्छ।

चित्र 1. अनलाइन र अफलाइन पूर्वानुमान प्रवाह

त्यसकारण, हामीले यसलाई प्रभावकारी रूपमा प्रस्तुत गर्नुपर्दछ सुविधाहरूको साझा सेट प्रयोग गरेर जुन पछि जोड्न सकिन्छ र सजिलैसँग वरिपरि सार्न सकिन्छ। यी सुविधाहरूले सही वर्गीकरण मात्र प्रदान गर्दैन, तर भविष्यमा नयाँ डेटा प्रकारहरू सजिलै थप्न र पत्ता लगाउन लचिलोपन र विस्तारयोग्यता पनि प्रदान गर्नुपर्छ। दोस्रो, तपाईंले ठूला अफलाइन तालिकाहरूसँग सम्झौता गर्न आवश्यक छ। टिकाउ डाटा टेबलहरूमा भण्डारण गर्न सकिन्छ जुन आकारमा धेरै पेटाबाइटहरू छन्। यसले ढिलो स्क्यान गतिको परिणाम हुन सक्छ। तेस्रो, हामीले अस्थिर डाटामा कडा SLA वर्गीकरणको पालना गर्नुपर्छ। यसले प्रणालीलाई अत्यधिक कुशल, छिटो र सटीक हुन बल दिन्छ। अन्तमा, हामीले वास्तविक-समय वर्गीकरण र इन्टरनेट प्रयोग केसहरूको लागि अस्थिर डेटाको लागि कम विलम्बता डेटा वर्गीकरण प्रदान गर्नुपर्छ।

यस पेपरले हामीले माथिका चुनौतीहरूसँग कसरी व्यवहार गर्यौं भनेर वर्णन गर्दछ र एक छिटो र मापनयोग्य वर्गीकरण प्रणाली प्रस्तुत गर्दछ जसले सबै प्रकारका डेटा तत्वहरू, ढाँचाहरू, र सुविधाहरूको साझा सेटमा आधारित स्रोतहरूलाई वर्गीकृत गर्दछ। हामीले प्रणाली संरचना विस्तार गर्यौं र अफलाइन र अनलाइन डेटालाई द्रुत रूपमा वर्गीकृत गर्न अनुकूलन मेसिन लर्निङ मोडेल सिर्जना गर्यौं। यस पेपरलाई निम्नानुसार व्यवस्थित गरिएको छ: खण्ड 2 ले प्रणालीको समग्र डिजाइन प्रस्तुत गर्दछ। खण्ड ३ ले मेसिन लर्निङ प्रणालीका भागहरूबारे छलफल गर्छ। खण्ड 3 र 4 ले सम्बन्धित कामलाई हाइलाइट गर्दछ र कामको भावी दिशाहरू रेखांकित गर्दछ।

वास्तुकला

निरन्तर र फेसबुक-स्केल अनलाइन डाटाको चुनौतीहरूको सामना गर्न, वर्गीकरण प्रणालीमा दुई अलग स्ट्रिमहरू छन्, जसलाई हामी विस्तृत रूपमा छलफल गर्नेछौं।

दिगो डाटा

सुरुमा, प्रणालीले Facebook को धेरै जानकारी सम्पत्तिहरू बारे जान्नै पर्छ। प्रत्येक भण्डारको लागि, केहि आधारभूत जानकारीहरू सङ्कलन गरिन्छ, जस्तै डाटा केन्द्र, त्यो डाटा समावेश गर्ने प्रणाली, र विशिष्ट डाटा भण्डारमा अवस्थित सम्पत्तिहरू। यसले मेटाडेटा क्याटलग सिर्जना गर्दछ जसले प्रणालीलाई अन्य इन्जिनियरहरूद्वारा प्रयोग गरिएका ग्राहकहरू र स्रोतहरू ओभरलोड नगरी कुशलतापूर्वक डेटा पुन: प्राप्त गर्न अनुमति दिन्छ।

यो मेटाडेटा क्याटलगले सबै स्क्यान गरिएका सम्पत्तिहरूको लागि आधिकारिक स्रोत प्रदान गर्दछ र तपाईंलाई विभिन्न सम्पत्तिहरूको स्थिति ट्र्याक गर्न अनुमति दिन्छ। यस जानकारीको प्रयोग गरेर, प्रणालीबाट सङ्कलन गरिएको डाटा र आन्तरिक जानकारीको आधारमा समयतालिका प्राथमिकता स्थापित गरिन्छ, जस्तै सम्पत्ति अन्तिम पटक सफलतापूर्वक स्क्यान गरिएको समय र यसलाई सिर्जना गरिएको समय, साथै त्यो सम्पत्तिको लागि विगतको मेमोरी र CPU आवश्यकताहरू। यो पहिले स्क्यान गरिएको छ। त्यसपछि, प्रत्येक डेटा स्रोतको लागि (संसाधनहरू उपलब्ध हुँदा), ​​वास्तवमा संसाधन स्क्यान गर्नको लागि काम बोलाइन्छ।

प्रत्येक कार्य एक कम्पाइल गरिएको बाइनरी फाइल हो जसले प्रत्येक सम्पत्तिको लागि उपलब्ध नवीनतम डाटामा Bernoulli नमूना प्रदर्शन गर्दछ। सम्पत्तिलाई व्यक्तिगत स्तम्भहरूमा विभाजित गरिएको छ, जहाँ प्रत्येक स्तम्भको वर्गीकरण परिणाम स्वतन्त्र रूपमा प्रशोधन गरिन्छ। थप रूपमा, प्रणालीले स्तम्भहरू भित्र कुनै पनि संतृप्त डाटाको लागि स्क्यान गर्दछ। JSON, arrays, encoded structures, URLs, base 64 serialized data, र थप सबै स्क्यान गरिएका छन्। यसले स्क्यान कार्यान्वयनको समयलाई उल्लेखनीय रूपमा बढाउन सक्छ किनभने एउटै तालिकाले ब्लबमा हजारौं नेस्टेड स्तम्भहरू समावेश गर्न सक्छ। json.

डेटा सम्पत्तिमा चयन गरिएको प्रत्येक पङ्क्तिको लागि, वर्गीकरण प्रणालीले सामग्रीबाट फ्लोट र पाठ वस्तुहरू निकाल्छ र प्रत्येक वस्तुलाई स्तम्भमा फिर्ता सम्बद्ध गर्दछ जसबाट यो लिइएको थियो। सुविधा निकासी चरणको आउटपुट डेटा सम्पत्तिमा पाइने प्रत्येक स्तम्भको लागि सबै सुविधाहरूको नक्सा हो।

केका लागि संकेतहरू छन्?

विशेषताहरूको अवधारणा कुञ्जी हो। फ्लोट र टेक्स्ट विशेषताहरूको सट्टा, हामी कच्चा स्ट्रिङ नमूनाहरू पास गर्न सक्छौं जुन प्रत्येक डेटा स्रोतबाट सीधै निकालिन्छ। यसका अतिरिक्त, मेसिन लर्निङ मोडेलहरूलाई सिधै प्रत्येक नमूनामा प्रशिक्षित गर्न सकिन्छ, सयौं विशेषता गणनाहरू जुन नमूनाको अनुमानित मात्र गर्ने प्रयास गर्छन्। यसका धेरै कारणहरू छन्:

1. गोपनीयता पहिले: सबैभन्दा महत्त्वपूर्ण कुरा, सुविधाहरूको अवधारणाले हामीलाई मेमोरीमा भण्डारण गर्न अनुमति दिन्छ केवल ती ढाँचाहरू जुन हामीले पुन: प्राप्त गर्छौं। यसले सुनिश्चित गर्दछ कि हामीले एकल उद्देश्यका लागि नमूनाहरू भण्डारण गर्छौं र हाम्रो आफ्नै प्रयासहरू मार्फत तिनीहरूलाई कहिल्यै लगाउँदैनौं। यो विशेष गरी अस्थिर डेटाको लागि महत्त्वपूर्ण छ, किनकि सेवाले भविष्यवाणी प्रदान गर्नु अघि केही वर्गीकरण अवस्था कायम गर्नुपर्छ।
2. मेमोरी: केही नमूनाहरू हजारौं क्यारेक्टर लामो हुन सक्छन्। यस्तो डाटा भण्डारण र प्रणाली को भागहरु मा प्रसारण अनावश्यक रूपमा धेरै अतिरिक्त बाइट खपत गर्दछ। हजारौं स्तम्भहरूसँग धेरै डेटा स्रोतहरू छन् भनेर दुई कारकहरू समयसँगै संयोजन गर्न सक्छन्।
3. फीचर एग्रिगेसन: सुविधाहरूले प्रत्येक स्क्यानको नतिजालाई सुविधाहरूको सेट मार्फत स्पष्ट रूपमा प्रतिनिधित्व गर्दछ, जसले प्रणालीलाई समान डेटा स्रोतको अघिल्लो स्क्यानहरूको नतिजाहरूलाई सुविधाजनक तरिकामा संयोजन गर्न अनुमति दिन्छ। यो धेरै रनहरूमा एकल डेटा स्रोतबाट स्क्यान परिणामहरू जम्मा गर्न उपयोगी हुन सक्छ।

सुविधाहरू त्यसपछि भविष्यवाणी सेवामा पठाइन्छ जहाँ हामी प्रत्येक स्तम्भको डेटा लेबलहरू भविष्यवाणी गर्न नियम-आधारित वर्गीकरण र मेसिन लर्निङ प्रयोग गर्छौं। सेवाले नियम वर्गीकरण र मेसिन लर्निङ दुवैमा निर्भर गर्दछ र प्रत्येक भविष्यवाणी वस्तुबाट दिइएको उत्कृष्ट भविष्यवाणी चयन गर्दछ।

नियम वर्गीकरणहरू म्यानुअल हेरिस्टिक्स हुन्, तिनीहरूले 0 देखि 100 को दायरामा वस्तुलाई सामान्य बनाउन गणना र गुणांकहरू प्रयोग गर्छन्। एक पटक त्यस डेटासँग सम्बन्धित प्रत्येक डेटा प्रकार र स्तम्भ नामको लागि यस्तो प्रारम्भिक स्कोर उत्पन्न भएपछि, यो कुनै पनि "प्रतिबन्ध" मा समावेश हुँदैन। सूचीहरू" ,नियम वर्गीकरणकर्ताले सबै डेटा प्रकारहरू बीच उच्चतम सामान्यीकृत स्कोर चयन गर्दछ।

वर्गीकरणको जटिलताको कारण, म्यानुअल हेरिस्टिक्समा मात्र भर पर्दा कम वर्गीकरण शुद्धतामा परिणाम हुन्छ, विशेष गरी असंरचित डेटाका लागि। यस कारणका लागि, हामीले प्रयोगकर्ता सामग्री र ठेगाना जस्ता असंरचित डेटाको वर्गीकरणसँग काम गर्न मेसिन लर्निङ प्रणाली विकास गरेका छौं। मेसिन लर्निङले म्यानुअल हेरिस्टिक्सबाट टाढा जान र थप डेटा संकेतहरू (जस्तै स्तम्भ नामहरू, डेटा प्रोभेन्स) लागू गर्न सुरु गर्न सम्भव बनाएको छ, पत्ता लगाउने शुद्धतामा उल्लेखनीय सुधार गर्दै। हामी पछि हाम्रो मेसिन लर्निङ आर्किटेक्चरमा गहिरो डुब्नेछौं।

भविष्यवाणी सेवाले स्क्यानको समय र अवस्थाको सन्दर्भमा मेटाडाटाको साथ प्रत्येक स्तम्भको लागि नतिजाहरू भण्डारण गर्दछ। कुनै पनि उपभोक्ताहरू र डाउनस्ट्रीम प्रक्रियाहरू जुन यस डाटामा निर्भर हुन्छन् दैनिक प्रकाशित डाटासेटबाट यसलाई पढ्न सक्छन्। यो सेटले यी सबै स्क्यान कार्यहरू, वा वास्तविक-समय डाटा क्याटलग API हरूको नतिजाहरू जम्मा गर्छ। प्रकाशित पूर्वानुमानहरू गोपनीयता र सुरक्षा नीतिहरूको स्वचालित प्रवर्तनको लागि आधार हुन्।

अन्तमा, पूर्वानुमान सेवाले सबै डाटा लेखेपछि र सबै पूर्वानुमानहरू भण्डारण गरिसकेपछि, हाम्रो डाटा क्याटलग API ले वास्तविक समयमा स्रोतका लागि सबै डाटा प्रकार पूर्वानुमानहरू फर्काउन सक्छ। प्रत्येक दिन प्रणालीले प्रत्येक सम्पत्तिको लागि सबै नवीनतम पूर्वानुमानहरू समावेश भएको डेटासेट प्रकाशित गर्दछ।

अस्थिर डाटा

जबकि माथिको प्रक्रिया निरन्तर सम्पत्तिहरूको लागि डिजाइन गरिएको हो, गैर-निरन्तर ट्राफिकलाई पनि संगठनको डेटाको अंश मानिन्छ र महत्त्वपूर्ण हुन सक्छ। यस कारणका लागि, प्रणालीले कुनै पनि रुकावट ट्राफिकको लागि वास्तविक-समय वर्गीकरण भविष्यवाणीहरू उत्पन्न गर्नको लागि अनलाइन API प्रदान गर्दछ। वास्तविक-समय पूर्वानुमान प्रणाली व्यापक रूपमा आउटबाउन्ड ट्राफिक, मेसिन लर्निङ मोडेल र विज्ञापनदाता डेटामा इनबाउन्ड ट्राफिक वर्गीकरण गर्न प्रयोग गरिन्छ।

यहाँ API ले दुई मुख्य तर्कहरू लिन्छ: समूहीकरण कुञ्जी र कच्चा डाटा जुन भविष्यवाणी गर्न सकिन्छ। सेवाले माथि वर्णन गरिएबमोजिम एउटै वस्तु पुनःप्राप्ति गर्छ र एउटै कुञ्जीका लागि वस्तुहरूलाई समूहबद्ध गर्दछ। यी सुविधाहरू असफलता रिकभरीको लागि दृढता क्यासमा पनि समर्थित छन्। प्रत्येक समूहीकरण कुञ्जीको लागि, सेवाले माथि वर्णन गरिएको प्रक्रिया पछ्याउँदै, भविष्यवाणी सेवालाई कल गर्नु अघि पर्याप्त नमूनाहरू देखेको सुनिश्चित गर्दछ।

अनुकूलन

केहि भण्डारणहरू स्क्यान गर्न, हामी तातो भण्डारण [२] बाट पठनलाई अनुकूलन गर्न पुस्तकालयहरू र प्रविधिहरू प्रयोग गर्छौं र उही भण्डारण पहुँच गर्ने अन्य प्रयोगकर्ताहरूबाट कुनै अवरोधहरू छैनन् भनी सुनिश्चित गर्दछौं।

धेरै ठूला टेबलहरू (50+ पेटाबाइट्स) को लागि, सबै अप्टिमाइजेसनहरू र मेमोरी दक्षताको बावजुद, प्रणालीले मेमोरी समाप्त हुनु अघि सबै कुरा स्क्यान र गणना गर्न काम गर्दछ। आखिर, स्क्यान पूर्णतया मेमोरीमा गणना गरिन्छ र स्क्यानको समयमा भण्डार गरिएको छैन। यदि ठूला तालिकाहरूमा डेटाको असंरचित क्लम्पहरू भएका हजारौं स्तम्भहरू छन् भने, सम्पूर्ण तालिकामा भविष्यवाणीहरू गर्दा अपर्याप्त मेमोरी स्रोतहरूको कारणले कार्य असफल हुन सक्छ। यसले कभरेज घटाउने परिणाम हुनेछ। यो लड्न, हामीले प्रणालीलाई हालको कार्यभारलाई कसरी राम्रोसँग ह्यान्डल गर्छ भनेर प्रोक्सीको रूपमा स्क्यान गति प्रयोग गर्न प्रणालीलाई अप्टिमाइज गर्यौं। हामी मेमोरी समस्याहरू हेर्न र सुविधा नक्साको भविष्यवाणी गर्नको लागि भविष्यवाणी गर्ने संयन्त्रको रूपमा गति प्रयोग गर्छौं। एकै समयमा, हामी सामान्य भन्दा कम डाटा प्रयोग गर्छौं।

डाटा संकेतहरू

एक वर्गीकरण प्रणाली डाटाबाट संकेत जत्तिकै राम्रो छ। यहाँ हामी वर्गीकरण प्रणाली द्वारा प्रयोग गरिएका सबै संकेतहरू हेर्नेछौं।

• सामग्री आधारित: अवश्य पनि, पहिलो र सबैभन्दा महत्त्वपूर्ण संकेत सामग्री हो। Bernoulli नमूना प्रत्येक डेटा सम्पत्तिमा प्रदर्शन गरिन्छ जुन हामीले डेटा सामग्रीमा आधारित सुविधाहरू स्क्यान र निकाल्छौं। धेरै संकेतहरू सामग्रीबाट आउँछन्। कुनै पनि संख्यामा फ्लोटिंग वस्तुहरू सम्भव छन्, जसले एक विशेष नमूना प्रकार कति पटक हेरिएको छ भनेर गणना गर्दछ। उदाहरणका लागि, हामीसँग नमूनामा देखिएका इमेलहरूको सङ्ख्या वा नमूनामा कति इमोजीहरू देखिएका छन् भन्ने सङ्केतहरू हुन सक्छन्। यी सुविधा गणनाहरू सामान्यीकृत र विभिन्न स्क्यानहरूमा एकत्रित गर्न सकिन्छ।
• डाटा प्रोभेन्सन: एउटा महत्त्वपूर्ण संकेत जसले मद्दत गर्न सक्छ जब सामग्री अभिभावक तालिकाबाट परिवर्तन भएको छ। एक सामान्य उदाहरण ह्यास गरिएको डाटा हो। जब बच्चा तालिकामा डेटा ह्यास गरिन्छ, यो प्रायः अभिभावक तालिकाबाट आउँछ, जहाँ यो स्पष्ट रहन्छ। वंश डेटाले निश्चित प्रकारका डाटालाई वर्गीकरण गर्न मद्दत गर्दछ जब तिनीहरू स्पष्ट रूपमा पढ्दैनन् वा अपस्ट्रीम तालिकाबाट रूपान्तरण हुन्छन्।
• एनोटेसनहरू: अर्को उच्च-गुणस्तरको संकेत जसले असंरचित डाटा पहिचान गर्न मद्दत गर्दछ। वास्तवमा, एनोटेसनहरू र प्रोभेन्स डेटाले विभिन्न डेटा सम्पत्तिहरूमा विशेषताहरू प्रचार गर्न सँगै काम गर्न सक्छ। एनोटेसनहरूले असंरचित डेटाको स्रोत पहिचान गर्न मद्दत गर्दछ, जबकि वंश डेटाले भण्डारमा डेटाको प्रवाह ट्र्याक गर्न मद्दत गर्न सक्छ।
• डाटा इंजेक्शन एक प्रविधि हो जहाँ विशेष, अपठनीय क्यारेक्टरहरू जानाजानी ज्ञात डाटा प्रकारहरूको ज्ञात स्रोतहरूमा प्रस्तुत गरिन्छ। त्यसोभए, जब हामी समान अपठनीय क्यारेक्टर अनुक्रमको साथ सामग्री स्क्यान गर्छौं, हामी सामग्री त्यो ज्ञात डाटा प्रकारबाट आएको अनुमान गर्न सक्छौं। यो एनोटेसन जस्तै अर्को गुणात्मक डेटा संकेत हो। त्यो बाहेक सामग्री-आधारित पहिचानले प्रविष्ट गरिएको डाटा पत्ता लगाउन मद्दत गर्दछ।

मापन मेट्रिक्स

एक महत्त्वपूर्ण घटक मेट्रिक्स मापन को लागी एक कठोर विधि हो। वर्गीकरण सुधार पुनरावृत्तिको लागि मुख्य मेट्रिक्स प्रत्येक लेबलको सटीकता र सम्झना हो, F2 स्कोर सबैभन्दा महत्त्वपूर्ण छ।

यी मेट्रिक्स गणना गर्न, डाटा सम्पत्ति लेबलिङको लागि एक स्वतन्त्र विधि आवश्यक छ जुन प्रणाली आफैंबाट स्वतन्त्र छ, तर यसको साथ प्रत्यक्ष तुलनाको लागि प्रयोग गर्न सकिन्छ। तल हामी कसरी फेसबुकबाट आधारभूत सत्य सङ्कलन गर्छौं र हाम्रो वर्गीकरण प्रणालीलाई तालिम दिन प्रयोग गर्छौं भनेर वर्णन गर्छौं।

भरपर्दो डाटा संग्रह

हामी तल सूचीबद्ध प्रत्येक स्रोतबाट यसको आफ्नै तालिकामा भरपर्दो डाटा सङ्कलन गर्छौं। प्रत्येक तालिका त्यो विशेष स्रोतबाट नवीनतम अवलोकन मानहरू जम्मा गर्न जिम्मेवार छ। प्रत्येक स्रोतका लागि अवलोकन गरिएका मानहरू उच्च गुणस्तरका छन् र नवीनतम डाटा प्रकार लेबलहरू समावेश छन् भनी सुनिश्चित गर्न प्रत्येक स्रोतसँग डेटा गुणस्तर जाँचहरू छन्।

• लगिङ प्लेटफर्म कन्फिगरेसनहरू: हाइभ तालिकाहरूमा निश्चित क्षेत्रहरू डेटाले भरिएका हुन्छन् जुन एक विशेष प्रकारको हुन्छ। यस डाटाको प्रयोग र प्रसारले सत्यको भरपर्दो स्रोतको रूपमा कार्य गर्दछ।
• म्यानुअल लेबलिङ: प्रणाली कायम गर्ने विकासकर्ताहरू साथै बाह्य लेबलरहरूलाई स्तम्भहरू लेबल गर्न प्रशिक्षित गरिन्छ। यसले सामान्यतया गोदाममा रहेका सबै प्रकारका डेटाका लागि राम्रोसँग काम गर्छ, र सन्देश डेटा वा प्रयोगकर्ता सामग्री जस्ता केही असंरचित डेटाको लागि सत्यको प्राथमिक स्रोत हुन सक्छ।
• अभिभावक तालिकाहरूका स्तम्भहरूलाई निश्चित डेटा समावेश भएको रूपमा चिन्ह लगाउन वा एनोटेट गर्न सकिन्छ, र हामी त्यो डेटालाई बच्चाहरूको तालिकामा ट्र्याक गर्न सक्छौं।
• निष्पादनको थ्रेडहरू ल्याउँदै: Facebook मा निष्पादनको थ्रेडहरूले विशेष प्रकारको डाटा बोक्छ। हाम्रो स्क्यानरलाई सेवा वास्तुकलाको रूपमा प्रयोग गरेर, हामी स्ट्रिमहरू नमूना गर्न सक्छौं जुन डेटा प्रकारहरू छन् र तिनीहरूलाई प्रणाली मार्फत पठाउन सक्छौं। प्रणालीले यो डाटा भण्डारण नगर्ने वाचा गर्दछ।
• नमूना तालिकाहरू: ठूला हाइभ टेबलहरू, जसमा सम्पूर्ण डेटा कोर्पस समावेश छ भनेर चिनिन्छ, प्रशिक्षण डेटाको रूपमा पनि प्रयोग गर्न सकिन्छ र सेवाको रूपमा स्क्यानर मार्फत पास गर्न सकिन्छ। यो डेटा प्रकारहरूको पूर्ण दायरा भएका तालिकाहरूका लागि उत्कृष्ट छ, ताकि अनियमित रूपमा स्तम्भ नमूना गर्नु त्यो डेटा प्रकारको सम्पूर्ण सेटको नमूनाकरण बराबर हो।
• सिंथेटिक डाटा: हामी पुस्तकालयहरू पनि प्रयोग गर्न सक्छौं जसले उडानमा डाटा उत्पन्न गर्दछ। यसले सरल, सार्वजनिक डेटा प्रकारहरू जस्तै ठेगाना वा GPS को लागी राम्रोसँग काम गर्दछ।
• डेटा भण्डारीहरू: गोपनीयता कार्यक्रमहरू सामान्यतया डेटाका टुक्राहरूमा म्यानुअल रूपमा नीतिहरू तोक्न डेटा भण्डारीहरू प्रयोग गर्छन्। यो सत्य को एक उच्च सटीक स्रोत को रूप मा सेवा गर्दछ।

हामी सत्यको प्रत्येक प्रमुख स्रोतलाई त्यो सबै डाटाको साथ एक कोर्पसमा जोड्छौं। वैधताको साथ सबैभन्दा ठूलो चुनौती भनेको यो डाटा गोदामको प्रतिनिधि हो भनेर सुनिश्चित गर्नु हो। अन्यथा, वर्गीकरण इन्जिन ओभरट्रेन हुन सक्छ। यससँग लड्न, माथिका सबै स्रोतहरू तालिम मोडेल वा मेट्रिक्स गणना गर्दा सन्तुलन सुनिश्चित गर्न प्रयोग गरिन्छ। थप रूपमा, मानव लेबलहरूले समान रूपमा भण्डारमा विभिन्न स्तम्भहरूको नमूना बनाउँछन् र तदनुसार डाटा लेबल गर्छन् ताकि आधारभूत सत्यको संग्रह निष्पक्ष रहन्छ।

निरन्तर एकीकरण

द्रुत पुनरावृत्ति र सुधार सुनिश्चित गर्न, यो सधैं वास्तविक समयमा प्रणाली प्रदर्शन मापन गर्न महत्त्वपूर्ण छ। हामी आज प्रणाली विरुद्ध प्रत्येक वर्गीकरण सुधार मापन गर्न सक्छौं, त्यसैले हामी रणनीतिक रूपमा डेटामा आधारित भविष्यमा सुधारहरू मार्गदर्शन गर्न सक्छौं। यहाँ हामी वैध डाटा द्वारा प्रदान गरिएको प्रतिक्रिया लुप प्रणालीले कसरी पूरा गर्छ भनेर हेर्छौं।

जब समयतालिका प्रणालीले एक विश्वसनीय स्रोतबाट लेबल भएको सम्पत्तिको सामना गर्छ, हामी दुई कार्यहरू अनुसूचित गर्छौं। पहिलोले हाम्रो उत्पादन स्क्यानर र यसरी हाम्रो उत्पादन क्षमताहरू प्रयोग गर्दछ। दोस्रो कार्यले नवीनतम सुविधाहरूको साथ नवीनतम निर्माण स्क्यानर प्रयोग गर्दछ। प्रत्येक कार्यले आफ्नै तालिकामा यसको आउटपुट लेख्छ, वर्गीकरण परिणामहरू सहित संस्करणहरू ट्याग गर्दै।

यसरी हामी रिलिज उम्मेद्वारको वर्गीकरण परिणाम र वास्तविक समयमा उत्पादन मोडेल तुलना गर्छौं।

डेटासेटहरूले RC र PROD सुविधाहरूको तुलना गर्दा, भविष्यवाणी सेवाको ML वर्गीकरण इन्जिनका धेरै भिन्नताहरू लगइन गरिएका छन्। सबैभन्दा भर्खरै निर्मित मेसिन लर्निङ मोडेल, उत्पादनमा हालको मोडेल, र कुनै पनि प्रयोगात्मक मोडेलहरू। एउटै दृष्टिकोणले हामीलाई मोडेलका विभिन्न संस्करणहरू (हाम्रो नियम वर्गीकरणकर्ताहरूलाई अज्ञेयवादी) "स्लाइस" गर्न र वास्तविक समयमा मेट्रिक्स तुलना गर्न अनुमति दिन्छ। यसले ML प्रयोग उत्पादनमा जानको लागि तयार हुँदा निर्धारण गर्न सजिलो बनाउँछ।

प्रत्येक रात, त्यस दिनको लागि गणना गरिएका RC सुविधाहरू ML प्रशिक्षण पाइपलाइनमा पठाइन्छ, जहाँ मोडेललाई नवीनतम RC सुविधाहरूमा तालिम दिइन्छ र ग्राउन्ड ट्रुथ डाटासेट विरुद्ध यसको कार्यसम्पादन मूल्याङ्कन गरिन्छ।

प्रत्येक बिहान, मोडेलले प्रशिक्षण पूरा गर्दछ र स्वचालित रूपमा प्रयोगात्मक मोडेलको रूपमा प्रकाशित हुन्छ। यो स्वचालित रूपमा प्रयोगात्मक सूचीमा समावेश छ।

केही परिणामहरू

१०० भन्दा बढी विभिन्न प्रकारका डाटा उच्च शुद्धताका साथ लेबल गरिएका छन्। राम्रो-संरचित प्रकारहरू जस्तै इमेल र फोन नम्बरहरू ०.९५ भन्दा बढी f100 स्कोरमा वर्गीकृत हुन्छन्। नि: शुल्क डेटा प्रकारहरू जस्तै प्रयोगकर्ता-उत्पन्न सामग्री र नामले पनि धेरै राम्रो प्रदर्शन गर्दछ, F2 स्कोरहरू 0,95 भन्दा बढीको साथ।

निरन्तर र अस्थिर डेटाको व्यक्तिगत स्तम्भहरूको ठूलो संख्या सबै भण्डारहरूमा दैनिक वर्गीकृत गरिन्छ। १० भन्दा बढी डाटा गोदामहरूमा दैनिक ५०० भन्दा बढी टेराबाइट स्क्यान गरिन्छ। यी रिपोजिटरीहरू मध्ये धेरैमा 500% भन्दा बढी कभरेज छ।

समयको साथ, वर्गीकरण धेरै कुशल भएको छ, एक निरन्तर अफलाइन स्ट्रिममा वर्गीकरण कार्यहरूले प्रत्येक स्तम्भको लागि भविष्यवाणीहरू गणना गर्न सम्पत्ति स्क्यान गर्न औसत 35 सेकेन्ड लिन्छ।

चामल। 2. RC वस्तुहरू कसरी उत्पन्न हुन्छन् र मोडेलमा पठाइन्छ भनेर बुझ्नको लागि निरन्तर एकीकरण प्रवाहको वर्णन गर्ने रेखाचित्र।

चित्र ३। मेसिन लर्निङ कम्पोनेन्टको उच्च-स्तरको रेखाचित्र।

मेसिन लर्निङ सिस्टम कम्पोनेन्ट

अघिल्लो खण्डमा, हामीले समग्र प्रणाली संरचना, हाइलाइटिङ स्केल, अप्टिमाइजेसन, र अफलाइन र अनलाइन डेटा प्रवाहहरूमा गहिरो डुबकी लिएका छौं। यस खण्डमा, हामी पूर्वानुमान सेवालाई हेर्नेछौं र भविष्यवाणी सेवालाई शक्ति दिने मेसिन लर्निङ प्रणालीको वर्णन गर्नेछौं।

100 भन्दा बढी डेटा प्रकारहरू र सन्देश डेटा र प्रयोगकर्ता सामग्री जस्ता केही असंरचित सामग्रीको साथ, विशुद्ध रूपमा म्यानुअल हेरिस्टिक्स प्रयोग गरेर सबप्यामेट्रिक वर्गीकरण शुद्धतामा परिणामहरू, विशेष गरी असंरचित डेटाको लागि। यस कारणले गर्दा, हामीले असंरचित डेटाको जटिलताहरू सामना गर्न मेसिन लर्निङ प्रणाली पनि विकास गरेका छौं। मेसिन लर्निङको प्रयोगले तपाईंलाई म्यानुअल हेरिस्टिक्सबाट टाढा जान र सटीकता सुधार गर्न सुविधाहरू र अतिरिक्त डेटा संकेतहरू (उदाहरणका लागि, स्तम्भ नामहरू, डेटा उत्पत्ति) सँग काम गर्न अनुमति दिन्छ।

लागू गरिएको मोडेलले घना र विरल वस्तुहरूमा भेक्टर प्रतिनिधित्वहरू [३] छुट्टाछुट्टै अध्ययन गर्दछ। यिनीहरूलाई त्यसपछि भेक्टर बनाउनको लागि मिलाइन्छ, जुन ब्याच सामान्यीकरण [४] र अन्तिम नतिजा उत्पादन गर्न ननलाइनरिटी चरणहरूको श्रृंखलाबाट जान्छ। अन्तिम नतिजा प्रत्येक लेबलको लागि [3-4] बीचको फ्लोटिंग बिन्दु नम्बर हो, उदाहरण त्यो संवेदनशीलता प्रकारसँग सम्बन्धित छ भन्ने सम्भावनालाई संकेत गर्दछ। मोडेलको लागि PyTorch प्रयोग गरेर टोली बाहिरका विकासकर्ताहरूलाई छिटो परिवर्तनहरू गर्न र परीक्षण गर्न अनुमति दिँदै हामीलाई छिटो सार्न अनुमति दियो।

वास्तुकला डिजाइन गर्दा, तिनीहरूको अन्तर्निहित भिन्नताहरूको कारणले गर्दा स्प्यार्स (जस्तै पाठ) र घना (जस्तै संख्यात्मक) वस्तुहरूलाई अलग-अलग मोडल गर्न महत्त्वपूर्ण थियो। अन्तिम वास्तुकलाको लागि, सिक्ने दर, ब्याच साइज, र अन्य हाइपरप्यामिटरहरूको लागि इष्टतम मान फेला पार्न प्यारामिटर स्वीप गर्न पनि महत्त्वपूर्ण थियो। अनुकूलक को छनोट पनि एक महत्त्वपूर्ण हाइपरपैरामीटर थियो। हामीले त्यो एक लोकप्रिय अनुकूलक भेट्टायौं आदमअक्सर ओभरफिटिंगमा जान्छ, जबकि एक मोडेल संग SGD थप स्थिर। त्यहाँ थप न्युनन्सहरू थिए जुन हामीले सीधा मोडेलमा समावेश गर्नुपर्ने थियो। उदाहरण को लागी, मोडेल एक निश्चित मान छ जब एक deterministic भविष्यवाणी गर्छ सुनिश्चित गर्ने स्थिर नियम। यी स्थिर नियमहरू हाम्रा ग्राहकहरूले परिभाषित गरेका छन्। हामीले फेला पार्‍यौं कि तिनीहरूलाई सीधा मोडेलमा समावेश गर्दा यी विशेष किनारा केसहरू ह्यान्डल गर्न पोस्ट-प्रोसेसिङ चरण लागू गर्नुको विपरीत, थप आत्म-निहित र बलियो वास्तुकलाको परिणाम भयो। यो पनि ध्यान दिनुहोस् कि यी नियमहरू प्रशिक्षणको क्रममा असक्षम पारिएका छन् ताकि ग्रेडियन्ट डिसेन्ट प्रशिक्षण प्रक्रियामा हस्तक्षेप नगर्नुहोस्।

समस्याहरू

एउटा चुनौती भनेको उच्च गुणस्तरीय, भरपर्दो डाटा सङ्कलन गर्नु थियो। मोडेललाई प्रत्येक कक्षाको लागि आत्मविश्वास चाहिन्छ ताकि यसले वस्तुहरू र लेबलहरू बीचको सम्बन्धहरू सिक्न सक्छ। अघिल्लो खण्डमा, हामीले प्रणाली मापन र मोडेल प्रशिक्षण दुवैको लागि डेटा सङ्कलन विधिहरू छलफल गर्यौं। विश्लेषणले हाम्रो गोदाममा क्रेडिट कार्ड र बैंक खाता नम्बरहरू जस्ता डेटा वर्गहरू धेरै सामान्य छैनन् भनेर देखाएको छ। यसले मोडेलहरूलाई प्रशिक्षित गर्नको लागि ठूलो मात्रामा भरपर्दो डाटा सङ्कलन गर्न गाह्रो बनाउँछ। यस मुद्दालाई सम्बोधन गर्न, हामीले यी कक्षाहरूका लागि सिंथेटिक ग्राउन्ड ट्रुथ डाटा प्राप्त गर्ने प्रक्रियाहरू विकास गरेका छौं। हामी संवेदनशील प्रकारहरू लगायतका लागि यस्तो डाटा उत्पन्न गर्छौं SSN, क्रेडिट कार्ड नम्बरहरू и IBAN-संख्या जसको लागि मोडेलले पहिले भविष्यवाणी गर्न सकेन। यो दृष्टिकोणले संवेदनशील डाटा प्रकारहरूलाई वास्तविक संवेदनशील डाटा लुकाउन सम्बन्धित गोपनीयता जोखिमहरू बिना प्रशोधन गर्न अनुमति दिन्छ।

जग्गा सत्य मुद्दाहरू बाहेक, त्यहाँ खुला वास्तुकला मुद्दाहरू छन् जुन हामीले काम गरिरहेका छौं, जस्तै अलगाव परिवर्तन и प्रारम्भिक रोक। सञ्जालका विभिन्न भागहरूमा विभिन्न परिवर्तनहरू गर्दा, प्रभाव विशिष्ट वर्गहरूमा अलग हुन्छ र समग्र पूर्वानुमान कार्यसम्पादनमा व्यापक प्रभाव पार्दैन भन्ने कुरा सुनिश्चित गर्न परिवर्तन अलगाव महत्त्वपूर्ण छ। प्रारम्भिक रोक्ने मापदण्डमा सुधार गर्नु पनि महत्त्वपूर्ण छ ताकि हामीले प्रशिक्षण प्रक्रियालाई सबै कक्षाहरूको लागि स्थिर बिन्दुमा रोक्न सक्छौं, केही कक्षाहरू ओभरट्रेन गर्ने र अरूले नगर्ने बिन्दुमा।

विशेषता महत्व

जब कुनै नयाँ सुविधा मोडेलमा प्रस्तुत गरिन्छ, हामी मोडेलमा यसको समग्र प्रभाव जान्न चाहन्छौं। हामी यो पनि सुनिश्चित गर्न चाहन्छौं कि भविष्यवाणीहरू मानव व्याख्यायोग्य छन् ताकि हामी प्रत्येक प्रकारको डेटाका लागि कुन सुविधाहरू प्रयोग भइरहेका छन् भन्ने कुरा बुझ्न सकौं। यस उद्देश्यका लागि हामीले विकास र परिचय दिएका छौं कक्षा द्वारा PyTorch मोडेलका लागि सुविधाहरूको महत्त्व। ध्यान दिनुहोस् कि यो समग्र विशेषता महत्व भन्दा फरक छ, जुन सामान्यतया समर्थित छ, किनकि यसले हामीलाई विशेष वर्गको लागि कुन सुविधाहरू महत्त्वपूर्ण छन् भनेर बताउँदैन। हामी वस्तुलाई पुन: व्यवस्थित गरेपछि भविष्यवाणी त्रुटिमा भएको वृद्धिको गणना गरेर वस्तुको महत्त्व नाप्छौं। एउटा विशेषता "महत्वपूर्ण" हुन्छ जब मानहरू स्व्याप गर्दा मोडेलको त्रुटि बढ्छ किनभने यस अवस्थामा मोडेलले आफ्नो भविष्यवाणी गर्न सुविधामा भर परेको थियो। एक सुविधा "अमहत्त्वपूर्ण" हो जब यसको मानहरू फेरबदल गर्दा मोडेल त्रुटि अपरिवर्तित रहन्छ, किनकि यस अवस्थामा मोडेलले यसलाई बेवास्ता गर्यो [5]।

प्रत्येक वर्गको लागि सुविधाको महत्त्वले हामीलाई मोडेललाई व्याख्यायोग्य बनाउन अनुमति दिन्छ ताकि लेबलको भविष्यवाणी गर्दा मोडेलले के हेरिरहेको छ भनेर देख्न सक्छौं। उदाहरणका लागि, जब हामी विश्लेषण गर्छौं ADDR, त्यसपछि हामी ग्यारेन्टी दिन्छौं कि ठेगानासँग सम्बन्धित चिन्ह, जस्तै ठेगानालाइन गणना, प्रत्येक कक्षाको लागि विशेषता महत्व तालिकामा उच्च स्थानमा छ ताकि हाम्रो मानव अन्तर्ज्ञान मोडेलले सिकेको कुरासँग राम्रोसँग मेल खान्छ।

मूल्यांकन

सफलताको लागि एकल मेट्रिक परिभाषित गर्न महत्त्वपूर्ण छ। हामीले रोज्यौं F2 - सम्झना र शुद्धता बीच सन्तुलन (स्मरण पूर्वाग्रह थोरै ठूलो छ)। गोपनीयता प्रयोगको मामलाको लागि सटीकता भन्दा स्मरण गर्नु महत्त्वपूर्ण छ किनभने यो टोलीको लागि कुनै पनि संवेदनशील डेटा (उचित शुद्धता सुनिश्चित गर्दा) नछुटाउन महत्त्वपूर्ण छ। हाम्रो मोडेलको वास्तविक F2 प्रदर्शन मूल्याङ्कन यस पेपरको दायराभन्दा बाहिर छ। यद्यपि, सावधानीपूर्वक ट्युनिङको साथमा हामी सबैभन्दा महत्त्वपूर्ण संवेदनशील कक्षाहरूको लागि उच्च (०.९+) F0,9 स्कोरहरू प्राप्त गर्न सक्छौं।

सम्बन्धित काम

ढाँचा मिलान, कागजात समानता खोजी र विभिन्न मेसिन लर्निङ विधिहरू (बायसियन, निर्णय रूखहरू, के-नजीक छिमेकीहरू र अन्य धेरै) जस्ता विभिन्न विधिहरू प्रयोग गरेर असंरचित कागजातहरूको स्वचालित वर्गीकरणका लागि धेरै एल्गोरिदमहरू छन् [६]। यी मध्ये कुनै पनि वर्गीकरणको भागको रूपमा प्रयोग गर्न सकिन्छ। तर, समस्या स्केलेबिलिटीको हो । यस लेखमा वर्गीकरण दृष्टिकोण लचिलोपन र प्रदर्शन तिर पक्षपातपूर्ण छ। यसले हामीलाई भविष्यमा नयाँ कक्षाहरूलाई समर्थन गर्न र विलम्बता कम राख्न अनुमति दिन्छ।

डाटा फिंगरप्रिन्टिङमा पनि धेरै काम छ। उदाहरणका लागि, [७] मा लेखकहरूले संवेदनशील डाटा लीक गर्ने समस्यामा केन्द्रित समाधानको वर्णन गरे। अन्तर्निहित धारणा यो हो कि डाटालाई ज्ञात संवेदनशील डाटाको सेटसँग मिलाउन फिंगरप्रिन्ट गर्न सकिन्छ। [८] मा लेखकहरूले गोपनीयता चुहावटको समान समस्याको वर्णन गर्छन्, तर तिनीहरूको समाधान एक विशिष्ट एन्ड्रोइड आर्किटेक्चरमा आधारित छ र यदि प्रयोगकर्ताका कार्यहरूले व्यक्तिगत जानकारीको साझेदारीमा परिणाम दिन्छ वा अन्तर्निहित अनुप्रयोगले प्रयोगकर्ताको डाटा लीक गर्छ भने मात्र वर्गीकृत गरिन्छ। यहाँ स्थिति केही फरक छ किनभने प्रयोगकर्ता डेटा पनि अत्यधिक असंरचित हुन सक्छ। त्यसकारण, हामीलाई फिंगरप्रिन्टिङ भन्दा बढी जटिल प्रविधि चाहिन्छ।

अन्तमा, केहि प्रकारका संवेदनशील डाटाका लागि डाटा अभावको सामना गर्न, हामीले सिंथेटिक डाटा प्रस्तुत गर्यौं। त्यहाँ डेटा वृद्धि मा साहित्य को एक ठूलो शरीर छ, उदाहरण को लागी, लेखकहरु [9] मा प्रशिक्षण को समयमा शोर इंजेक्शन को भूमिका को अन्वेषण र पर्यवेक्षित शिक्षा मा सकारात्मक परिणाम अवलोकन। गोपनियताप्रतिको हाम्रो दृष्टिकोण फरक छ किनकी कोलाहलपूर्ण डेटा प्रस्तुत गर्नु प्रतिउत्पादक हुन सक्छ, र हामी यसको सट्टा उच्च गुणस्तरको सिंथेटिक डेटामा ध्यान केन्द्रित गर्छौं।

निष्कर्षमा

यस पेपरमा, हामीले डेटाको टुक्रालाई वर्गीकृत गर्न सक्ने प्रणाली प्रस्तुत गरेका छौं। यसले हामीलाई गोपनीयता र सुरक्षा नीतिहरू लागू गर्न प्रणालीहरू सिर्जना गर्न अनुमति दिन्छ। हामीले स्केलेबल पूर्वाधार, निरन्तर एकीकरण, मेसिन लर्निङ र उच्च-गुणस्तरको डेटा आश्वासनले हाम्रा धेरै गोपनीयता पहलहरूको सफलतामा मुख्य भूमिका खेल्ने देखेका छौं।

भविष्यका कामका लागि धेरै दिशाहरू छन्। यसमा योजनाबद्ध डेटा (फाइलहरू) को लागि समर्थन प्रदान गर्न, डेटा प्रकार मात्र होइन तर संवेदनशीलता स्तर पनि वर्गीकरण, र सही सिंथेटिक उदाहरणहरू सिर्जना गरेर प्रशिक्षणको समयमा स्व-निरीक्षण गरिएको सिकाइ प्रयोग गर्न समावेश हुन सक्छ। जसले, बारीमा, मोडेललाई सबैभन्दा ठूलो रकमले घाटा कम गर्न मद्दत गर्नेछ। भविष्यको कार्यले अनुसन्धान कार्यप्रवाहमा पनि केन्द्रित हुन सक्छ, जहाँ हामी पत्ता लगाउनेभन्दा बाहिर जान्छौं र विभिन्न गोपनीयता उल्लङ्घनहरूको मूल कारण विश्लेषण प्रदान गर्छौं। यसले संवेदनशीलता विश्लेषण (जस्तै डाटा प्रकारको गोपनीयता संवेदनशीलता उच्च (जस्तै प्रयोगकर्ता आईपी) वा कम (जस्तै फेसबुक आन्तरिक आईपी) जस्ता मामिलाहरूमा मद्दत गर्नेछ।

बाइबिल

1. डेभिड बेन-डेविड, तामार डोमनी र अबीगेल तारेम। सिमान्टिक वेब प्रविधिहरू प्रयोग गरेर उद्यम डेटा वर्गीकरण। पिटर F.Ï पटेल-श्नाइडर, यू पान, पास्कल हिट्जलर, पिटर मिका, लेई झाङ, जेफ जेड प्यान, इयान होरोक्स, र बिर्टे ग्लिम, सम्पादकहरूमा, सिमान्टिक वेब - ISWC 2010, पृष्ठ 66-81, बर्लिन, हेडलबर्ग, 2010। स्प्रिंगर बर्लिन हेडलबर्ग।
2. सुब्रमण्यम मुरलीधर, व्याट लोयड, सब्यसाची रोय, कोरी हिल, अर्नेस्ट लिन, वेवेन लिउ, सताद्रु पान, शिव शंकर, विश्वनाथ शिवकुमार, लिनपेङ ताङ, र सञ्जीव कुमार। f4: फेसबुकको न्यानो BLOB भण्डारण प्रणाली। मा अपरेटिङ सिस्टम डिजाइन र कार्यान्वयनमा 11 औं USENIX संगोष्ठी (OSDI 14), पृष्ठ ३८३–३९८, ब्रूमफिल्ड, CO, अक्टोबर २०१४। USENIX संघ।
3. टोमस मिकोलोभ, इल्या सुत्स्केभर, काई चेन, ग्रेग एस कोराडो, र जेफ डीन। शब्दहरू र वाक्यांशहरू र तिनीहरूको संरचनात्मकताको वितरण गरिएको प्रतिनिधित्व। C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, र K. Q. Weinberger, सम्पादकहरूमा, तंत्रिका सूचना प्रशोधन प्रणालीमा प्रगति 26, पृष्ठ 3111-3119। Curran एसोसिएट्स, Inc., 2013।
4. सर्गेई Ioffe र क्रिश्चियन Szegedy। ब्याच सामान्यीकरण: आन्तरिक कोवरिएट शिफ्ट घटाएर गहिरो सञ्जाल प्रशिक्षणको गति बढाउँदै। फ्रान्सिस बाख र डेभिड ब्लेई, सम्पादकहरूमा, मेसिन लर्निङमा ३२औँ अन्तर्राष्ट्रिय सम्मेलनको कार्यवाही, खण्ड १ को मेसिन लर्निङ रिसर्चको प्रक्रिया, पृष्ठ ४४८–४५६, लिले, फ्रान्स, ०७–०९ जुलाई २०१५। PMLR।
5. लियो ब्रेमन। अनियमित जंगलहरू। मच। सिक्नुहोस्।, ४५(१):५–३२, अक्टोबर २००१।
6. थाइर नु फ्यु। डाटा खनन मा वर्गीकरण प्रविधि को सर्वेक्षण।
7. X. शू, D. याओ, र E. Bertino। संवेदनशील डेटा एक्सपोजरको गोपनीयता-संरक्षण पत्ता लगाउने। सूचना फोरेंसिक्स र सुरक्षा मा IEEE लेनदेन, 10(5):1092–1103, 2015.
8. झेमिन याङ, मिन याङ, युआन झाङ, गुओफेई गु, पेङ निङ र सियाओयाङ वाङ। नियोक्ता: गोपनीयता चुहावट पत्ता लगाउनको लागि एन्ड्रोइडमा संवेदनशील डेटा प्रसारणको विश्लेषण गर्दै। पृष्ठहरू 1043-1054, 11 2013।
9. किझे झी, जिहांग दाई, एडुआर्ड एच. होवी, मिन्ह-थांग लुओंग, र क्वोक वी. ले। असुरक्षित डाटा वृद्धि।

SkillFactory अनलाइन पाठ्यक्रमहरू लिएर सीप र तलबको सन्दर्भमा स्क्र्याच वा स्तर माथिबाट खोजिएको पेशा कसरी प्राप्त गर्ने बारे विवरणहरू पत्ता लगाउनुहोस्:

• स्क्र्याच देखि डाटा विज्ञान को पेशा अध्यापन (७ महिना)
• मेसिन लर्निङ कोर्स (६ हप्ता)
• उन्नत पाठ्यक्रम "मेसिन लर्निङ प्रो + डीप लर्निङ" (६ हप्ता)
• पाठ्यक्रम "डेटा विज्ञानका लागि गणित र मेसिन लर्निङ" (६ हप्ता)

थप पाठ्यक्रमहरू

• वेब विकास पाठ्यक्रम को लागी पाइथन (७ महिना)
• पेशा वेब विकासकर्ता (७ महिना)
• कुनै पनि प्रारम्भिक स्तरमा विश्लेषक पेशा (७ महिना)
• DevOps पाठ्यक्रम (७ महिना)
• स्क्र्याचबाट जाभा विकासकर्ता पेशा (७ महिना)
• जाभास्क्रिप्ट पाठ्यक्रम (७ महिना)
• स्क्र्याच देखि पेशा UX डिजाइनर (७ महिना)
• पेशा वेब डिजाइनर (७ महिना)

स्रोत: www.habr.com