कार्यात्मक निर्भरताहरूको परिचय

यस लेखमा हामी डेटाबेसहरूमा कार्यात्मक निर्भरताहरूको बारेमा कुरा गर्नेछौं - तिनीहरू के हुन्, तिनीहरू कहाँ प्रयोग गरिन्छ र तिनीहरूलाई फेला पार्न कुन एल्गोरिदमहरू अवस्थित छन्।

हामी रिलेशनल डाटाबेसको सन्दर्भमा कार्यात्मक निर्भरताहरू विचार गर्नेछौं। यसलाई धेरै मोटे रूपमा भन्नुपर्दा, त्यस्ता डाटाबेसहरूमा जानकारीहरू टेबलको रूपमा भण्डारण गरिन्छ। अर्को, हामी अनुमानित अवधारणाहरू प्रयोग गर्छौं जुन कडा रिलेसनल थ्योरीमा आदानप्रदान गर्न सकिँदैन: हामी तालिकालाई नै सम्बन्ध, स्तम्भहरू - विशेषताहरू (तिनीहरूको सेट - एक सम्बन्ध स्कीमा), र विशेषताहरूको सबसेटमा पङ्क्ति मानहरूको सेट भन्नेछौं। - एक टपल।

उदाहरणका लागि, माथिको तालिकामा, (बेन्सन, एम, एम अंग) विशेषताहरूको टुपल हो (बिरामी, पल, डाक्टर).
थप औपचारिक रूपमा, यो निम्न रूपमा लेखिएको छ: [रोगी, लिंग, डाक्टर] = (बेन्सन, एम, एम अंग).
अब हामी कार्यात्मक निर्भरता (FD) को अवधारणा परिचय गर्न सक्छौं:

परिभाषा १. सम्बन्ध R ले संघीय कानून X → Y (जहाँ X, Y ⊆ R) लाई सन्तुष्ट गर्छ यदि र कुनै टुपल्सको लागि मात्र हो भने , ∈ R राख्छ: यदि [X] = [X], त्यसपछि [Y] = [वाई]। यस अवस्थामा, हामी भन्छौं कि X (निर्धारक, वा विशेषताहरूको परिभाषित सेट) कार्यात्मक रूपमा Y (निर्भर सेट) निर्धारण गर्दछ।

अर्को शब्दमा, संघीय कानूनको उपस्थिति X → Y यसको मतलब यदि हामीसँग दुई टुपलहरू छन् R र तिनीहरू विशेषताहरूमा मेल खान्छ X, त्यसपछि तिनीहरू विशेषताहरूमा मेल खानेछन् Y.
र अब, क्रम मा। विशेषताहरू हेरौं बिरामी и सेक्स जसको लागि हामी तिनीहरू बीच निर्भरता छ वा छैन भनेर पत्ता लगाउन चाहन्छौं। विशेषताहरूको यस्तो सेटको लागि, निम्न निर्भरताहरू अवस्थित हुन सक्छन्:

1. बिरामी → लिङ्ग
2. लिङ्ग → बिरामी

माथि परिभाषित गरिए अनुसार, पहिलो निर्भरता होल्ड गर्नको लागि, प्रत्येक अद्वितीय स्तम्भ मान बिरामी केवल एउटा स्तम्भ मान मिल्नुपर्छ सेक्स। र उदाहरण तालिकाको लागि यो साँच्चै मामला हो। यद्यपि, यसले विपरीत दिशामा काम गर्दैन, त्यो हो, दोस्रो निर्भरता सन्तुष्ट छैन, र विशेषता सेक्स को लागि निर्धारक होइन बिरामी। त्यसैगरी, निर्भरता लिने हो भने डाक्टर → बिरामी, तपाईंले यो उल्लङ्घन भएको देख्न सक्नुहुन्छ, मान देखि रबिन यस विशेषताको धेरै फरक अर्थहरू छन् - एलिस र ग्राहम.

यसरी, कार्यात्मक निर्भरताहरूले तालिका विशेषताहरूको सेटहरू बीच अवस्थित सम्बन्धहरू निर्धारण गर्न सम्भव बनाउँछ। यहाँ देखि हामी सबै भन्दा चाखलाग्दो जडानहरू विचार गर्नेछौं, वा बरु यस्तै X → Yतिनीहरू के हुन्:

• non-trivial, अर्थात्, निर्भरताको दाहिने पक्ष बायाँको उपसमूह होइन (Y ̸⊆ X);
• न्यूनतम, अर्थात्, यस्तो कुनै निर्भरता छैन Z → Y, त्यो Z ⊂ X.

यस बिन्दु सम्म विचार गरिएको निर्भरताहरू कडा थिए, त्यो हो, तिनीहरूले तालिकामा कुनै पनि उल्लङ्घनको लागि प्रदान गरेनन्, तर तिनीहरूको अतिरिक्त, त्यहाँ ती पनि छन् जसले ट्युपलहरूको मानहरू बीच केही असंगततालाई अनुमति दिन्छ। त्यस्ता निर्भरताहरूलाई छुट्टै वर्गमा राखिन्छ, जसलाई अनुमानित भनिन्छ, र निश्चित संख्याको टुपलहरूको लागि उल्लङ्घन गर्न अनुमति दिइन्छ। यो रकम अधिकतम त्रुटि सूचक emax द्वारा विनियमित छ। उदाहरणका लागि, त्रुटि दर = ०.०१ ले विशेषताहरूको विचार सेटमा उपलब्ध ट्युपलहरूको १% द्वारा निर्भरता उल्लङ्घन गर्न सकिन्छ भन्ने हुन सक्छ। त्यो हो, 0.01 रेकर्डहरूको लागि, अधिकतम 1 टुपलले संघीय कानून उल्लङ्घन गर्न सक्छ। हामी तुलना गरिँदै आएको ट्युपलहरूको जोडीमा फरक मानहरूमा आधारित, थोरै फरक मेट्रिकलाई विचार गर्नेछौं। लतको लागि X → Y मनोवृत्ति मा r यसलाई यसरी मानिन्छ:

त्रुटिको लागि गणना गरौं डाक्टर → बिरामी माथिको उदाहरणबाट। हामीसँग दुईवटा टुपलहरू छन् जसको मानहरू विशेषतामा भिन्न छन् बिरामी, तर मेल खान्छ डाक्टर: [डाक्टर, बिरामी] = (रोबिन, एलिस) र [डाक्टर, बिरामी] = (रोबिन, ग्राहम)। त्रुटिको परिभाषा पछ्याउँदै, हामीले सबै विरोधाभासी जोडीहरूलाई ध्यानमा राख्नुपर्छ, जसको मतलब त्यहाँ दुईवटा हुनेछन्: (, ) र यसको उल्टो (, )। यसलाई सूत्रमा प्रतिस्थापन गरौं र प्राप्त गरौं:

अब प्रश्नको जवाफ दिने प्रयास गरौं: "यो सबै किन हो?" वास्तवमा, संघीय कानून फरक छन्। पहिलो प्रकार ती निर्भरताहरू हुन् जुन डाटाबेस डिजाइन चरणमा प्रशासक द्वारा निर्धारण गरिन्छ। तिनीहरू सामान्यतया संख्यामा थोरै हुन्छन्, कडा, र मुख्य अनुप्रयोग डेटा सामान्यीकरण र रिलेशनल स्कीमा डिजाइन हो।

दोस्रो प्रकार निर्भरता हो, जसले "लुकेको" डाटा र विशेषताहरू बीच पहिले अज्ञात सम्बन्धहरू प्रतिनिधित्व गर्दछ। त्यो हो, त्यस्ता निर्भरताहरू डिजाइनको समयमा सोचेका थिएनन् र तिनीहरू अवस्थित डाटा सेटको लागि फेला पर्छन्, ताकि पछि, धेरै पहिचान गरिएका संघीय कानूनहरूको आधारमा, भण्डार गरिएको जानकारीको बारेमा कुनै पनि निष्कर्ष निकाल्न सकिन्छ। यो ठ्याक्कै यी निर्भरताहरू हुन् जुन हामीले काम गर्छौं। तिनीहरूको आधारमा निर्मित विभिन्न खोज प्रविधिहरू र एल्गोरिदमहरूको साथ डाटा खननको सम्पूर्ण क्षेत्रद्वारा व्यवहार गरिन्छ। कुनै पनि डाटामा कसरी फेला परेको कार्यात्मक निर्भरताहरू (सटीक वा अनुमानित) उपयोगी हुन सक्छ भनेर पत्ता लगाउनुहोस्।

आज, निर्भरता को मुख्य अनुप्रयोगहरु मध्ये एक डाटा सफाई हो। यसले "फोहोर डाटा" पहिचान गर्न र त्यसपछि यसलाई सच्याउने प्रक्रियाहरू विकास गर्दछ। "फोहोर डाटा" को प्रमुख उदाहरणहरू डुप्लिकेटहरू, डेटा त्रुटिहरू वा टाइपोहरू, छुटेका मानहरू, पुरानो डाटा, अतिरिक्त खाली ठाउँहरू, र जस्तै हुन्।

डाटा त्रुटिको उदाहरण:

डाटामा डुप्लिकेटहरूको उदाहरण:

उदाहरणका लागि, हामीसँग एउटा तालिका र संघीय कानूनहरूको सेट छ जसलाई कार्यान्वयन गर्नुपर्छ। यस अवस्थामा डाटा क्लिनिङले डाटा परिवर्तन गर्न समावेश गर्दछ ताकि संघीय कानूनहरू सही हुन्छन्। यस अवस्थामा, परिमार्जनहरूको संख्या न्यूनतम हुनुपर्छ (यस प्रक्रियाको आफ्नै एल्गोरिदमहरू छन्, जुन हामी यस लेखमा फोकस गर्दैनौं)। तल यस्तो डेटा रूपान्तरण को एक उदाहरण हो। बायाँमा मूल सम्बन्ध छ, जसमा, स्पष्ट रूपमा, आवश्यक FL हरू भेटिएका छैनन् (FL हरू मध्ये एउटाको उल्लङ्घनको उदाहरण रातोमा हाइलाइट गरिएको छ)। दायाँमा अद्यावधिक गरिएको सम्बन्ध छ, हरियो कक्षहरूले परिवर्तन गरिएको मानहरू देखाउँदै। यस प्रक्रिया पछि, आवश्यक निर्भरताहरू कायम गर्न थाले।

अर्को लोकप्रिय अनुप्रयोग डेटाबेस डिजाइन हो। यहाँ यो सामान्य रूप र सामान्यीकरण सम्झना लायक छ। सामान्यीकरण भनेको सम्बन्धलाई निश्चित आवश्यकताहरूको सेटको अनुरूप ल्याउने प्रक्रिया हो, जसमध्ये प्रत्येकलाई सामान्य रूपले आफ्नै तरिकाले परिभाषित गर्दछ। हामी विभिन्न सामान्य रूपहरूको आवश्यकताहरू वर्णन गर्दैनौं (यो शुरुआतीहरूको लागि डाटाबेस पाठ्यक्रममा कुनै पनि पुस्तकमा गरिन्छ), तर हामी केवल ध्यान दिनेछौं कि तिनीहरूमध्ये प्रत्येकले आफ्नै तरिकामा कार्यात्मक निर्भरताहरूको अवधारणा प्रयोग गर्दछ। आखिर, FL हरू स्वाभाविक रूपमा अखण्डता अवरोधहरू हुन् जुन डाटाबेस डिजाइन गर्दा खातामा लिइन्छ (यस कार्यको सन्दर्भमा, FL हरू कहिलेकाहीँ सुपरकीहरू भनिन्छ)।

तलको चित्रमा चार सामान्य फारमहरूको लागि तिनीहरूको आवेदनलाई विचार गरौं। सम्झनुहोस् कि Boyce-Codd सामान्य फारम तेस्रो फारम भन्दा बढी कडा छ, तर चौथो भन्दा कम कडा। हामी अहिलेको लागि पछिल्लोलाई विचार गर्दैनौं, किनकि यसको निर्माणलाई बहु-मूल्य निर्भरताहरूको बुझाइ आवश्यक छ, जुन यस लेखमा हामीलाई चाखलाग्दो छैन।

अर्को क्षेत्र जसमा निर्भरताहरूले तिनीहरूको अनुप्रयोग फेला पारेको छ, एउटा भोली बेइज वर्गीकरणकर्ता निर्माण गर्ने, महत्त्वपूर्ण सुविधाहरू पहिचान गर्ने, र रिग्रेसन मोडेललाई पुन: प्यारामिटराइज गर्ने जस्ता कार्यहरूमा सुविधा स्पेसको आयाम घटाउँदैछ। मौलिक लेखहरूमा, यो कार्यलाई अनावश्यक र सुविधा सान्दर्भिकताको निर्धारण भनिन्छ [5, 6], र यसलाई डाटाबेस अवधारणाहरूको सक्रिय प्रयोगको साथ हल गरिन्छ। त्यस्ता कार्यहरूको आगमनको साथ, हामी भन्न सक्छौं कि आज समाधानहरूको माग छ जसले हामीलाई माथिको अप्टिमाइजेसन समस्याहरूको डाटाबेस, विश्लेषण र कार्यान्वयनलाई एक उपकरणमा संयोजन गर्न अनुमति दिन्छ [7, 8, 9]।

डेटा सेटमा संघीय कानूनहरू खोज्नका लागि धेरै एल्गोरिदमहरू (आधुनिक र त्यति आधुनिक नभएका दुवै) छन्। त्यस्ता एल्गोरिदमहरूलाई तीन समूहमा विभाजन गर्न सकिन्छ:

• एल्गोरिदमहरू बीजगणितीय जालीहरूको ट्रभर्सल प्रयोग गर्दै (लेटिस ट्र्याभर्सल एल्गोरिदमहरू)
• सहमत मानहरूको खोजीमा आधारित एल्गोरिदमहरू (अन्तर- र सहमत-सेट एल्गोरिदमहरू)
• एल्गोरिदमहरू जोडावार तुलनाहरूमा आधारित (निर्भरता प्रेरण एल्गोरिदमहरू)

प्रत्येक प्रकारको एल्गोरिथ्मको संक्षिप्त विवरण तलको तालिकामा प्रस्तुत गरिएको छ:


तपाईं यस वर्गीकरण बारे थप पढ्न सक्नुहुन्छ [4]। तल प्रत्येक प्रकारको लागि एल्गोरिदमका उदाहरणहरू छन्:

हाल, नयाँ एल्गोरिदमहरू देखा परिरहेका छन् जसले कार्यात्मक निर्भरताहरू फेला पार्न धेरै दृष्टिकोणहरू संयोजन गर्दछ। यस्ता एल्गोरिदमका उदाहरणहरू पाइरो [२] र HyFD [३] हुन्। तिनीहरूको कामको विश्लेषण यस श्रृंखलाको निम्न लेखहरूमा अपेक्षित छ। यस लेखमा हामी केवल आधारभूत अवधारणाहरू र लेमाको जाँच गर्नेछौं जुन निर्भरता पत्ता लगाउने प्रविधिहरू बुझ्न आवश्यक छ।

दोस्रो प्रकारको एल्गोरिदममा प्रयोग गरिने एउटा साधारण - भिन्नता- र सहमत-सेटबाट सुरु गरौं। भिन्नता-सेट ट्युपलहरूको सेट हो जसमा समान मानहरू छैनन्, जबकि सहमत-सेट, यसको विपरित, समान मानहरू भएका टुपलहरू हुन्। यो ध्यान दिनुपर्छ कि यस अवस्थामा हामी निर्भरताको बायाँ पक्ष मात्र विचार गर्दैछौं।

अर्को महत्त्वपूर्ण अवधारणा जुन माथिको सामना गरिएको थियो बीजगणित जाली हो। धेरै आधुनिक एल्गोरिदमहरूले यस अवधारणामा काम गर्ने भएकोले, हामीले यो के हो भन्ने बारे एक विचार हुनु आवश्यक छ।

जालीको अवधारणा परिचय गराउनको लागि, आंशिक रूपमा अर्डर गरिएको सेट (वा आंशिक रूपमा अर्डर गरिएको सेट, पोसेटको रूपमा संक्षिप्त) परिभाषित गर्न आवश्यक छ।

परिभाषा १. A सेट S लाई आंशिक रूपमा बाइनरी सम्बन्ध ⩽ द्वारा क्रमबद्ध गरिएको भनिन्छ यदि सबै a, b, c ∈ S को लागि निम्न गुणहरू सन्तुष्ट छन्:

1. रिफ्लेक्सिभिटी, अर्थात्, a ⩽ a
2. प्रतिसममिति, अर्थात्, यदि a ⩽ b र b ⩽ a, तब a = b
3. ट्रान्जिटिभिटी, अर्थात्, a ⩽ b र b ⩽ c को लागि यसले a ⩽ c लाई पछ्याउँछ।

यस्तो सम्बन्धलाई (लुज) आंशिक अर्डर सम्बन्ध भनिन्छ, र सेटलाई आंशिक रूपमा क्रमबद्ध सेट भनिन्छ। औपचारिक संकेत: ⟨S, ⩽⟩।

आंशिक रूपमा क्रमबद्ध सेटको सरल उदाहरणको रूपमा, हामी सामान्य क्रम सम्बन्ध ⩽ सँग सबै प्राकृतिक संख्याहरू N को सेट लिन सक्छौं। यो प्रमाणित गर्न सजिलो छ कि सबै आवश्यक axioms सन्तुष्ट छन्।

थप अर्थपूर्ण उदाहरण। समावेशी सम्बन्ध ⊆ द्वारा क्रमबद्ध सबै उपसेटहरूको सेटलाई विचार गर्नुहोस् {1, 2, 3}। वास्तवमा, यो सम्बन्धले सबै आंशिक क्रम सर्तहरू सन्तुष्ट गर्दछ, त्यसैले ⟨P ({1, 2, 3}), ⊆⟩ आंशिक रूपमा क्रमबद्ध सेट हो। तलको चित्रले यस सेटको संरचना देखाउँछ: यदि एक तत्व अर्को तत्वमा तीरहरूद्वारा पुग्न सकिन्छ भने, तिनीहरू क्रम सम्बन्धमा छन्।

हामीलाई गणितको क्षेत्रबाट दुई थप सरल परिभाषाहरू चाहिन्छ - सर्वोच्च र इन्फिमम।

परिभाषा १. ⟨S, ⩽⟩ आंशिक रूपमा क्रमबद्ध सेट होस्, A ⊆ S। A को माथिल्लो सीमा u ∈ S यस्तो तत्व हो जुन ∀x ∈ S: x ⩽ u। U लाई S को सबै माथिल्लो बाउन्डहरूको सेट होस्। यदि U मा सबैभन्दा सानो तत्व छ भने, यसलाई सर्वोच्च भनिन्छ र sup A लाई जनाउँछ।

सटीक तल्लो सीमाको अवधारणा समान रूपमा प्रस्तुत गरिएको छ।

परिभाषा १. ⟨S, ⩽⟩ आंशिक रूपमा क्रमबद्ध सेट होस्, A ⊆ S। A को infimum l ∈ S यस्तो तत्व हो जुन ∀x ∈ S: l ⩽ x। L लाई S को सबै तल्लो सीमाहरूको सेट मानौं। यदि L मा सबैभन्दा ठूलो तत्व छ भने, यसलाई infimum भनिन्छ र inf A को रूपमा बुझाइन्छ।

माथिको आंशिक रूपमा क्रमबद्ध सेट ⟨P ({1, 2, 3}), ⊆⟩ लाई उदाहरणको रूपमा विचार गर्नुहोस् र यसमा सर्वोच्च र infimum फेला पार्नुहोस्:

अब हामी बीजगणितीय जालीको परिभाषा बनाउन सक्छौं।

परिभाषा १. ⟨P,⩽⟩ आंशिक रूपमा क्रमबद्ध सेट बनाउनुहोस् जसमा प्रत्येक दुई-तत्वको उपसेटको माथिल्लो र तल्लो सीमा हुन्छ। त्यसपछि P लाई बीजगणितीय जाली भनिन्छ। यस अवस्थामा, sup{x, y} लाई x ∨ y, र inf {x, y} लाई x ∧ y को रूपमा लेखिएको छ।

जाँच गरौं कि हाम्रो कार्य उदाहरण ⟨P ({1, 2, 3}), ⊆⟩ जाली हो। वास्तवमा, कुनै पनि a, b ∈ P ({1, 2, 3}), a∨b = a∪b, र a∧b = a∩b को लागी। उदाहरणका लागि, सेटहरू विचार गर्नुहोस् {1, 2} र {1, 3} र तिनीहरूको infimum र सर्वोच्च पत्ता लगाउनुहोस्। यदि हामीले तिनीहरूलाई प्रतिच्छेदन गर्छौं भने, हामीले सेट प्राप्त गर्नेछौं {1}, जुन इन्फिमम हुनेछ। हामीले तिनीहरूलाई जोडेर सर्वोच्च प्राप्त गर्छौं - {1, 2, 3}।

भौतिक समस्याहरू पहिचान गर्नको लागि एल्गोरिदमहरूमा, खोजी ठाउँ प्राय: जालीको रूपमा प्रतिनिधित्व गरिन्छ, जहाँ एक तत्वको सेटहरू (खोज जालीको पहिलो स्तर पढ्नुहोस्, जहाँ निर्भरताहरूको बाँया छेउमा एउटा विशेषता हुन्छ) प्रत्येक विशेषतालाई प्रतिनिधित्व गर्दछ। मौलिक सम्बन्धको।
पहिले, हामी फारम ∅ → को निर्भरताहरू विचार गर्छौं एकल विशेषता। यो चरणले तपाइँलाई कुन विशेषताहरू प्राथमिक कुञ्जीहरू हुन् भनेर निर्धारण गर्न अनुमति दिन्छ (यस्ता विशेषताहरूको लागि त्यहाँ कुनै निर्धारकहरू छैनन्, र त्यसैले बायाँ छेउ खाली छ)। यसबाहेक, त्यस्ता एल्गोरिदमहरू जालीको साथ माथितिर जान्छन्। यो ध्यान दिन लायक छ कि सम्पूर्ण जाली पार गर्न सकिँदैन, त्यो हो, यदि बायाँ छेउको इच्छित अधिकतम आकार इनपुटमा पास गरिन्छ, तब एल्गोरिदम त्यो आकारको साथ एक स्तर भन्दा अगाडि जानेछैन।

तलको चित्रले FZ पत्ता लगाउने समस्यामा बीजगणितीय जाली कसरी प्रयोग गर्न सकिन्छ भनेर देखाउँछ। यहाँ प्रत्येक किनारा (X, XY) निर्भरता को प्रतिनिधित्व गर्दछ X → Y। उदाहरणका लागि, हामीले पहिलो तह उत्तीर्ण गरेका छौं र लत कायम राखेको थाहा छ A → B (हामी यसलाई ठाडोहरू बीचको हरियो जडानको रूपमा प्रदर्शन गर्नेछौं A и B)। यसको मतलब यो हो कि जब हामी जालीको साथ माथि जान्छौं, हामी निर्भरता जाँच गर्न सक्दैनौं A, C → B, किनभने यो अब न्यूनतम हुनेछैन। त्यसै गरी, हामी यसलाई जाँच गर्दैनौं यदि निर्भरता राखिएको थियो C → B.

थप रूपमा, एक नियमको रूपमा, संघीय कानूनहरू खोज्नका लागि सबै आधुनिक एल्गोरिदमहरूले डेटा संरचना प्रयोग गर्दछ जस्तै विभाजन (मूल स्रोतमा - स्ट्रिप गरिएको विभाजन [1])। विभाजनको औपचारिक परिभाषा निम्नानुसार छ:

परिभाषा १. X ⊆ R लाई सम्बन्ध r को विशेषताहरूको सेट मान्नुहोस्। क्लस्टर भनेको r मा ट्युपलहरूको सूचकहरूको सेट हो जसको X को लागि समान मान हुन्छ, त्यो हो, c(t) = {i|ti[X] = t[X]}। विभाजन क्लस्टरहरूको सेट हो, एकाइ लम्बाइको क्लस्टरहरू बाहेक:

सरल शब्दहरूमा, विशेषताको लागि विभाजन X सूचीहरूको सेट हो, जहाँ प्रत्येक सूचीमा समान मानहरू भएका रेखा संख्याहरू हुन्छन् X। आधुनिक साहित्यमा, विभाजनहरू प्रतिनिधित्व गर्ने संरचनालाई स्थिति सूची सूचकांक (PLI) भनिन्छ। एकाइ-लम्बाइ क्लस्टरहरू PLI कम्प्रेसन उद्देश्यका लागि बहिष्कृत गरिएका छन् किनभने तिनीहरू क्लस्टरहरू हुन् जसमा एक अद्वितीय मानको साथ रेकर्ड नम्बर मात्र हुन्छ जुन पहिचान गर्न सँधै सजिलो हुन्छ।

एउटा उदाहरण हेरौं। बिरामीहरूसँग एउटै तालिकामा फर्कौं र स्तम्भहरूको लागि विभाजनहरू निर्माण गरौं बिरामी и सेक्स (बायाँमा नयाँ स्तम्भ देखा परेको छ, जसमा तालिका पङ्क्ति नम्बरहरू चिन्ह लगाइएका छन्):

यसबाहेक, परिभाषा अनुसार, स्तम्भको लागि विभाजन बिरामी वास्तवमा खाली हुनेछ, किनकि एकल क्लस्टरहरू विभाजनबाट बाहिर छन्।

विभाजन धेरै विशेषताहरु द्वारा प्राप्त गर्न सकिन्छ। र यो गर्नका लागि दुईवटा तरिकाहरू छन्: तालिकामा गएर, एकैचोटि सबै आवश्यक विशेषताहरू प्रयोग गरेर विभाजन निर्माण गर्नुहोस्, वा विशेषताहरूको उपसमूह प्रयोग गरेर विभाजनहरूको प्रतिच्छेदन सञ्चालन प्रयोग गरेर यसलाई निर्माण गर्नुहोस्। संघीय कानून खोज एल्गोरिदमले दोस्रो विकल्प प्रयोग गर्दछ।

सरल शब्दहरूमा, उदाहरणका लागि, स्तम्भहरूद्वारा विभाजन प्राप्त गर्न ए बी सी, तपाईले विभाजन लिन सक्नुहुन्छ AC и B (वा विच्छेदन उपसेटहरूको कुनै अन्य सेट) र तिनीहरूलाई एकअर्कासँग प्रतिच्छेद गर्नुहोस्। दुईवटा विभाजनहरूको प्रतिच्छेदन कार्यले सबैभन्दा ठूलो लम्बाइको क्लस्टरहरू चयन गर्दछ जुन दुवै विभाजनहरूमा सामान्य हुन्छ।

एउटा उदाहरण हेरौं:

पहिलो अवस्थामा, हामीले खाली विभाजन प्राप्त गर्यौं। यदि तपाइँ तालिकामा नजिकबाट हेर्नुभयो भने, वास्तवमा, त्यहाँ दुई विशेषताहरूको लागि कुनै समान मानहरू छैनन्। यदि हामीले तालिकालाई थोरै परिमार्जन गर्यौं (दायाँको केस), हामीले पहिले नै एउटा गैर-रिक्त चौराहे प्राप्त गर्नेछौं। यसबाहेक, रेखाहरू 1 र 2 ले वास्तवमा विशेषताहरूको लागि समान मानहरू समावेश गर्दछ सेक्स и डाक्टर.

अर्को, हामीलाई विभाजन आकारको रूपमा यस्तो अवधारणा चाहिन्छ। औपचारिक रूपमा:

सरल भाषामा भन्नुपर्दा, विभाजन आकार विभाजनमा समावेश गरिएका क्लस्टरहरूको संख्या हो (याद राख्नुहोस् कि विभाजनमा एकल क्लस्टरहरू समावेश गरिएका छैनन्!):

अब हामी एउटा कुञ्जी लेमा परिभाषित गर्न सक्छौं, जुन दिइएको विभाजनले हामीलाई निर्भरता राखिएको छ वा छैन भनेर निर्धारण गर्न अनुमति दिन्छ:

लेमा १। निर्भरता A, B → C यदि र यदि मात्र हो

लेमाका अनुसार, निर्भरता हो कि छैन भनेर निर्धारण गर्न, चार चरणहरू प्रदर्शन गर्नुपर्छ:

1. निर्भरताको बायाँ छेउको लागि विभाजन गणना गर्नुहोस्
2. निर्भरताको दायाँ छेउको लागि विभाजन गणना गर्नुहोस्
3. पहिलो र दोस्रो चरणको उत्पादन गणना गर्नुहोस्
4. पहिलो र तेस्रो चरणहरूमा प्राप्त विभाजनहरूको आकार तुलना गर्नुहोस्

तल यो लेमा अनुसार निर्भरता हो कि भनेर जाँच गर्ने एउटा उदाहरण हो:

यस लेखमा, हामीले कार्यात्मक निर्भरता, अनुमानित कार्यात्मक निर्भरता जस्ता अवधारणाहरू जाँच्यौं, तिनीहरू कहाँ प्रयोग गरिन्छ, साथै भौतिक प्रकार्यहरू खोज्नको लागि कुन एल्गोरिदमहरू अवस्थित छन्। हामीले संघीय कानून खोज्नका लागि आधुनिक एल्गोरिदमहरूमा सक्रिय रूपमा प्रयोग हुने आधारभूत तर महत्त्वपूर्ण अवधारणाहरू पनि विस्तृत रूपमा जाँच्यौं।

सन्दर्भ:

1. Huhtala Y. et al। TANE: कार्यात्मक र अनुमानित निर्भरताहरू पत्ता लगाउनको लागि एक कुशल एल्गोरिथ्म // कम्प्युटर जर्नल। - 1999। - टी। 42। - नं। 2. - पृष्ठ 100-111।
2. Kruse S., Naumann F. अनुमानित निर्भरताहरूको कुशल खोज // VLDB Endowment को कार्यवाही। - 2018। - T. 11। - नं। 7. - पृष्ठ 759-772।
3. Papenbrock T., Naumann F. कार्यात्मक निर्भरता खोजको लागि एक हाइब्रिड दृष्टिकोण // डाटा व्यवस्थापनमा 2016 अन्तर्राष्ट्रिय सम्मेलनको कार्यवाही। – ACM, 2016। – pp. 821-833।
4. Papenbrock T. et al। कार्यात्मक निर्भरता खोज: सात एल्गोरिदमहरूको प्रयोगात्मक मूल्याङ्कन // VLDB Endowment को कार्यवाही। - 2015। - T. 8. - नं। 10. - पृष्ठ 1082-1093।
5. कुमार ए र अन्य। सामेल हुन वा सामेल नहुने?: सुविधा चयन गर्नु अघि सामेल हुने बारे दुई पटक सोच्दै // डाटा व्यवस्थापन सम्बन्धी 2016 अन्तर्राष्ट्रिय सम्मेलनको कार्यवाही। – ACM, 2016। – pp. 19-34।
6. Abo Khamis M. et al। स्प्यार्स टेन्सरहरूसँग इन-डेटाबेस शिक्षा // डाटाबेस प्रणालीहरूको सिद्धान्तहरूमा 37 औं ACM SIGMOD-SIGACT-SIGAI संगोष्ठीको कार्यवाही। – ACM, 2018। – pp. 325-340।
7. Hellerstein JM et al। MADlib विश्लेषणात्मक पुस्तकालय: वा MAD कौशल, SQL // VLDB Endowment को कार्यवाही। - 2012 - T. 5. - नं। 12. - पृष्ठ 1700-1711।
8. किन सी।, रुसु एफ। टेरास्केल वितरित ग्रेडियन्ट डिसेन्ट अप्टिमाइजेसनका लागि अनुमानित अनुमानहरू // क्लाउडमा डाटा एनालिटिक्समा चौथो कार्यशालाको कार्यवाही। - ACM, 2015। - पृष्ठ 1।
9. मेङ एक्स एट अल। Mllib: अपाचे स्पार्कमा मेसिन लर्निङ // द जर्नल अफ मेसिन लर्निङ रिसर्च। - 2016। - टी। 17। - नम्बर। 1. - पृष्ठ 1235-1241।

लेखका लेखकहरू: अनास्तासिया बिरिलो, अनुसन्धानकर्ता मा JetBrains अनुसन्धान, सीएस केन्द्रका विद्यार्थी и निकिता बोब्रोभ, अनुसन्धानकर्ता मा JetBrains अनुसन्धान

स्रोत: www.habr.com