पांडा-प्रोफाइलिंग लाइब्रेरी का उपयोग करके खोजपूर्ण डेटा विश्लेषण में तेजी लाएं

किसी नए डेटा सेट के साथ काम शुरू करते समय पहला कदम इसे समझना है। ऐसा करने के लिए, उदाहरण के लिए, आपको चर द्वारा स्वीकृत मानों की श्रेणियों, उनके प्रकारों का पता लगाना होगा, और लुप्त मानों की संख्या के बारे में भी पता लगाना होगा।

पांडा लाइब्रेरी हमें खोजपूर्ण डेटा विश्लेषण (ईडीए) करने के लिए कई उपयोगी उपकरण प्रदान करती है। लेकिन उनका उपयोग करने से पहले, आपको आमतौर पर df.describe() जैसे अधिक सामान्य कार्यों से शुरुआत करनी होगी। हालाँकि, यह ध्यान दिया जाना चाहिए कि ऐसे कार्यों द्वारा प्रदान की जाने वाली क्षमताएं सीमित हैं, और ईडीए निष्पादित करते समय किसी भी डेटा सेट के साथ काम करने के प्रारंभिक चरण अक्सर एक-दूसरे के समान होते हैं।

आज हम जो सामग्री प्रकाशित कर रहे हैं उसके लेखक का कहना है कि वह दोहराव वाले कार्य करने का प्रशंसक नहीं है। परिणामस्वरूप, खोजपूर्ण डेटा विश्लेषण को त्वरित और कुशलता से करने के लिए उपकरणों की तलाश में, उन्हें पुस्तकालय मिला pandas-प्रोफाइलिंग. इसके कार्य के परिणाम कुछ व्यक्तिगत संकेतकों के रूप में नहीं, बल्कि एक काफी विस्तृत HTML रिपोर्ट के रूप में व्यक्त किए जाते हैं जिसमें विश्लेषण किए गए डेटा के बारे में अधिकांश जानकारी होती है जिसे आपको इसके साथ अधिक निकटता से काम शुरू करने से पहले जानना आवश्यक हो सकता है।

यहां हम उदाहरण के तौर पर टाइटैनिक डेटासेट का उपयोग करके पांडा-प्रोफाइलिंग लाइब्रेरी का उपयोग करने की विशेषताओं को देखेंगे।

पांडा का उपयोग करके खोजपूर्ण डेटा विश्लेषण

इसमें मौजूद विभिन्न प्रकार के डेटा और इसमें गायब मानों की मौजूदगी के कारण मैंने टाइटैनिक डेटासेट पर पांडा-प्रोफाइलिंग के साथ प्रयोग करने का निर्णय लिया। मेरा मानना ​​है कि पांडा-प्रोफाइलिंग लाइब्रेरी उन मामलों में विशेष रूप से दिलचस्प है जहां डेटा अभी तक साफ नहीं किया गया है और इसकी विशेषताओं के आधार पर आगे की प्रक्रिया की आवश्यकता है। ऐसी प्रोसेसिंग को सफलतापूर्वक करने के लिए, आपको यह जानना होगा कि कहां से शुरू करना है और किस पर ध्यान देना है। यहीं पर पांडा-प्रोफ़ाइलिंग क्षमताएं काम आती हैं।

सबसे पहले, हम डेटा आयात करते हैं और वर्णनात्मक आँकड़े प्राप्त करने के लिए पांडा का उपयोग करते हैं:

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

कोड के इस टुकड़े को निष्पादित करने के बाद, आपको वह मिलेगा जो निम्नलिखित चित्र में दिखाया गया है।

मानक पांडा उपकरणों का उपयोग करके प्राप्त वर्णनात्मक आँकड़े

हालाँकि यहाँ बहुत सारी उपयोगी जानकारी है, लेकिन इसमें वह सब कुछ शामिल नहीं है जो अध्ययन के तहत डेटा के बारे में जानना दिलचस्प होगा। उदाहरण के लिए, कोई यह मान सकता है कि डेटा फ़्रेम में, किसी संरचना में DataFrame, 891 पंक्तियाँ हैं। यदि इसे जांचने की आवश्यकता है, तो फ़्रेम का आकार निर्धारित करने के लिए कोड की एक और पंक्ति की आवश्यकता होती है। हालाँकि ये गणनाएँ विशेष रूप से संसाधन-गहन नहीं हैं, लेकिन इन्हें हर समय दोहराने से समय की बर्बादी होती है जिसे डेटा को साफ करने में शायद बेहतर तरीके से खर्च किया जा सकता है।

पांडा-प्रोफाइलिंग का उपयोग करके खोजपूर्ण डेटा विश्लेषण

आइए अब पांडा-प्रोफाइलिंग का उपयोग करके भी ऐसा ही करें:

pandas_profiling.ProfileReport(df)

कोड की उपरोक्त पंक्ति को निष्पादित करने से खोजपूर्ण डेटा विश्लेषण संकेतकों के साथ एक रिपोर्ट तैयार होगी। ऊपर दिखाया गया कोड पाए गए डेटा को आउटपुट करेगा, लेकिन आप इसे एक HTML फ़ाइल आउटपुट कर सकते हैं जिसे आप किसी को दिखा सकते हैं, उदाहरण के लिए।

रिपोर्ट के पहले भाग में एक अवलोकन अनुभाग होगा, जिसमें डेटा के बारे में बुनियादी जानकारी (अवलोकनों की संख्या, चर की संख्या, आदि) दी जाएगी। इसमें अलर्ट की एक सूची भी होगी, जो विश्लेषक को विशेष ध्यान देने वाली चीजों के बारे में सूचित करेगी। ये अलर्ट इस बारे में सुराग प्रदान कर सकते हैं कि आप अपने डेटा क्लीनअप प्रयासों को कहां केंद्रित कर सकते हैं।

अवलोकन रिपोर्ट अनुभाग

खोजपूर्ण चर विश्लेषण

रिपोर्ट के अवलोकन अनुभाग के नीचे आप प्रत्येक चर के बारे में उपयोगी जानकारी पा सकते हैं। इनमें अन्य बातों के अलावा, प्रत्येक चर के वितरण का वर्णन करने वाले छोटे चार्ट भी शामिल हैं।

आयु संख्यात्मक चर के बारे में

जैसा कि आप पिछले उदाहरण से देख सकते हैं, पांडा-प्रोफाइलिंग हमें कई उपयोगी संकेतक प्रदान करती है, जैसे गायब मूल्यों का प्रतिशत और संख्या, साथ ही वर्णनात्मक सांख्यिकी उपाय जो हम पहले ही देख चुके हैं। क्योंकि Age एक संख्यात्मक चर है, हिस्टोग्राम के रूप में इसके वितरण का दृश्य हमें यह निष्कर्ष निकालने की अनुमति देता है कि हमारे पास वितरण दाईं ओर तिरछा है।

श्रेणीबद्ध चर पर विचार करते समय, प्राप्त परिणाम संख्यात्मक चर के लिए पाए गए परिणामों से थोड़े भिन्न होते हैं।

सेक्स श्रेणीबद्ध चर के बारे में

अर्थात्, औसत, न्यूनतम और अधिकतम खोजने के बजाय, पांडा-प्रोफ़ाइलिंग लाइब्रेरी ने कक्षाओं की संख्या पाई। क्योंकि Sex — एक द्विआधारी चर, इसके मान दो वर्गों द्वारा दर्शाए जाते हैं।

यदि आप मेरी तरह कोड की जांच करना पसंद करते हैं, तो आपको इस बात में रुचि हो सकती है कि पांडा-प्रोफाइलिंग लाइब्रेरी इन मेट्रिक्स की गणना कैसे करती है। इसके बारे में पता लगाना, यह देखते हुए कि लाइब्रेरी कोड खुला है और GitHub पर उपलब्ध है, इतना मुश्किल नहीं है। चूँकि मैं अपनी परियोजनाओं में ब्लैक बॉक्स के उपयोग का बहुत बड़ा प्रशंसक नहीं हूँ, इसलिए मैंने लाइब्रेरी के स्रोत कोड पर एक नज़र डाली। उदाहरण के लिए, संख्यात्मक चरों को संसाधित करने का तंत्र इस प्रकार दिखता है, जिसे फ़ंक्शन द्वारा दर्शाया जाता है वर्णन_संख्यात्मक_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

हालाँकि कोड का यह टुकड़ा काफी बड़ा और जटिल लग सकता है, लेकिन वास्तव में इसे समझना बहुत आसान है। मुद्दा यह है कि लाइब्रेरी के स्रोत कोड में एक फ़ंक्शन होता है जो चर के प्रकार निर्धारित करता है। यदि यह पता चलता है कि लाइब्रेरी को एक संख्यात्मक चर का सामना करना पड़ा है, तो उपरोक्त फ़ंक्शन उन मेट्रिक्स को ढूंढ लेगा जिन्हें हम देख रहे थे। यह फ़ंक्शन प्रकार की वस्तुओं के साथ काम करने के लिए मानक पांडा संचालन का उपयोग करता है Series, पसंद series.mean(). गणना के परिणाम एक शब्दकोश में संग्रहीत होते हैं stats. फ़ंक्शन के अनुकूलित संस्करण का उपयोग करके हिस्टोग्राम तैयार किए जाते हैं matplotlib.pyplot.hist. अनुकूलन का उद्देश्य यह सुनिश्चित करना है कि फ़ंक्शन विभिन्न प्रकार के डेटा सेट के साथ काम कर सके।

सहसंबंध संकेतक और नमूना डेटा का अध्ययन किया गया

चर के विश्लेषण के परिणामों के बाद, सहसंबंध अनुभाग में पांडा-प्रोफाइलिंग, पियर्सन और स्पीयरमैन सहसंबंध मैट्रिक्स प्रदर्शित करेगा।

पियर्सन सहसंबंध मैट्रिक्स

यदि आवश्यक हो, तो आप रिपोर्ट की पीढ़ी को ट्रिगर करने वाले कोड की पंक्ति में, सहसंबंध की गणना करते समय उपयोग किए जाने वाले थ्रेशोल्ड मानों के संकेतक सेट कर सकते हैं। ऐसा करके, आप निर्दिष्ट कर सकते हैं कि आपके विश्लेषण के लिए सहसंबंध की कौन सी ताकत महत्वपूर्ण मानी जाती है।

अंत में, नमूना अनुभाग में पांडा-प्रोफ़ाइलिंग रिपोर्ट, उदाहरण के तौर पर, डेटा सेट की शुरुआत से लिए गए डेटा का एक टुकड़ा प्रदर्शित करती है। यह दृष्टिकोण अप्रिय आश्चर्य का कारण बन सकता है, क्योंकि पहले कुछ अवलोकन एक ऐसे नमूने का प्रतिनिधित्व कर सकते हैं जो संपूर्ण डेटा सेट की विशेषताओं को प्रतिबिंबित नहीं करता है।

अध्ययनाधीन नमूना डेटा वाला अनुभाग

परिणामस्वरूप, मैं इस अंतिम अनुभाग पर ध्यान देने की अनुशंसा नहीं करता। इसके बजाय, कमांड का उपयोग करना बेहतर है df.sample(5), जो डेटा सेट से यादृच्छिक रूप से 5 अवलोकनों का चयन करेगा।

परिणाम

संक्षेप में कहें तो, पांडा-प्रोफाइलिंग लाइब्रेरी विश्लेषक को कुछ उपयोगी क्षमताएं प्रदान करती है जो तब काम आती हैं जब आपको डेटा का त्वरित अंदाजा लगाने या किसी अन्य को टोही विश्लेषण रिपोर्ट सौंपने की आवश्यकता होती है। साथ ही, डेटा के साथ वास्तविक कार्य, इसकी विशेषताओं को ध्यान में रखते हुए, पांडा-प्रोफाइलिंग का उपयोग किए बिना, मैन्युअल रूप से किया जाता है।

यदि आप यह देखना चाहते हैं कि एक ज्यूपिटर नोटबुक में सभी खुफिया डेटा विश्लेषण कैसा दिखता है, तो इस पर एक नज़र डालें यह मेरा प्रोजेक्ट nbviewer का उपयोग करके बनाया गया है। और में यह आप GitHub रिपॉजिटरी में संबंधित कोड पा सकते हैं।

प्रिय पाठकों! आप नए डेटा सेट का विश्लेषण कहां से शुरू करते हैं?

स्रोत: www.habr.com