पाण्डा-प्रोफाइलिंग पुस्तकालय प्रयोग गरेर अन्वेषण डेटा विश्लेषणलाई गति दिनुहोस्

नयाँ डेटा सेटको साथ काम गर्न सुरु गर्दा पहिलो चरण यो बुझ्नु हो। यो गर्नको लागि, तपाईंलाई आवश्यक छ, उदाहरणका लागि, चरहरूद्वारा स्वीकार गरिएका मानहरूको दायराहरू पत्ता लगाउन, तिनीहरूका प्रकारहरू, र छुटेका मानहरूको संख्याको बारेमा पनि पत्ता लगाउन।

पाण्डा पुस्तकालयले हामीलाई अन्वेषण डेटा विश्लेषण (EDA) गर्नका लागि धेरै उपयोगी उपकरणहरू प्रदान गर्दछ। तर तपाईंले तिनीहरूलाई प्रयोग गर्नु अघि, तपाईंले सामान्यतया df.describe() जस्ता सामान्य प्रकार्यहरूसँग सुरु गर्न आवश्यक छ। यद्यपि, यो ध्यान दिनुपर्छ कि त्यस्ता प्रकार्यहरूद्वारा प्रदान गरिएका क्षमताहरू सीमित छन्, र EDA प्रदर्शन गर्दा कुनै पनि डेटा सेटहरूसँग काम गर्ने प्रारम्भिक चरणहरू प्रायः एकअर्कासँग मिल्दोजुल्दो हुन्छन्।

आज हामीले प्रकाशित गर्ने सामग्रीको लेखक भन्छन् कि उनी दोहोर्याउने कार्यहरू गर्ने फ्यान होइनन्। नतिजाको रूपमा, द्रुत र कुशलतापूर्वक अन्वेषण डेटा विश्लेषण गर्न उपकरणहरूको खोजीमा, उनले पुस्तकालय फेला पारे। पाण्डा प्रोफाइलिङ। यसको कामको नतिजाहरू निश्चित व्यक्तिगत सूचकहरूको रूपमा व्यक्त गरिएको छैन, तर विश्लेषण गरिएको डाटाको बारेमा धेरै जसो जानकारी समावेश भएको पर्याप्त विस्तृत एचटीएमएल रिपोर्टको रूपमा व्यक्त गरिएको छ जुन तपाईंले यससँग अझ नजिकबाट काम गर्न सुरु गर्नु अघि जान्न आवश्यक पर्दछ।

यहाँ हामी उदाहरणको रूपमा टाइटानिक डेटासेट प्रयोग गरेर पान्डा-प्रोफाइलिंग पुस्तकालय प्रयोग गर्ने सुविधाहरू हेर्नेछौं।

पाण्डा प्रयोग गरेर अन्वेषण डेटा विश्लेषण

मैले टाइटानिक डेटासेटमा पान्डा-प्रोफाइलिङको साथ प्रयोग गर्ने निर्णय गरें किनभने यसमा भएका विभिन्न प्रकारका डाटा र यसमा हराइरहेको मानहरूको उपस्थितिको कारण। मलाई विश्वास छ कि पान्डा-प्रोफाइलिंग पुस्तकालय विशेष गरी रोचक छ जहाँ डाटा अझै सफा गरिएको छैन र यसको विशेषताहरूको आधारमा थप प्रशोधन आवश्यक छ। यस्तो प्रशोधन सफलतापूर्वक प्रदर्शन गर्न को लागी, तपाइँ कहाँ सुरु गर्न र के मा ध्यान दिनुपर्छ जान्न आवश्यक छ। यहाँ पाण्डा-प्रोफाइलिंग क्षमताहरू काममा आउँछन्।

पहिले, हामी डेटा आयात गर्छौं र वर्णनात्मक तथ्याङ्कहरू प्राप्त गर्न पान्डाहरू प्रयोग गर्छौं:

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

कोडको यो टुक्रा कार्यान्वयन गरेपछि, तपाईंले निम्न चित्रमा देखाइएको कुरा प्राप्त गर्नुहुनेछ।

मानक पाण्डा उपकरणहरू प्रयोग गरेर प्राप्त विवरणात्मक तथ्याङ्कहरू

यद्यपि यहाँ धेरै उपयोगी जानकारीहरू छन्, यसले अध्ययन अन्तर्गत डेटाको बारेमा जान्न रोचक हुने सबै कुरा समावेश गर्दैन। उदाहरणका लागि, कसैले डेटा फ्रेममा, संरचनामा मान्न सक्छ DataFrame, त्यहाँ 891 लाइनहरू छन्। यदि यो जाँच गर्न आवश्यक छ भने, कोडको अर्को लाइन फ्रेमको आकार निर्धारण गर्न आवश्यक छ। यद्यपि यी गणनाहरू विशेष रूपमा संसाधन-गहन छैनन्, तिनीहरूलाई सबै समय दोहोर्याउँदा समय बर्बाद गर्न बाध्य हुन्छ जुन सम्भवतः डाटा सफा गर्न राम्रोसँग खर्च गर्न सकिन्छ।

पाण्डा-प्रोफाइलिंग प्रयोग गरेर अन्वेषण डेटा विश्लेषण

अब pandas-profiling प्रयोग गरेर त्यसै गरौं:

pandas_profiling.ProfileReport(df)

कोडको माथिको लाइन कार्यान्वयन गर्दा अन्वेषण डेटा विश्लेषण सूचकहरूको साथ रिपोर्ट उत्पन्न हुनेछ। माथि देखाइएको कोडले फेला परेको डाटालाई आउटपुट गर्नेछ, तर तपाईंले यसलाई HTML फाइल आउटपुट गर्न सक्नुहुन्छ जुन तपाईंले कसैलाई देखाउन सक्नुहुन्छ, उदाहरणका लागि।

रिपोर्टको पहिलो भागमा एक सिंहावलोकन खण्ड समावेश हुनेछ, डेटा बारे आधारभूत जानकारी दिँदै (अवलोकनहरूको संख्या, चरहरूको संख्या, आदि)। यसले अलर्टहरूको सूची पनि समावेश गर्दछ, विश्लेषकलाई विशेष ध्यान दिनुपर्ने कुराहरूको सूचित गर्दै। यी अलर्टहरूले तपाईंले आफ्नो डाटा सफा गर्ने प्रयासहरूलाई फोकस गर्न सक्नुहुन्छ भन्ने संकेतहरू प्रदान गर्न सक्छन्।

अवलोकन रिपोर्ट खण्ड

अन्वेषण चर विश्लेषण

प्रतिवेदनको सिंहावलोकन खण्ड तल तपाईले प्रत्येक चर बारे उपयोगी जानकारी पाउन सक्नुहुन्छ। तिनीहरू समावेश गर्दछ, अन्य चीजहरू बीच, प्रत्येक चरको वितरण वर्णन गर्ने साना चार्टहरू।

उमेर संख्यात्मक चर बारे

तपाईंले अघिल्लो उदाहरणबाट देख्न सक्नुहुन्छ, पान्डा-प्रोफाइलिंगले हामीलाई धेरै उपयोगी सूचकहरू दिन्छ, जस्तै प्रतिशत र हराएको मानहरूको संख्या, साथै वर्णनात्मक तथ्याङ्क उपायहरू जुन हामीले पहिले नै देखेका छौं। किनभने Age एक संख्यात्मक चर हो, हिस्टोग्रामको रूपमा यसको वितरणको दृश्यले हामीलाई यो निष्कर्षमा पुग्न अनुमति दिन्छ कि हामीसँग वितरण दायाँतिर टाँसिएको छ।

वर्गीय चरलाई विचार गर्दा, आउटपुट परिणामहरू संख्यात्मक चरका लागि फेला परेकाहरू भन्दा थोरै फरक हुन्छन्।

सेक्स वर्गीय चर बारे

अर्थात्, औसत, न्यूनतम र अधिकतम पत्ता लगाउनुको सट्टा, पान्डा-प्रोफाइलिंग पुस्तकालयले कक्षाहरूको संख्या फेला पार्यो। किनभने Sex - एक बाइनरी चर, यसको मानहरू दुई वर्गहरू द्वारा प्रतिनिधित्व गरिन्छ।

यदि तपाइँ मैले जस्तै कोड जाँच गर्न चाहनुहुन्छ भने, तपाइँ पन्डा-प्रोफाइलिंग पुस्तकालयले यी मेट्रिक्सहरू कसरी गणना गर्दछ भन्ने बारे चासो लिन सक्नुहुन्छ। यस बारे पत्ता लगाउन, पुस्तकालय कोड खुला छ र GitHub मा उपलब्ध छ, त्यति गाह्रो छैन। म मेरो परियोजनाहरूमा कालो बक्सहरू प्रयोग गर्ने ठूलो प्रशंसक नभएकोले, मैले पुस्तकालयको स्रोत कोडमा एक नजर लिएँ। उदाहरणका लागि, सङ्ख्यात्मक चरहरू प्रशोधन गर्ने संयन्त्र यस्तो देखिन्छ, प्रकार्यद्वारा प्रतिनिधित्व गरिएको describe_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

यद्यपि कोडको यो टुक्रा धेरै ठूलो र जटिल लाग्न सक्छ, यो वास्तवमा बुझ्न धेरै सरल छ। बिन्दु यो हो कि पुस्तकालयको स्रोत कोडमा त्यहाँ एउटा प्रकार्य छ जसले चरहरूको प्रकारहरू निर्धारण गर्दछ। यदि यो बाहिर जान्छ कि पुस्तकालयले संख्यात्मक चर सामना गरेको छ, माथिको प्रकार्यले हामीले हेरिरहेका मेट्रिक्स फेला पार्नेछ। यस प्रकार्यले प्रकारका वस्तुहरूसँग काम गर्नको लागि मानक पाण्डा अपरेशनहरू प्रयोग गर्दछ Series, जस्तै series.mean()। गणना परिणामहरू शब्दकोशमा भण्डारण गरिएका छन् stats। हिस्टोग्रामहरू प्रकार्यको अनुकूलित संस्करण प्रयोग गरेर उत्पन्न गरिन्छ matplotlib.pyplot.hist। अनुकूलन कार्यले विभिन्न प्रकारका डाटा सेटहरूसँग काम गर्न सक्छ भनी सुनिश्चित गर्ने उद्देश्य राखिएको छ।

सहसम्बन्ध सूचकहरू र नमूना डेटा अध्ययन गरियो

चरहरूको विश्लेषणको नतिजा पछि, पाण्डा-प्रोफाइलिंग, सहसंबंध खण्डमा, पियर्सन र स्पियरम्यान सहसम्बन्ध म्याट्रिक्सहरू प्रदर्शन गर्नेछ।

पियर्सन सहसंबंध मैट्रिक्स

यदि आवश्यक छ भने, तपाईले रिपोर्टको उत्पादनलाई ट्रिगर गर्ने कोडको लाइनमा, सहसंबंध गणना गर्दा प्रयोग गरिएको थ्रेसहोल्ड मानहरूको सूचकहरू सेट गर्न सक्नुहुन्छ। यसो गरेर, तपाइँ तपाइँको विश्लेषणको लागि सहसम्बन्धको कुन बल महत्त्वपूर्ण मानिन्छ निर्दिष्ट गर्न सक्नुहुन्छ।

अन्तमा, पाण्डा-प्रोफाइलिंग रिपोर्ट, नमूना खण्डमा, उदाहरणको रूपमा, डेटा सेटको सुरुबाट लिइएको डेटाको टुक्रा देखाउँछ। यस दृष्टिकोणले अप्रिय आश्चर्यहरू निम्त्याउन सक्छ, किनकि पहिलो केही अवलोकनहरूले सम्पूर्ण डेटा सेटको विशेषताहरू प्रतिबिम्बित नगर्ने नमूनालाई प्रतिनिधित्व गर्न सक्छ।

अध्ययन अन्तर्गत नमूना डेटा समावेश खण्ड

नतिजाको रूपमा, म यो अन्तिम खण्डमा ध्यान दिन सिफारिस गर्दिन। बरु, यो आदेश प्रयोग गर्न राम्रो छ df.sample(5), जसले डेटा सेटबाट 5 अवलोकनहरू अनियमित रूपमा चयन गर्नेछ।

परिणामहरू

संक्षेपमा, पाण्डा-प्रोफाइलिंग पुस्तकालयले विश्लेषकलाई केही उपयोगी क्षमताहरू दिन्छ जुन तपाईंले चाँडै डाटाको कुनै नराम्रो विचार प्राप्त गर्न वा कसैलाई खुफिया विश्लेषण रिपोर्ट पास गर्न आवश्यक पर्दा काममा आउनेछ। एकै समयमा, डेटाको साथ वास्तविक काम, यसको सुविधाहरूलाई ध्यानमा राख्दै, म्यानुअल रूपमा पान्डा-प्रोफाइलिंग प्रयोग नगरी प्रदर्शन गरिन्छ।

यदि तपाइँ सबै खुफिया डाटा विश्लेषणहरू एउटै Jupyter नोटबुकमा कस्तो देखिन्छ भनेर हेर्न चाहनुहुन्छ भने, हेर्नुहोस् यो मेरो परियोजना nbviewer प्रयोग गरेर सिर्जना गरियो। र मा यो तपाईंले GitHub भण्डारहरूमा सम्बन्धित कोड फेला पार्न सक्नुहुन्छ।

प्रिय पाठकहरु! तपाइँ नयाँ डेटा सेटहरूको विश्लेषण कहाँ सुरु गर्नुहुन्छ?

स्रोत: www.habr.com