പാണ്ടാസ്-പ്രൊഫൈലിംഗ് ലൈബ്രറി ഉപയോഗിച്ച് പര്യവേക്ഷണ ഡാറ്റ വിശകലനം ത്വരിതപ്പെടുത്തുക

ഒരു പുതിയ ഡാറ്റാ സെറ്റ് ഉപയോഗിച്ച് പ്രവർത്തിക്കാൻ തുടങ്ങുമ്പോൾ ആദ്യം ചെയ്യേണ്ടത് അത് മനസ്സിലാക്കുക എന്നതാണ്. ഇത് ചെയ്യുന്നതിന്, ഉദാഹരണത്തിന്, വേരിയബിളുകൾ അംഗീകരിച്ച മൂല്യങ്ങളുടെ ശ്രേണികൾ, അവയുടെ തരങ്ങൾ എന്നിവ കണ്ടെത്തേണ്ടതുണ്ട്, കൂടാതെ നഷ്‌ടമായ മൂല്യങ്ങളുടെ എണ്ണത്തെക്കുറിച്ചും കണ്ടെത്തുക.

പര്യവേക്ഷണ ഡാറ്റ വിശകലനം (EDA) നടത്തുന്നതിന് പാണ്ടാസ് ലൈബ്രറി ഞങ്ങൾക്ക് ധാരാളം ഉപയോഗപ്രദമായ ഉപകരണങ്ങൾ നൽകുന്നു. എന്നാൽ നിങ്ങൾ അവ ഉപയോഗിക്കുന്നതിന് മുമ്പ്, നിങ്ങൾ സാധാരണയായി df.describe() പോലുള്ള കൂടുതൽ പൊതുവായ ഫംഗ്ഷനുകൾ ഉപയോഗിച്ച് ആരംഭിക്കേണ്ടതുണ്ട്. എന്നിരുന്നാലും, അത്തരം ഫംഗ്ഷനുകൾ നൽകുന്ന കഴിവുകൾ പരിമിതമാണെന്നും EDA നടത്തുമ്പോൾ ഏതെങ്കിലും ഡാറ്റാ സെറ്റുകളിൽ പ്രവർത്തിക്കുന്നതിന്റെ പ്രാരംഭ ഘട്ടങ്ങൾ പരസ്പരം വളരെ സാമ്യമുള്ളതാണെന്നും ശ്രദ്ധിക്കേണ്ടതാണ്.

ഇന്ന് ഞങ്ങൾ പ്രസിദ്ധീകരിക്കുന്ന മെറ്റീരിയലിന്റെ രചയിതാവ് പറയുന്നത്, ആവർത്തിച്ചുള്ള പ്രവർത്തനങ്ങൾ ചെയ്യുന്നതിന്റെ ആരാധകനല്ല താൻ എന്നാണ്. തൽഫലമായി, പര്യവേക്ഷണ ഡാറ്റാ വിശകലനം വേഗത്തിലും കാര്യക്ഷമമായും നടത്തുന്നതിനുള്ള ഉപകരണങ്ങൾ തേടി, അദ്ദേഹം ലൈബ്രറി കണ്ടെത്തി പാണ്ടകൾ-പ്രൊഫൈലിംഗ്. അതിന്റെ സൃഷ്ടിയുടെ ഫലങ്ങൾ പ്രകടിപ്പിക്കുന്നത് ചില വ്യക്തിഗത സൂചകങ്ങളുടെ രൂപത്തിലല്ല, മറിച്ച് വിശകലനം ചെയ്ത ഡാറ്റയെക്കുറിച്ചുള്ള മിക്ക വിവരങ്ങളും ഉൾക്കൊള്ളുന്ന ഒരു വിശദമായ HTML റിപ്പോർട്ടിന്റെ രൂപത്തിലാണ്, അത് കൂടുതൽ അടുത്ത് പ്രവർത്തിക്കാൻ തുടങ്ങുന്നതിനുമുമ്പ് നിങ്ങൾ അറിഞ്ഞിരിക്കേണ്ടതായി വരും.

ടൈറ്റാനിക് ഡാറ്റാസെറ്റ് ഉപയോഗിച്ച് പാണ്ടസ്-പ്രൊഫൈലിംഗ് ലൈബ്രറി ഉപയോഗിക്കുന്നതിന്റെ സവിശേഷതകൾ ഇവിടെ നോക്കാം.

പാണ്ടകൾ ഉപയോഗിച്ച് പര്യവേക്ഷണ ഡാറ്റ വിശകലനം

ടൈറ്റാനിക് ഡാറ്റാസെറ്റിൽ അടങ്ങിയിരിക്കുന്ന വ്യത്യസ്ത തരം ഡാറ്റയും അതിൽ നഷ്‌ടമായ മൂല്യങ്ങളുടെ സാന്നിധ്യവും കാരണം പാണ്ടസ്-പ്രൊഫൈലിംഗ് പരീക്ഷിക്കാൻ ഞാൻ തീരുമാനിച്ചു. ഡാറ്റ ഇതുവരെ വൃത്തിയാക്കിയിട്ടില്ലാത്തതും അതിന്റെ സ്വഭാവസവിശേഷതകൾ അനുസരിച്ച് കൂടുതൽ പ്രോസസ്സിംഗ് ആവശ്യമുള്ളതുമായ സന്ദർഭങ്ങളിൽ പാണ്ടസ്-പ്രൊഫൈലിംഗ് ലൈബ്രറി പ്രത്യേകിച്ചും രസകരമാണെന്ന് ഞാൻ വിശ്വസിക്കുന്നു. അത്തരം പ്രോസസ്സിംഗ് വിജയകരമായി നടത്തുന്നതിന്, എവിടെ തുടങ്ങണമെന്നും എന്താണ് ശ്രദ്ധിക്കേണ്ടതെന്നും നിങ്ങൾ അറിഞ്ഞിരിക്കണം. ഇവിടെയാണ് പാണ്ടകൾ-പ്രൊഫൈലിംഗ് കഴിവുകൾ ഉപയോഗപ്രദമാകുന്നത്.

ആദ്യം, ഞങ്ങൾ ഡാറ്റ ഇറക്കുമതി ചെയ്യുകയും വിവരണാത്മക സ്ഥിതിവിവരക്കണക്കുകൾ ലഭിക്കുന്നതിന് പാണ്ടകൾ ഉപയോഗിക്കുകയും ചെയ്യുന്നു:

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

ഈ കോഡ് എക്സിക്യൂട്ട് ചെയ്ത ശേഷം, ഇനിപ്പറയുന്ന ചിത്രത്തിൽ കാണിച്ചിരിക്കുന്നത് നിങ്ങൾക്ക് ലഭിക്കും.

സ്റ്റാൻഡേർഡ് പാണ്ടാസ് ടൂളുകൾ ഉപയോഗിച്ച് ലഭിച്ച വിവരണാത്മക സ്ഥിതിവിവരക്കണക്കുകൾ

ഇവിടെ ധാരാളം ഉപയോഗപ്രദമായ വിവരങ്ങൾ ഉണ്ടെങ്കിലും, പഠനത്തിന് കീഴിലുള്ള ഡാറ്റയെക്കുറിച്ച് അറിയാൻ താൽപ്പര്യമുള്ള എല്ലാം ഇതിൽ അടങ്ങിയിട്ടില്ല. ഉദാഹരണത്തിന്, ഒരു ഡാറ്റ ഫ്രെയിമിൽ, ഒരു ഘടനയിൽ എന്ന് ഒരാൾ ഊഹിച്ചേക്കാം DataFrame, 891 വരികളുണ്ട്. ഇത് പരിശോധിക്കേണ്ടതുണ്ടെങ്കിൽ, ഫ്രെയിമിന്റെ വലുപ്പം നിർണ്ണയിക്കാൻ കോഡിന്റെ മറ്റൊരു വരി ആവശ്യമാണ്. ഈ കണക്കുകൂട്ടലുകൾ പ്രത്യേകിച്ച് വിഭവശേഷിയുള്ളതല്ലെങ്കിലും, അവ എല്ലായ്‌പ്പോഴും ആവർത്തിക്കുന്നത് സമയം പാഴാക്കാൻ ബാധ്യസ്ഥമാണ്, അത് ഡാറ്റ വൃത്തിയാക്കാൻ കൂടുതൽ നന്നായി ചെലവഴിക്കും.

Pandas-profiling ഉപയോഗിച്ച് പര്യവേക്ഷണ ഡാറ്റ വിശകലനം

ഇപ്പോൾ പാണ്ടസ്-പ്രൊഫൈലിംഗ് ഉപയോഗിച്ച് നമുക്ക് ഇത് ചെയ്യാം:

pandas_profiling.ProfileReport(df)

മുകളിലെ കോഡിന്റെ ലൈൻ എക്സിക്യൂട്ട് ചെയ്യുന്നത് പര്യവേക്ഷണ ഡാറ്റ വിശകലന സൂചകങ്ങളുള്ള ഒരു റിപ്പോർട്ട് സൃഷ്ടിക്കും. മുകളിൽ കാണിച്ചിരിക്കുന്ന കോഡ് കണ്ടെത്തിയ ഡാറ്റയെ ഔട്ട്‌പുട്ട് ചെയ്യും, എന്നാൽ നിങ്ങൾക്ക് അത് ആർക്കെങ്കിലും കാണിക്കാൻ കഴിയുന്ന ഒരു HTML ഫയൽ ഔട്ട്‌പുട്ട് ആക്കാം, ഉദാഹരണത്തിന്.

റിപ്പോർട്ടിന്റെ ആദ്യ ഭാഗത്ത് ഡാറ്റയെക്കുറിച്ചുള്ള അടിസ്ഥാന വിവരങ്ങൾ നൽകുന്ന ഒരു അവലോകന വിഭാഗം അടങ്ങിയിരിക്കും (നിരീക്ഷണങ്ങളുടെ എണ്ണം, വേരിയബിളുകളുടെ എണ്ണം മുതലായവ). പ്രത്യേക ശ്രദ്ധ നൽകേണ്ട കാര്യങ്ങളെക്കുറിച്ച് വിശകലന വിദഗ്ധനെ അറിയിക്കുന്ന അലേർട്ടുകളുടെ ഒരു ലിസ്റ്റും ഇതിൽ അടങ്ങിയിരിക്കും. ഈ അലേർട്ടുകൾക്ക് നിങ്ങളുടെ ഡാറ്റ ക്ലീനപ്പ് ശ്രമങ്ങൾ എവിടെ കേന്ദ്രീകരിക്കാം എന്നതിനെക്കുറിച്ചുള്ള സൂചനകൾ നൽകാൻ കഴിയും.

അവലോകന റിപ്പോർട്ട് വിഭാഗം

പര്യവേക്ഷണ വേരിയബിൾ വിശകലനം

റിപ്പോർട്ടിന്റെ അവലോകന വിഭാഗത്തിന് താഴെ നിങ്ങൾക്ക് ഓരോ വേരിയബിളിനെ കുറിച്ചുള്ള ഉപയോഗപ്രദമായ വിവരങ്ങൾ കണ്ടെത്താനാകും. ഓരോ വേരിയബിളിന്റെയും വിതരണം വിവരിക്കുന്ന ചെറിയ ചാർട്ടുകൾ അവയിൽ ഉൾപ്പെടുന്നു.

പ്രായ സംഖ്യാ വേരിയബിളിനെക്കുറിച്ച്

മുമ്പത്തെ ഉദാഹരണത്തിൽ നിന്ന് നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, നഷ്‌ടമായ മൂല്യങ്ങളുടെ ശതമാനവും എണ്ണവും, ഞങ്ങൾ ഇതിനകം കണ്ട വിവരണാത്മക സ്ഥിതിവിവരക്കണക്കുകളുടെ അളവുകളും പോലുള്ള നിരവധി ഉപയോഗപ്രദമായ സൂചകങ്ങൾ പാണ്ടസ്-പ്രൊഫൈലിംഗ് ഞങ്ങൾക്ക് നൽകുന്നു. കാരണം Age ഒരു സംഖ്യാ വേരിയബിളാണ്, ഒരു ഹിസ്റ്റോഗ്രാമിന്റെ രൂപത്തിൽ അതിന്റെ വിതരണത്തിന്റെ ദൃശ്യവൽക്കരണം, നമുക്ക് വലതുവശത്തേക്ക് വളഞ്ഞ ഒരു വിതരണമുണ്ടെന്ന് നിഗമനം ചെയ്യാൻ ഞങ്ങളെ അനുവദിക്കുന്നു.

ഒരു കാറ്റഗറിക്കൽ വേരിയബിൾ പരിഗണിക്കുമ്പോൾ, ഔട്ട്പുട്ട് ഫലങ്ങൾ ഒരു ന്യൂമെറിക് വേരിയബിളിൽ നിന്ന് അല്പം വ്യത്യസ്തമാണ്.

സെക്‌സ് കാറ്റഗറിക്കൽ വേരിയബിളിനെക്കുറിച്ച്

അതായത്, ശരാശരി, മിനിമം, പരമാവധി എന്നിവ കണ്ടെത്തുന്നതിന് പകരം, പാണ്ടകളുടെ പ്രൊഫൈലിംഗ് ലൈബ്രറി ക്ലാസുകളുടെ എണ്ണം കണ്ടെത്തി. കാരണം Sex - ഒരു ബൈനറി വേരിയബിൾ, അതിന്റെ മൂല്യങ്ങൾ രണ്ട് ക്ലാസുകളാൽ പ്രതിനിധീകരിക്കുന്നു.

ഞാൻ ചെയ്‌തതുപോലെ കോഡ് പരിശോധിക്കാൻ നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, പാണ്ടാസ്-പ്രൊഫൈലിംഗ് ലൈബ്രറി ഈ അളവുകൾ കൃത്യമായി എങ്ങനെ കണക്കാക്കുന്നു എന്നതിൽ നിങ്ങൾക്ക് താൽപ്പര്യമുണ്ടാകാം. ലൈബ്രറി കോഡ് തുറന്നിരിക്കുന്നതും GitHub-ൽ ലഭ്യവുമുള്ളതിനാൽ ഇതിനെക്കുറിച്ച് കണ്ടെത്തുന്നത് അത്ര ബുദ്ധിമുട്ടുള്ള കാര്യമല്ല. എന്റെ പ്രോജക്‌ടുകളിൽ ബ്ലാക്ക് ബോക്‌സുകൾ ഉപയോഗിക്കുന്നതിൽ ഞാൻ വലിയ ആരാധകനല്ലാത്തതിനാൽ, ഞാൻ ലൈബ്രറിയുടെ സോഴ്‌സ് കോഡ് പരിശോധിച്ചു. ഉദാഹരണത്തിന്, ഫംഗ്ഷൻ പ്രതിനിധീകരിക്കുന്ന ന്യൂമറിക് വേരിയബിളുകൾ പ്രോസസ്സ് ചെയ്യുന്നതിനുള്ള സംവിധാനം ഇങ്ങനെയാണ് കാണപ്പെടുന്നത് വിവരിക്കുക_സംഖ്യ_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

ഈ കോഡ് വളരെ വലുതും സങ്കീർണ്ണവുമാണെന്ന് തോന്നുമെങ്കിലും, ഇത് മനസ്സിലാക്കാൻ വളരെ ലളിതമാണ്. ലൈബ്രറിയുടെ സോഴ്സ് കോഡിൽ വേരിയബിളുകളുടെ തരങ്ങൾ നിർണ്ണയിക്കുന്ന ഒരു ഫംഗ്ഷൻ ഉണ്ട് എന്നതാണ് കാര്യം. ലൈബ്രറി ഒരു സംഖ്യാ വേരിയബിൾ നേരിട്ടതായി മാറുകയാണെങ്കിൽ, മുകളിലുള്ള ഫംഗ്ഷൻ നമ്മൾ നോക്കിയിരുന്ന മെട്രിക്സ് കണ്ടെത്തും. തരം ഒബ്‌ജക്‌റ്റുകൾക്കൊപ്പം പ്രവർത്തിക്കാൻ ഈ ഫംഗ്‌ഷൻ സാധാരണ പാണ്ടകളുടെ പ്രവർത്തനങ്ങൾ ഉപയോഗിക്കുന്നു Series, പോലെ series.mean(). കണക്കുകൂട്ടൽ ഫലങ്ങൾ ഒരു നിഘണ്ടുവിൽ സംഭരിച്ചിരിക്കുന്നു stats. പ്രവർത്തനത്തിന്റെ ഒരു അഡാപ്റ്റഡ് പതിപ്പ് ഉപയോഗിച്ചാണ് ഹിസ്റ്റോഗ്രാമുകൾ സൃഷ്ടിക്കുന്നത് matplotlib.pyplot.hist. വ്യത്യസ്ത തരം ഡാറ്റാ സെറ്റുകളിൽ ഫംഗ്‌ഷന് പ്രവർത്തിക്കാൻ കഴിയുമെന്ന് ഉറപ്പാക്കാനാണ് അഡാപ്റ്റേഷൻ ലക്ഷ്യമിടുന്നത്.

പരസ്പര ബന്ധ സൂചകങ്ങളും സാമ്പിൾ ഡാറ്റയും പഠിച്ചു

വേരിയബിളുകളുടെ വിശകലനത്തിന്റെ ഫലങ്ങൾക്ക് ശേഷം, പാണ്ടസ്-പ്രൊഫൈലിംഗ്, കോറിലേഷൻസ് വിഭാഗത്തിൽ, പിയേഴ്സൺ, സ്പിയർമാൻ കോറിലേഷൻ മെട്രിക്സുകൾ പ്രദർശിപ്പിക്കും.

പിയേഴ്സൺ കോറിലേഷൻ മാട്രിക്സ്

ആവശ്യമെങ്കിൽ, നിങ്ങൾക്ക് റിപ്പോർട്ടിന്റെ ജനറേഷൻ പ്രവർത്തനക്ഷമമാക്കുന്ന കോഡിന്റെ വരിയിൽ, പരസ്പരബന്ധം കണക്കാക്കുമ്പോൾ ഉപയോഗിക്കുന്ന പരിധി മൂല്യങ്ങളുടെ സൂചകങ്ങൾ സജ്ജമാക്കാൻ കഴിയും. ഇത് ചെയ്യുന്നതിലൂടെ, നിങ്ങളുടെ വിശകലനത്തിന് പ്രധാനമായി പരിഗണിക്കപ്പെടുന്ന പരസ്പര ബന്ധത്തിന്റെ ശക്തി നിങ്ങൾക്ക് വ്യക്തമാക്കാൻ കഴിയും.

അവസാനമായി, പാണ്ടസ്-പ്രൊഫൈലിംഗ് റിപ്പോർട്ട്, സാമ്പിൾ വിഭാഗത്തിൽ, ഒരു ഉദാഹരണമായി, ഡാറ്റാ സെറ്റിന്റെ തുടക്കത്തിൽ നിന്ന് എടുത്ത ഡാറ്റയുടെ ഒരു ഭാഗം പ്രദർശിപ്പിക്കുന്നു. ഈ സമീപനം അസുഖകരമായ ആശ്ചര്യങ്ങൾക്ക് ഇടയാക്കും, കാരണം ആദ്യത്തെ കുറച്ച് നിരീക്ഷണങ്ങൾ മുഴുവൻ ഡാറ്റാ സെറ്റിന്റെയും സവിശേഷതകൾ പ്രതിഫലിപ്പിക്കാത്ത ഒരു സാമ്പിളിനെ പ്രതിനിധീകരിക്കാം.

പഠനത്തിൻ കീഴിലുള്ള സാമ്പിൾ ഡാറ്റ അടങ്ങുന്ന വിഭാഗം

തൽഫലമായി, ഈ അവസാന വിഭാഗത്തിൽ ശ്രദ്ധ ചെലുത്താൻ ഞാൻ ശുപാർശ ചെയ്യുന്നില്ല. പകരം, കമാൻഡ് ഉപയോഗിക്കുന്നതാണ് നല്ലത് df.sample(5), ഇത് ഡാറ്റാ സെറ്റിൽ നിന്ന് ക്രമരഹിതമായി 5 നിരീക്ഷണങ്ങൾ തിരഞ്ഞെടുക്കും.

ഫലങ്ങൾ

ചുരുക്കത്തിൽ, പാണ്ടസ്-പ്രൊഫൈലിംഗ് ലൈബ്രറി അനലിസ്റ്റിന് ചില ഉപയോഗപ്രദമായ കഴിവുകൾ നൽകുന്നു, അത് നിങ്ങൾക്ക് ഡാറ്റയെക്കുറിച്ച് ഒരു ഏകദേശ ധാരണ വേഗത്തിൽ നേടുകയോ അല്ലെങ്കിൽ ഒരു ഇന്റലിജൻസ് വിശകലന റിപ്പോർട്ട് മറ്റൊരാൾക്ക് കൈമാറുകയോ ചെയ്യേണ്ട സന്ദർഭങ്ങളിൽ ഇത് ഉപയോഗപ്രദമാകും. അതേ സമയം, ഡാറ്റയുമായുള്ള യഥാർത്ഥ പ്രവർത്തനം, അതിന്റെ സവിശേഷതകൾ കണക്കിലെടുത്ത്, പാണ്ടസ്-പ്രൊഫൈലിംഗ് ഉപയോഗിക്കാതെ, സ്വമേധയാ നടപ്പിലാക്കുന്നു.

ഒരു ജൂപ്പിറ്റർ നോട്ട്ബുക്കിൽ എല്ലാ ഇന്റലിജൻസ് ഡാറ്റാ വിശകലനവും എങ്ങനെയുണ്ടെന്ന് നോക്കാൻ നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, നോക്കുക ഇത് nbviewer ഉപയോഗിച്ചാണ് എന്റെ പ്രോജക്‌റ്റ് സൃഷ്‌ടിച്ചത്. ഒപ്പം അകത്തും ഇത് GitHub റിപ്പോസിറ്ററികളിൽ നിങ്ങൾക്ക് അനുബന്ധ കോഡ് കണ്ടെത്താനാകും.

പ്രിയ വായനക്കാർ! പുതിയ ഡാറ്റാ സെറ്റുകൾ വിശകലനം ചെയ്യാൻ നിങ്ങൾ എവിടെ തുടങ്ങും?

അവലംബം: www.habr.com