pandas-profiling စာကြည့်တိုက်ကို အသုံးပြု၍ စူးစမ်းလေ့လာရေးဒေတာခွဲခြမ်းစိတ်ဖြာမှုကို အရှိန်မြှင့်ပါ။

ဒေတာအတွဲအသစ်တစ်ခုနှင့် စတင်လုပ်ဆောင်သည့်အခါ ပထမအဆင့်မှာ ၎င်းကို နားလည်ရန်ဖြစ်သည်။ ထိုသို့လုပ်ဆောင်ရန်၊ ဥပမာအားဖြင့်၊ ကိန်းရှင်များ၊ ၎င်းတို့၏အမျိုးအစားများက လက်ခံထားသော တန်ဖိုးများ၏ အကွာအဝေးများကို ရှာဖွေရန်နှင့် ပျောက်ဆုံးနေသော တန်ဖိုးများ အရေအတွက်ကို ရှာဖွေရန် လိုအပ်သည်။

ပန်ဒါစာကြည့်တိုက်သည် ရှာဖွေရေးဒေတာခွဲခြမ်းစိတ်ဖြာမှု (EDA) လုပ်ဆောင်ရန်အတွက် အသုံးဝင်သောကိရိယာများစွာကို ကျွန်ုပ်တို့အား ပေးပါသည်။ သို့သော် ၎င်းတို့ကို အသုံးမပြုမီ၊ သင်သည် များသောအားဖြင့် df.describe() ကဲ့သို့သော ယေဘုယျလုပ်ဆောင်ချက်များဖြင့် စတင်ရန် လိုအပ်ပါသည်။ သို့ရာတွင်၊ ထိုသို့သောလုပ်ဆောင်ချက်များမှ ပံ့ပိုးပေးသည့်စွမ်းရည်များသည် အကန့်အသတ်ရှိပြီး EDA လုပ်ဆောင်သည့်အခါ မည်သည့်ဒေတာအစုံနှင့်မဆို လုပ်ဆောင်ခြင်း၏ ကနဦးအဆင့်များသည် တစ်ခုနှင့်တစ်ခု အလွန်မကြာခဏတူညီကြသည်ကို သတိပြုသင့်သည်။

ယနေ့ကျွန်ုပ်တို့ထုတ်ဝေနေသောအကြောင်းအရာကိုရေးသားသူသည် ထပ်တလဲလဲလုပ်ဆောင်မှုများကိုလုပ်ဆောင်သည့်ပရိတ်သတ်မဟုတ်ကြောင်းပြောသည်။ ရလဒ်အနေဖြင့် စူးစမ်းလေ့လာမှုဒေတာခွဲခြမ်းစိတ်ဖြာမှုကို လျင်မြန်ထိရောက်စွာလုပ်ဆောင်ရန် ကိရိယာများကို ရှာဖွေရာတွင် စာကြည့်တိုက်ကို တွေ့ရှိခဲ့သည်။ pandas-profileing. ၎င်း၏အလုပ်၏ရလဒ်များကို အချို့သောတစ်ဦးချင်းစီအညွှန်းပုံစံဖြင့် ဖော်ပြခြင်းမရှိသော်လည်း ၎င်းနှင့်ပိုမိုနီးကပ်စွာလုပ်ဆောင်ခြင်းမပြုမီ သင်သိထားရမည့် အချက်အလက်အများစုပါရှိသော ခွဲခြမ်းစိတ်ဖြာထားသောဒေတာနှင့်ပတ်သက်သော အချက်အလက်အများစုပါဝင်သော မျှမျှတတအသေးစိတ်အသေးစိတ် HTML အစီရင်ခံစာပုံစံဖြင့် ဖော်ပြထားပါသည်။

ဤနေရာတွင် ကျွန်ုပ်တို့သည် နမူနာအဖြစ် Titanic dataset ကိုအသုံးပြု၍ pandas-profiling စာကြည့်တိုက်ကိုအသုံးပြုခြင်း၏အင်္ဂါရပ်များကိုကြည့်ရှုပါမည်။

ပန်ဒါများကို အသုံးပြု၍ စူးစမ်းလေ့လာခြင်းဒေတာခွဲခြမ်းစိတ်ဖြာခြင်း။

၎င်းတွင်ပါရှိသော ဒေတာအမျိုးအစားအမျိုးမျိုးနှင့် ၎င်းတွင်ပျောက်ဆုံးနေသောတန်ဖိုးများရှိနေခြင်းကြောင့် တိုက်တန်းနစ်ဒေတာအတွဲတွင် ပန်ဒါပုံသွင်းခြင်းကို စမ်းသပ်ရန် ဆုံးဖြတ်ခဲ့သည်။ ဒေတာကို မသန့်စင်ရသေးသည့် ကိစ္စများတွင် ပန်ဒါပုံသွင်းသည့် စာကြည့်တိုက်သည် အထူးစိတ်ဝင်စားဖွယ်ကောင်းပြီး ၎င်း၏လက္ခဏာများပေါ် မူတည်၍ ဆက်လက်လုပ်ဆောင်ရန် လိုအပ်သည်ဟု ကျွန်ုပ်ယုံကြည်ပါသည်။ ထိုသို့သော လုပ်ငန်းစဉ်ကို အောင်မြင်စွာ လုပ်ဆောင်နိုင်ရန်၊ မည်သည့်နေရာတွင် စတင်ရမည်နှင့် မည်သည့်အရာကို အာရုံစိုက်ရမည်ကို သိရန် လိုအပ်ပါသည်။ ဤနေရာတွင် ပန်ဒါပုံသွင်းခြင်းစွမ်းရည်များ အသုံးဝင်လာပါသည်။

ပထမဦးစွာ၊ ကျွန်ုပ်တို့သည် ဒေတာကို တင်သွင်းပြီး သရုပ်ဖော်ကိန်းဂဏန်းစာရင်းအင်းများကို ရယူရန် ပန်ဒါများကို အသုံးပြုပါသည်။

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

ဤကုဒ်အပိုင်းအစကို လုပ်ဆောင်ပြီးနောက်၊ အောက်ပါပုံတွင် ပြထားသည့်အရာကို သင်ရရှိမည်ဖြစ်သည်။

စံပန်ဒါကိရိယာများကို အသုံးပြု၍ ရရှိသော ဖော်ပြချက်စာရင်းဇယား

ဤနေရာတွင် အသုံးဝင်သော အချက်အလက်များစွာရှိသော်လည်း ၎င်းတွင် လေ့လာသိရှိလိုသည့် အချက်အလက်များနှင့် ပတ်သက်၍ စိတ်ဝင်စားဖွယ်အရာအားလုံး မပါဝင်ပါ။ ဥပမာအားဖြင့်၊ ဒေတာဘောင်တစ်ခုတွင်၊ တည်ဆောက်ပုံတစ်ခုရှိဟု ယူဆနိုင်သည်။ DataFrame၈၉၁ လိုင်းရှိတယ်။ ၎င်းကိုစစ်ဆေးရန်လိုအပ်ပါက၊ frame ၏အရွယ်အစားကိုဆုံးဖြတ်ရန်အခြားကုဒ်တစ်ကြောင်းလိုအပ်သည်။ ဤတွက်ချက်မှုများသည် အထူးအားဖြင့် အရင်းအမြစ်-အလေးအမြတ်ထားခြင်းမရှိသော်လည်း၊ ၎င်းတို့ကို အချိန်တိုင်းပြန်လုပ်ခြင်းသည် ဒေတာကို သန့်ရှင်းရေးပြုလုပ်ရာတွင် ပိုမိုကောင်းမွန်စွာသုံးစွဲနိုင်သည့်အချိန်ကို ဖြုန်းတီးမှုဖြစ်စေပါသည်။

pandas-profiling ကိုအသုံးပြု၍ စူးစမ်းလေ့လာခြင်းဒေတာခွဲခြမ်းစိတ်ဖြာခြင်း။

ယခု pandas-profiling ကို အသုံးပြု၍ အလားတူလုပ်ကြပါစို့။

pandas_profiling.ProfileReport(df)

အထက်ဖော်ပြပါ ကုဒ်မျဉ်းကို အကောင်အထည်ဖော်ခြင်းဖြင့် ရှာဖွေရေးဒေတာခွဲခြမ်းစိတ်ဖြာမှု အညွှန်းများပါရှိသော အစီရင်ခံစာကို ထုတ်ပေးပါမည်။ အထက်ဖော်ပြပါ ကုဒ်သည် တွေ့ရှိသည့်ဒေတာကို ထုတ်လွှတ်ပေးမည်ဖြစ်ပြီး၊ ဥပမာအားဖြင့် တစ်စုံတစ်ဦးအား သင်ပြသနိုင်သည့် HTML ဖိုင်ကို သင်ထုတ်ပေးနိုင်သည်။

အစီရင်ခံစာ၏ ပထမအပိုင်းတွင် ဒေတာနှင့်ပတ်သက်သော အခြေခံအချက်အလက်များကို ပေးဆောင်သည့် ခြုံငုံသုံးသပ်ချက်အပိုင်း (လေ့လာတွေ့ရှိချက်အရေအတွက်၊ ကိန်းရှင်အရေအတွက်၊ စသည်) ပါဝင်သည်။ အထူးဂရုပြုရမည့်အရာများကို ခွဲခြမ်းစိတ်ဖြာသူအား အသိပေးသည့် သတိပေးချက်များစာရင်းလည်း ပါဝင်မည်ဖြစ်သည်။ ဤသတိပေးချက်များသည် သင့်ဒေတာရှင်းလင်းရေး အားထုတ်မှုများကို သင်အာရုံစိုက်နိုင်သည့်နေရာကို သဲလွန်စပေးနိုင်ပါသည်။

ခြုံငုံသုံးသပ်ချက် ကဏ္ဍ

Exploratory Variable Analysis

အစီရင်ခံစာ၏ ခြုံငုံသုံးသပ်ချက် ကဏ္ဍအောက်တွင် ကိန်းရှင်တစ်ခုစီ၏ အသုံးဝင်သော အချက်အလက်ကို သင်ရှာတွေ့နိုင်ပါသည်။ ၎င်းတို့တွင်၊ အခြားအရာများထဲတွင် ကိန်းရှင်တစ်ခုစီ၏ ဖြန့်ဖြူးမှုကို ဖော်ပြသည့် ဇယားကွက်ငယ်များ ပါဝင်သည်။

Age Numeric Variable အကြောင်း

ယခင်နမူနာမှ သင်တွေ့မြင်နိုင်သည်အတိုင်း၊ pandas-profiling သည် ကျွန်ုပ်တို့အား အသုံးဝင်သော အညွှန်းကိန်းများဖြစ်သည့် ရာခိုင်နှုန်းနှင့် ပျောက်ဆုံးနေသော တန်ဖိုးအရေအတွက်အပြင် ကျွန်ုပ်တို့မြင်ထားပြီးဖြစ်သည့် ဖော်ပြချက်စာရင်းအင်းဆိုင်ရာ အစီအမံများကဲ့သို့ အသုံးဝင်သော အညွှန်းကိန်းများကို ပေးပါသည်။ ဘာဖြစ်လို့လဲဆိုတော့ Age ကိန်းဂဏာန်းကိန်းကွဲတစ်ခုဖြစ်ပြီး၊ ၎င်း၏ဖြန့်ဖြူးမှုကို အိုင်စတိုဂရမ်ပုံစံဖြင့် မြင်ယောင်ခြင်းဖြင့် ကျွန်ုပ်တို့တွင် ဖြန့်ဝေမှုအား ညာဘက်သို့စောင်းသွားကြောင်း ကောက်ချက်ချနိုင်စေပါသည်။

categorical variable ကိုစဉ်းစားသောအခါ၊ ထွက်ရလဒ်ရလဒ်များသည် ကိန်းဂဏာန်းကိန်းရှင်တစ်ခုအတွက် တွေ့ရှိသည့်အရာများနှင့် အနည်းငယ်ကွာခြားပါသည်။

Sex categorical variable အကြောင်း

ဆိုလိုသည်မှာ၊ ပျမ်းမျှ၊ အနိမ့်ဆုံးနှင့် အမြင့်ဆုံးကို ရှာဖွေရမည့်အစား ပန်ဒါများ-ဖော်ညွှန်းသည့် စာကြည့်တိုက်တွင် အတန်းအရေအတွက်ကို တွေ့ရှိခဲ့သည်။ ဘာဖြစ်လို့လဲဆိုတော့ Sex — binary variable တစ်ခု၊ ၎င်း၏တန်ဖိုးများကို class နှစ်ခုဖြင့် ကိုယ်စားပြုသည်။

ကျွန်ုပ်ကဲ့သို့ ကုဒ်ကို ဆန်းစစ်လိုပါက၊ ပန်ဒါများ-ပုံသွင်းစာကြည့်တိုက်မှ ဤမက်ထရစ်များကို အတိအကျ တွက်ချက်ပုံကို သင်စိတ်ဝင်စားပေမည်။ စာကြည့်တိုက်ကုဒ်ကိုဖွင့်ပြီး GitHub တွင်ရရှိနိုင်သောကြောင့်၎င်းကိုရှာဖွေတွေ့ရှိရန်မခက်ခဲပါ။ ကျွန်ုပ်သည် ကျွန်ုပ်၏ပရောဂျက်များတွင် အနက်ရောင်သေတ္တာများကို အသုံးပြုသည့် ပရိတ်သတ်ကြီးမဟုတ်သောကြောင့်၊ စာကြည့်တိုက်၏ အရင်းအမြစ်ကုဒ်ကို ကြည့်ခဲ့ပါသည်။ ဥပမာအားဖြင့်၊ ဤသည်မှာ ကိန်းဂဏာန်းကိန်းရှင်များကို လုပ်ဆောင်ခြင်းအတွက် ယန္တရားသည် လုပ်ဆောင်ချက်အားဖြင့် ကိုယ်စားပြုသည့် ပုံစံဖြစ်သည်။ describe_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

ဤကုဒ်အပိုင်းအစသည် အလွန်ကြီးမားပြီး ရှုပ်ထွေးပုံပေါက်နိုင်သော်လည်း အမှန်တကယ်နားလည်ရန် အလွန်ရိုးရှင်းပါသည်။ အဓိကအချက်မှာ library ၏ source code တွင် variable အမျိုးအစားများကို ဆုံးဖြတ်ပေးသည့် function တစ်ခုရှိသည်။ ဒစ်ဂျစ်တိုက်တွင် ကိန်းဂဏာန်းပြောင်းလဲမှုတစ်ခုတွေ့ပါက၊ အထက်ဖော်ပြပါလုပ်ဆောင်ချက်သည် ကျွန်ုပ်တို့ကြည့်ရှုနေသည့် မက်ထရစ်များကို တွေ့ရှိမည်ဖြစ်သည်။ ဤလုပ်ဆောင်ချက်သည် အမျိုးအစား အရာဝတ္ထုများနှင့် လုပ်ဆောင်ရန်အတွက် စံပန်ဒါ လုပ်ဆောင်ချက်များကို အသုံးပြုသည်။ Seriesကြိုက်တယ်။ series.mean(). တွက်ချက်မှုရလဒ်များကို အဘိဓာန်တွင် သိမ်းဆည်းထားသည်။ stats. လုပ်ဆောင်ချက်၏ လိုက်လျောညီထွေရှိသော ဗားရှင်းကို အသုံးပြု၍ ဟစ်စတိုဂရမ်များကို ထုတ်ပေးပါသည်။ matplotlib.pyplot.hist. လိုက်လျောညီထွေဖြစ်အောင်လုပ်ဆောင်ခြင်းသည် မတူညီသောဒေတာအတွဲများနှင့်အတူ လုပ်ဆောင်နိုင်စေရန်အတွက် ရည်ရွယ်ပါသည်။

ဆက်စပ်ညွှန်းကိန်းများနှင့် နမူနာအချက်အလက်များကို လေ့လာခဲ့သည်။

ကိန်းရှင်များကို ခွဲခြမ်းစိတ်ဖြာခြင်း၏ ရလဒ်များပြီးနောက်၊ ဆက်စပ်ဆက်နွှယ်မှုကဏ္ဍတွင် Pearson နှင့် Spearman ဆက်စပ်မှုမက်ထရစ်များကို ပြသပါမည်။

Pearson ဆက်စပ်မက်ထရစ်

လိုအပ်ပါက၊ အစီရင်ခံစာ၏ မျိုးဆက်ကို အစပျိုးပေးသည့် ကုဒ်မျဉ်းတွင် ဆက်စပ်မှုကို တွက်ချက်ရာတွင် အသုံးပြုသည့် တံခါးခုံတန်ဖိုးများ၏ အညွှန်းကိန်းများကို သတ်မှတ်နိုင်သည်။ ထိုသို့ပြုလုပ်ခြင်းဖြင့်၊ သင်၏ခွဲခြမ်းစိတ်ဖြာမှုအတွက် အရေးကြီးသောဆက်စပ်ဆက်နွယ်မှုအား မည်သည့်အင်အားကို သတ်မှတ်နိုင်သနည်း။

နောက်ဆုံးတွင်၊ နမူနာကဏ္ဍတွင်၊ ပန်ဒါ၏ပုံသွင်းခြင်းအစီရင်ခံစာသည် ဒေတာအစုံ၏အစမှယူထားသောဒေတာအပိုင်းတစ်ခုကို နမူနာအဖြစ်ပြသသည်။ ဤချဉ်းကပ်မှုသည် ဒေတာအစုတစ်ခုလုံး၏ ဝိသေသလက္ခဏာများကို ထင်ဟပ်ခြင်းမရှိသော နမူနာတစ်ခုကို ကိုယ်စားပြုနိုင်သောကြောင့်၊ ဤချဉ်းကပ်မှုသည် မနှစ်မြို့ဖွယ်အံ့သြဖွယ်များကို ဖြစ်ပေါ်စေနိုင်သည်။

လေ့လာမှုအောက်တွင် နမူနာအချက်အလက်များပါရှိသော အပိုင်း

ရလဒ်အနေနဲ့ ဒီနောက်ဆုံးအပိုင်းကို အာရုံစိုက်ဖို့ အကြံပြုလိုပါတယ်။ အဲဒီအစား၊ command ကိုသုံးတာက ပိုကောင်းပါတယ်။ df.sample(5)ဒေတာအစုံမှ လေ့လာတွေ့ရှိချက် 5 ခုကို ကျပန်းရွေးချယ်ပါမည်။

ရလဒ်များကို

အကျဉ်းချုပ်ပြောရလျှင် ပန်ဒါများပုံသွင်းသည့်စာကြည့်တိုက်သည် ဒေတာကို အကြမ်းဖျင်းအကြံဉာဏ်ရယူရန် သို့မဟုတ် တစ်စုံတစ်ဦးထံ ဉာဏ်ရည်ဉာဏ်သွေးခွဲခြမ်းစိတ်ဖြာမှုအစီရင်ခံစာပေးပို့ရန် လိုအပ်သည့်ကိစ္စများတွင် အသုံးဝင်မည့် အသုံးဝင်သောစွမ်းရည်အချို့ကို ပေးပါသည်။ တစ်ချိန်တည်းမှာပင်၊ ၎င်း၏အင်္ဂါရပ်များကို ထည့်သွင်းစဉ်းစားကာ ဒေတာနှင့် လက်တွေ့လုပ်ဆောင်ခြင်းသည် pandas-profiling ကို ကိုယ်တိုင်အသုံးမပြုဘဲကဲ့သို့ လုပ်ဆောင်ပါသည်။

Jupyter မှတ်စုစာအုပ်တစ်အုပ်မှာ ထောက်လှမ်းရေးဒေတာခွဲခြမ်းစိတ်ဖြာမှုအားလုံးက ဘယ်လိုပုံစံလဲဆိုတာကို လေ့လာကြည့်ချင်တယ်ဆိုရင်တော့ လေ့လာကြည့်လိုက်ပါ။ ဤ nbviewer ကို အသုံးပြု၍ ကျွန်ုပ်၏ ပရောဂျက်ကို ဖန်တီးခဲ့သည်။ နှင့် ဤ GitHub repositories တွင် သက်ဆိုင်ရာကုဒ်ကို သင်ရှာနိုင်သည်။

ချစ်ခင်ရပါသောစာဖတ်သူများ! ဒေတာအတွဲအသစ်များကို ဘယ်ကနေစပြီး ခွဲခြမ်းစိတ်ဖြာပါသလဲ။

source: www.habr.com