pandas-profiling စာကြည့်တိုက်ကို အသုံးပြု၍ စူးစမ်းလေ့လာရေးဒေတာခွဲခြမ်းစိတ်ဖြာမှုကို အရှိန်မြှင့်ပါ။

ဒေတာအတွဲအသစ်တစ်ခုနဲ့ အလုပ်လုပ်တဲ့အခါ ပထမဆုံးလုပ်ရမှာက အဲဒါကို နားလည်ဖို့ပါပဲ။ ဒါကိုလုပ်ဖို့၊ ဥပမာ၊ ကိန်းရှင်တွေ၊ သူတို့ရဲ့ အမျိုးအစားတွေက လက်ခံတဲ့ တန်ဖိုးတွေရဲ့ အကွာအဝေးတွေကို ရှာဖွေပြီး ပျောက်ဆုံးနေတဲ့ တန်ဖိုးအရေအတွက်ကိုလည်း ရှာဖွေဖို့ လိုပါတယ်။

ပန်ဒါစာကြည့်တိုက်သည် ရှာဖွေရေးဒေတာခွဲခြမ်းစိတ်ဖြာမှု (EDA) လုပ်ဆောင်ရန်အတွက် အသုံးဝင်သောကိရိယာများစွာကို ကျွန်ုပ်တို့အား ပေးပါသည်။ သို့သော် ၎င်းတို့ကို အသုံးမပြုမီ၊ သင်သည် များသောအားဖြင့် df.describe() ကဲ့သို့သော ယေဘုယျလုပ်ဆောင်ချက်များဖြင့် စတင်ရန် လိုအပ်သည်။ သို့ရာတွင်၊ ထိုသို့သောလုပ်ဆောင်ချက်များမှ ပံ့ပိုးပေးသည့်စွမ်းရည်များသည် အကန့်အသတ်ရှိပြီး EDA လုပ်ဆောင်သည့်အခါ မည်သည့်ဒေတာအတွဲနှင့်မဆို လုပ်ဆောင်ရန်အတွက် ကနဦးအဆင့်များသည် အလွန်ဆင်တူလေ့ရှိသည်ကို သတိပြုသင့်သည်။

ယနေ့ကျွန်ုပ်တို့ထုတ်ဝေနေသောအကြောင်းအရာကိုရေးသားသူသည် ထပ်တလဲလဲလုပ်ဆောင်မှုများ၏ပရိတ်သတ်မဟုတ်ကြောင်းပြောသည်။ ထို့ကြောင့် စူးစမ်းလေ့လာခြင်းဆိုင်ရာ အချက်အလက်ခွဲခြမ်းစိတ်ဖြာမှုကို လျင်မြန်ထိရောက်စွာ လုပ်ဆောင်နိုင်စေမည့် ကိရိယာများကို ရှာဖွေရာတွင် စာကြည့်တိုက်ကို တွေ့ရှိခဲ့သည်။ pandas-profileing. ၎င်း၏အလုပ်၏ရလဒ်များကို သီးခြားအညွှန်းကိန်းအချို့ပုံစံဖြင့် ဖော်ပြခြင်းမဟုတ်သော်လည်း ၎င်းတို့နှင့် ပိုမိုနီးကပ်စွာလုပ်ဆောင်ခြင်းမပြုမီ သင်သိထားရမည့် အချက်အလက်အများစုပါရှိသော ခွဲခြမ်းစိတ်ဖြာထားသောဒေတာနှင့်ပတ်သက်သော အချက်အလက်အများစုပါဝင်သော မျှတသောအသေးစိတ် HTML အစီရင်ခံစာပုံစံဖြင့် ဖော်ပြထားပါသည်။

ဤနေရာတွင် ကျွန်ုပ်တို့သည် နမူနာအဖြစ် Titanic dataset ကိုအသုံးပြု၍ pandas-profiling စာကြည့်တိုက်ကိုအသုံးပြုခြင်း၏အသေးစိတ်အချက်အလက်များကိုကြည့်ရှုပါမည်။

ပန်ဒါများနှင့်အတူ စူးစမ်းလေ့လာရေးဒေတာခွဲခြမ်းစိတ်ဖြာခြင်း။

ဒေတာအမျိုးအစား အမျိုးမျိုးနှင့် တန်ဖိုးများ ပျောက်ဆုံးနေခြင်းကြောင့် တိုက်တန်းနစ် ဒေတာအတွဲတွင် ပန်ဒါပုံသွင်းခြင်းကို စမ်းသပ်ရန် ဆုံးဖြတ်ခဲ့သည်။ ဒေတာကို မသန့်စင်ရသေးသည့် ကိစ္စများတွင် ပန်ဒါပုံသွင်းခြင်းသည် အထူးစိတ်ဝင်စားဖွယ်ကောင်းပြီး ၎င်း၏အင်္ဂါရပ်များပေါ် မူတည်၍ ထပ်မံလုပ်ဆောင်ရန် လိုအပ်သည်ဟု ကျွန်ုပ်ယုံကြည်ပါသည်။ ထိုသို့သော လုပ်ငန်းစဉ်များကို အောင်မြင်စွာ လုပ်ဆောင်နိုင်ရန်၊ မည်သည့်နေရာတွင် စတင်ရမည်နှင့် မည်သည့်အရာကို အာရုံစိုက်ရမည်ကို သိရန် လိုအပ်ပါသည်။ ဤနေရာတွင် ပန်ဒါပုံသွင်းခြင်းမှာ အသုံးဝင်ပါသည်။

ပထမဦးစွာ၊ ကျွန်ုပ်တို့သည် ဒေတာကို တင်သွင်းပြီး သရုပ်ဖော်ကိန်းဂဏန်းများကို ရယူရန် ပန်ဒါများကို အသုံးပြုသည်-

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

ဤကုဒ်အတိုအထွာကို အသုံးပြုပြီးနောက်၊ အောက်ပါပုံတွင် ပြထားသည့်အရာကို သင်ရရှိမည်ဖြစ်သည်။

စံပန်ဒါကိရိယာများကို အသုံးပြု၍ ရရှိသော ဖော်ပြချက်စာရင်းဇယား

ဤနေရာတွင် အသုံးဝင်သော အချက်အလက်များစွာရှိသော်လည်း၊ သင်စစ်ဆေးနေသော အချက်အလက်နှင့် ပတ်သက်၍ သိလိုသမျှကို ၎င်းသည် သင့်အား ပြောပြမည်မဟုတ်ပါ။ ဥပမာအားဖြင့်၊ ဒေတာဘောင်၊ ဖွဲ့စည်းပုံဟု သင်ယူဆနိုင်သည်။ DataFrame၈၉၁ လိုင်းရှိတယ်။ ၎င်းကို အတည်ပြုရပါက၊ ဖရိမ်အရွယ်အစားကို ဆုံးဖြတ်ရန် အခြားကုဒ်လိုင်းတစ်ခု လိုအပ်ပါသည်။ ဤတွက်ချက်မှုများသည် အထူးအားဖြင့် အရင်းအမြစ်-အသုံးမ၀င်သော်လည်း၊ ၎င်းတို့ကို အဆက်မပြတ် ထပ်ခါထပ်ခါ ပြုလုပ်ခြင်းသည် ဒေတာကို ရှင်းထုတ်ရာတွင် ပိုကောင်းမည့် အချိန်ဖြုန်းခြင်းကို မလွဲမသွေ ဖြစ်ပေါ်စေပါသည်။

Pandas-profiling ဖြင့် စူးစမ်းလေ့လာခြင်းဒေတာခွဲခြမ်းစိတ်ဖြာခြင်း။

ယခု pandas-profiling ကို အသုံးပြု၍ အလားတူလုပ်ကြပါစို့။

pandas_profiling.ProfileReport(df)

အထက်ပါ ကုဒ်မျဉ်းကို လည်ပတ်ခြင်းဖြင့် ဒေတာရှာဖွေမှု၏ မက်ထရစ်များနှင့်အတူ အစီရင်ခံစာကို ထုတ်ပေးမည်ဖြစ်သည်။ အထက်ဖော်ပြပါ ကုဒ်သည် တွေ့ရှိသည့်ဒေတာကို ထုတ်လွှတ်ပေးမည်ဖြစ်ပြီး၊ ဥပမာအားဖြင့် တစ်စုံတစ်ဦးအား သင်ပြသနိုင်သည့် HTML ဖိုင်ကို သင်ထုတ်ပေးနိုင်သည်။

အစီရင်ခံစာ၏ ပထမအပိုင်းတွင် ဒေတာနှင့်ပတ်သက်သော အခြေခံအချက်အလက်များ (ကြည့်ရှုမှုအရေအတွက်၊ ကိန်းရှင်အရေအတွက်နှင့် အခြားအရာများ) ကို ပံ့ပိုးပေးသည့် ခြုံငုံသုံးသပ်ချက်ကဏ္ဍတစ်ခု ပါဝင်မည်ဖြစ်သည်။ ၎င်းတွင် အထူးသတိထားရန် လိုအပ်သည့် နယ်ပယ်များကို လေ့လာသူအား သတိပေးမည့် သတိပေးချက်များစာရင်းလည်း ပါဝင်မည်ဖြစ်သည်။ ဤသတိပေးချက်များသည် ဒေတာရှင်းလင်းရေး အားထုတ်မှုများကို အာရုံစိုက်ရမည့်နေရာကို သဲလွန်စပေးနိုင်သည်။

ကဏ္ဍအကျဉ်းချုပ်ကို အစီရင်ခံပါ။

ကိန်းရှင်များကို စူးစမ်းလေ့လာခြင်း

အစီရင်ခံစာ၏ ခြုံငုံသုံးသပ်ချက်အပိုင်းနောက်တွင်၊ ကိန်းရှင်တစ်ခုစီနှင့်ပတ်သက်သည့် အသုံးဝင်သော အချက်အလက်ကို သင်ရှာတွေ့နိုင်ပါသည်။ ၎င်းတွင်၊ အခြားအရာများထဲတွင်၊ variable တစ်ခုစီ၏ ဖြန့်ဖြူးမှုကို ဖော်ပြသည့် ဇယားကွက်ငယ်များ ပါဝင်သည်။

ကိန်းဂဏာန်းပြောင်းလဲနိုင်သော အသက်အရွယ်ဆိုင်ရာ အချက်အလက်

ယခင်နမူနာမှ သင်တွေ့မြင်ရသည့်အတိုင်း၊ pandas-profiling သည် ကျွန်ုပ်တို့အား အသုံးဝင်သော အညွှန်းကိန်းများဖြစ်သည့် ရာခိုင်နှုန်းနှင့် ပျောက်ဆုံးနေသောတန်ဖိုးများအပြင် ကျွန်ုပ်တို့တွေ့ဖူးပြီးသား ဖော်ပြထားသော စာရင်းဇယားများကဲ့သို့ အသုံးဝင်သော အညွှန်းကိန်းအချို့ကို ပေးပါသည်။ ကတည်းက Age — သည် ကိန်းဂဏာန်းကိန်းကွဲတစ်ခုဖြစ်ပြီး ၎င်း၏ဖြန့်ဖြူးမှုကို ဟစ်စတိုဂရမ်ပုံစံဖြင့် မြင်ယောင်ခြင်းဖြင့် ကျွန်ုပ်တို့တွင် မှန်ကန်သော လှည့်ဖြားထားသော ဖြန့်ဝေမှုရှိသည်ဟု ကောက်ချက်ချနိုင်စေပါသည်။

categorical variable ကို စဉ်းစားသောအခါ၊ ရလဒ်တန်ဖိုးများသည် ကိန်းဂဏာန်းကိန်းရှင်အတွက် တွေ့ရှိသည့်အရာများနှင့် အနည်းငယ်ကွာခြားပါသည်။

categorical variable Sex အကြောင်း အချက်အလက်

ဆိုလိုသည်မှာ၊ ပျမ်းမျှ၊ အနိမ့်ဆုံးနှင့် အမြင့်ဆုံးကို ရှာမည့်အစား ပန်ဒါများ ရေးသွင်းသည့် စာကြည့်တိုက်တွင် အတန်းအရေအတွက်ကို တွေ့ရှိခဲ့သည်။ ကတည်းက Sex — binary variable တစ်ခု၊ ၎င်း၏တန်ဖိုးများကို class နှစ်ခုဖြင့် ကိုယ်စားပြုသည်။

အကယ်၍ သင်သည် ကျွန်ုပ်ကဲ့သို့ဖြစ်ပြီး ကုဒ်ကို တူးဆွခြင်းအား နှစ်သက်ပါက၊ ပန်ဒါများ-ပုံသွင်းခြင်းဆိုင်ရာ ဤမက်ထရစ်များကို အတိအကျ တွက်ချက်ပုံကို သင်စိတ်ဝင်စားပေမည်။ စာကြည့်တိုက်၏ကုဒ်သည် ပွင့်လင်းရင်းမြစ်ဖြစ်ပြီး GitHub တွင် ရနိုင်သည်ဟု ယူဆခြင်းဖြင့် ရှာဖွေရန်မှာ ခက်ခဲသည်မဟုတ်။ ကျွန်ုပ်သည် ကျွန်ုပ်၏ပရောဂျက်များတွင် "အနက်ရောင်သေတ္တာများ" ကို အသုံးပြုသည့် ပရိတ်သတ်ကြီးမဟုတ်သောကြောင့် စာကြည့်တိုက်၏ အရင်းအမြစ်ကုဒ်ကို ကြည့်ခဲ့ပါသည်။ ဥပမာအားဖြင့်၊ ဤတွင်၊ ကိန်းဂဏာန်းကိန်းရှင်များကို စီမံဆောင်ရွက်သည့် ယန္တရားသည် လုပ်ဆောင်ချက်အားဖြင့် ကိုယ်စားပြုသည့် ပုံစံဖြစ်သည်။ describe_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

ဤကုဒ်အတိုအထွာသည် ကြီးမားပြီး ရှုပ်ထွေးပုံပေါက်သော်လည်း အမှန်တကယ် နားလည်ရန် အလွန်လွယ်ကူပါသည်။ ကျွန်ုပ်တို့ပြောနေသည့်အရာမှာ စာကြည့်တိုက်အရင်းအမြစ်ကုဒ်တွင် ကိန်းရှင်အမျိုးအစားများကို ဆုံးဖြတ်ပေးသည့် လုပ်ဆောင်ချက်တစ်ခုပါရှိသည်။ စာကြည့်တိုက်တွင် ကိန်းဂဏာန်းကိန်းရှင်တစ်ခုတွေ့ပါက၊ အထက်ဖော်ပြပါလုပ်ဆောင်ချက်သည် ကျွန်ုပ်တို့ကြည့်ရှုနေသည့် ညွှန်ကိန်းများကို တွေ့ရှိမည်ဖြစ်သည်။ ဤလုပ်ဆောင်ချက်သည် အမျိုးအစား၏အရာဝတ္ထုများနှင့် လုပ်ဆောင်ရန်အတွက် စံပန်ဒါလုပ်ဆောင်ချက်များကို အသုံးပြုသည်။ Seriesကြိုက်တယ်။ series.mean(). တွက်ချက်မှုရလဒ်များကို အဘိဓာန်တွင် သိမ်းဆည်းထားသည်။ stats. ဟစ်စတိုဂရမ်များကို လုပ်ဆောင်ချက်၏ လိုက်လျောညီထွေဖြစ်သော ဗားရှင်းကို အသုံးပြု၍ ဖွဲ့စည်းထားသည်။ matplotlib.pyplot.hist. လိုက်လျောညီထွေဖြစ်အောင် ဆောင်ရွက်ခြင်းသည် မတူညီသော ဒေတာအတွဲများနှင့်အတူ လုပ်ဆောင်နိုင်စေရန် ရည်ရွယ်ပါသည်။

ဆက်စပ်ညွှန်းကိန်းများနှင့် လေ့လာထားသော အချက်အလက် နမူနာများ

ကိန်းရှင်များကို ပိုင်းခြားစိတ်ဖြာပြီးနောက်၊ ပန်ဒါပရိုဖိုင်းသည် ဆက်စပ်ဆက်နွယ်မှုကဏ္ဍတွင် Pearson နှင့် Spearman ဆက်စပ်မှုမက်ထရစ်များကို ထုတ်လွှတ်မည်ဖြစ်သည်။

Pearson ဆက်စပ်မက်ထရစ်

လိုအပ်ပါက၊ အစီရင်ခံစာထုတ်လုပ်ခြင်းကို အစပျိုးသည့် ကုဒ်မျဉ်းတွင် ဆက်စပ်တွက်ချက်မှုအတွက် တံခါးပေါက်တန်ဖိုးများကို သင်သတ်မှတ်နိုင်သည်။ ထိုသို့ပြုလုပ်ခြင်းဖြင့်၊ သင်၏ခွဲခြမ်းစိတ်ဖြာမှုအတွက် အရေးကြီးသည်ဟု ယူဆသည့် ဆက်စပ်ခိုင်လုံမှုကို သတ်မှတ်နိုင်သည်။

နောက်ဆုံးတွင်၊ နမူနာအောက်တွင်၊ pandas-profiling အစီရင်ခံစာသည် dataset ၏အစမှယူထားသောဒေတာနမူနာကိုပြသသည်။ ပထမအကြိမ်လေ့လာတွေ့ရှိချက်အနည်းငယ်သည် ဒေတာအတွဲတစ်ခုလုံး၏ဝိသေသလက္ခဏာများကိုထင်ဟပ်ခြင်းမရှိသောနမူနာတစ်ခုဖြစ်သောကြောင့်၊ ဤချဉ်းကပ်မှုသည် မနှစ်မြို့ဖွယ်အံ့သြဖွယ်များကိုဖြစ်ပေါ်စေနိုင်သည်။

စစ်ဆေးမှုဒေတာနမူနာပါရှိသော အပိုင်း

ရလဒ်အနေနဲ့ ဒီနောက်ဆုံးအပိုင်းကို အာရုံစိုက်ဖို့ အကြံပြုလိုပါတယ်။ အဲဒီအစား၊ command ကိုသုံးတာက ပိုကောင်းပါတယ်။ df.sample(5)ဒေတာအစုံမှ လေ့လာတွေ့ရှိချက် 5 ခုကို ကျပန်းရွေးချယ်ပါမည်။

ရလဒ်များကို

အထက်ဖော်ပြပါတို့ကို အကျဉ်းချုံ့ရန်၊ ပန်ဒါပုံသွင်းစာကြည့်တိုက်သည် ဒေတာ၏ကြမ်းတမ်းသောအကြံဉာဏ်ကို လျင်မြန်စွာရရန် သို့မဟုတ် ဒေတာ၏ ထောက်လှမ်းမှုခွဲခြမ်းစိတ်ဖြာမှုဆိုင်ရာ အစီရင်ခံစာတစ်စောင်ကို တစ်စုံတစ်ဦးထံ ပေးပို့လိုသည့်အခါတွင် အသုံးဝင်သည့် အသုံးဝင်သည့်အင်္ဂါရပ်အချို့ကို ခွဲခြမ်းစိတ်ဖြာသူအား ပံ့ပိုးပေးပါသည်။ တစ်ချိန်တည်းမှာပင်၊ ၎င်း၏အင်္ဂါရပ်များကို ထည့်သွင်းစဉ်းစားကာ ဒေတာနှင့် အမှန်တကယ်အလုပ်လုပ်ခြင်းသည် pandas-profiling ကို ကိုယ်တိုင်အသုံးမပြုဘဲကဲ့သို့ လုပ်ဆောင်ပါသည်။

Jupyter notebook တစ်ခုတည်းတွင် ဒေတာသိပ္ပံခွဲခြမ်းစိတ်ဖြာမှုအားလုံး မည်သို့မည်ပုံရှိသည်ကို သင်ကြည့်ရှုလိုပါက ကြည့်ရှုလိုက်ပါ။ ဤ nbviewer ဖြင့် ဖန်တီးထားသော ကျွန်ုပ်၏ ပရောဂျက်။ နှင့် ဤ သက်ဆိုင်သောကုဒ်ကို GitHub သိုလှောင်ရာနေရာများတွင် တွေ့ရှိနိုင်သည်။

ချစ်ခင်ရပါသောစာဖတ်သူများ! ဒေတာအတွဲအသစ်များကို ခွဲခြမ်းစိတ်ဖြာသည့်အခါ မည်သည့်နေရာတွင် စတင်သနည်း။

source: www.habr.com