ពន្លឿនការវិភាគទិន្នន័យរុករកដោយប្រើបណ្ណាល័យដែលមានទម្រង់ខ្លាឃ្មុំផេនដា

ជំហានដំបូងនៅពេលចាប់ផ្តើមធ្វើការជាមួយសំណុំទិន្នន័យថ្មីគឺត្រូវយល់ពីវា។ ដើម្បីធ្វើដូច្នេះ អ្នកត្រូវការឧទាហរណ៍ ដើម្បីស្វែងរកជួរនៃតម្លៃដែលទទួលយកដោយអថេរ ប្រភេទរបស់វា ហើយក៏ស្វែងយល់អំពីចំនួនតម្លៃដែលបាត់ផងដែរ។

បណ្ណាល័យខ្លាឃ្មុំផេនដាផ្តល់ឱ្យយើងនូវឧបករណ៍មានប្រយោជន៍ជាច្រើនសម្រាប់អនុវត្តការវិភាគទិន្នន័យរុករក (EDA)។ ប៉ុន្តែមុនពេលអ្នកប្រើពួកវា ជាធម្មតាអ្នកត្រូវចាប់ផ្តើមជាមួយនឹងមុខងារទូទៅបន្ថែមទៀតដូចជា df.describe() ជាដើម។ ទោះជាយ៉ាងណាក៏ដោយ វាគួរតែត្រូវបានកត់សម្គាល់ថាសមត្ថភាពដែលផ្តល់ដោយមុខងារបែបនេះមានកម្រិត ហើយដំណាក់កាលដំបូងនៃការធ្វើការជាមួយសំណុំទិន្នន័យណាមួយនៅពេលអនុវត្ត EDA ជាញឹកញាប់ស្រដៀងនឹងគ្នាទៅវិញទៅមក។

អ្នក​និពន្ធ​ឯកសារ​ដែល​យើង​កំពុង​បោះពុម្ព​ថ្ងៃ​នេះ​និយាយ​ថា​គាត់​មិន​មែន​ជា​អ្នក​គាំទ្រ​ការ​ប្រព្រឹត្ត​ដដែលៗ​ទេ។ ជាលទ្ធផល ក្នុងការស្វែងរកឧបករណ៍ដើម្បីអនុវត្តការវិភាគទិន្នន័យរុករកបានយ៉ាងឆាប់រហ័ស និងប្រកបដោយប្រសិទ្ធភាព គាត់បានរកឃើញបណ្ណាល័យនេះ។ pandas-profileing. លទ្ធផលនៃការងាររបស់វាមិនត្រូវបានបង្ហាញក្នុងទម្រង់នៃសូចនាករបុគ្គលជាក់លាក់នោះទេ ប៉ុន្តែជាទម្រង់នៃរបាយការណ៍ HTML លម្អិតដែលមានព័ត៌មានភាគច្រើនអំពីទិន្នន័យដែលបានវិភាគ ដែលអ្នកប្រហែលជាត្រូវដឹងមុនពេលចាប់ផ្តើមធ្វើការកាន់តែជិតស្និទ្ធជាមួយវា។

នៅទីនេះយើងនឹងពិនិត្យមើលលក្ខណៈពិសេសនៃការប្រើប្រាស់បណ្ណាល័យ pandas-profiling ដោយប្រើសំណុំទិន្នន័យ Titanic ជាឧទាហរណ៍មួយ។

ការវិភាគទិន្នន័យរុករកដោយប្រើផេនដា

ខ្ញុំបានសម្រេចចិត្តសាកល្បងជាមួយ pandas-profiling នៅលើសំណុំទិន្នន័យ Titanic ដោយសារតែប្រភេទទិន្នន័យផ្សេងៗគ្នាដែលវាមាន និងវត្តមាននៃតម្លៃដែលបាត់នៅក្នុងវា។ ខ្ញុំជឿថាបណ្ណាល័យដែលមានឈ្មោះខ្លាឃ្មុំផេនដាគឺគួរឱ្យចាប់អារម្មណ៍ជាពិសេសនៅក្នុងករណីដែលទិន្នន័យមិនទាន់ត្រូវបានសម្អាត និងទាមទារដំណើរការបន្ថែមទៀតអាស្រ័យលើលក្ខណៈរបស់វា។ ដើម្បីអនុវត្តដំណើរការបែបនេះដោយជោគជ័យ អ្នកត្រូវដឹងពីកន្លែងដែលត្រូវចាប់ផ្តើម និងអ្វីដែលត្រូវយកចិត្តទុកដាក់។ នេះគឺជាកន្លែងដែលសមត្ថភាពដាក់ពង្រាយខ្លាឃ្មុំផេនដាមានប្រយោជន៍។

ជាដំបូង យើងនាំចូលទិន្នន័យ ហើយប្រើផេនដា ដើម្បីទទួលបានស្ថិតិពិពណ៌នា៖

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

បន្ទាប់ពីប្រតិបត្តិបំណែកនៃកូដនេះ អ្នកនឹងទទួលបានអ្វីដែលបង្ហាញក្នុងរូបខាងក្រោម។

ស្ថិតិពិពណ៌នាដែលទទួលបានដោយប្រើឧបករណ៍ផេនដាស្តង់ដារ

ទោះបីជាមានព័ត៌មានមានប្រយោជន៍ច្រើននៅទីនេះក៏ដោយ ក៏វាមិនមានអ្វីគ្រប់យ៉ាងដែលគួរឱ្យចាប់អារម្មណ៍ក្នុងការដឹងអំពីទិន្នន័យដែលកំពុងសិក្សានោះទេ។ ជាឧទាហរណ៍ មនុស្សម្នាក់អាចសន្មត់ថានៅក្នុងស៊ុមទិន្នន័យ នៅក្នុងរចនាសម្ព័ន្ធមួយ។ DataFrameមាន ៨៩១ ខ្សែ។ ប្រសិនបើ​ត្រូវ​ពិនិត្យ​មើល នោះ​បន្ទាត់​កូដ​មួយ​ទៀត​ត្រូវ​បាន​ទាមទារ​ដើម្បី​កំណត់​ទំហំ​របស់​ស៊ុម។ ខណៈពេលដែលការគណនាទាំងនេះមិនពឹងផ្អែកខ្លាំងលើធនធាននោះ ការធ្វើវាឡើងវិញគ្រប់ពេលវេលា គឺត្រូវកំណត់ឱ្យខ្ជះខ្ជាយពេលវេលា ដែលប្រហែលជាត្រូវចំណាយច្រើនជាងការសម្អាតទិន្នន័យ។

ការវិភាគទិន្នន័យរុករកដោយប្រើ pandas-profiling

ឥឡូវនេះសូមធ្វើដូចគ្នាដោយប្រើ pandas-profiling:

pandas_profiling.ProfileReport(df)

ការអនុវត្តបន្ទាត់កូដខាងលើនឹងបង្កើតរបាយការណ៍មួយដែលមានសូចនាករការវិភាគទិន្នន័យរុករក។ កូដដែលបង្ហាញខាងលើនឹងបញ្ចេញទិន្នន័យដែលបានរកឃើញ ប៉ុន្តែអ្នកអាចធ្វើឱ្យវាចេញឯកសារ HTML ដែលអ្នកអាចបង្ហាញដល់នរណាម្នាក់ឧទាហរណ៍។

ផ្នែកដំបូងនៃរបាយការណ៍នឹងមានផ្នែក ទិដ្ឋភាពទូទៅ ដោយផ្តល់ព័ត៌មានមូលដ្ឋានអំពីទិន្នន័យ (ចំនួននៃការសង្កេត ចំនួនអថេរ។ល។)។ វាក៏នឹងមានបញ្ជីនៃការជូនដំណឹងផងដែរ ដោយជូនដំណឹងដល់អ្នកវិភាគអំពីអ្វីដែលត្រូវយកចិត្តទុកដាក់ជាពិសេស។ ការដាស់តឿនទាំងនេះអាចផ្តល់នូវតម្រុយអំពីកន្លែងដែលអ្នកអាចផ្តោតការខិតខំប្រឹងប្រែងសម្អាតទិន្នន័យរបស់អ្នក។

ផ្នែករបាយការណ៍ទិដ្ឋភាពទូទៅ

ការវិភាគអថេររុករក

ខាងក្រោមផ្នែកទិដ្ឋភាពទូទៅនៃរបាយការណ៍ អ្នកអាចស្វែងរកព័ត៌មានមានប្រយោជន៍អំពីអថេរនីមួយៗ។ ពួកគេរួមបញ្ចូល ក្នុងចំណោមរបស់ផ្សេងទៀត គំនូសតាងតូចៗដែលពិពណ៌នាអំពីការចែកចាយអថេរនីមួយៗ។

អំពីអថេរលេខអាយុ

ដូចដែលអ្នកអាចមើលឃើញពីឧទាហរណ៍មុន ការបង្រួបបង្រួមខ្លាឃ្មុំផេនដាផ្តល់ឱ្យយើងនូវសូចនាករមានប្រយោជន៍ជាច្រើនដូចជាភាគរយ និងចំនួនតម្លៃដែលបាត់ ក៏ដូចជាវិធានការស្ថិតិពិពណ៌នាដែលយើងបានឃើញរួចហើយ។ ដោយសារតែ Age គឺជាអថេរជាលេខ ការមើលឃើញនៃការចែកចាយរបស់វាក្នុងទម្រង់ជាអ៊ីស្តូក្រាមអនុញ្ញាតឱ្យយើងសន្និដ្ឋានថាយើងមានការចែកចាយដែលបត់ទៅខាងស្តាំ។

នៅពេលពិចារណាអថេរប្រភេទ លទ្ធផលលទ្ធផលគឺខុសគ្នាបន្តិចបន្តួចពីអ្វីដែលបានរកឃើញសម្រាប់អថេរជាលេខ។

អំពីអថេរភេទ

មានន័យថា ជំនួសឱ្យការស្វែងរកមធ្យម អប្បបរមា និងអតិបរមា បណ្ណាល័យដែលមានឈ្មោះខ្លាឃ្មុំផេនដាបានរកឃើញចំនួនថ្នាក់។ ដោយសារតែ Sex - អថេរគោលពីរ តម្លៃរបស់វាត្រូវបានតំណាងដោយថ្នាក់ពីរ។

ប្រសិនបើអ្នកចូលចិត្តពិនិត្យមើលកូដដូចខ្ញុំ អ្នកប្រហែលជាចាប់អារម្មណ៍ថាតើបណ្ណាល័យដែលមានឈ្មោះខ្លាឃ្មុំផេនដា គណនាម៉ែត្រទាំងនេះយ៉ាងពិតប្រាកដ។ ការស្វែងយល់អំពីបញ្ហានេះ ដោយសារលេខកូដបណ្ណាល័យបើក ហើយមាននៅលើ GitHub មិនពិបាកប៉ុន្មានទេ។ ដោយសារខ្ញុំមិនមែនជាអ្នកគាំទ្រដ៏ធំនៃការប្រើប្រាស់ប្រអប់ខ្មៅនៅក្នុងគម្រោងរបស់ខ្ញុំ ខ្ញុំបានមើលកូដប្រភពរបស់បណ្ណាល័យ។ ឧទាហរណ៍ នេះគឺជាអ្វីដែលយន្តការសម្រាប់ដំណើរការអថេរលេខមើលទៅដូចដែលតំណាងដោយអនុគមន៍ describe_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

ទោះបីជាបំណែកនៃកូដនេះហាក់ដូចជាមានទំហំធំ និងស្មុគស្មាញក៏ដោយ វាពិតជាសាមញ្ញណាស់ក្នុងការយល់។ ចំនុចគឺថានៅក្នុងកូដប្រភពនៃបណ្ណាល័យមានមុខងារដែលកំណត់ប្រភេទនៃអថេរ។ ប្រសិនបើវាបង្ហាញថាបណ្ណាល័យបានជួបប្រទះអថេរជាលេខ មុខងារខាងលើនឹងរកឃើញម៉ែត្រដែលយើងកំពុងមើល។ មុខងារនេះប្រើប្រតិបត្តិការផេនដាស្តង់ដារសម្រាប់ធ្វើការជាមួយវត្ថុនៃប្រភេទ Seriesចូលចិត្ត series.mean(). លទ្ធផលគណនាត្រូវបានរក្សាទុកក្នុងវចនានុក្រម stats. អ៊ីស្តូក្រាម​ត្រូវ​បាន​បង្កើត​ដោយ​ប្រើ​កំណែ​សម្រួល​នៃ​មុខងារ matplotlib.pyplot.hist. ការសម្របខ្លួនមានគោលបំណងធានាថាមុខងារអាចដំណើរការជាមួយប្រភេទផ្សេងគ្នានៃសំណុំទិន្នន័យ។

សូចនាករទំនាក់ទំនង និងទិន្នន័យគំរូបានសិក្សា

បន្ទាប់​ពី​លទ្ធផល​នៃ​ការ​វិភាគ​នៃ​អថេរ​ ទម្រង់​ខ្លាឃ្មុំ​ផេនដា​ ក្នុង​ផ្នែក​ទំនាក់ទំនង​នឹង​បង្ហាញ​ម៉ាទ្រីស​ទំនាក់ទំនង​ Pearson និង Spearman ។

ម៉ាទ្រីសទំនាក់ទំនង Pearson

បើចាំបាច់ អ្នកអាចនៅក្នុងបន្ទាត់នៃកូដដែលបង្កឱ្យមានការបង្កើតរបាយការណ៍ កំណត់សូចនាករនៃតម្លៃកម្រិតដែលប្រើនៅពេលគណនាការជាប់ទាក់ទងគ្នា។ តាមរយៈការធ្វើដូចនេះ អ្នកអាចបញ្ជាក់ថាតើភាពខ្លាំងនៃទំនាក់ទំនងត្រូវបានចាត់ទុកថាសំខាន់សម្រាប់ការវិភាគរបស់អ្នក។

ជាចុងក្រោយ របាយការណ៍បង្ហាញទម្រង់ខ្លាឃ្មុំផេនដា នៅក្នុងផ្នែកគំរូ បង្ហាញជាឧទាហរណ៍ បំណែកនៃទិន្នន័យដែលបានយកពីការចាប់ផ្តើមនៃសំណុំទិន្នន័យ។ វិធីសាស្រ្តនេះអាចនាំឱ្យមានការភ្ញាក់ផ្អើលមិនល្អ ចាប់តាំងពីការសង្កេតពីរបីដំបូងអាចតំណាងឱ្យគំរូដែលមិនឆ្លុះបញ្ចាំងពីលក្ខណៈនៃសំណុំទិន្នន័យទាំងមូល។

ផ្នែកដែលមានទិន្នន័យគំរូដែលកំពុងសិក្សា

ជាលទ្ធផល ខ្ញុំមិនណែនាំឱ្យយកចិត្តទុកដាក់លើផ្នែកចុងក្រោយនេះទេ។ ជំនួសមកវិញ វាជាការប្រសើរក្នុងការប្រើពាក្យបញ្ជា df.sample(5)ដែលនឹងជ្រើសរើសដោយចៃដន្យ 5 ការសង្កេតពីសំណុំទិន្នន័យ។

លទ្ធផល

ដើម្បីសង្ខេប បណ្ណាល័យដែលបង្ហាញឈ្មោះខ្លាឃ្មុំផេនដាផ្តល់ឱ្យអ្នកវិភាគនូវសមត្ថភាពមានប្រយោជន៍មួយចំនួនដែលនឹងមានប្រយោជន៍ក្នុងករណីដែលអ្នកត្រូវការដើម្បីទទួលបានគំនិតរដុបនៃទិន្នន័យយ៉ាងឆាប់រហ័ស ឬបញ្ជូនរបាយការណ៍វិភាគស៊ើបការណ៍ទៅនរណាម្នាក់។ ក្នុងពេលជាមួយគ្នានេះ ការងារពិតប្រាកដជាមួយទិន្នន័យ ដោយគិតគូរពីលក្ខណៈពិសេសរបស់វា ត្រូវបានអនុវត្ត ដូចជាដោយមិនប្រើទម្រង់ pandas ដោយដៃ។

ប្រសិនបើអ្នកចង់ពិនិត្យមើលថាតើការវិភាគទិន្នន័យស៊ើបការណ៍ទាំងអស់មើលទៅដូចអ្វីនៅក្នុងសៀវភៅកត់ត្រា Jupyter សូមក្រឡេកមើល នេះ គម្រោងរបស់ខ្ញុំបានបង្កើតដោយប្រើ nbviewer ។ ហើយនៅក្នុង នេះ អ្នកអាចស្វែងរកលេខកូដដែលត្រូវគ្នានៅក្នុងឃ្លាំង GitHub ។

អ្នកអានជាទីស្រឡាញ់! តើអ្នកចាប់ផ្តើមវិភាគសំណុំទិន្នន័យថ្មីនៅឯណា?

ប្រភព: www.habr.com