Убрзајте истраживачку анализу података помоћу библиотеке за профилисање панда

Први корак када почнете да радите са новим скупом података јесте да га разумете. Да бисте то урадили, потребно је, на пример, да сазнате опсеге вредности ​​​прихваћених од променљивих, њихове типове, као и да сазнате број вредности које недостају.

Пандас библиотека нам пружа многе корисне алате за обављање истраживачке анализе података (ЕДА). Али пре него што их употребите, обично морате да почнете са општијим функцијама као што је дф.десцрибе(). Међутим, треба напоменути да су могућности које пружају такве функције ограничене, а почетне фазе рада са било којим скуповима података приликом извођења ЕДА врло често су веома сличне једна другој.

Аутор материјала који данас објављујемо каже да није љубитељ извођења радњи које се понављају. Као резултат тога, у потрази за алатима за брзо и ефикасно обављање истраживачке анализе података, пронашао је библиотеку пандас-профилинг. Резултати његовог рада се не исказују у виду одређених појединачних индикатора, већ у виду прилично детаљног ХТМЛ извештаја који садржи већину информација о анализираним подацима које би вам можда требало да знате пре него што почнете ближе да сарађујете са њима.

Овде ћемо погледати карактеристике коришћења библиотеке за профилисање панда користећи скуп података Титаниц као пример.

Истраживачка анализа података помоћу панди

Одлучио сам да експериментишем са профилисањем панди на скупу података Титаника због различитих типова података које садржи и присуства вредности које недостају у њему. Верујем да је библиотека за профилисање панда посебно занимљива у случајевима када подаци још нису очишћени и захтева даљу обраду у зависности од њених карактеристика. Да бисте успешно извршили овакву обраду, морате знати одакле да почнете и на шта обратити пажњу. Овде су корисне могућности профилисања панди.

Прво увозимо податке и користимо панде за добијање дескриптивне статистике:

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

Након извршења овог дела кода, добићете оно што је приказано на следећој слици.

Дескриптивна статистика добијена коришћењем стандардних панда алата

Иако овде има доста корисних информација, не садржи све што би било занимљиво знати о подацима који се проучавају. На пример, може се претпоставити да у оквиру података, у структури DataFrame, има 891 линија. Ако ово треба да се провери, онда је потребна још једна линија кода за одређивање величине оквира. Иако ови прорачуни нису посебно интензивни, њихово стално понављање ће довести до губитка времена које би вероватно било боље потрошити на чишћење података.

Истраживачка анализа података помоћу профилисања панда

Сада урадимо исто користећи пандас-профилинг:

pandas_profiling.ProfileReport(df)

Извршавање горње линије кода ће генерисати извештај са индикаторима истраживачке анализе података. Код приказан изнад ће приказати пронађене податке, али можете га натерати да исписује ХТМЛ датотеку коју можете некоме показати, на пример.

Први део извештаја ће садржати одељак Преглед, који даје основне информације о подацима (број запажања, број варијабли, итд.). Такође ће садржати листу упозорења, обавештавајући аналитичара о стварима на које треба обратити посебну пажњу. Ова упозорења могу дати назнаке о томе где можете да фокусирате своје напоре за чишћење података.

Одељак извештаја о прегледу

Анализа истраживачке варијабле

Испод одељка Преглед извештаја можете пронаћи корисне информације о свакој променљивој. Они укључују, између осталог, мале графиконе који описују дистрибуцију сваке променљиве.

О нумеричкој променљивој старости

Као што можете видети из претходног примера, пандас-профилинг нам даје неколико корисних индикатора, као што су проценат и број вредности које недостају, као и мере дескриптивне статистике које смо већ видели. Јер Age је нумеричка варијабла, визуелизација њене дистрибуције у облику хистограма нам омогућава да закључимо да имамо дистрибуцију нагнуту удесно.

Када се разматра категоричка променљива, излазни резултати се мало разликују од оних пронађених за нумеричку променљиву.

О категоричкој варијабли Пол

Наиме, уместо да пронађе просек, минимум и максимум, библиотека за профилисање панда је пронашла број класа. Јер Sex — бинарна променљива, њене вредности су представљене двема класама.

Ако волите да испитујете код као ја, можда ће вас занимати како тачно библиотека за профилисање панда израчунава ове метрике. Сазнати о овоме, с обзиром да је код библиотеке отворен и доступан на ГитХуб-у, није тако тешко. Пошто нисам велики љубитељ коришћења црних кутија у својим пројектима, погледао сам изворни код библиотеке. На пример, овако изгледа механизам за обраду нумеричких променљивих, представљен функцијом десцрибе_нумериц_1д:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

Иако овај део кода може изгледати прилично велик и сложен, заправо је врло једноставан за разумевање. Поента је да у изворном коду библиотеке постоји функција која одређује типове променљивих. Ако се испостави да је библиотека наишла на нумеричку променљиву, горња функција ће пронаћи метрику коју смо гледали. Ова функција користи стандардне пандас операције за рад са објектима типа Series, као series.mean(). Резултати прорачуна се чувају у речнику stats. Хистограми се генеришу коришћењем прилагођене верзије функције matplotlib.pyplot.hist. Адаптација има за циљ да обезбеди да функција може да ради са различитим типовима скупова података.

Проучени показатељи корелације и узорци података

Након резултата анализе варијабли, пандас-профилинг, у одељку Корелације, приказаће Пирсонове и Спирманове корелационе матрице.

Пирсонова корелациона матрица

Ако је потребно, у линији кода који покреће генерисање извештаја можете подесити индикаторе граничних вредности које се користе приликом израчунавања корелације. На тај начин можете одредити која снага корелације се сматра важном за вашу анализу.

Коначно, извештај о профилисању панда, у одељку Узорак, приказује, као пример, део података преузет са почетка скупа података. Овај приступ може довести до непријатних изненађења, јер првих неколико запажања може представљати узорак који не одражава карактеристике читавог скупа података.

Одељак који садржи узорке података који се проучавају

Као резултат тога, не препоручујем обраћање пажње на овај последњи одељак. Уместо тога, боље је користити команду df.sample(5), који ће насумично изабрати 5 запажања из скупа података.

Резултати

Да резимирамо, библиотека за профилисање панда даје аналитичару неке корисне могућности које ће вам добро доћи у случајевима када морате брзо да стекнете грубу представу о подацима или некоме проследите извештај о анализи обавештајних података. Истовремено, прави рад са подацима, узимајући у обзир његове карактеристике, обавља се, као без употребе панда-профилирања, ручно.

Ако желите да погледате како све анализе обавештајних података изгледају у једној Јупитер бележници, погледајте ово мој пројекат креиран помоћу нбвиевер-а. А у ово Одговарајући код можете пронаћи у ГитХуб репозиторијумима.

Драги читаоци! Где почињете да анализирате нове скупове података?

Извор: ввв.хабр.цом