Забрзајте ја истражувачката анализа на податоци користејќи библиотека за профилирање на панди

Првиот чекор кога почнувате да работите со нов сет на податоци е да го разберете. За да го направите ова, треба, на пример, да ги дознаете опсезите на вредности прифатени од променливите, нивните типови, а исто така да дознаете за бројот на вредности што недостасуваат.

Библиотеката за панди ни обезбедува многу корисни алатки за вршење на истражувачка анализа на податоци (ЕДА). Но, пред да ги користите, обично треба да започнете со поопшти функции како што е df.describe(). Сепак, треба да се забележи дека можностите што ги обезбедуваат таквите функции се ограничени, а почетните фази на работа со какви било множества на податоци при извршување на EDA многу често се многу слични едни на други.

Авторот на материјалот кој денеска го објавуваме вели дека не е љубител на вршење повторувачки дејствија. Како резултат на тоа, во потрага по алатки за брзо и ефикасно извршување на истражувачка анализа на податоци, тој ја најде библиотеката панди-профилирање. Резултатите од неговата работа се изразени не во форма на одредени поединечни индикатори, туку во форма на прилично детален HTML извештај кој содржи најголем дел од информациите за анализираните податоци што можеби ќе треба да ги знаете пред да започнете поблиску да работите со него.

Овде ќе ги разгледаме карактеристиките на користење на библиотеката за профилирање на панди користејќи ја базата на податоци на Титаник како пример.

Истражувачка анализа на податоци со помош на панди

Решив да експериментирам со профилирање на панди на базата на податоци на Титаник поради различните типови на податоци што ги содржи и присуството на вредности што недостасуваат во нив. Верувам дека библиотеката за профилирање на панди е особено интересна во случаи кога податоците сè уште не се исчистени и бара понатамошна обработка во зависност од нејзините карактеристики. За успешно да извршите таква обработка, треба да знаете од каде да започнете и на што да обрнете внимание. Ова е местото каде што можностите за профилирање на пандите ни доаѓаат.

Прво, ги увезуваме податоците и користиме панди за да добиеме описна статистика:

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

По извршувањето на овој дел од кодот, ќе го добиете она што е прикажано на следната слика.

Описна статистика добиена со користење на стандардни алатки за панди

Иако овде има многу корисни информации, не содржи се што би било интересно да се знае за податоците што се проучуваат. На пример, може да се претпостави дека во податочна рамка, во структура DataFrame, има 891 ред. Ако ова треба да се провери, тогаш потребна е друга линија на код за да се одреди големината на рамката. Иако овие пресметки не се особено интензивни за ресурси, нивното постојано повторување е обврзано да губи време што веројатно би можело подобро да се потроши за чистење на податоците.

Истражувачка анализа на податоци со користење на профилирање на панди

Сега да го сториме истото користејќи профилирање на панди:

pandas_profiling.ProfileReport(df)

Извршувањето на горната линија код ќе генерира извештај со индикатори за истражувачка анализа на податоци. Кодот прикажан погоре ќе ги даде пронајдените податоци, но можете да го натерате да излезе HTML-датотека што можете да ја покажете некому, на пример.

Првиот дел од извештајот ќе содржи дел Преглед, кој дава основни информации за податоците (број на набљудувања, број на променливи итн.). Исто така, ќе содржи листа на предупредувања, известувајќи го аналитичарот за работите на кои треба да обрне посебно внимание. Овие предупредувања можат да дадат индиции за тоа каде можете да ги фокусирате напорите за чистење на податоците.

Дел за извештај за преглед

Истражувачка анализа на променливи

Под делот Преглед на извештајот можете да најдете корисни информации за секоја променлива. Тие вклучуваат, меѓу другото, мали графикони кои ја опишуваат дистрибуцијата на секоја променлива.

За старосната нумеричка променлива

Како што можете да видите од претходниот пример, профилирањето на панди ни дава неколку корисни показатели, како што се процентот и бројот на вредности што недостасуваат, како и описните статистички мерки што веќе ги видовме. Бидејќи Age е нумеричка променлива, визуелизацијата на нејзината дистрибуција во форма на хистограм ни овозможува да заклучиме дека имаме распределба искривена надесно.

Кога се разгледува категорична променлива, излезните резултати се малку поинакви од оние што се наоѓаат за нумеричка променлива.

За категоричната променлива Секс

Имено, наместо да го најде просекот, минимумот и максимумот, библиотеката за профилирање на панди го пронашла бројот на часови. Бидејќи Sex - бинарна променлива, нејзините вредности се претставени со две класи.

Ако сакате да го испитате кодот како јас, можеби ќе ве интересира како точно библиотеката за профилирање на панди ги пресметува овие метрики. Да се ​​дознае за ова, со оглед на тоа што кодот на библиотеката е отворен и достапен на GitHub, не е толку тешко. Бидејќи не сум голем обожавател на користење црни кутии во моите проекти, го погледнав изворниот код на библиотеката. На пример, вака изгледа механизмот за обработка на нумерички променливи, претставен преку функцијата describe_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

Иако ова парче код може да изгледа прилично големо и сложено, всушност е многу едноставно за разбирање. Поентата е дека во изворниот код на библиотеката има функција која ги одредува типовите на променливи. Ако се покаже дека библиотеката наишла на нумеричка променлива, горната функција ќе ги најде метриките што ги разгледувавме. Оваа функција користи стандардни операции на панди за работа со објекти од типот Series, допаѓа series.mean(). Резултатите од пресметките се чуваат во речник stats. Хистограмите се генерираат со помош на адаптирана верзија на функцијата matplotlib.pyplot.hist. Адаптацијата има за цел да обезбеди дека функцијата може да работи со различни типови на сетови на податоци.

Проучени индикатори за корелација и податоци од примерок

По резултатите од анализата на променливите, pandas-profiling, во делот Корелации, ќе ги прикаже матриците за корелација Пирсон и Спирман.

Пирсонова матрица на корелација

Доколку е потребно, можете, во линијата код што го активира генерирањето на извештајот, да ги поставите индикаторите за вредностите на прагот што се користат при пресметување на корелацијата. Со ова, можете да одредите која јачина на корелација се смета за важна за вашата анализа.

Конечно, извештајот за профилирање на панди, во делот Примерок, прикажува, како пример, дел од податоците земени од почетокот на множеството податоци. Овој пристап може да доведе до непријатни изненадувања, бидејќи првите неколку набљудувања може да претставуваат примерок што не ги одразува карактеристиките на целиот сет на податоци.

Дел кој содржи примерок податоци што се испитуваат

Како резултат на тоа, не препорачувам да обрнувам внимание на овој последен дел. Наместо тоа, подобро е да се користи командата df.sample(5), кој по случаен избор ќе избере 5 набљудувања од множеството податоци.

Резултатите од

Да резимираме, библиотеката за профилирање на панди му дава на аналитичарот некои корисни способности што ќе ни се најдат во случаи кога треба брзо да добиете груба идеја за податоците или да му предадете извештај за анализа на разузнавањето на некого. Во исто време, вистинската работа со податоци, земајќи ги предвид неговите карактеристики, се изведува, како без користење на профилирање на панди, рачно.

Ако сакате да погледнете како изгледаат сите анализи на разузнавачки податоци во една тетратка Jupyter, погледнете го овој мојот проект создаден со помош на nbviewer. И во ова Соодветниот код можете да го најдете во складиштата на GitHub.

Почитувани читатели! Каде започнувате да анализирате нови збирки на податоци?

Извор: www.habr.com