Pandas 프로파일링 라이브러리를 사용하여 탐색적 데이터 분석 속도를 높입니다.

새로운 데이터 세트로 작업을 시작할 때 첫 번째 단계는 이를 이해하는 것입니다. 이를 위해서는 예를 들어 변수가 허용하는 값의 범위와 해당 유형을 확인하고 누락된 값의 개수도 알아내야 합니다.

Pandas 라이브러리는 탐색적 데이터 분석(EDA)을 수행하는 데 유용한 많은 도구를 제공합니다. 그러나 이를 사용하기 전에 일반적으로 df.describe()와 같은 보다 일반적인 기능부터 시작해야 합니다. 그러나 이러한 기능이 제공하는 기능은 제한적이며 EDA를 수행할 때 데이터 세트를 사용하는 초기 단계는 서로 매우 유사한 경우가 많습니다.

오늘 우리가 출판하는 자료의 저자는 반복적인 작업을 수행하는 것을 좋아하지 않는다고 말합니다. 그 결과 탐색적 데이터 분석을 빠르고 효율적으로 수행할 수 있는 도구를 찾던 중 그는 라이브러리를 발견했습니다. 팬더 프로파일링. 작업 결과는 특정 개별 지표의 형태가 아니라 분석된 데이터에 대해 더 자세히 작업하기 전에 알아야 할 대부분의 정보가 포함된 상당히 상세한 HTML 보고서의 형태로 표현됩니다.

여기서는 Titanic 데이터 세트를 예로 들어 pandas-profiling 라이브러리 사용의 특징을 살펴보겠습니다.

Pandas를 사용한 탐색적 데이터 분석

나는 Titanic 데이터 세트에 포함된 다양한 유형의 데이터와 누락된 값의 존재로 인해 Pandas 프로파일링을 실험하기로 결정했습니다. 나는 데이터가 아직 정리되지 않았고 데이터의 특성에 따라 추가 처리가 필요한 경우에 pandas 프로파일링 라이브러리가 특히 흥미롭다고 생각합니다. 이러한 처리를 성공적으로 수행하려면 어디서부터 시작하고 무엇에 주의해야 하는지 알아야 합니다. 이것이 팬더 프로파일링 기능이 유용한 곳입니다.

먼저 데이터를 가져오고 팬더를 사용하여 기술 통계를 얻습니다.

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

이 코드 조각을 실행하면 다음 그림과 같은 결과를 얻게 됩니다.

표준 Pandas 도구를 사용하여 얻은 기술 통계

여기에는 유용한 정보가 많이 있지만 연구 중인 데이터에 대해 흥미로운 정보가 모두 포함되어 있지는 않습니다. 예를 들어, 데이터 프레임의 구조에서 다음과 같이 가정할 수 있습니다. DataFrame, 891개의 라인이 있습니다. 이를 확인해야 하는 경우 프레임 크기를 결정하려면 또 다른 코드 줄이 필요합니다. 이러한 계산은 특별히 리소스 집약적이지는 않지만 항상 반복하면 데이터를 정리하는 데 더 나은 시간을 낭비할 수 있습니다.

팬더 프로파일링을 사용한 탐색적 데이터 분석

이제 pandas-profiling을 사용하여 동일한 작업을 수행해 보겠습니다.

pandas_profiling.ProfileReport(df)

위의 코드 줄을 실행하면 탐색적 데이터 분석 지표가 포함된 보고서가 생성됩니다. 위에 표시된 코드는 발견된 데이터를 출력하지만 예를 들어 누군가에게 보여줄 수 있는 HTML 파일을 출력하도록 할 수 있습니다.

보고서의 첫 번째 부분에는 데이터에 대한 기본 정보(관찰 수, 변수 수 등)를 제공하는 개요 섹션이 포함됩니다. 또한 분석가에게 특별한 주의를 기울여야 할 사항을 알리는 경고 목록도 포함됩니다. 이러한 경고는 데이터 정리 작업에 집중할 수 있는 위치에 대한 단서를 제공할 수 있습니다.

개요 보고서 섹션

탐색변수 분석

보고서의 개요 섹션 아래에서 각 변수에 대한 유용한 정보를 찾을 수 있습니다. 여기에는 무엇보다도 각 변수의 분포를 설명하는 작은 차트가 포함됩니다.

연령 숫자 변수 정보

이전 예에서 볼 수 있듯이 pandas 프로파일링은 누락된 값의 백분율 및 수는 물론 우리가 이미 본 기술 통계 측정값과 같은 몇 가지 유용한 지표를 제공합니다. 왜냐하면 Age 는 수치 변수이므로 히스토그램 형태로 분포를 시각화하면 분포가 오른쪽으로 치우쳐 있다는 결론을 내릴 수 있습니다.

범주형 변수를 고려할 때 출력 결과는 숫자 변수의 결과와 약간 다릅니다.

성별 범주형 변수 정보

즉, Pandas 프로파일링 라이브러리는 평균, 최소, 최대를 찾는 대신 클래스 수를 찾았습니다. 왜냐하면 Sex — 이진 변수이며 해당 값은 두 개의 클래스로 표시됩니다.

나처럼 코드를 검사하고 싶다면 pandas 프로파일링 라이브러리가 이러한 측정항목을 정확히 어떻게 계산하는지에 관심이 있을 수 있습니다. 라이브러리 코드가 공개되어 있고 GitHub에서 사용할 수 있다는 점을 고려하면 이에 대해 알아내는 것은 그리 어렵지 않습니다. 나는 내 프로젝트에서 블랙박스를 사용하는 것을 그다지 좋아하지 않기 때문에 라이브러리의 소스 코드를 살펴보았습니다. 예를 들어, 숫자 변수를 처리하는 메커니즘은 다음과 같습니다. explain_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

이 코드 조각은 꽤 크고 복잡해 보이지만 실제로는 이해하기가 매우 간단합니다. 요점은 라이브러리의 소스 코드에 변수 유형을 결정하는 함수가 있다는 것입니다. 라이브러리가 숫자 변수를 발견한 것으로 밝혀지면 위 함수는 우리가 보고 있던 측정항목을 찾습니다. 이 함수는 유형의 객체 작업을 위해 표준 팬더 작업을 사용합니다. Series, 좋다 series.mean(). 계산 결과는 사전에 저장됩니다. stats. 히스토그램은 적응된 버전의 함수를 사용하여 생성됩니다. matplotlib.pyplot.hist. 적응은 함수가 다양한 유형의 데이터 세트에서 작동할 수 있도록 보장하는 것을 목표로 합니다.

연구된 상관관계 지표 및 샘플 데이터

변수 분석 결과 후 상관관계 섹션의 pandas 프로파일링은 Pearson 및 Spearman 상관관계 행렬을 표시합니다.

피어슨 상관 행렬

필요한 경우 보고서 생성을 트리거하는 코드 줄에서 상관 관계 계산에 사용되는 임계값 표시기를 설정할 수 있습니다. 이렇게 하면 분석에 중요하다고 간주되는 상관 관계의 강도를 지정할 수 있습니다.

마지막으로 샘플 섹션의 pandas 프로파일링 보고서는 데이터 세트의 시작 부분에서 가져온 데이터 조각을 예로 표시합니다. 이 접근 방식은 처음 몇 개의 관찰이 전체 데이터 세트의 특성을 반영하지 않는 샘플을 나타낼 수 있기 때문에 불쾌한 놀라움을 초래할 수 있습니다.

연구 중인 샘플 데이터가 포함된 섹션

따라서 이 마지막 섹션에 주의를 기울이지 않는 것이 좋습니다. 대신 다음 명령을 사용하는 것이 좋습니다. df.sample(5), 데이터 세트에서 5개의 관측치를 무작위로 선택합니다.

결과

요약하자면, pandas 프로파일링 라이브러리는 분석가에게 데이터에 대한 대략적인 아이디어를 빠르게 얻거나 인텔리전스 분석 보고서를 누군가에게 전달해야 하는 경우 유용할 몇 가지 유용한 기능을 제공합니다. 동시에, Pandas 프로파일링을 사용하지 않고 수동으로 데이터의 기능을 고려한 실제 작업이 수행됩니다.

하나의 Jupyter 노트북에서 모든 인텔리전스 데이터 분석이 어떤 모습인지 살펴보고 싶다면 다음을 살펴보세요. 이 nbviewer로 만든 프로젝트입니다. 그리고 이 GitHub 리포지토리에서 해당 코드를 찾을 수 있습니다.

독자 여러분! 새로운 데이터 세트 분석은 어디에서 시작합니까?

출처 : habr.com