pandas-profiling ライブラリを使用して探索的データ分析を加速する

新しいデータセットの操作を開始するときの最初のステップは、それを理解することです。 これを行うには、たとえば、変数によって受け入れられる値の範囲とその型を調べ、欠損値の数も調べる必要があります。

pandas ライブラリは、探索的データ分析 (EDA) を実行するための多くの便利なツールを提供します。 ただし、これらを使用する前に、通常は df.describe() などのより一般的な関数から始める必要があります。 ただし、そのような関数によって提供される機能は限られており、EDA を実行する際のデータ セットの操作の初期段階は、非常に多くの場合、互いに非常に似ていることに注意する必要があります。

私たちが今日公開する資料の著者は、反復的なアクションを実行するのが好きではないと言っています。 その結果、探索的データ分析を迅速かつ効率的に実行するツールを探していたところ、次のライブラリを見つけました。 パンダのプロファイリング。 その作業の結果は、特定の個別の指標の形式ではなく、分析されたデータについての、より綿密な作業を開始する前に知っておく必要がある情報のほとんどを含む、かなり詳細な HTML レポートの形式で表現されます。

ここでは、タイタニック号のデータセットを例として、pandas-profiling ライブラリを使用する機能を見ていきます。

pandas を使用した探索的データ分析

タイタニック号のデータセットにはさまざまな種類のデータが含まれており、欠損値が存在するため、タイタニック号のデータセットでパンダ プロファイリングを実験することにしました。 pandas-profiling ライブラリは、データがまだクリーン化されておらず、その特性に応じてさらなる処理が必要な場合に特に興味深いと思います。 このような処理を正常に実行するには、どこから始めて何に注意を払う必要があるかを知る必要があります。 ここで、パンダのプロファイリング機能が役に立ちます。

まず、データをインポートし、パンダを使用して記述統計を取得します。

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

このコードを実行すると、次の図に示す内容が得られます。

標準のパンダツールを使用して取得された記述統計

ここには有用な情報がたくさんありますが、研究中のデータについて知っておくと興味深い情報がすべて含まれているわけではありません。 たとえば、データ フレーム内、構造内で次のように仮定するかもしれません。 DataFrame、891行あります。 これを確認する必要がある場合は、フレームのサイズを決定するために別のコード行が必要になります。 これらの計算は特にリソースを大量に消費するわけではありませんが、それを常に繰り返すと時間の無駄が発生するため、データのクリーニングに費やしたほうがよいでしょう。

pandas-profiling を使用した探索的データ分析

次に、pandas-profiling を使用して同じことを実行してみましょう。

pandas_profiling.ProfileReport(df)

上記のコード行を実行すると、探索的データ分析インジケーターを含むレポートが生成されます。 上記のコードは見つかったデータを出力しますが、たとえば誰かに見せることができる HTML ファイルを出力させることもできます。

レポートの最初の部分には、データに関する基本情報 (観測値の数、変数の数など) を提供する概要セクションが含まれます。 また、アナリストに特別な注意を払う必要があることを通知するアラートのリストも含まれます。 これらのアラートは、データ クリーンアップの取り組みをどこに集中させるべきかに関する手がかりを提供します。

概要レポートセクション

探索的変数分析

レポートの「概要」セクションの下に、各変数に関する役立つ情報が表示されます。 これらには、特に、各変数の分布を説明する小さなグラフが含まれます。

年齢数値変数について

前の例からわかるように、pandas-profiling は、欠損値のパーセンテージや数などのいくつかの有用な指標や、すでに見た記述統計量を提供します。 なぜなら Age は数値変数であるため、その分布をヒストグラムの形式で視覚化すると、分布が右に偏っていると結論付けることができます。

カテゴリ変数を考慮する場合、出力結果は数値変数の場合とは若干異なります。

性別カテゴリ変数について

つまり、pandas-profiling ライブラリは、平均、最小、最大を見つける代わりに、クラスの数を見つけました。 なぜなら Sex — バイナリ変数。その値は XNUMX つのクラスで表されます。

私と同じようにコードを調べるのが好きな人は、pandas-profiling ライブラリがこれらのメトリクスをどのように正確に計算するかに興味があるかもしれません。 ライブラリ コードが GitHub で公開されており入手できるため、これを調べるのはそれほど難しくありません。 私はプロジェクトでブラック ボックスを使用するのがあまり好きではないので、ライブラリのソース コードを調べてみました。 たとえば、関数で表される数値変数を処理するメカニズムは次のようになります。 description_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

このコード部分は非常に大きく複雑に見えるかもしれませんが、実際には理解するのは非常に簡単です。 重要なのは、ライブラリのソースコードの中に、変数の型を決定する関数があるということです。 ライブラリが数値変数に遭遇したことが判明した場合、上記の関数は調べていたメトリクスを見つけます。 この関数は、次のタイプのオブジェクトを操作するために標準のパンダ操作を使用します。 Series、 のように series.mean()。 計算結果は辞書に保存される stats。 ヒストグラムは、関数の適合バージョンを使用して生成されます。 matplotlib.pyplot.hist。 適応の目的は、関数がさまざまな種類のデータ セットを処理できるようにすることです。

相関指標と調査されたサンプルデータ

変数の分析結果の後、pandas-profiling の [相関] セクションにピアソン相関行列とスピアマン相関行列が表示されます。

ピアソン相関行列

必要に応じて、レポートの生成をトリガーするコード行で、相関関係の計算時に使用されるしきい値のインジケーターを設定できます。 これにより、分析においてどの程度の相関の強さが重要であると考えられるかを指定できます。

最後に、pandas-profiling レポートの [サンプル] セクションには、例としてデータ セットの先頭から取得したデータが表示されます。 このアプローチでは、最初のいくつかの観測値がデータセット全体の特性を反映していないサンプルを表す可能性があるため、不快な驚きを引き起こす可能性があります。

研究中のサンプルデータを含むセクション

したがって、この最後のセクションに注意を払うことはお勧めしません。 代わりに、次のコマンドを使用することをお勧めします。 df.sample(5)、データセットから 5 つの観測値がランダムに選択されます。

結果

要約すると、pandas-profiling ライブラリは、データの大まかなアイデアをすぐに取得したり、インテリジェンス分析レポートを誰かに渡したりする必要がある場合に役立ついくつかの便利な機能をアナリストに提供します。 同時に、データの実際の作業は、その特徴を考慮して、pandas プロファイリングを使用しない場合と同様に手動で実行されます。

すべてのインテリジェンス データ分析が XNUMX つの Jupyter ノートブックでどのように行われるかを確認したい場合は、以下をご覧ください。 この 私のプロジェクトはnbviewerを使用して作成されました。 そして、 これ 対応するコードは GitHub リポジトリで見つけることができます。

親愛なる読者！ 新しいデータセットの分析をどこから始めますか?

出所： habr.com