האץ ניתוח נתונים חקרני באמצעות ספריית פרופילי פנדות

הצעד הראשון כאשר מתחילים לעבוד עם מערך נתונים חדש הוא להבין אותו. כדי לעשות זאת, אתה צריך, למשל, לברר את טווחי הערכים המקובלים על המשתנים, סוגיהם, וכן לברר על מספר הערכים החסרים.

ספריית הפנדות מספקת לנו כלים שימושיים רבים לביצוע ניתוח נתונים חקרני (EDA). אבל לפני שאתה משתמש בהם, אתה בדרך כלל צריך להתחיל עם פונקציות כלליות יותר כגון df.describe(). עם זאת, יש לציין כי היכולות שמספקות פונקציות כאלה מוגבלות, והשלבים הראשוניים של העבודה עם מערכי נתונים כלשהם בעת ביצוע EDA דומים מאוד זה לזה.

מחבר החומר שאנו מפרסמים היום אומר שהוא לא חובב ביצוע פעולות שחוזרות על עצמן. כתוצאה מכך, בחיפוש אחר כלים לביצוע מהיר ויעיל של ניתוח נתונים חקרניים, הוא מצא את הספרייה פרופילי פנדות. תוצאות עבודתה אינן מתבטאות בצורה של אינדיקטורים בודדים מסוימים, אלא בצורה של דוח HTML מפורט למדי המכיל את רוב המידע על הנתונים המנותחים שאולי תצטרך לדעת לפני שתתחיל לעבוד איתו יותר מקרוב.

כאן נסתכל על התכונות של שימוש בספריית פרופילי הפנדות באמצעות מערך הנתונים של Titanic כדוגמה.

ניתוח נתונים חקרני באמצעות פנדות

החלטתי להתנסות ב-Pandas-profiling על מערך הנתונים של Titanic בשל סוגי הנתונים השונים שהוא מכיל ונוכחותם של ערכים חסרים בו. אני מאמין שספריית פרופילי הפנדות מעניינת במיוחד במקרים בהם הנתונים טרם נוקו ודורשת עיבוד נוסף בהתאם למאפיינים. על מנת לבצע בהצלחה עיבוד כזה, אתה צריך לדעת מאיפה להתחיל ולמה לשים לב. זה המקום שבו יכולות יצירת פרופילי פנדות מועילות.

ראשית, אנו מייבאים את הנתונים ומשתמשים בפנדות כדי לקבל נתונים סטטיסטיים תיאוריים:

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

לאחר ביצוע קטע קוד זה, תקבל את מה שמוצג באיור הבא.

סטטיסטיקה תיאורית המתקבלת באמצעות כלי פנדה סטנדרטיים

למרות שיש כאן הרבה מידע שימושי, הוא לא מכיל את כל מה שיהיה מעניין לדעת על הנתונים הנבדקים. לדוגמה, אפשר להניח שבמסגרת נתונים, במבנה DataFrame, יש 891 קווים. אם יש צורך לבדוק זאת, נדרשת שורת קוד נוספת כדי לקבוע את גודל המסגרת. למרות שחישובים אלה אינם עתירי משאבים במיוחד, חזרה עליהם כל הזמן חייבת לבזבז זמן שכנראה ניתן היה לבזבז טוב יותר בניקוי הנתונים.

ניתוח נתונים חקרני באמצעות פרופילי פנדות

עכשיו בואו נעשה את אותו הדבר באמצעות פרופילי פנדות:

pandas_profiling.ProfileReport(df)

ביצוע שורת הקוד שלמעלה יפיק דוח עם אינדיקטורים לניתוח נתונים חקרניים. הקוד המוצג לעיל יוציא את הנתונים שנמצאו, אבל אתה יכול לגרום לו לפלט קובץ HTML שאתה יכול להציג למישהו, למשל.

החלק הראשון של הדוח יכיל קטע סקירה, המעניק מידע בסיסי על הנתונים (מספר תצפיות, מספר משתנים וכו'). הוא יכיל גם רשימה של התראות, שיודיעו לנתח על דברים שיש לשים לב אליהם במיוחד. התראות אלו יכולות לספק רמזים היכן תוכל למקד את מאמצי ניקוי הנתונים שלך.

סעיף דוח סקירה

ניתוח משתנים חקרניים

מתחת לקטע סקירה כללית של הדוח תוכל למצוא מידע שימושי על כל משתנה. הם כוללים, בין היתר, תרשימים קטנים המתארים את ההתפלגות של כל משתנה.

על המשתנה הנומרי של גיל

כפי שניתן לראות מהדוגמה הקודמת, פרופילי פנדה נותן לנו מספר אינדיקטורים שימושיים, כמו אחוז ומספר הערכים החסרים, כמו גם מדדי סטטיסטיקה תיאוריים שכבר ראינו. כי Age הוא משתנה מספרי, הדמיה של התפלגותו בצורה של היסטוגרמה מאפשרת לנו להסיק שיש לנו התפלגות מוטה ימינה.

כאשר בוחנים משתנה קטגורי, תוצאות הפלט שונות במקצת מאלו שנמצאו עבור משתנה מספרי.

לגבי המשתנה הקטגורי מין

כלומר, במקום למצוא את הממוצע, המינימום והמקסימום, ספריית פרופילי הפנדות מצאה את מספר הכיתות. כי Sex - משתנה בינארי, ערכיו מיוצגים על ידי שתי מחלקות.

אם אתה אוהב לבחון קוד כמוני, אולי יעניין אותך איך בדיוק ספריית פרופילי הפנדות מחשבת את המדדים האלה. לברר על כך, בהתחשב בעובדה שקוד הספרייה פתוח וזמין ב-GitHub, לא כל כך קשה. מכיוון שאני לא מעריץ גדול של שימוש בקופסאות שחורות בפרויקטים שלי, הסתכלתי על קוד המקור של הספרייה. לדוגמה, כך נראה המנגנון לעיבוד משתנים מספריים, המיוצג על ידי הפונקציה describe_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

למרות שקטע קוד זה נראה די גדול ומורכב, הוא למעשה פשוט מאוד להבנה. העניין הוא שבקוד המקור של הספרייה יש פונקציה שקובעת את סוגי המשתנים. אם יתברר שהספרייה נתקלה במשתנה מספרי, הפונקציה לעיל תמצא את המדדים שבדקנו. פונקציה זו משתמשת בפעולות פנדה סטנדרטיות לעבודה עם אובייקטים מסוג Series, כמו series.mean(). תוצאות החישוב מאוחסנות במילון stats. היסטוגרמות נוצרות באמצעות גרסה מותאמת של הפונקציה matplotlib.pyplot.hist. ההתאמה נועדה להבטיח שהפונקציה יכולה לעבוד עם סוגים שונים של מערכי נתונים.

מדדי מתאם ונתוני מדגם נחקרו

לאחר תוצאות הניתוח של המשתנים, פרופיל פנדות, בקטע מתאמים, יציג את מטריצות המתאם של פירסון וספירמן.

מטריצת מתאם פירסון

במידת הצורך, תוכל, בשורת הקוד שמפעילה את הפקת הדוח, להגדיר את האינדיקטורים של ערכי הסף המשמשים בעת חישוב המתאם. על ידי כך, אתה יכול לציין איזה חוזק מתאם נחשב חשוב לניתוח שלך.

לבסוף, דוח הפרופיל של הפנדות, בסעיף לדוגמה, מציג, כדוגמה, נתון שנלקח מתחילת מערך הנתונים. גישה זו עלולה להוביל להפתעות לא נעימות, שכן התצפיות הראשונות עשויות לייצג מדגם שאינו משקף את המאפיינים של מערך הנתונים כולו.

חלק המכיל נתונים לדוגמה הנבדקים

כתוצאה מכך, אני לא ממליץ לשים לב לסעיף האחרון הזה. במקום זאת, עדיף להשתמש בפקודה df.sample(5), שיבחר באקראי 5 תצפיות ממערך הנתונים.

תוצאות של

לסיכום, ספריית הפרופילים של הפנדות מעניקה לאנליסט כמה יכולות שימושיות שיהיו שימושיות במקרים שבהם אתה צריך לקבל במהירות מושג גס על הנתונים או להעביר דוח ניתוח מודיעיני למישהו. במקביל, עבודה אמיתית עם נתונים, תוך התחשבות בתכונותיו, מתבצעת, כמו ללא שימוש בפרופילי פנדות, באופן ידני.

אם אתה רוצה להסתכל איך נראה כל ניתוח נתוני מודיעין במחברת Jupyter אחת, תסתכל על זה הפרויקט שלי נוצר באמצעות nbviewer. ובתוך זה אתה יכול למצוא את הקוד המתאים במאגרי GitHub.

קוראים יקרים! היכן מתחילים לנתח מערכי נתונים חדשים?

מקור: www.habr.com