פנקס רשימות לעיבוד מהיר של נתונים

לעתים קרובות לאנשים הנכנסים לתחום מדע הנתונים יש ציפיות פחות ממציאותיות ממה שמצפה להם. אנשים רבים חושבים שעכשיו הם יכתבו רשתות נוירונים מגניבות, ייצרו עוזר קולי מאיירון מן, או ינצחו את כולם בשווקים הפיננסיים.
אבל עבודה נתונים המדען מונע נתונים, ואחד ההיבטים החשובים והצורכים ביותר הוא עיבוד הנתונים לפני הזנתם לרשת עצבית או ניתוחם בצורה מסוימת.

במאמר זה הצוות שלנו יתאר כיצד תוכל לעבד נתונים במהירות ובקלות עם הוראות וקוד שלב אחר שלב. ניסינו להפוך את הקוד לגמיש למדי וניתן היה להשתמש בו עבור מערכי נתונים שונים.

אנשי מקצוע רבים אולי לא ימצאו משהו יוצא דופן במאמר זה, אבל מתחילים יוכלו ללמוד משהו חדש, וכל מי שחלם זמן רב ליצור מחברת נפרדת לעיבוד נתונים מהיר ומובנה יכול להעתיק את הקוד ולעצב אותו בעצמו, או הורד את המחברת המוגמרת מ- Github.

קיבלנו את מערך הנתונים. מה לעשות אחר כך?

אז, הסטנדרט: אנחנו צריכים להבין עם מה אנחנו מתמודדים, את התמונה הכוללת. לשם כך, אנו משתמשים בפנדות כדי פשוט להגדיר סוגי נתונים שונים.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

בואו נסתכל על ערכי העמודות:

1. האם מספר השורות בכל עמודה תואם למספר השורות הכולל?
2. מהי מהות הנתונים בכל עמודה?
3. לאיזה עמודה אנו רוצים למקד כדי לבצע תחזיות עבורו?

התשובות לשאלות אלו יאפשרו לך לנתח את מערך הנתונים ולשרטט באופן גס תוכנית לפעולות הבאות שלך.

כמו כן, למבט מעמיק יותר על הערכים בכל עמודה, נוכל להשתמש בפונקציית pandas describe() . עם זאת, החיסרון של פונקציה זו הוא שהיא אינה מספקת מידע על עמודות עם ערכי מחרוזת. נטפל בהם מאוחר יותר.

df.describe()

הדמיית קסם

בואו נסתכל איפה אין לנו ערכים בכלל:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

זה היה מבט קצר מלמעלה, עכשיו נעבור לדברים מעניינים יותר

בואו ננסה למצוא, ואם אפשר, להסיר עמודות שיש להן רק ערך אחד בכל השורות (הן לא ישפיעו בשום צורה על התוצאה):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

כעת אנו מגנים על עצמנו ועל הצלחת הפרויקט שלנו מפני שורות כפולות (קווים המכילים את אותו מידע באותו סדר כמו אחד מהקווים הקיימים):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

אנו מחלקים את מערך הנתונים לשניים: האחד עם ערכים איכותיים והשני עם ערכים כמותיים

כאן צריך לעשות הבהרה קטנה: אם הקווים עם נתונים חסרים בנתונים איכותיים וכמותיים אינם מתואמים במיוחד זה עם זה, אז נצטרך להחליט מה אנחנו מקריבים - כל הקווים עם נתונים חסרים, רק חלק מהם, או עמודות מסוימות. אם הקווים מתואמים, אז יש לנו את כל הזכות לחלק את מערך הנתונים לשניים. אחרת, תצטרכו קודם כל להתמודד עם השורות שאינן מתואמות את הנתונים החסרים מבחינה איכותית וכמותית, ורק אז לחלק את מערך הנתונים לשניים.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

אנו עושים זאת כדי להקל עלינו לעבד את שני סוגי הנתונים השונים הללו – בהמשך נבין עד כמה זה מקל על חיינו.

אנו עובדים עם נתונים כמותיים

הדבר הראשון שעלינו לעשות הוא לקבוע אם יש "עמודות ריגול" בנתונים הכמותיים. אנו קוראים לעמודות הללו כך מכיוון שהן מציגות את עצמן כנתונים כמותיים, אך פועלות כנתונים איכותיים.

איך נוכל לזהות אותם? כמובן שהכל תלוי באופי הנתונים שאתה מנתח, אבל באופן כללי עמודות כאלה עשויות להכיל מעט נתונים ייחודיים (באזור של 3-10 ערכים ייחודיים).

print(df_numerical.nunique())

לאחר שזיהינו את עמודות הריגול, נעביר אותם מנתונים כמותיים לנתונים איכותיים:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

לבסוף, הפרדנו לחלוטין נתונים כמותיים לנתונים איכותיים ועכשיו אנחנו יכולים לעבוד איתם כמו שצריך. הדבר הראשון הוא להבין היכן יש לנו ערכים ריקים (NaN, ובמקרים מסוימים 0 יתקבלו כערכים ריקים).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

בשלב זה, חשוב להבין באילו עמודות אפסים עשויים להצביע על ערכים חסרים: האם זה נובע מאופן איסוף הנתונים? או שזה יכול להיות קשור לערכי הנתונים? יש לענות על שאלות אלו על בסיס כל מקרה לגופו.

לכן, אם בכל זאת נחליט שייתכן שחסרים לנו נתונים שבהם יש אפסים, עלינו להחליף את האפסים ב-NaN כדי להקל על העבודה עם הנתונים האבודים האלה מאוחר יותר:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

עכשיו בואו נראה איפה חסרים לנו נתונים:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

כאן יש לסמן את הערכים החסרים בתוך העמודות בצהוב. ועכשיו מתחיל הכיף - איך מתמודדים עם הערכים האלה? האם עלי למחוק שורות עם הערכים או העמודות האלה? או למלא את הערכים הריקים האלה בכמה אחרים?

להלן תרשים משוער שיכול לעזור לך להחליט מה ניתן, באופן עקרוני, לעשות עם ערכים ריקים:

0. הסר עמודות מיותרות

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. האם מספר הערכים הריקים בעמודה זו גדול מ-50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. מחק שורות עם ערכים ריקים

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. הכנסת ערך אקראי

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. הכנסת ערך קבוע

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. הכנס את הערך הממוצע או השכיח ביותר

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. הכנס את הערך שחושב על ידי מודל אחר

לפעמים ניתן לחשב ערכים באמצעות מודלים של רגרסיה באמצעות מודלים מספריית sklearn או ספריות דומות אחרות. הצוות שלנו יקדיש מאמר נפרד כיצד ניתן לעשות זאת בעתיד הקרוב.

אז, לעת עתה, הנרטיב על נתונים כמותיים ייקטע, כי ישנם ניואנסים רבים אחרים לגבי איך לעשות טוב יותר הכנת נתונים ועיבוד מקדים עבור משימות שונות, והדברים הבסיסיים עבור נתונים כמותיים נלקחו בחשבון במאמר זה, וכן עכשיו זה הזמן לחזור לנתונים האיכותניים, שהפרדנו כמה צעדים אחורה מהכמותיים. אתה יכול לשנות מחברת זו כרצונך, להתאים אותה למשימות שונות, כך שעיבוד הנתונים מראש יעבור מהר מאוד!

נתונים איכותיים

בעיקרון, עבור נתונים איכותיים, נעשה שימוש בשיטת One-hot-encoding על מנת לעצב אותם ממחרוזת (או אובייקט) למספר. לפני שנמשיך לנקודה זו, הבה נשתמש בתרשים ובקוד שלמעלה כדי להתמודד עם ערכים ריקים.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. הסר עמודות מיותרות

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. האם מספר הערכים הריקים בעמודה זו גדול מ-50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. מחק שורות עם ערכים ריקים

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. הכנסת ערך אקראי

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. הכנסת ערך קבוע

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

אז סוף סוף יש לנו שליטה על nulls בנתונים איכותיים. עכשיו הגיע הזמן לבצע קידוד חם אחד על הערכים שנמצאים במסד הנתונים שלך. שיטה זו משמשת לעתים קרובות מאוד כדי להבטיח שהאלגוריתם שלך יכול ללמוד מנתונים באיכות גבוהה.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

אז, סוף סוף סיימנו לעבד נתונים איכותיים וכמותיים נפרדים - הגיע הזמן לשלב אותם בחזרה

new_df = pd.concat([df_numerical,df_categorical], axis=1)

לאחר ששילבנו את מערכי הנתונים יחד לאחד, נוכל סוף סוף להשתמש בטרנספורמציה של נתונים באמצעות MinMaxScaler מספריית sklearn. זה יהפוך את הערכים שלנו בין 0 ל-1, מה שיעזור בעת אימון המודל בעתיד.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

הנתונים האלה מוכנים כעת לכל דבר - רשתות עצביות, אלגוריתמי ML סטנדרטיים וכו'!

במאמר זה, לא לקחנו בחשבון עבודה עם נתוני סדרות זמן, שכן עבור נתונים כאלה עליך להשתמש בטכניקות עיבוד מעט שונות, בהתאם למשימה שלך. בעתיד, הצוות שלנו יקדיש מאמר נפרד לנושא זה, ואנו מקווים שהוא יוכל להכניס משהו מעניין, חדש ושימושי לחייך, בדיוק כמו זה.

מקור: www.habr.com