Бележник-шпаргалка за бърза подготовка на данни

Често хората, които навлизат в областта на Data Science, имат не съвсем реалистични представи за това, което ги очаква. Мнозина мислят, че сега ще започнат да пишат страхотни невронни мрежи, да създават гласови помощници като Железния човек или да печелят на финансовите пазари.
Но работата Данни на Scientist е свързана с данни, и един от най-важните и времезависими моменти е обработката на данни преди да ги подадем на невронна мрежа или да ги анализираме по определен начин.

В тази статия нашият екип ще опише как бързо и лесно да обработим данни с стъпка по стъпка ръководство и код. Стремихме се да направим кода достатъчно гъвкав, за да може да се прилага за различни набори от данни.

Много професионалисти може и да не намерят нищо екстраординарно в тази статия, но начинаещите могат да почерпят нещо ново, а също и всеки, който отдавна мечтае да направи собствен notebook за бърза и структурирана обработка на данни, може да копира кода и да го форматира според себе си, или да изтегли готов notebook от Github.

Получихме набор от данни. Какво да правим по-нататък?

И така, стандарт: нужно е да разберем с какво имаме работа, общата картина. За това ще използваме pandas, за да определим различните типове данни.

import pandas as pd #внасяме pandas
import numpy as np  #внасяме numpy
df = pd.read_csv("AB_NYC_2019.csv") #чете набора от данни и го записва в променливата df

df.head(3) #гледаме първите 3 реда, за да разберем как изглеждат стойностите

df.info() #Показваме информация за колоните

Гледаме стойностите на колоните:

1. Съответства ли броят на редовете на всяка колона на общия брой редове?
2. Каква е същността на данните в всяка колона?
3. Коя колона искаме да направим target, за да правим прогнози за нея?

Отговорите на тези въпроси ще ни позволят да анализираме набора от данни и да начертаем план за близките действия.

Също така, за по-дълбок поглед върху стойностите в всяка колона, можем да използваме функцията pandas describe(). Обаче недостатък на тази функция е, че не дава информация за колоните с string стойности. С тях ще се занимаем по-късно.

df.describe()

Вълшебна визуализация

Да погледнем къде липсват стойности изцяло:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

Това беше малък поглед отгоре, сега ще преминем към по-интересни неща

Нека опитаме да намерим и по възможност да премахнем колоните, в които има единствено едно значение във всички редове (те няма да влияят на резултата):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] # Презаписваме датасета, оставяйки само тези колони, в които има повече от едно уникално значение

Сега защитаваме себе си и успеха на нашия проект от дублиращи редове (редове, които съдържат същата информация в същия ред, както и вече съществуващи редове):

df.drop_duplicates(inplace=True) # Правим това, ако смятаме, че е необходимо.
                                 # В някои проекти не е желателно да се премахват такива данни от самото начало.

Разделяме датасета на два: един с качествени стойности и друг — с количествени

Тук трябва да направим малко уточнение: ако редовете с липсващи данни за качествени и количествени данни силно не се съотнасят помежду си, ще трябва да вземем решение, с какво жертваме — с всички редове с липсващи данни, само с част от тях или с определени колони. Ако обаче редовете се съотнасят, имаме пълното право да разделим датасета на два. В противен случай ще трябва първо да се справим с редовете, в които не се съотнасят липсващите данни в качествени и количествени, и едва след това да разделим датасета на два.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Правим това, за да ни е по-лесно да обработваме тези два различни типа данни — в последствие ще разберем колко много това ни улеснява живота.

Работим с количествени данни

Първото, което трябва да направим — да определим, дали няма "шпионски колони" в количествените данни. Ние наричаме тези колони така, защото те се представят за количествени данни, а всъщност действат като качествени.

Как да ги определим? Разбира се, всичко зависи от природата на данните, които анализирате, но основно такива колони могат да имат малко уникални данни (около 3-10 уникални стойности).

print(df_numerical.nunique())

След като се опредим с шпионските колони, ще ги преместим от количествените данни в качествените:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#извличаме колоните-шпиони и записваме в отделен dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#изрязваме тези колони от количествени данни
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавяме първата колона-шпион в качествени данни
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавяме втората колона-шпион в качествени данни
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавяме третата колона-шпион в качествени данни

Накрая отделихме количествените данни от качествените и сега можем да работим с тях както трябва. Първото нещо е да разберем къде имаме пропуснати стойности (NaN, а в някои случаи и 0 ще се считат за пропуснати стойности).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

На този етап е важно да разберем в кои колони нулите може да означават отсъстващи стойности: свързано ли е с начина, по който са събирани данните? Или може да е свързано със стойностите на данните? Тези въпроси трябва да бъдат разгледани в всеки отделен случай.

И така, ако наистина решим, че данните могат да липсват там, където има нули, трябва да заменим нулите с NaN, за да ни е по-лесно да работим с тези загубени данни:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Сега да видим къде имаме пропуснати данни:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Може също да използваме df_numerical.info()

Тук трябва да бъдат обозначени в жълт цвят стойностите в колоните, които липсват. И най-интересното започва сега — как да се справим с тези стойности? Да премахнем редовете с тези стойности или колоните? Или да запълним тези пропуснати стойности с нещо друго?

Ето приблизителна схема, която може да ви помогне да решите какво може основно да се направи с пропуснатите стойности:

0. Премахваме ненужните колони

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Броят на пропуснатите стойности в тази колона повече от 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Премахваме, ако някоя колона има повече от 50 пропуснати стойности

2. Премахваме редовете с пропуснати стойности

df_numerical.dropna(inplace=True)#Премахваме редовете с празни стойности, ако след това остава достатъчно данни за обучение

3.1. Вмъкваме случайна стойност

import random #импортираме random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вмъкваме случайни стойности в празните клетки на таблицата

3.2. Вмъкваме константна стойност

from sklearn.impute import SimpleImputer #импортираме SimpleImputer, който помага за вмъкване на стойности
imputer = SimpleImputer(strategy='constant', fill_value="") #вмъкваме определена стойност с помощта на SimpleImputer
df_numerical[["нова_колонка1", 'нова_колонка2', 'нова_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Прилагаме това за нашата таблица
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Премахваме колоните със старите стойности

3.3. Вмъкваме средната или най-често срещаната стойност

from sklearn.impute import SimpleImputer #импортираме SimpleImputer, който помага за вмъкване на стойности
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можем да използваме също most_frequent
df_numerical[["нова_колонка1", 'нова_колонка2', 'нова_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Прилагаме това за нашата таблица
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Премахваме колоните със старите стойности

3.4. Вмъкваме стойност, изчислена от друга модел

Понякога стойностите могат да бъдат изчислени с помощта на регресионни модели, използващи модели от библиотеката sklearn или други подобни библиотеки. Нашият екип ще отдели отделна статия за това как може да бъде направено в близко бъдеще.

Така че, засега разказът за количествените данни ще бъде прекъснат, тъй като има множество други нюанси относно това как по-добре да се извършва подготовка на данните и предварителна обработка за различни задачи, а основните неща за количествените данни бяха взети под внимание в тази статия, и сега е време да се върнем към качествените данни, които отделихме преди няколко стъпки от количествените. Можете да променяте този ноутбук, както Ви угодно, приспособявайки го за различни задачи, за да преминаването на предварителната обработка на данните стане много бързо!

Качествени данни

Основно за качествени данни се използва методът One-hot-encoding, за да ги форматираме от string (или object) в число. Преди да минем към тази точка, ще се възползваме от схемата и кода отгоре, за да се справим с празните стойности.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(), yticklabels=False, cbar=False, cmap='viridis')

0. Премахваме ненужните колони

df_categorical.drop(labels=["колонка1", "колонка2"], axis=1, inplace=True)

1. Броят на пропуснатите стойности в тази колона повече от 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1", "колонка2"], axis=1, inplace=True) # Премахваме, ако някоя колона
                                                                          # има повече от 50% празни стойности.

2. Премахваме редовете с пропуснати стойности

df_categorical.dropna(inplace=True) # Премахваме редовете с празни стойности,
                                   # ако след това остава достатъчно данни за обучение.

3.1. Вмъкваме случайна стойност

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Вмъкваме константна стойност

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="")
df_categorical[["новая_колонка1", 'нова_колонка2', 'нова_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels=["колонка1", "колонка2", "колонка3"], axis=1, inplace=True)

И така, накрая се справихме с празните стойности в качествените данни. Сега е време да извършим one-hot-encoding за стойностите, които имате в базата данни. Този метод се използва изключително често, за да може Вашият алгоритъм да се обучава с оглед на качествените данни.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1", "колонка2", "колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature)

И така, накрая приключихме с обработката на качествени и количествени данни — време е да ги комбинираме обратно.

new_df = pd.concat([df_numerical, df_categorical], axis=1)

След като обединихме датасетите в един, накрая можем да приложим трансформация на данните с помощта на MinMaxScaler от библиотеката sklearn. Това ще направи стойностите ни в диапазона от 0 до 1, което ще помогне при обучението на модела в бъдеще.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Тези данни са вече готови за всичко — за невронни мрежи, стандартни ML алгоритми и т.н.!

В тази статия не разглеждаме работа с данни, свързани с времеви редове, тъй като за такива данни е необходимо да се използват малко различни техники на обработка, в зависимост от задачата Ви. В бъдеще нашият екип ще посвети на тази тема отделна статия и се надяваме, че тя ще може да внесе нещо интересно, ново и полезно в живота Ви, както и тази.

Източник: habr.com