Бележник за измама за бърза предварителна обработка на данни

Често хората, които навлизат в областта на Data Science, имат по-малко от реалистични очаквания за това, което ги очаква. Много хора смятат, че сега ще пишат страхотни невронни мрежи, ще създадат гласов асистент от Iron Man или ще победят всички на финансовите пазари.
Но работа Дата Ученият се ръководи от данни и един от най-важните и отнемащи време аспекти е обработката на данните, преди да бъдат подавани в невронна мрежа или анализирани по определен начин.

В тази статия нашият екип ще опише как можете да обработвате данни бързо и лесно с инструкции стъпка по стъпка и код. Опитахме се да направим кода доста гъвкав и да може да се използва за различни набори от данни.

Много професионалисти може да не намерят нищо необичайно в тази статия, но начинаещите ще могат да научат нещо ново и всеки, който отдавна мечтае да направи отделен бележник за бърза и структурирана обработка на данни, може да копира кода и да го форматира за себе си, или изтеглете готовия бележник от Github.

Получихме набора от данни. Какво да правя след това?

И така, стандартът: трябва да разберем с какво си имаме работа, общата картина. За да направим това, ние използваме pandas, за да дефинираме различни типове данни.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

Нека да разгледаме стойностите на колоните:

1. Броят на редовете във всяка колона съответства ли на общия брой редове?
2. Каква е същността на данните във всяка колона?
3. Коя колона искаме да насочим, за да правим прогнози за нея?

Отговорите на тези въпроси ще ви позволят да анализирате набора от данни и грубо да начертаете план за следващите си действия.

Също така, за по-задълбочен поглед върху стойностите във всяка колона, можем да използваме функцията pandas describe(). Недостатъкът на тази функция обаче е, че не предоставя информация за колони с низови стойности. Ще се заемем с тях по-късно.

df.describe()

Магическа визуализация

Нека да разгледаме къде изобщо нямаме стойности:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

Това беше кратък поглед отгоре, сега ще преминем към по-интересни неща

Нека се опитаме да намерим и, ако е възможно, да премахнем колони, които имат само една стойност във всички редове (те няма да повлияят на резултата по никакъв начин):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

Сега защитаваме себе си и успеха на нашия проект от дублиращи се редове (редове, които съдържат същата информация в същия ред като един от съществуващите редове):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

Разделяме набора от данни на две: едната с качествени стойности, а другата с количествени

Тук трябва да направим малко пояснение: ако редовете с липсващи данни в качествените и количествените данни не са много корелирани помежду си, тогава ще трябва да решим какво жертваме - всички редове с липсващи данни, само част от тях, или определени колони. Ако линиите са свързани, тогава имаме пълното право да разделим набора от данни на две. В противен случай първо ще трябва да се справите с редовете, които не корелират липсващите данни в качествено и количествено, и едва след това да разделите набора от данни на две.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Правим това, за да ни е по-лесно да обработваме тези два различни типа данни - по-късно ще разберем колко улеснява това улеснява живота ни.

Ние работим с количествени данни

Първото нещо, което трябва да направим, е да определим дали има „шпионски колони“ в количествените данни. Наричаме тези колони така, защото те се представят като количествени данни, но действат като качествени данни.

Как можем да ги идентифицираме? Разбира се, всичко зависи от естеството на данните, които анализирате, но като цяло такива колони може да имат малко уникални данни (в района на 3-10 уникални стойности).

print(df_numerical.nunique())

След като идентифицираме шпионските колони, ще ги преместим от количествени данни към качествени данни:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

И накрая, ние напълно разделихме количествените данни от качествените данни и сега можем да работим с тях правилно. Първото нещо е да разберем къде имаме празни стойности (NaN, а в някои случаи 0 ще се приемат като празни стойности).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

На този етап е важно да разберете в кои колони нулите могат да означават липсващи стойности: дали това се дължи на начина, по който са събрани данните? Или може да е свързано със стойностите на данните? На тези въпроси трябва да се отговори за всеки отделен случай.

Така че, ако все пак решим, че може да ни липсват данни там, където има нули, трябва да заменим нулите с NaN, за да улесним работата с тези изгубени данни по-късно:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Сега да видим къде ни липсват данни:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

Тук тези стойности в колоните, които липсват, трябва да бъдат маркирани в жълто. И сега започва забавлението – как да се справим с тези ценности? Трябва ли да изтрия редове с тези стойности или колони? Или да попълните тези празни стойности с други?

Ето една приблизителна диаграма, която може да ви помогне да решите какво по принцип може да се направи с празни стойности:

0. Премахнете ненужните колони

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Броят на празните стойности в тази колона по-голям ли е от 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. Изтриване на редове с празни стойности

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. Вмъкване на произволна стойност

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. Вмъкване на постоянна стойност

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. Въведете средната или най-честата стойност

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. Въведете стойността, изчислена от друг модел

Понякога стойностите могат да бъдат изчислени с помощта на регресионни модели, като се използват модели от библиотеката sklearn или други подобни библиотеки. Нашият екип ще посвети отделна статия за това как може да стане това в близко бъдеще.

Така че засега разказът за количествените данни ще бъде прекъснат, защото има много други нюанси за това как по-добре да се направи подготовката и предварителната обработка на данни за различни задачи, а основните неща за количествените данни са взети под внимание в тази статия и сега е моментът да се върнем към качествените данни, които отделихме няколко стъпки назад от количествените. Можете да променяте този бележник, както желаете, като го адаптирате към различни задачи, така че предварителната обработка на данни да става много бързо!

Качествени данни

По принцип за качествени данни се използва методът One-hot-encoding, за да се форматира от низ (или обект) в число. Преди да преминем към тази точка, нека използваме диаграмата и кода по-горе, за да се справим с празни стойности.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. Премахнете ненужните колони

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Броят на празните стойности в тази колона по-голям ли е от 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. Изтриване на редове с празни стойности

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. Вмъкване на произволна стойност

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Вмъкване на постоянна стойност

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

И така, най-накрая се справихме с нулевите стойности в качествените данни. Сега е време да извършите едно горещо кодиране на стойностите, които са във вашата база данни. Този метод се използва много често, за да се гарантира, че вашият алгоритъм може да се учи от висококачествени данни.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

И така, най-накрая приключихме с обработката на отделни качествени и количествени данни - време е да ги комбинираме обратно

new_df = pd.concat([df_numerical,df_categorical], axis=1)

След като сме комбинирали наборите от данни заедно в едно, най-накрая можем да използваме трансформация на данни с помощта на MinMaxScaler от библиотеката sklearn. Това ще направи нашите стойности между 0 и 1, което ще помогне при обучението на модела в бъдеще.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Тези данни вече са готови за всичко – невронни мрежи, стандартни ML алгоритми и т.н.!

В тази статия не взехме предвид работата с данни от времеви серии, тъй като за такива данни трябва да използвате малко по-различни техники за обработка, в зависимост от вашата задача. В бъдеще нашият екип ще посвети отделна статия на тази тема и се надяваме, че ще успее да внесе нещо интересно, ново и полезно в живота ви, точно като тази.

Източник: www.habr.com