Нотепад-цхеат схеет за брзу претходну обраду података

Често људи који улазе у област науке о подацима имају мање од реалних очекивања о томе шта их чека. Многи људи мисле да ће сада писати цоол неуронске мреже, креирати гласовног асистента од Ирон Ман-а или победити све на финансијским тржиштима.
Али рад Датум Научник је вођен подацима, а један од најважнијих аспеката који одузимају много времена је обрада података пре него што се унесу у неуронску мрежу или анализирају на одређени начин.

У овом чланку, наш тим ће описати како можете брзо и лако обрадити податке помоћу детаљних упутстава и кода. Покушали смо да учинимо код прилично флексибилним и да се може користити за различите скупове података.

Многи професионалци можда неће пронаћи ништа необично у овом чланку, али почетници ће моћи да науче нешто ново, а свако ко је дуго сањао да направи засебну бележницу за брзу и структурирану обраду података може копирати код и форматирати га за себе, или преузмите готову бележницу са Гитхуб-а.

Добили смо скуп података. Шта даље?

Дакле, стандард: треба да разумемо са чиме имамо посла, целокупну слику. Да бисмо то урадили, користимо панде да једноставно дефинишемо различите типове података.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

Погледајмо вредности колона:

1. Да ли број редова у свакој колони одговара укупном броју редова?
2. Шта је суштина података у свакој колони?
3. Коју колону желимо да циљамо да бисмо направили предвиђања за њу?

Одговори на ова питања ће вам омогућити да анализирате скуп података и грубо нацртате план за своје следеће акције.

Такође, за дубљи поглед на вредности у свакој колони, можемо користити функцију пандас десцрибе(). Међутим, недостатак ове функције је што не даје информације о колонама са вредностима низа. Позабавићемо се њима касније.

df.describe()

Магична визуализација

Хајде да погледамо где уопште немамо вредности:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

Ово је био кратак поглед одозго, сада ћемо прећи на занимљивије ствари

Хајде да покушамо да пронађемо и, ако је могуће, уклонимо колоне које имају само једну вредност у свим редовима (ни на који начин неће утицати на резултат):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

Сада штитимо себе и успех нашег пројекта од дуплих линија (редова који садрже исте информације истим редоследом као и један од постојећих редова):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

Скуп података делимо на два: један са квалитативним вредностима, а други са квантитативним

Овде треба да направимо мало појашњење: ако линије са недостајућим подацима у квалитативним и квантитативним подацима нису у великој корелацији једна са другом, онда ћемо морати да одлучимо шта ћемо жртвовати - све линије са подацима који недостају, само део њих, или одређене колоне. Ако су линије у корелацији, онда имамо право да поделимо скуп података на два. У супротном, прво ћете морати да се позабавите линијама које не повезују податке који недостају у квалитативном и квантитативном смислу, па тек онда поделите скуп података на два.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Ово радимо да бисмо себи олакшали обраду ове две различите врсте података - касније ћемо схватити колико нам то чини живот лакшим.

Радимо са квантитативним подацима

Прво што треба да урадимо је да утврдимо да ли у квантитативним подацима постоје „шпијунске колоне“. Ове колоне тако зовемо јер се представљају као квантитативни подаци, али делују као квалитативни подаци.

Како их дефинишемо? Наравно, све зависи од природе података које анализирате, али генерално такве колоне могу имати мало јединствених података (у региону од 3-10 јединствених вредности).

print(df_numerical.nunique())

Када идентификујемо шпијунске колоне, преместићемо их са квантитативних на квалитативне податке:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

Коначно, потпуно смо раздвојили квантитативне податке од квалитативних и сада можемо да радимо са њима како треба. Прва ствар је да схватимо где имамо празне вредности (НаН, ау неким случајевима 0 ће бити прихваћено као празне вредности).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

У овом тренутку, важно је разумети у којим колонама нуле могу указивати на вредности које недостају: да ли је то због начина на који су подаци прикупљени? Или би то могло бити повезано са вредностима података? На ова питања се мора одговорити од случаја до случаја.

Дакле, ако ипак одлучимо да нам можда недостају подаци где постоје нуле, требало би да заменимо нуле са НаН да бисмо касније олакшали рад са овим изгубљеним подацима:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Сада да видимо где нам недостају подаци:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

Овде оне вредности унутар колона које недостају треба да буду означене жутом бојом. А сада почиње забава - како се носити са овим вредностима? Да ли треба да избришем редове са овим вредностима или колонама? Или попуните ове празне вредности неким другим?

Ево приближног дијаграма који вам може помоћи да одлучите шта се, у принципу, може урадити са празним вредностима:

0. Уклоните непотребне колоне

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Да ли је број празних вредности у овој колони већи од 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. Избришите линије са празним вредностима

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. Уметање случајне вредности

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. Убацивање константне вредности

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. Унесите просечну или најчешћу вредност

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. Унесите вредност израчунату другим моделом

Понекад се вредности могу израчунати коришћењем регресионих модела користећи моделе из склеарн библиотеке или других сличних библиотека. Наш тим ће посветити посебан чланак о томе како се то може учинити у блиској будућности.

Дакле, за сада ће наратив о квантитативним подацима бити прекинут, јер има много других нијанси како боље обавити припрему и претходну обраду података за различите задатке, а основне ствари за квантитативне податке узете су у обзир у овом чланку, а сада је време да се вратимо на квалитативне податке које смо одвојили неколико корака уназад од квантитативних. Можете мењати ову бележницу како желите, прилагођавајући је различитим задацима, тако да претходна обрада података иде веома брзо!

Квалитативни подаци

У основи, за квалитативне податке, метода Оне-хот-енцодинг се користи да би се форматирао из стринга (или објекта) у број. Пре него што пређемо на ову тачку, хајде да користимо дијаграм и код изнад да бисмо се позабавили празним вредностима.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. Уклоните непотребне колоне

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Да ли је број празних вредности у овој колони већи од 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. Избришите линије са празним вредностима

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. Уметање случајне вредности

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Убацивање константне вредности

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

Дакле, коначно смо добили контролу над нултима у квалитативним подацима. Сада је време да извршите једнократно кодирање вредности које се налазе у вашој бази података. Овај метод се веома често користи како би се осигурало да ваш алгоритам може да учи из висококвалитетних података.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

Дакле, коначно смо завршили обраду одвојених квалитативних и квантитативних података - време је да их поново комбинујемо

new_df = pd.concat([df_numerical,df_categorical], axis=1)

Након што смо комбиновали скупове података у један, коначно можемо да користимо трансформацију података користећи МинМакСцалер из склеарн библиотеке. Ово ће учинити наше вредности између 0 и 1, што ће помоћи приликом обуке модела у будућности.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Ови подаци су сада спремни за све - неуронске мреже, стандардне МЛ алгоритме, итд.!

У овом чланку нисмо узели у обзир рад са подацима о временским серијама, јер за такве податке треба користити нешто другачије технике обраде, у зависности од вашег задатка. Убудуће, наш тим ће овој теми посветити посебан чланак и надамо се да ће моћи да унесе нешто занимљиво, ново и корисно у ваш живот, баш као што је овај.

Извор: ввв.хабр.цом