Бележник-измамлив лист за брза претобработка на податоци

Често луѓето кои влегуваат во полето на науката за податоци имаат помалку од реални очекувања за тоа што ги чека. Многу луѓе мислат дека сега ќе напишат кул невронски мрежи, ќе создадат гласовен асистент од Iron Man или ќе ги победат сите на финансиските пазари.
Но работа податоци Научникот е управуван од податоци, а еден од најважните и одземаат многу време аспекти е обработката на податоците пред да ги внесе во невронска мрежа или да ги анализира на одреден начин.

Во оваа статија, нашиот тим ќе опише како можете брзо и лесно да обработувате податоци со чекор-по-чекор инструкции и код. Се обидовме да го направиме кодот прилично флексибилен и да може да се користи за различни збирки на податоци.

Многу професионалци можеби нема да најдат ништо извонредно во оваа статија, но почетниците ќе можат да научат нешто ново, а секој што долго време сонувал да направи посебен тетратка за брза и структурирана обработка на податоци, може да го копира кодот и да го форматира за себе, или преземете го готовиот тетратка од Github.

Ја добивме базата на податоци. Што да се прави следно?

Значи, стандардот: треба да разбереме со што се занимаваме, целокупната слика. За да го направите ова, ние користиме панди едноставно да дефинираме различни типови на податоци.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

Ајде да ги погледнеме вредностите на колоните:

1. Дали бројот на линии во секоја колона одговара на вкупниот број на линии?
2. Која е суштината на податоците во секоја колона?
3. Која колона сакаме да ја насочиме за да правиме предвидувања за неа?

Одговорите на овие прашања ќе ви овозможат да ја анализирате базата на податоци и грубо да нацртате план за вашите следни активности.

Исто така, за подлабок поглед на вредностите во секоја колона, можеме да ја користиме функцијата pandas describe(). Сепак, недостаток на оваа функција е што не дава информации за колони со вредности на низа. Ќе се справиме со нив подоцна.

df.describe()

Магична визуелизација

Ајде да погледнеме каде воопшто немаме вредности:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

Ова беше краток поглед одозгора, сега ќе преминеме на поинтересни работи

Ајде да се обидеме да најдеме и, ако е можно, да ги отстраниме колоните што имаат само една вредност во сите редови (тие нема да влијаат на резултатот на кој било начин):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

Сега се заштитуваме себеси и успехот на нашиот проект од дупликат линии (линии што ги содржат истите информации по ист редослед како една од постојните линии):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

Податоците ги делиме на два: едната со квалитативни вредности, а другата со квантитативни

Овде треба да направиме мало појаснување: ако линиите со податоци што недостасуваат во квалитативните и квантитативните податоци не се многу поврзани меѓу себе, тогаш ќе треба да одлучиме што ќе жртвуваме - сите линии со податоци што недостасуваат, само дел од нив, или одредени колони. Ако линиите се во корелација, тогаш имаме целосно право да го поделиме податокот на два дела. Во спротивно, прво ќе треба да се справите со линиите што не ги поврзуваат податоците што недостасуваат во квалитативно и квантитативно, а дури потоа да ја поделите базата на податоци на два.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Ова го правиме за да ни биде полесно да ги обработуваме овие два различни типа на податоци - подоцна ќе разбереме колку тоа ни го олеснува животот.

Работиме со квантитативни податоци

Првото нешто што треба да направиме е да утврдиме дали има „шпионски колони“ во квантитативните податоци. Овие колони ги нарекуваме затоа што се претставуваат како квантитативни податоци, но делуваат како квалитативни податоци.

Како можеме да ги идентификуваме? Се разбира, се зависи од природата на податоците што ги анализирате, но генерално таквите колони може да имаат малку уникатни податоци (во регионот од 3-10 уникатни вредности).

print(df_numerical.nunique())

Откако ќе ги идентификуваме шпионските колони, ќе ги преместиме од квантитативни податоци на квалитативни податоци:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

Конечно, целосно ги одвоивме квантитативните податоци од квалитативните податоци и сега можеме правилно да работиме со нив. Првата работа е да разбереме каде имаме празни вредности (NaN, а во некои случаи и 0 ќе се прифати како празни вредности).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

Во овој момент, важно е да се разбере во кои колони нулите може да означуваат вредности што недостасуваат: дали ова се должи на начинот на кој се собрани податоците? Или може да биде поврзано со вредностите на податоците? Овие прашања мора да се одговорат од случај до случај.

Значи, ако сепак одлучиме дека можеби ни недостасуваат податоци каде што има нули, треба да ги замениме нулите со NaN за да ја олесниме работата со овие изгубени податоци подоцна:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Сега да видиме каде ни недостасуваат податоци:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

Овде оние вредности во колоните што недостасуваат треба да бидат означени со жолта боја. И сега започнува забавата - како да се справите со овие вредности? Дали треба да избришам редови со овие вредности или колони? Или пополнете ги овие празни вредности со некои други?

Еве еден приближен дијаграм кој може да ви помогне да одлучите што, во принцип, може да се направи со празни вредности:

0. Отстранете ги непотребните колони

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Дали бројот на празни вредности во оваа колона е поголем од 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. Избришете линии со празни вредности

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. Вметнување случајна вредност

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. Вметнување константна вредност

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. Вметнете ја просечната или најчестата вредност

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. Вметнете ја вредноста пресметана од друг модел

Понекогаш вредностите може да се пресметаат со помош на регресивни модели користејќи модели од библиотеката Sklearn или други слични библиотеки. Нашиот тим ќе посвети посебна статија за тоа како тоа може да се направи во блиска иднина.

Така, за сега, наративот за квантитативните податоци ќе биде прекинат, бидејќи има многу други нијанси за тоа како подобро да се направи подготовка и преобработка на податоци за различни задачи, а основните работи за квантитативните податоци се земени предвид во овој напис, и сега е време да се вратиме на квалитативните податоци.кои ги одвоивме неколку чекори наназад од квантитативните. Можете да ја менувате оваа тетратка како што сакате, приспособувајќи ја на различни задачи, така што преработката на податоците оди многу брзо!

Квалитативни податоци

Во основа, за квалитативни податоци, методот за кодирање One-hot се користи за да се форматира од низа (или објект) во број. Пред да продолжиме до оваа точка, ајде да ги користиме дијаграмот и кодот погоре за да се справиме со празните вредности.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. Отстранете ги непотребните колони

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Дали бројот на празни вредности во оваа колона е поголем од 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. Избришете линии со празни вредности

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. Вметнување случајна вредност

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Вметнување константна вредност

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

Значи, конечно се справивме со нула во квалитативните податоци. Сега е време да извршите еднократно кодирање на вредностите што се во вашата база на податоци. Овој метод многу често се користи за да се осигура дека вашиот алгоритам може да учи од висококвалитетни податоци.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

Значи, конечно завршивме со обработка на одделни квалитативни и квантитативни податоци - време е да ги комбинираме назад

new_df = pd.concat([df_numerical,df_categorical], axis=1)

Откако ќе ги комбинираме збирките на податоци заедно во едно, конечно можеме да користиме трансформација на податоци користејќи MinMaxScaler од библиотеката sklearn. Ова ќе ги направи нашите вредности помеѓу 0 и 1, што ќе помогне при обуката на моделот во иднина.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Овие податоци сега се подготвени за сè - невронски мрежи, стандардни ML алгоритми итн.!

Во оваа статија, не ја земавме предвид работата со податоци за временски серии, бидејќи за такви податоци треба да користите малку различни техники за обработка, во зависност од вашата задача. Во иднина, нашиот тим ќе посвети посебна статија на оваа тема и се надеваме дека ќе може да внесе нешто интересно, ново и корисно во вашиот живот, исто како оваа.

Извор: www.habr.com