Notepad-cheat sheet yekukurumidza Data preprocessing

Kazhinji vanhu vanopinda mumunda weData Science vane zvishoma pane zvinotarisirwa zvinotarisirwa zvezvakavamirira. Vanhu vazhinji vanofunga kuti zvino vachanyora inotonhorera neural network, kugadzira mubatsiri wezwi kubva kuIron Man, kana kurova munhu wese mumisika yemari.
Asi basa Data Sainzi inofambiswa nedata, uye chimwe chezvinhu zvakakosha uye zvinotora nguva ndeyekugadzirisa iyo data isati yaidyisa muneural network kana kuiongorora neimwe nzira.

Muchikamu chino, timu yedu inotsanangura maitiro aungaita data nekukurumidza uye nyore nenhanho-nhanho mirairo uye kodhi. Takaedza kuita kuti kodhi inyatso shanduka uye inogona kushandiswa kune akasiyana dataset.

Nyanzvi dzakawanda dzinogona kusawana chero chinhu chinoshamisa muchinyorwa chino, asi vanotanga vanozokwanisa kudzidza chimwe chinhu chitsva, uye chero munhu anga achishuvira kugadzira kabhuku kakasiyana kekukurumidza uye kurongeka kwekugadzirisa data anogona kukopa iyo kodhi uye kuigadzira ivo pachavo, kana dhawunirodha bhuku rapera kubva kuGithub.

Takagamuchira dataset. Chii chekuita?

Saka, mupimo: tinofanira kunzwisisa zvatiri kubata nazvo, mufananidzo wose. Kuti tiite izvi, tinoshandisa pandas kungotsanangura marudzi akasiyana e data.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

Ngatitarisei kukosha kwe column:

1. Ko nhamba yemitsara mukoramu yega yega inoenderana nehuwandu hwemitsetse here?
2. Chii chakakosha che data mune imwe neimwe column?
3. Ndeipi column yatinoda kunanga kuitira kuti tiite fungidziro dzayo?

Mhinduro dzemibvunzo iyi dzichakubvumidza kuti uongorore dhatabheti uye utore hurongwa hwezviito zvako zvinotevera.

Zvakare, kuti titarise zvakadzama kukosha pane yega yega, isu tinogona kushandisa iyo pandas inotsanangura () basa. Nekudaro, iyo yakashata yeiyi basa ndeyekuti haipe ruzivo nezvemakoramu ane tambo tsika. Tichagadzirisana navo gare gare.

df.describe()

Kuonekwa kwemashiripiti

Ngatitarisei kwatisina kukosha zvachose:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

Uku kwaive kutarisa kupfupi kubva kumusoro, ikozvino tichaenda kune zvimwe zvinonakidza zvinhu

Ngatiedzei kutsvaga uye, kana zvichibvira, bvisa makoramu ane kukosha kumwe chete mumitsara yese (haazokanganisa mhedzisiro neimwe nzira):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

Iye zvino tinozvidzivirira uye kubudirira kwepurojekiti yedu kubva kumitsara yakadzokororwa (mitsetse ine ruzivo rwakafanana mukurongeka kwakafanana neimwe yemitsara iripo):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

Isu tinokamura dataset kuita maviri: imwe ine hunhu hunokosha, uye imwe ine huwandu.

Pano isu tinoda kujekesa diki: kana mitsara ine dhata inoshaikwa mune yemhando uye yehuwandu data isinganyatso wirirane, saka isu tichafanirwa kusarudza zvatinobayira - mitsara yese ine data isipo, chikamu chayo chete, kana mamwe makoramu. Kana mitsara yakabatana, saka isu tine kodzero yekukamura dataset kuita maviri. Zvikasadaro, iwe unozofanirwa kutanga wabata nemitsara isingabatanidze iyo yakarasika data mumhando uye huwandu, uye chete wozogovanisa iyo dataset kuita maviri.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Isu tinoita izvi kuti zvive nyore kwatiri kugadzirisa aya marudzi maviri akasiyana edata - gare gare isu tichanzwisisa kuti izvi zvinorerutsa sei hupenyu hwedu.

Isu tinoshanda nehuwandu hwe data

Chinhu chekutanga chatinofanira kuita ndechekuona kana paine "spy columns" muhuwandu hwedata. Tinodaidza makoramu aya nekuti anozviratidza sehuwandu hwedata, asi achiita semhando yedata.

Tingaaziva sei? Ehe, zvese zvinoenderana nemhando yedata rauri kuongorora, asi kazhinji makoramu akadaro anogona kunge aine data shoma rakasiyana (munzvimbo ye3-10 yakasarudzika maitiro).

print(df_numerical.nunique())

Kana tangoona makoramu evasori, tinoafambisa kubva kuhuwandu hwe data kuenda kune yemhando data:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

Chekupedzisira, isu takapatsanura zvakakwana data yehuwandu kubva kune yemhando data uye ikozvino tinogona kushanda nayo nemazvo. Chinhu chekutanga kunzwisisa kwatine hunhu husina chinhu (NaN, uye mune dzimwe nguva 0 inogamuchirwa seyasina chinhu).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

Panguva ino, zvakakosha kuti unzwisise kuti ndeapi makoramu zero angaratidza kushaikwa hunhu: izvi nekuda kwekuunganidzwa kwakaitwa data? Kana kuti ingave yakabatana neiyo data values? Iyi mibvunzo inofanirwa kupindurwa pane imwe nyaya-ne-nyaya.

Saka, kana tichiri kufunga kuti tinogona kunge tisina data pane mazero, tinofanira kutsiva zero neNaN kuti zvive nyore kushanda nedata rakarasika gare gare:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Zvino ngationei patiri kurasikirwa nedata:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

Pano izvo zvakakosha mukati memakoramu asipo zvinofanirwa kumakwa neyero. Uye zvino kunakidzwa kunotanga - maitiro ekuita neaya maitiro? Ndinofanira kudzima mitsara nemakosheni aya kana makoramu? Kana kuzadza aya asina chinhu hunhu nemamwe mamwe?

Heino dhayagiramu yekufungidzira iyo inogona kukubatsira iwe kusarudza izvo zvingaite, mumusimboti, kuitwa nehunhu husina chinhu:

0. Bvisa makoramu asina basa

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Huwandu hwezvisina chinhu mukoramu iyi yakakura kupfuura 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. Bvisa mitsetse ine nhanho dzisina chinhu

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. Kuisa kukosha kusina kurongeka

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. Kuisa kukosha kwekugara

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. Isa kukosha kweavhareji kana kuwanda

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. Isa kukosha kwakaverengerwa neimwe modhi

Dzimwe nguva kukosha kunogona kuverengerwa uchishandisa regression modhi uchishandisa mamodheru kubva kune sklearn raibhurari kana mamwe maraibhurari akafanana. Chikwata chedu chichapa chinyorwa chakasiyana chekuti izvi zvingaitwe sei munguva pfupi iri kutevera.

Saka, ikozvino, rondedzero yehuwandu hwe data ichakanganiswa, nekuti kune mamwe akawanda nuances pamusoro pekuita zvirinani kugadzirira data uye preprocessing yemabasa akasiyana, uye zvinhu zvakakosha zvehuwandu hwedata zvakaverengerwa munyaya ino, uye. ikozvino ndiyo nguva yekudzokera kune qualitative data.iyo yatakaparadzanisa nhanho dzinoverengeka kubva kune yehuwandu. Iwe unogona kushandura kabhuku aka sezvaunoda, uchigadzirisa kune akasiyana mabasa, kuitira kuti data preprocessing iende nekukurumidza!

Qualitative data

Chaizvoizvo, kune yemhando data, iyo One-hot-encoding nzira inoshandiswa kuitira kuigadzira kubva patambo (kana chinhu) kuenda kunhamba. Tisati taenderera mberi kusvika pano, ngatishandisei dhayagiramu nekodhi iri pamusoro kubata nehunhu husina chinhu.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. Bvisa makoramu asina basa

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Huwandu hwezvisina chinhu mukoramu iyi yakakura kupfuura 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. Bvisa mitsetse ine nhanho dzisina chinhu

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. Kuisa kukosha kusina kurongeka

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Kuisa kukosha kwekugara

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

Saka, isu pakupedzisira tave nekubata pane nulls mune yemhando data. Iye zvino yave nguva yekuita-inopisa-encoding pane zvakakosha zviri mudhatabhesi rako. Iyi nzira inonyanya kushandiswa kuve nechokwadi chekuti algorithm yako inogona kudzidza kubva kumhando yepamusoro data.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

Saka, isu takazopedzisira tapedza kugadzirisa yakaparadzana yemhando uye yehuwandu data - nguva yekuvasanganisa kumashure

new_df = pd.concat([df_numerical,df_categorical], axis=1)

Mushure mekunge tabatanidza ma dataset pamwe chete kuita rimwe, tinogona kupedzisira tashandisa shanduko yedata tichishandisa MinMaxScaler kubva kuraibhurari ye sklearn. Izvi zvichaita kuti kukosha kwedu kuve pakati pe0 ne1, izvo zvichabatsira pakudzidzisa modhi mune ramangwana.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Iyi data ikozvino yakagadzirira chero chinhu - neural network, yakajairwa ML algorithms, nezvimwe!

Muchinyorwa chino, isu hatina kufunga nezvekushanda nenguva yakatevedzana data, nekuti kune yakadaro data iwe unofanirwa kushandisa akasiyana maitiro ekugadzirisa, zvichienderana nebasa rako. Mune ramangwana, timu yedu ichapa chinyorwa chakasiyana kune iyi musoro, uye tinovimba ichakwanisa kuunza chimwe chinhu chinonakidza, chitsva uye chinobatsira muhupenyu hwako, senge ichi.

Source: www.habr.com