Notebook cheat sheet alang sa paspas nga preprocessing sa Data

Kasagaran ang mga tawo nga mosulod sa natad sa Data Science adunay dili kaayo realistiko nga mga gilauman kung unsa ang naghulat kanila. Daghang mga tawo ang naghunahuna nga karon magsulat sila mga cool nga neural network, maghimo usa ka voice assistant gikan sa Iron Man, o mapildi ang tanan sa mga merkado sa pinansya.
Apan trabaho Data Ang siyentista gipatuyok sa datos, ug usa sa labing importante ug makagugol sa panahon nga mga aspeto mao ang pagproseso sa datos sa dili pa kini ipakaon ngadto sa neural network o pag-analisar niini sa usa ka paagi.

Niini nga artikulo, ihulagway sa among team kung giunsa nimo maproseso ang datos nga dali ug dali gamit ang sunod-sunod nga mga panudlo ug code. Gisulayan namo nga himoong flexible ang code ug mahimong magamit sa lain-laing mga dataset.

Daghang mga propesyonal dili tingali makakita og bisan unsa nga talagsaon niini nga artikulo, apan ang mga nagsugod makakat-on og bag-o nga butang, ug bisan kinsa nga dugay nang nagdamgo sa paghimo og bulag nga notebook alang sa paspas ug structured nga pagproseso sa datos mahimong kopyahon ang code ug i-format kini alang sa ilang kaugalingon, o i-download ang nahuman nga notebook gikan sa Github.

Nadawat namo ang dataset. Unsay sunod buhaton?

Busa, ang sumbanan: kinahanglan natong masabtan kung unsa ang atong giatubang, ang kinatibuk-ang hulagway. Aron mahimo kini, gigamit namon ang mga panda aron mahibal-an ra ang lainlaing mga tipo sa datos.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

Atong tan-awon ang mga kantidad sa kolum:

1. Ang gidaghanon ba sa mga linya sa matag kolum katumbas sa kinatibuk-ang gidaghanon sa mga linya?
2. Unsa ang esensya sa datos sa matag kolum?
3. Unsa nga kolum ang gusto natong ipunting aron makahimo mga panagna alang niini?

Ang mga tubag sa kini nga mga pangutana magtugot kanimo sa pag-analisar sa mga datos ug pagdrowing og plano alang sa imong sunod nga mga aksyon.

Usab, alang sa mas lawom nga pagtan-aw sa mga kantidad sa matag kolum, mahimo natong gamiton ang pandas describe() function. Bisan pa, ang disbentaha sa kini nga function mao nga wala kini maghatag kasayuran bahin sa mga kolum nga adunay mga kantidad sa string. Ato silang atubangon unya.

df.describe()

Magic visualization

Atong tan-awon kung diin kita wala’y mga kantidad:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

Kini usa ka mubo nga pagtan-aw gikan sa itaas, karon kita magpadayon sa labi ka makapaikag nga mga butang

Atong sulayan pagpangita ug, kung mahimo, tangtangon ang mga kolum nga adunay usa ra ka kantidad sa tanan nga mga laray (dili kini makaapekto sa resulta sa bisan unsang paagi):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

Karon among gipanalipdan ang among kaugalingon ug ang kalampusan sa among proyekto gikan sa mga doble nga linya (mga linya nga adunay parehas nga kasayuran sa parehas nga pagkasunod-sunod sa usa sa mga linya karon):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

Gibahin namo ang dataset ngadto sa duha: ang usa adunay qualitative values, ug ang usa nga quantitative

Dinhi kinahanglan namon nga maghimo usa ka gamay nga pagpatin-aw: kung ang mga linya nga adunay nawala nga datos sa kwalitatibo ug quantitative nga datos dili kaayo magkadugtong sa usag usa, nan kinahanglan namon nga magdesisyon kung unsa ang among gisakripisyo - ang tanan nga mga linya nga adunay nawala nga datos, bahin ra niini, o pipila ka mga kolum. Kung ang mga linya adunay kalabotan, nan kita adunay katungod nga bahinon ang dataset sa duha. Kung dili, kinahanglan nimo una nga atubangon ang mga linya nga wala mag-correlate sa nawala nga datos sa kwalitatibo ug quantitative, ug dayon bahinon ang dataset sa duha.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Gibuhat namo kini aron mas sayon ​​​​alang kanamo ang pagproseso niining duha ka lain-laing mga matang sa datos - sa ulahi among masabtan kung unsa ka sayon ​​​​niini ang among kinabuhi.

Nagtrabaho kami sa quantitative data

Ang unang butang nga kinahanglan natong buhaton mao ang pagtino kung adunay "mga kolum sa espiya" sa quantitative data. Gitawag namo kini nga mga kolum tungod kay gipresentar nila ang ilang kaugalingon isip quantitative data, apan naglihok isip qualitative data.

Sa unsang paagi nato mailhan sila? Siyempre, kini tanan nagdepende sa kinaiya sa datos nga imong gisusi, apan sa kinatibuk-an ang maong mga kolum mahimong adunay gamay nga talagsaon nga datos (sa rehiyon sa 3-10 nga talagsaon nga mga bili).

print(df_numerical.nunique())

Kung nahibal-an na namon ang mga kolum sa espiya, ibalhin namon sila gikan sa quantitative data ngadto sa qualitative data:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

Sa katapusan, bug-os namong gibulag ang quantitative data gikan sa qualitative data ug karon mahimo na namong magtrabaho uban niini sa hustong paagi. Ang una nga butang mao ang pagsabut kung diin kita adunay walay sulod nga mga kantidad (NaN, ug sa pipila ka mga kaso 0 ang dawaton ingon nga walay sulod nga mga kantidad).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

Niini nga punto, importante nga masabtan kung diin ang mga kolum nga mga sero mahimong magpakita sa nawala nga mga kantidad: tungod ba kini kung giunsa ang pagkolekta sa datos? O mahimo ba kini nga may kalabutan sa mga kantidad sa datos? Kini nga mga pangutana kinahanglang tubagon sa matag kaso.

Mao nga, kung magdesisyon gihapon kita nga mahimo’g nawala ang datos kung adunay mga sero, kinahanglan naton ilisan ang mga sero sa NaN aron mas dali ang pagtrabaho sa nawala nga datos sa ulahi:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Karon atong tan-awon kung diin kita kulang sa datos:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

Dinhi ang mga kantidad sa sulod sa mga kolum nga nawala kinahanglan markahan sa dilaw. Ug karon nagsugod na ang kalingawan - unsaon pag-atubang niini nga mga mithi? Kinahanglan ba nako nga tangtangon ang mga laray nga adunay kini nga mga kantidad o kolum? O pun-a kini nga mga walay sulod nga mga kantidad sa uban pa?

Ania ang usa ka gibanabana nga diagram nga makatabang kanimo sa pagdesisyon kung unsa ang mahimo, sa prinsipyo, buhaton sa walay sulod nga mga kantidad:

0. Kuhaa ang wala kinahanglana nga mga kolum

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Ang gidaghanon ba sa walay sulod nga mga bili niini nga kolum labaw pa sa 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. Pagtangtang sa mga linya nga adunay walay sulod nga mga kantidad

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. Pagsulud sa usa ka random nga kantidad

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. Pagsal-ot sa usa ka kanunay nga bili

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. Isulud ang kasagaran o labing kanunay nga kantidad

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. Isulod ang bili nga kalkulado sa laing modelo

Usahay ang mga kantidad mahimong makalkula gamit ang mga modelo sa regression gamit ang mga modelo gikan sa librarya sa sklearn o uban pang parehas nga mga librarya. Ang among team maggahin ug usa ka bulag nga artikulo kung giunsa kini mahimo sa umaabot nga umaabot.

Busa, sa pagkakaron, ang asoy mahitungod sa quantitative data mabalda, tungod kay adunay daghang uban nga mga nuances mahitungod sa kon sa unsang paagi nga mas maayo sa pagbuhat sa data pag-andam ug preprocessing alang sa lain-laing mga buluhaton, ug ang mga nag-unang mga butang alang sa quantitative data nga gikuha ngadto sa asoy niini nga artikulo, ug Karon na ang panahon sa pagbalik sa kwalitatibo nga datos, nga atong gibulag ang pipila ka mga lakang pabalik gikan sa mga quantitative. Mahimo nimong usbon kini nga notebook kung gusto nimo, ipahiangay kini sa lainlaing mga buluhaton, aron ang preprocessing sa datos dali kaayo!

Kwalitatibo nga datos

Kasagaran, alang sa qualitative data, ang One-hot-encoding nga pamaagi gigamit aron ma-format kini gikan sa usa ka string (o butang) ngadto sa usa ka numero. Sa dili pa mopadayon niining puntoha, atong gamiton ang dayagram ug kodigo sa ibabaw aron atubangon ang walay sulod nga mga bili.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. Kuhaa ang wala kinahanglana nga mga kolum

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Ang gidaghanon ba sa walay sulod nga mga bili niini nga kolum labaw pa sa 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. Pagtangtang sa mga linya nga adunay walay sulod nga mga kantidad

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. Pagsulud sa usa ka random nga kantidad

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Pagsal-ot sa usa ka kanunay nga bili

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

Mao nga, sa katapusan nakakuha na kami usa ka pagdumala sa mga null sa kwalitatibo nga datos. Karon na ang panahon sa paghimo sa usa ka mainit nga pag-encode sa mga kantidad nga naa sa imong database. Kini nga pamaagi kanunay nga gigamit aron masiguro nga ang imong algorithm makakat-on gikan sa taas nga kalidad nga datos.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

Mao nga, nahuman na namon ang pagproseso sa bulag nga kwalitatibo ug quantitative nga datos - oras aron makombinar sila pagbalik

new_df = pd.concat([df_numerical,df_categorical], axis=1)

Human nato makombinar ang mga dataset ngadto sa usa, mahimo na natong gamiton ang pagbag-o sa datos gamit ang MinMaxScaler gikan sa sklearn library. Kini maghimo sa atong mga mithi tali sa 0 ug 1, nga makatabang sa pagbansay sa modelo sa umaabot.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Andam na kini nga datos alang sa bisan unsang butang - neural network, standard ML algorithm, ug uban pa!

Niini nga artikulo, wala namo tagda ang pagtrabaho sa mga datos sa serye sa panahon, tungod kay alang sa maong mga datos kinahanglan nimo nga gamiton ang gamay nga lainlaing mga pamaagi sa pagproseso, depende sa imong buluhaton. Sa umaabot, ang among team maggahin ug lahi nga artikulo sa kini nga hilisgutan, ug kami nanghinaut nga kini makahatag usa ka butang nga makapaikag, bag-o ug mapuslanon sa imong kinabuhi, sama niini.

Source: www.habr.com