Pepa Pukatuhi-tinihanga mo te tukatuka tere Raraunga

I te nuinga o nga wa ko nga tangata e uru ana ki te waahi o te Raraunga Raraunga he iti ake i nga tumanakohanga pono mo nga mea e tatari ana ki a raatau. He maha nga tangata e whakaaro ana inaianei ka tuhia e ratou nga whatunga neural hauhautanga, ka hangaia he kaiawhina reo mai i te Iron Man, ka whiua ranei nga tangata katoa o nga maakete putea.
Engari mahi Raraunga Ko te kaiputaiao he mea na-raraunga, a ko tetahi o nga mea tino nui me te whakapau i te waa ko te tukatuka i nga raraunga i mua i te whangai ki roto i te whatunga neural, ki te tātari ranei i tetahi huarahi.

I roto i tenei tuhinga, ka whakaahua to taatau roopu me pehea e taea ai e koe te tukatuka raraunga tere me te ngawari me nga tohutohu taahiraa-i-taahiraa me te waehere. I ngana matou ki te hanga i te waehere kia ngawari, ka taea te whakamahi mo nga huingararaunga rereke.

He maha nga tohunga kare pea e kite i tetahi mea whakamiharo i roto i tenei tuhinga, engari ka taea e te hunga timata te ako i tetahi mea hou, a ko te tangata kua roa e moemoea ana ki te hanga pukatuhi motuhake mo te tere me te hanga raraunga tukatuka ka taea te kape i te waehere me te whakahōputu ma ratou ake, tango i te pukatuhi kua oti mai i Github.

I whiwhi matou i te huingararaunga. He aha te mahi i muri mai?

Na, ko te paerewa: me mohio tatou ki ta tatou e pa ana, te pikitia katoa. Hei mahi i tenei, ka whakamahia e matou nga pandas hei tautuhi noa i nga momo raraunga rereke.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

Me titiro ki nga uara o te pou:

1. He rite te maha o nga rarangi o ia pou ki te tapeke o nga rarangi?
2. He aha te mauri o nga raraunga kei ia pou?
3. Ko tēhea tīwae e hiahia ana mātou ki te whakawhāiti kia matapae ai?

Ma nga whakautu ki enei patai ka taea e koe te tātari i te huingararaunga me te tuhi maahere mo o mahi ka whai ake.

Ano, mo te tirohanga hohonu ki nga uara o ia pou, ka taea e taatau te whakamahi i te mahi pandas describe(). Engari, ko te kino o tenei mahi ko te kore e tuku korero mo nga pou me nga uara aho. Ka mahi tatou ki a raatau i muri mai.

df.describe()

Te tirohanga makutu

Kia titiro tatou ki te waahi karekau he uara:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

He ahua poto tenei mai i runga ake nei, inaianei ka neke atu ki nga mea whakamere

Me ngana ki te kimi, ki te taea, tangohia nga pou kotahi anake te uara o nga rarangi katoa (kaore e pa ki te hua i tetahi ara):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

Inaianei kei te tiaki matou i a matou ano me te angitu o ta matou kaupapa mai i nga rarangi taarua (nga rarangi kei roto nga korero rite i te raupapa rite ki tetahi o nga rarangi o naianei):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

Ka wehea e matou te huingararaunga kia rua: ko tetahi me nga uara kounga, ko tetahi me nga mea ine

I konei me whakamaarama iti: mena ko nga raina me nga raraunga ngaro i roto i nga raraunga kounga me te ine kaore i te tino honohono tetahi ki tetahi, katahi ka hiahia taatau ki te whakatau he aha ta tatou e patu ana - ko nga raina katoa me nga raraunga ngaro, he waahanga noa iho, etahi pou ranei. Mena ka hono nga raina, katahi ka tika taatau ki te wehewehe i te huingararaunga kia rua. Ki te kore, me mahi tuatahi koe ki nga rarangi kaore i te hono i nga raraunga ngaro i roto i te kounga me te ine, katahi ka wehewehea te huingararaunga kia rua.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Ka mahia e matou tenei kia maamaa ake te mahi i enei momo raraunga rereke e rua - hei muri ka mohio matou ki te ngawari ake o to maatau oranga.

Ka mahi matou me nga raraunga ine

Ko te mea tuatahi me mahi ko te whakatau mehemea he "tutei pou" kei roto i nga raraunga ine. Ka kiia e matou enei pou na te mea kei te whakaatu i a raatau ano he raraunga ine, engari he raraunga tohu.

Me pehea e mohio ai tatou ki a raatau? Ko te tikanga, ka whakawhirinaki katoa ki te ahua o nga raraunga e tātarihia ana e koe, engari i te nuinga o te waa he iti noa nga raraunga ahurei o aua pou (i te rohe o te 3-10 uara ahurei).

print(df_numerical.nunique())

Ina kitea e matou nga pou tutei, ka nekehia e matou mai i nga raraunga ine ki te raraunga kounga:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

Ka mutu, kua tino wehea e matou nga raraunga ine mai i nga raraunga kounga, a inaianei ka taea e taatau te mahi tika. Ko te mea tuatahi ko te maarama kei hea nga uara kau (NaN, a i etahi wa ka whakaaetia te 0 hei uara kau).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

I tenei wa, he mea nui kia mohio kei hea nga pou kore ka tohu i nga uara ngaro: na te pehea i kohia ai nga raraunga? Ka taea ranei te hono ki nga uara raraunga? Me whakautuhia enei patai i runga i ia keehi.

Na, ki te whakatau tonu tatou kei te ngaro nga raraunga kei reira nga kore, me whakakapi nga koo ki te NaN kia maamaa ake te mahi me enei raraunga ngaro i muri mai:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Inaianei kia kite tatou kei hea te ngaro o nga raraunga:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

I konei ko nga uara kei roto i nga pou e ngaro ana me tohu ki te kowhai. Na inaianei ka timata te ngahau - me pehea te mahi ki enei uara? Me muku ahau i nga rarangi me enei uara, pou ranei? Whakakiia ranei enei uara kau ki etahi atu?

Anei he hoahoa tata hei awhina i a koe ki te whakatau he aha te mea ka taea te mahi me nga uara kau:

0. Tangohia nga pou kore e tika ana

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. He nui ake i te 50% te maha o nga uara kau o tenei pou?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. Mukua nga raina me nga uara putua

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. Te whakauru uara matapōkere

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. Te whakauru uara tonu

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. Whakauruhia te uara toharite, te uara auau

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. Whakauruhia te uara i tatauhia e tetahi atu tauira

I etahi wa ka taea te tatau i nga uara ma te whakamahi i nga tauira whakaheke ma te whakamahi i nga tauira mai i te whare pukapuka sklearn me etahi atu whare pukapuka rite. Ka whakatapua e ta maatau roopu he tuhinga motuhake mo te pehea e taea ai tenei i nga wa e heke mai nei.

Na, mo tenei wa, ka haukotia te korero mo nga raraunga ine, no te mea he maha atu nga ahuatanga e pa ana ki te pai ake o te whakarite raraunga me te tukatuka o mua mo nga mahi rereke, me nga mea taketake mo nga raraunga ine kua whakaarohia i roto i tenei tuhinga, a Ko te wa tenei ki te hoki ki nga raraunga kounga, i wehea e matou etahi hikoinga mai i nga waahanga ine. Ka taea e koe te huri i tenei pukatuhi kia rite ki taau e pai ai, ka urutau ki nga mahi rereke, kia tere tere te tukatuka raraunga!

Te raraunga kounga

Ko te tikanga, mo nga raraunga kounga, ka whakamahia te tikanga One-hot-encoding hei whakahōputu mai i te aho (he ahanoa ranei) ki te tau. I mua i te neke ki tenei waahi, me whakamahi te hoahoa me te waehere i runga ake nei hei mahi i nga uara kore.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. Tangohia nga pou kore e tika ana

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. He nui ake i te 50% te maha o nga uara kau o tenei pou?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. Mukua nga raina me nga uara putua

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. Te whakauru uara matapōkere

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Te whakauru uara tonu

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

Na, i te mutunga kua whiwhi matou i te kakau mo nga nulls i roto i nga raraunga kounga. Inaianei kua tae ki te wa ki te mahi whakawaehere kotahi-wera i runga i nga uara kei roto i to papaunga raraunga. Ka whakamahia tenei tikanga ki te whakarite ka taea e to algorithm te ako mai i nga raraunga kounga teitei.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

Na, kua oti i a maatau te tukatuka i nga raraunga ine me te ine - he wa ki te whakakotahi ano

new_df = pd.concat([df_numerical,df_categorical], axis=1)

I muri i te whakakotahitanga o nga huingararaunga ki te kotahi, ka taea e taatau te whakamahi huringa raraunga ma te whakamahi i te MinMaxScaler mai i te whare pukapuka sklearn. Ma tenei ka whakatauhia o taatau uara i waenga i te 0 me te 1, ka awhina i te whakangungu i te tauira a meake nei.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Kua reri enei raraunga mo nga mea katoa - whatunga neural, ML algorithms paerewa, aha atu!

I roto i tenei tuhinga, kaore matou i whai whakaaro ki te mahi me nga raraunga raupapa wa, na te mea mo enei raraunga me whakamahi koe i nga tikanga tukatuka rereke, i runga i to mahi. I nga wa kei te heke mai, ka tukuna e ta maatau roopu he tuhinga motuhake mo tenei kaupapa, a ko te tumanako ka taea e ia te kawe mai i tetahi mea whakamere, hou, whai hua ki roto i to oranga, penei i tenei.

Source: will.com