Leqephe la ho qhekella la Notepad bakeng sa ho lokisa data kapele

Hangata batho ba kenang tšimong ea Data Science ba na le litebello tse fokolang ho feta tse ba letetseng. Batho ba bangata ba nahana hore joale ba tla ngola marang-rang a pholileng a methapo ea kutlo, ba thehe mothusi oa lentsoe ho tsoa ho Iron Man, kapa ba otla e mong le e mong limmarakeng tsa lichelete.
Empa sebetsa Lintlha Scientist e tsamaisoa ke data, 'me e' ngoe ea lintlha tsa bohlokoa ka ho fetisisa le tse senyang nako ke ho sebetsana le data pele e e fepa ho neural network kapa ho e hlahloba ka tsela e itseng.

Sehloohong sena, sehlopha sa rona se tla hlalosa hore na u ka sebetsana joang le data kapele le ha bonolo ka litaelo le khoutu ea mohato ka mohato. Re lekile ho etsa hore khoutu e fetohe habonolo mme e ka sebelisoa bakeng sa li-dataset tse fapaneng.

Litsebi tse ngata li ka 'na tsa se ke tsa fumana letho le sa tloaelehang sehloohong sena, empa ba qalang ba tla khona ho ithuta ntho e ncha,' me mang kapa mang ea nang le nako e telele a lora ho etsa bukana e arohaneng bakeng sa ts'ebetso ea data e potlakileng le e hlophisitsoeng a ka kopitsa khoutu le ho iketsetsa eona, kapa khoasolla bukana e felileng ho tsoa ho Github.

Re fumane dataset. Seo u lokelang ho se etsa kamora moo?

Kahoo, tekanyetso: re hloka ho utloisisa seo re sebetsanang le sona, setšoantšo se akaretsang. Ho etsa sena, re sebelisa li-pandas ho hlalosa feela mefuta e fapaneng ea data.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

Ha re shebeng boleng ba kholomo:

1. Na palo ea mela e kholomong ka 'ngoe e lumellana le kakaretso ea mela?
2. Moko oa lintlha tse kholomong ka 'ngoe ke eng?
3. Ke kholomo efe eo re batlang ho e shebisisa ho etsa likhakanyo tsa eona?

Likarabo tsa lipotso tsena li tla u lumella ho sekaseka datha mme u rale moralo oa liketso tsa hau tse latelang.

Hape, bakeng sa ho shebisisa boleng ba kholumo e 'ngoe le e 'ngoe, re ka sebelisa pandas explain() mosebetsi. Leha ho le joalo, bothata ba mosebetsi ona ke hore ha e fane ka tlhahisoleseding mabapi le litšiea tse nang le litekanyetso tsa likhoele. Re tla sebetsana le tsona hamorao.

df.describe()

Pono ea boselamose

Ha re shebeng moo re senang boleng ho hang:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

Ena e ne e le ponahalo e khutšoanyane e tsoang holimo, joale re tla fetela linthong tse ling tse thahasellisang

Ha re leke ho fumana, 'me, ha ho khoneha, re tlose litšiea tse nang le boleng bo le bong feela melaleng eohle (li ke ke tsa ama sephetho ka tsela efe kapa efe):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

Joale rea itšireletsa le katleho ea projeke ea rona ho mela e kopitsoang (mela e nang le tlhaiso-leseling e tšoanang ka tatellano e tšoanang le e meng ea mela e teng):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

Re arola dataset ka tse peli: e 'ngoe e na le boleng ba boleng, e' ngoe e na le lipalo.

Mona re hloka ho hlakisa lintlha tse nyane: haeba mela e nang le data e sieo ka data ea boleng le palo e sa amaneng haholo, joale re tla hloka ho etsa qeto ea hore na re tela eng - mela eohle e nang le data e sieo, karolo feela ea eona, kapa litšiea tse itseng. Haeba mela e hokahane, joale re na le tokelo eohle ea ho arola dataset ka bobeli. Ho seng joalo, u tla tlameha ho qala ka ho sebetsana le mela e sa amaneng le data e sieo ka boleng le bongata, ebe joale o arola dataset ho tse peli.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Re etsa sena ho re nolofalletsa ho sebetsana le mefuta ena e 'meli e fapaneng ea data - hamorao re tla utloisisa hore na sena se nolofalletsa bophelo ba rona hakae.

Re sebetsa ka data ea bongata

Ntho ea pele eo re lokelang ho e etsa ke ho tseba hore na ho na le "likholomo tsa bohloela" ho data ea bongata. Re bitsa likholomo tsena hobane li itlhahisa e le data ea palo, empa e sebetsa joalo ka data ea boleng.

Re ka li tseba joang? Ha e le hantle, tsohle li itšetlehile ka mofuta oa boitsebiso boo u bo hlahlobang, empa ka kakaretso litšiea tse joalo li ka 'na tsa e-ba le lintlha tse nyenyane tse ikhethang (sebakeng sa 3-10 ea litekanyetso tse ikhethang).

print(df_numerical.nunique())

Ha re se re khethile litšiea tsa lihloela, re tla li tlosa ho tloha ho data ea bongata ho ea ho data ea boleng:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

Qetellong, re arotse data ea palo ka botlalo ho tsoa ho data ea boleng mme joale re ka sebetsa le eona hantle. Ntho ea pele ke ho utloisisa moo re nang le boleng bo se nang letho (NaN, 'me maemong a mang 0 e tla amoheloa e le boleng bo se nang letho).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

Mothating ona, ho bohlokoa ho utloisisa hore na ke litšiea life tse ka bonts'ang litekanyetso tse sieo: na see se bakoa ke hore na data e ile ea bokelloa joang? Kapa na e amana le boleng ba data? Lipotso tsena li tlameha ho arajoa ho latela maemo.

Kahoo, haeba re ntse re nka qeto ea hore re kanna ra ba sieo data moo ho nang le li-zero, re lokela ho khutlisa zero ka NaN ho etsa hore ho be bonolo ho sebetsa le data ena e lahlehileng hamorao:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Joale a re boneng moo re sieo data:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

Mona litekanyetso tseo ka har'a likholomo tse sieo li lokela ho tšoauoa ka mosehla. 'Me joale monate o qala - mokhoa oa ho sebetsana le litekanyetso tsee? Na ke lokela ho hlakola mela e nang le boleng kapa likholomo tsee? Kapa tlatsa litekanyetso tsena tse se nang letho ka tse ling?

Mona ke setšoantšo se hakanyetsoang se ka u thusang ho etsa qeto ea hore na, ha e le hantle, ho ka etsoa eng ka litekanyetso tse se nang letho:

0. Tlosa litšiea tse sa hlokahaleng

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Na palo ea litekanyetso tse se nang letho kholomong ee e feta 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. Hlakola mela e nang le boleng bo se nang letho

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. Ho kenya boleng bo sa reroang

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. Ho kenya boleng bo sa feleng

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. Kenya boleng bo tloaelehileng kapa hangata

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. Kenya boleng bo baloang ke mofuta o mong

Ka nako e 'ngoe boleng bo ka baloa ho sebelisoa mefuta ea regression ho sebelisa mefuta e tsoang laeboraring ea sklearn kapa lilaebraring tse ling tse tšoanang. Sehlopha sa rona se tla fana ka sengoloa se arohaneng sa hore na sena se ka etsoa joang haufinyane.

Kahoo, hajoale, tlaleho e mabapi le data ea bongata e tla sitisoa, hobane ho na le lintlha tse ling tse ngata mabapi le mokhoa oa ho etsa ho lokisoa ha data le ho hlophisoa esale pele bakeng sa mesebetsi e fapaneng, 'me lintho tsa mantlha tsa data ea bongata li hlokometsoe sehloohong sena. joale ke nako ea ho khutlela ho qualitative data.eo re ileng ra e arola mehato e mengata ho tloha ho ea palo. U ka fetola bukana ena kamoo u ratang, u e fetola mesebetsing e fapaneng, e le hore ts'ebetso ea data preprocessing e tsamaee kapele haholo!

Lintlha tsa boleng

Ha e le hantle, bakeng sa lintlha tsa boleng, mokhoa oa One-hot-encoding o sebelisoa e le ho o fomata ho tloha khoele (kapa ntho) ho ea ho nomoro. Pele re fetela ntlheng ena, ha re sebeliseng setšoantšo le khoutu e kaholimo ho sebetsana le litekanyetso tse se nang letho.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. Tlosa litšiea tse sa hlokahaleng

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Na palo ea litekanyetso tse se nang letho kholomong ee e feta 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. Hlakola mela e nang le boleng bo se nang letho

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. Ho kenya boleng bo sa reroang

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Ho kenya boleng bo sa feleng

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

Kahoo, qetellong re na le ts'ebetso ea nulls ho data ea boleng. Joale ke nako ea ho etsa encoding e le 'ngoe ho boleng bo fumanehang polokelong ea hau. Mokhoa ona o sebelisoa hangata ho netefatsa hore algorithm ea hau e ka ithuta ho tsoa ho data ea boleng bo holimo.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

Kahoo, qetellong re qetile ho sebetsana le data e arohaneng ea boleng le bongata - nako ea ho li kopanya hape

new_df = pd.concat([df_numerical,df_categorical], axis=1)

Kamora hore re kopanye li-dataset ho ba e le 'ngoe, qetellong re ka sebelisa phetoho ea data re sebelisa MinMaxScaler ho tsoa laebraring ea sklearn. Sena se tla etsa hore litekanyetso tsa rona li be pakeng tsa 0 le 1, tse tla thusa ha re koetlisa mohlala nakong e tlang.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Lintlha tsena li se li loketse eng kapa eng - marang-rang a neural, li-algorithms tse tloaelehileng tsa ML, joalo-joalo!

Sengoliloeng sena, ha rea ​​ka ra nahana ka ho sebetsa ka data ea letoto la nako, hobane bakeng sa data e joalo o lokela ho sebelisa mekhoa e fapaneng ea ts'ebetso, ho latela mosebetsi oa hau. Nakong e tlang, sehlopha sa rona se tla fana ka sengoloa se arohaneng sehloohong sena, 'me re ts'epa hore se tla khona ho tlisa ntho e khahlisang, e ncha le e sebetsang bophelong ba hau, joalo ka ena.

Source: www.habr.com