Käepärane märkmeraamat kiireks andmete eeltöötluseks

Tihti inimesed, kes siseneb andmete teaduse valdkonda, omavad ebatavalisi ootusi selle kohta, mis neid ees ootab. Paljud arvavad, et nad hakkavad kohe kirjutama keerulisi närvivõrke, looma raudmehe häälabilisi või võidavad kõiki finantsturgudel.
Kuid töö Andmed teadlasena on seotud andmetega, ning üks olulisemaid ja kõige ajakulukamaid hetki on andmete töötlemine enne nende sisestamist närvivõrku või enne kindlal viisil analüüsimist.

Selles artiklis kirjeldab meie meeskond, kuidas andmeid lihtsalt ja kiiresti töödelda, et jälgida samm-sammult juhiseid ja koode. Oleme püüdnud, et kood oleks piisavalt paindlik ja seda saaks kasutada erinevate andmekogumite jaoks.

Paljud spetsialistid ei pruugi selle artikli sisu leida midagi erakordset, kuid algajad saavad kindlasti midagi uut ja igaüks, kes on pikka aega soovinud luua enda jaoks eraldi märkmiku kiireks ja struktureeritud andmete töötlemiseks, saab koode kopeerida ja kohandada endale sobivaks, või laadida valmis märkmiku Githubist.

Olete saanud andmekogumi. Mida edasi teha?

Seega, standart: tuleb mõista, millega meil tegu on, üldpilti. Selleks kasutame pandas't, et lihtsalt määrata erinevaid andmetüüpe.

import pandas as pd #impordime pandas
import numpy as np  #impordime numpy
df = pd.read_csv("AB_NYC_2019.csv") #loeme andmestiku ja salvestame muutuja df

df.head(3) #vaatame kolme esimese rida, et mõista, kuidas väärtused välja näevad

df.info() #Kuvame teavet veergude kohta

Vaatame veergude väärtuseid:

1. Kas iga veeru ridade arv vastab koguarvule ridadele?
2. Mis on iga veeru andmete olemus?
3. Millist veergu soovime teha sihiks, et teha ennustusi selle kohta?

Nendele küsimustele vastamine võimaldab analüüsida andmestikku ning koostada lühiajaline tegevuskava.

Samuti, et sügavamalt vaadata iga veeru väärtusi, saame kasutada pandas'i funktsiooni describe(). Kahjuks ei paku see funktsioon teavet string-väärtustega veergude kohta. Nendega tegeleme hiljem.

df.describe()

Mugav visualiseerimine

Vaatame, kus meil puuduvad väärtused täielikult:

import seaborn as sns
sns.heatmap(df.isnull(), yticklabels=False, cbar=False, cmap='viridis')

See oli väike ülevaade, nüüd liikume huvitavamate asjade juurde

Püüame leida ja võimalusel eemaldada veerud, milles on ainult üks väärtus kõigis ridades (need ei mõjuta tulemust):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Uuendame andmestikku, jättes alles vaid need veerud, kus on rohkem kui üks unikaalne väärtus

Kaitseme end ja meie projekti edu duplikaatridade eest (ridade ees, mis sisaldavad sama teavet samas järjekorras nagu juba olemasolevad read):

df.drop_duplicates(inplace=True) #Teeme seda, kui peame seda vajalikuks.
                                 #Mõnes projektis ei ole otstarbekas selliseid andmeid alguses eemaldada.

Jagame andmestiku kaheks: üks kvaliteetsete väärtuste jaoks ja teine kvantitatiivsete väärtuste jaoks

Siin on vajalik väike täpsustus: kui ridade vahel, kus on puudu andmeid kvalitatiivsete ja kvantitatiivsete andmete osas, ei ole tugev seos, siis tuleb otsustada, millest loobume — kas kõigist puuduvate andmetega ridadest, ainult osast neist või teatud veergudest. Kui read omavahel seonduvad, siis on meil täielik õigus jagada andmestiku kahte osa. Vastasel juhul tuleb esmalt lahendada read, kus kvalitatiivsetes ja kvantitatiivsetes andmetes puuduvad andmed ei seondu, ja alles seejärel jagada andmestik kahte osa.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Teeme seda, et oleks kergem töötada nende kahe erineva andmeliigiga — hiljem mõistame, kui palju see meie elu lihtsustab.

Töötame kvantitatiivsete andmetega

Esimene asi, mida peaksime teema, on määrata, kas kvantitatiivsetes andmetes on „nuhi-veerge“. Me nimetame neid veerge nii, kuna nad annavad end välja kvantitatiivsete andmetena, kuid töötavad tegelikult nagu kvaliteedilised.

Kuidas me need määratleme? Loomulikult sõltub kõik analüüsitavate andmete iseloomust, kuid peamiselt võivad sellised veerud omada vähe unikaalseid andmeid (umbes 3-10 unikaalset väärtust).

print(df_numerical.nunique())

Pärast seda, kui oleme määratlenud nuhkveerud, liigutame need kvantitatiivsetest andmetest kvalitatiivsetesse:

spy_columns = df_numerical[['veeru1', 'veeru2', 'veeru3']]#valime nuhkveerud ja salvestame need eraldi dataframe'iks
df_numerical.drop(labels=['veeru1', 'veeru2', 'veeru3'], axis=1, inplace=True)#kustutame need veerud kvantitatiivsetest andmetest
df_categorical.insert(1, 'veeru1', spy_columns['veeru1']) #lisame esimese nuhkveeru kvalitatiivsetesse andmetesse
df_categorical.insert(1, 'veeru2', spy_columns['veeru2']) #lisame teise nuhkveeru kvalitatiivsetesse andmetesse
df_categorical.insert(1, 'veeru3', spy_columns['veeru3']) #lisame kolmanda nuhkveeru kvalitatiivsetesse andmetesse

Saime lõpuks täielikult eraldada kvantitatiivsed andmed kvalitatiivsetest ning nüüd saame nendega korralikult töötada. Esiteks — tuleb mõista, kus meil on tühjad väärtused (NaN, ja mõnel juhul tunneme 0 tühjade väärtustena).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

Selles etapis on oluline mõista, millistes veergudes nullid võivad tähendada puuduvaid väärtusi: kas see on seotud andmete kogumisega? Või võivad need olla seotud andmete väärtustega? Neile küsimustele tuleb vastata igas eraldi juhus.

Nii et kui me oleme ikka jõudnud järeldusele, et andmed võivad puududa seal, kus on nullid, tuleks nullid asendada NaN-iga, et oleks hiljem lihtsam töötada nende kadunud andmetega:

df_numerical[["veerg 1", "veerg 2"]] = df_numerical[["veerg 1", "veerg 2"]].replace(0, nan)

Nüüd vaatame, kus meil on puuduvad andmed:

sns.heatmap(df_numerical.isnull(), yticklabels=False, cbar=False, cmap='viridis') # Samuti saab kasutada df_numerical.info()

Siin peaksid kollase värviga olema märgitud need väärtused veergudes, mis puuduvad. Ja nüüd algab kõige huvitavam osa — kuidas nende väärtustega käituda? Kustutada need ridadega või veergudega? Või täita need tühjad väärtused millegagi?

Siin on ligikaudne skeem, mis võib aidata teil otsustada, mida põhimõtteliselt teha tühjade väärtustega:

0. Kustutame mittevajalikud veerud

df_numerical.drop(labels=["veerg1", "veerg2"], axis=1, inplace=True)

1. Kas selle veeru tühjade väärtuste arv ületab 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["veerg1", "veerg2"], axis=1, inplace=True) # Eemaldame, kui mõnes veerus on rohkem kui 50 tühja väärtust

2. Eemaldame tühjad väärtused ridadest

df_numerical.dropna(inplace=True) # Eemaldame tühjad väärtused ridadest, kui jääb piisavalt andmeid koolituseks

3.1. Sisestame juhusliku väärtuse

import random # impordime random
df_numerical["veerg"].fillna(lambda x: random.choice(df[df[column] != np.nan]["veerg"]), inplace=True) # sisestame juhuslikud väärtused tühjadesse lahtritesse

3.2. Sisestame konstantsed väärtused

from sklearn.impute import SimpleImputer # impordime SimpleImputeri, mis aitab sisestada väärtusi
imputer = SimpleImputer(strategy='constant', fill_value="") # sisestame kindla väärtuse SimpleImputeriga
df_numerical[["uus_veerg1", 'uus_veerg2', 'uus_veerg3']] = imputer.fit_transform(df_numerical[['veerg1', 'veerg2', 'veerg3']]) # Rakendame seda meie tabelisse
df_numerical.drop(labels=["veerg1", "veerg2", "veerg3"], axis=1, inplace=True) # Eemaldame veerud vanade väärtustega

3.3. Sisestame keskmise või kõige sagedasema väärtuse

from sklearn.impute import SimpleImputer # teiste väärtuste täitmiseks vajalik SimpleImputer imporditakse
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) # mean'i asemel võib kasutada ka most_frequent
df_numerical[["uus_kategooria1", 'uus_kategooria2', 'uus_kategooria3']] = imputer.fit_transform(df_numerical[['kategooria1', 'kategooria2', 'kategooria3']]) # rakendame seda meie tabelis
df_numerical.drop(labels = ["kategooria1", "kategooria2", "kategooria3"], axis = 1, inplace = True) # eemaldame vanad väärtused

3.4. Sisestame väärtuse, mille teine mudel on arvutanud

Mõnikord saab väärtusi arvutada regressioonimudelite abil, kasutades sklearn'i või teiste sarnaste teekide mudeleid. Meie meeskond pühendab sellele teemale eraldi artikli lähitulevikus.

Nii et, kuigi kvantitatiivsete andmete jutustus katkeb, kuna on palju muid nüansse, kuidas andmete ettevalmistamist ja eeltöötlemist erinevate ülesannete jaoks paremini teha, ja baasasjad kvantitatiivsete andmete jaoks on selles artiklis arvesse võetud, on nüüd õige aeg naasta kvalitatiivsete andmete juurde, mille me mõni samm tagasi kvantitatiivsetest eraldasime. Te saate seda notebook'i muuta nii, nagu soovite, kohandades seda erinevate ülesannete jaoks, et andmete eeltöötlemine toimuks väga kiiresti!

Kvalitatiivsed andmed

Kvalitatiivsete andmete puhul kasutatakse peamiselt meetodit One-hot-encoding, et vormindada need string'idest (või objektidest) numbriteks. Enne selle punkti juurde liikumist kasuta üleval olevat skeemi ja koodi, et tegeleda puuduva väärtusega.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(), yticklabels=False, cbar=False, cmap='viridis')

0. Kustutame mittevajalikud veerud

df_categorical.drop(labels=["колонка1", "колонка2"], axis=1, inplace=True)

1. Kas selle veeru tühjade väärtuste arv ületab 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1", "колонка2"], axis=1, inplace=True) # Eemaldame, kui mõnes tulbas on rohkem kui 50% tühje väärtusi

2. Eemaldame tühjad väärtused ridadest

df_categorical.dropna(inplace=True)#Eemame tühjad read, 
                                   #kui jääb piisavalt andmeid õppimiseks

3.1. Sisestame juhusliku väärtuse

import random
df_categorical["veerg"].fillna(lambda x: random.choice(df[df[column] != np.nan]["veerg"]), inplace=True)

3.2. Sisestame konstantsed väärtused

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="")
df_categorical[["uus_veerg1", 'uus_veerg2', 'uus_veerg3']] = imputer.fit_transform(df_categorical[['veerg1', 'veerg2', 'veerg3']])
df_categorical.drop(labels=["veerg1", "veerg2", "veerg3"], axis=1, inplace=True)

Nii, lõpuks oleme saanud aru, kuidas tegeleda tühjade väärtustega kvalitatiivsetes andmetes. Nüüd on aeg teostada one-hot-encoding väärtuste jaoks, mis teie andmebaasis on. See meetod on äärmisel sagedasel kasutusel, et teie algoritm saaks õppida kvalitatiivsete andmete arvestamisel.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["veerg1", "veerg2", "veerg3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature)

Nii, lõpuks oleme lõpetanud kvalitatiivsete ja kvantitatiivsete andmete töötlemise – aeg on need jälle kokku viia.

new_df = pd.concat([df_numerical,df_categorical], axis=1)

Pärast andmestike ühendamist ühte saab me kasutada andmete teisendamist MinMaxScaler abil, mis on saadaval sklearn raamatukogus. See aitab hoida meie väärtusi vahemikus 0 kuni 1, mis on kasulik mudeli koolitamiseks tulevikus.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Need andmed on nüüd valmis kõikideks — närvivõrkude, standardsete ML algoritmide jne jaoks!

Selles artiklis ei ole me arvesse võtnud ajaseeriatega seotud andmete töötlemist, kuna selliste andmete korral tuleks kasutada veidi teisi töötlustehnikaid, sõltuvalt teie ülesandest. Tulevikus pühendab meie meeskond sellele teemale eraldi artikli, lootes, et see toob teie ellu midagi huvitavat, uut ja kasulikku, just nagu see.

Allikas: habr.com