Kiirdata töötlemise märkmed

Tihti inimesed, kes astuvad Data Science'i valdkonda, omavad ebatäpseid ettekujutusi sellest, mis neid ees ootab. Paljud arvavad, et nad hakkavad kohe kirjutama võimsaid närvivõrke, looma raudmehe hääleabi või alistama kõik rahaturud.
Aga töö Andmed teadlasena on andmetega seotud ja üks tähtsamaid ning ajakulukamaid hetki on andmete töötlemine enne nende esitamiseks närvivõrgule või teatud viisil analüüsimiseks.

Selles artiklis kirjeldab meie meeskond, kuidas andmeid lihtsalt ja kiiresti töödelda samm-sammult juhiste ja koodiga. Püüdsime muuta koodi piisavalt paindlikuks, et seda saaks kasutada erinevate andmekogude puhul.

Paljudele professionaalidele ei pruugi see artikkel osutuda midagi erakordset, aga algajad saavad siin midagi uut õppida, samuti saavad kõik need, kes on kaua unistanud endale eraldi notebooki kiireks ja struktureeritud andmete töötlemiseks, kopeerida koodi ja kohandada seda vastavalt oma vajadustele, või laadida valmis notebooki Githubist.

Oleme saanud andmekogu. Mida edasi teha?

Nii et standard: peame mõistma, millega me tegeleme, üldpilti. Selleks kasutame pandas't, et lihtsalt määratleda erinevad andmetüübid.

import pandas as pd #impordime pandas
import numpy as np  #impordime numpy
df = pd.read_csv("AB_NYC_2019.csv") #loeme andmekogu ja salvestame muutuja df

df.head(3) #vaatame kolme esimest rida, et mõista, millised on väärtused

df.info() #Näitame teavet veergude kohta

Vaadake veergude väärtusi:

1. Kas iga veeru ridade arv vastab üldisele ridade arvule?
2. Mis on iga veeru andmete sisu?
3. Millist veergu soovime kasutada sihtmärgina, et teha sellele ennustusi?

Nendele küsimustele vastamine võimaldab andmekogu analüüsida ja koostada plaan edasisteks tegevusteks.

Samuti, et süvitsi minna igas veerus olevate väärtuste uurimisse, saame kasutada pandas'i describe() funktsiooni. Tõsi, selle funktsiooni miinus on see, et see ei anna teavet string-väärtuste veergude kohta. Sellega tegeleme hiljem.

df.describe()

Imeline visualiseerimine

Vaadake, kus meil on täielikult puuduvad väärtused:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

See oli väike ülevaade, nüüd liigume huvitavamate asjade juurde

Proovime leida ja võimalusel eemaldada veergud, kus on kõigis ridades vaid üks väärtus (need ei mõjuta tulemust):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Kandes andmestiku ümber, jätame ainult need veerud, kus on rohkem kui üks ainulaadne väärtus

Nüüd kaitseme end ja meie projekti edu duplikaat-ridade eest (ridade eest, mis sisaldavad samu andmeid samas järjekorras nagu juba olemasolev rida):

df.drop_duplicates(inplace=True) #Teeme seda, kui peame vajalikuks.
                                 #Mõnes projektis ei tasu selliseid andmeid alguses kustutada.

Jagame andmestiku kaheks: üks kvaliteetsete väärtuste jaoks ja teine - kvantitatiivsete jaoks.

Siin on vaja teha väike täpsustus: kui rida, kus on puuduvad andmed, kvaliteetsete ja kvantitatiivsete andmete osas ei ole omavahel tugevalt seotud, siis tuleb otsustada, millega me loobume - kõigist puuduvate andmetega ridadest, ainult nende osast või teatud veergudest. Kui read on omavahel seotud, siis on meil täielik õigus andmestik kaheks jagada. Vastasel juhul tuleb esmalt lahendada read, kus puuduvad andmed kvaliteetsete ja kvantitatiivsete andmete osas, ja alles seejärel jagada andmestikku kaheks.

df_numerical = df.select_dtypes(include=[np.number])
df_categorical = df.select_dtypes(exclude=[np.number])

Teeme seda, et meil oleks lihtsam töödelda neid kahte erinevat andme tüüpi - hiljem näeme, kui palju see meie elu lihtsustab.

Töötame kvantitatiivsete andmetega

Esimene asi, mida meil tasub teha - veenduda, et kvantitatiivsete andmete seas ei ole „spiooniveerge“. Me nimetame neid veerge nii, sest nad annavad endast märku kvantitatiivsete andmete seas, kuid tegelikult toimivad nad kvaliteetsetena.

Kuidas neid tuvastada? Loomulikult sõltub see andmete iseloomust, mida te analüüsite, kuid enamasti võivad sellised veerud omada vähe ainulaadseid andmeid (umbes 3-10 ainulaadset väärtust).

print(df_numerical.nunique())

Pärast seda, kui oleme tuvastanud spiooniveerud, liigutame need kvantitatiivsete andmete hulgast kvaliteetsete andmete hulka:

spy_columns = df_numerical[['veerg1', 'veerg2', 'veerg3']]#valik spy veerge ja kirjutame eraldi dataframe’isse
df_numerical.drop(labels=['veerg1', 'veerg2', 'veerg3'], axis=1, inplace = True)#kärpime need veerud kvantitatiivsetest andmetest
df_categorical.insert(1, 'veerg1', spy_columns['veerg1']) #lisame esimese spy veeru kvalitatiivsetesse andmetesse
df_categorical.insert(1, 'veerg2', spy_columns['veerg2']) #lisame teise spy veeru kvalitatiivsetesse andmetesse
df_categorical.insert(1, 'veerg3', spy_columns['veerg3']) #lisame kolmanda spy veeru kvalitatiivsetesse andmetesse

Lõpuks oleme täielikult eraldanud kvantitatiivsed andmed kvalitatiivsetest ja nüüd saame nendega tõeliselt töötada. Esiteks — tuleb mõista, kus meil on tühjad väärtused (NaN, ja mõnel juhul ka 0 loetakse tühjaks väärtuseks).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

Sellel etapil on oluline mõista, millistes veergudes nullid võivad tähendada puuduvad väärtused: kas see on seotud andmete kogumise meetodiga? Või võis see olla seotud andmete väärtustega? Nendele küsimustele tuleb vastata igas eraldi juhtumis.

Nii et, kui me tõesti oleme otsustanud, et andmed võivad puududa seal, kus on nullid, peaksime asendama nullid NaN-idega, et oleks lihtsam hiljem nendega töötada:

df_numerical[["veerg 1", "veerg 2"]] = df_numerical[["veerg 1", "veerg 2"]].replace(0, nan)

Nüüd vaatame, kus meil on andmed puuduvad:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Võib kasutada ka df_numerical.info()

Siin peaksid kollase värviga olema tähistatud need väärtused veergudes, mis puuduvad. Ja kõige huvitavam algab nüüd — kuidas nende väärtustega käituda? Kas eemaldada need read või veerud? Või täita need tühjad väärtused millegi muuga?

Siin on ligikaudne skeem, mis võib aidata teil otsustada, mida puuduvate väärtustega teha:

0. Eemaldame mittevajalikud veerud

df_numerical.drop(labels=["veerg1","veerg2"], axis=1, inplace=True)

1. Kas selle veeru tühjade väärtuste arv ületab 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["veerg1","veerg2"], axis=1, inplace=True)#Eemaldame, kui mõnes veerus on üle 50 tühja väärtuse

2. Eemaldame read tühjade väärtustega

df_numerical.dropna(inplace=True) # Kustutame reads, kus on tühjad väärtused, kui andmeid jääb piisavalt alles õppimiseks

3.1. Sisestame juhusliku väärtuse

import random # impordime random
df_numerical["veerg"].fillna(lambda x: random.choice(df[df[column] != np.nan]["veerg"]), inplace=True) # sisestame juhuslikud väärtused tabeli tühjadesse rakkudesse

3.2. Sisestame konstantse väärtuse

from sklearn.impute import SimpleImputer # impordime SimpleImputer, mis aitab väärtusi sisestada
imputer = SimpleImputer(strategy='constant', fill_value="") # sisestame kindla väärtuse SimpleImputer'i abil
df_numerical[["uus_veeru1", 'uus_veeru2', 'uus_veeru3']] = imputer.fit_transform(df_numerical[['veerg1', 'veerg2', 'veerg3']]) # Rakendame seda meie tabelis
df_numerical.drop(labels=["veerg1", "veerg2", "veerg3"], axis=1, inplace=True) # Eemaldame veerud vanade väärtustega

3.3. Sisestame keskmise või kõige sagedasema väärtuse

from sklearn.impute import SimpleImputer # impordime SimpleImputer, mis aitab väärtusi sisestada
imputer = SimpleImputer(strategy='mean', missing_values=np.nan) # mean'i asemel võib kasutada ka most_frequent
df_numerical[["uus_veeru1", 'uus_veeru2', 'uus_veeru3']] = imputer.fit_transform(df_numerical[['veerg1', 'veerg2', 'veerg3']]) # Rakendame seda meie tabelis
df_numerical.drop(labels=["veerg1", "veerg2", "veerg3"], axis=1, inplace=True) # Eemaldame veerud vanade väärtustega

3.4. Sisestame väärtuse, mille arvutab välja teine mudel

Mõnikord saab väärtusi arvutada regressioonimudelite abil, kasutades mudelite raamatukogusid nagu sklearn või muid sarnaseid raamatukogusid. Meie meeskond pühendab lähitulevikus eraldi artikli sellele, kuidas seda teha.

Niisiis, vahepeal katkestame jutustuse kvantitatiivsetest andmetest, kuna on palju muid nüansse, kuidas paremini andmete ettevalmistust ja eelprotsessimist erinevate ülesannete jaoks teha, ning selles artiklis on arvestatud põhiasjadega kvantitatiivsete andmete kohta. Nüüd on aeg tagasi liikuda kvalitatiivsete andmete juurde, mille eraldasime mõned sammud tagasi kvantitatiivsetest. Saate seda notebokaasi muuta nii, nagu soovite, kohandades seda erinevate ülesannete jaoks, et andmete eelprotsessimine toimuks väga kiiresti!

Kvalitatiivsed andmed

Peamiselt kvaliteetsete andmete jaoks kasutatakse meetodit One-hot-encoding, et vormindada need stringist (või objektist) numbriteks. Enne kui liigume sellele punktile, kasutame ülalpool olevat skeemi ja koodi, et aru saada puuduvatest väärtustest.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(), yticklabels=False, cbar=False, cmap='viridis')

0. Eemaldame mittevajalikud veerud

df_categorical.drop(labels=["kolonna1", "kolonna2"], axis=1, inplace=True)

1. Kas selle veeru tühjade väärtuste arv ületab 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["kolonna1", "kolonna2"], axis=1, inplace=True) #Eemaldame, kui mõni kolonna
                                                                          #sisaldab rohkem kui 50% puuduvaid väärtusi

2. Eemaldame read tühjade väärtustega

df_categorical.dropna(inplace=True) #Eemaldame read puuduvate väärtustega,
                                   #kui hiljem jääb piisavalt andmeid õpetamiseks

3.1. Sisestame juhusliku väärtuse

import random
df_categorical["kolonna"].fillna(lambda x: random.choice(df[df[column] != np.nan]["kolonna"]), inplace=True)

3.2. Sisestame konstantse väärtuse

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="")
df_categorical[["uus_kolonna1", 'uus_kolonna2', 'uus_kolonna3']] = imputer.fit_transform(df_categorical[['kolonna1', 'kolonna2', 'kolonna3']])
df_categorical.drop(labels=["kolonna1", "kolonna2", "kolonna3"], axis=1, inplace=True)

Nii, nüüd oleme lõpuks leidnud lahenduse puuduvaid väärtusi kvaliteetsetes andmetes. Nüüd on aeg rakendada one-hot-encoding väärtustele, mis on teie andmebaasis. See meetod on väga sageli kasutatav, et teie algoritm saaks õppida arvestades kvaliteetseid andmeid.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["kolonna1", "kolonna2", "kolonna3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

Nüüd oleme lõpuks lõpetanud kvaliteetsete ja kvantitatiivsete andmete töötlemise eraldi — aeg on need uuesti kokku viia.

new_df = pd.concat([df_numerical, df_categorical], axis=1)

Pärast seda, kui oleme andmebaasid ühte liitnud, saame kasutada andmete muutmist MinMaxScaleriga sklearn raamatukogust. See paneb meie väärtused vahemikku 0 kuni 1, mis aitab tulevikus mudelit koolitada.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Need andmed on nüüd valmis kõigeks — närvivõrkudeks, tavaliste ML algoritmideks jne!

Selles artiklis me ei käsitlenud ajareaga seotud andmete töötlemist, kuna selliste andmete jaoks tuleks kasutada veidi teisi töötlemistehnikaid, olenevalt teie ülesandest. Tulevikus pühendab meie meeskond sellele teemale eraldi artikli ja loodame, et see suudab tuua Teie ellu midagi huvitavat, uut ja kasulikku, nagu ka see artikkel.

Allikas: habr.com