Notepad-špiraljica za brzo predprocesiranje podataka

Često ljudi koji ulaze u oblast Data Science imaju nerealna očekivanja o tome šta ih čeka. Mnogi misle da će odmah začeti napisati nevjerojatne neuronske mreže, stvoriti glasovnog asistenta poput Željeznog Čovjeka ili pobijediti na finansijskim tržištima.
Ali rad Podaci Scientista je vezan za podatke, a jedan od najvažnijih i vremenski najintenzivnijih aspekata je obrada podataka prije nego što ih pošaljemo neuronskoj mreži ili analiziramo na određeni način.

U ovom članku, naš tim će opisati kako lako i brzo obraditi podatke uz korak-po-korak upute i kod. Pokušali smo učiniti kod dovoljno fleksibilnim da ga možemo primijeniti na različite skupove podataka.

Mnogi profesionalci možda neće pronaći ništa izvanredno u ovom članku, ali početnici će moći naučiti nešto novo, a takođe svako ko je dugo sanjao o tome da napravi svoj zasebni notebook za brzu i strukturiranu obradu podataka može kopirati kod i prilagoditi ga sebi, ili preuzeti gotov notebook s Githa.

Dobijamo dataset. Šta raditi dalje?

Dakle, standard: potrebno je razumjeti s čim se suočavamo, opću sliku. Za to ćemo koristiti pandas da jednostavno odredimo različite tipove podataka.

import pandas as pd # uvozimo pandas
import numpy as np  # uvozimo numpy
df = pd.read_csv("AB_NYC_2019.csv") # čitamo dataset i snimamo u varijablu df

df.head(3) # gledamo prva 3 reda da bismo razumjeli kako izgledaju vrijednosti

Notepad-špiraljica za brzo predprocesiranje podataka

df.info() # Prikazujemo informacije o kolonama

Notepad-špiraljica za brzo predprocesiranje podataka

Pogledajmo vrijednosti u kolonama:

  1. Da li se broj redova svake kolone poklapa sa ukupnim brojem redova?
  2. Koja je suština podataka u svakoj koloni?
  3. Koju kolonu želimo učiniti target, kako bismo pravili predikcije za nju?

Odgovori na ova pitanja omogućit će analizu dataseta i otprilike će nacrtati plan narednih koraka.

Takođe, za dublji uvid u vrijednosti u svakoj koloni, možemo koristiti funkciju pandas describe(). Međutim, nedostatak ove funkcije je što ne daje informacije o kolonama sa string vrijednostima. O njima ćemo razgovarati kasnije.

df.describe()

Notepad-špiraljica za brzo predprocesiranje podataka

Čarobna vizualizacija

Pogledajmo gdje nam potpuno nedostaju vrijednosti:

import seaborn as sns
sns.heatmap(df.isnull(), yticklabels=False, cbar=False, cmap='viridis')

Notepad-špiraljica za brzo predprocesiranje podataka

Ovo je bio mali pogled s vrha, sada prelazimo na zanimljivije stvari.

Pokušat ćemo pronaći i po mogućstvu ukloniti kolone koje imaju samo jednu vrijednost u svim redovima (one neće imati nikakav utjecaj na rezultat):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Prepisujemo dataset, ostavljajući samo one kolone u kojima ima više od jednog jedinstvenog vrijednosti

Sada se štitimo i osiguravamo uspjeh našeg projekta od redaka-dupikata (redaka koji sadrže iste informacije u istom redoslijedu kao već jedan od postojećih redaka):

df.drop_duplicates(inplace=True) #Radimo to ako smatramo neophodnim.
                                 #U nekim projektima, nije potrebno brisati te podatke odmah.

Dijelimo dataset na dva: jedan s kvalitativnim vrijednostima, a drugi — s kvantitativnim

Ovdje treba napraviti malu preciznost: ako se redovi s propuštenim podacima za kvalitativne i kvantitativne podatke značajno ne odnose jedni na druge, trebati će donijeti odluku o tome čime ćemo žrtvovati — svim redovima s propuštenim podacima, samo njihovim dijelom ili određenim kolonama. Ako su se redovi propuštenih podataka odnose, onda imamo sve pravo da podijelimo dataset na dva. U suprotnom, prvo je potrebno razjasniti redove u kojima se ne odnose propušteni podaci u kvalitativnim i kvantitativnim, a tek onda podijeliti dataset na dva.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Radimo to kako bismo olakšali obradu ova dva različita tipa podataka — kasnije ćemo shvatiti koliko nam to pojednostavljuje život.

Radimo s kvantitativnim podacima

Prvo što trebamo učiniti je da utvrdimo ima li "špijunskih kolona" u kvantitativnim podacima. Ove kolone nazivamo tako zato što se predstavljaju kao kvantitativni podaci, a zapravo djeluju kao kvalitativni.

Kako ih možemo definirati? Naravno, sve ovisi o prirodi podataka koje analizirate, ali uglavnom takve kolone mogu imati malo jedinstvenih podataka (oko 3-10 jedinstvenih vrijednosti).

print(df_numerical.nunique())

Nakon što se dogovorimo oko špijunskih kolona, premjestit ćemo ih iz kvantitativnih podataka u kvalitativne:

spy_columns = df_numerical[['kolona1', 'kolona2', 'kolona3']]#izdvajamo špijunske kolone i zapišemo ih u zaseban dataframe
df_numerical.drop(labels=['kolona1', 'kolona2', 'kolona3'], axis=1, inplace = True)#uklanjamo te kolone iz kvantitativnih podataka
df_categorical.insert(1, 'kolona1', spy_columns['kolona1']) #dodajemo prvu špijunsku kolonu u kvalitativne podatke
df_categorical.insert(1, 'kolona2', spy_columns['kolona2']) #dodajemo drugu špijunsku kolonu u kvalitativne podatke
df_categorical.insert(1, 'kolona3', spy_columns['kolona3']) #dodajemo treću špijunsku kolonu u kvalitativne podatke

Napokon smo potpuno odvojili kvantitativne podatke od kvalitativnih i sada možemo s njima ozbiljno raditi. Prvo — treba razumeti gde imamo prazne vrednosti (NaN, a u nekim slučajevima i 0 se smatraju praznim vrednostima).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

U ovoj fazi je važno razumeti u kojim kolonama nule mogu značiti odsutne vrednosti: da li je to povezano s načinom na koji su prikupljeni podaci? Ili to može biti povezano s vrednostima podataka? Na ta pitanja treba odgovarati u svakom pojedinačnom slučaju.

Dakle, ako smo ipak zaključili da podaci mogu biti odsutni tamo gde su nule, trebali bismo zameniti nule sa NaN, kako bismo lakše radili sa tim izgubljenim podacima:

df_numerical[["kolona 1", "kolona 2"]] = df_numerical[["kolona 1", "kolona 2"]].replace(0, nan)

Sada ćemo pogledati gde su nam podaci propušteni:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Takođe možemo koristiti df_numerical.info()

Notepad-špiraljica za brzo predprocesiranje podataka

Ovde bi trebalo da budu označene žutom bojom one vrednosti unutar kolona koje nedostaju. I najzanimljivije sada počinje — kako se ponašati sa ovim vrednostima? Ukloniti redove sa ovim vrednostima ili kolone? Ili popuniti te prazne vrednosti nekim drugim?

Evo približne sheme koja može pomoći da odlučite šta možete učiniti sa praznim vrednostima:

Notepad-špiraljica za brzo predprocesiranje podataka

0. Uklanjamo nepotrebne kolone

df_numerical.drop(labels=["kolona1","kolona2"], axis=1, inplace=True)

1. Da li je broj praznih vrednosti u ovoj koloni veći od 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["kolona1","kolona2"], axis=1, inplace=True)#Uklanjamo, ako neka kolona ima više od 50 praznih vrednosti

2. Uklanjamo redove sa praznim vrednostima

df_numerical.dropna(inplace=True)#Uklanjamo redove sa praznim vrednostima, ako ostane dovoljno podataka za obuku

3.1. Ubacivanje nasumične vrednosti

import random #importujemo random
df_numerical["kolona"].fillna(lambda x: random.choice(df[df[column] != np.nan]["kolona"]), inplace=True) #ubacivanje nasumičnih vrednosti u prazne ćelije tabele

3.2. Ubacivanje konstantne vrednosti

from sklearn.impute import SimpleImputer #importujemo SimpleImputer koji pomaže u ubacivanju vrednosti
imputer = SimpleImputer(strategy='constant', fill_value="") #ubacivanje određene vrednosti pomoću SimpleImputer
df_numerical[["nova_kolona1",'nova_kolona2','nova_kolona3']] = imputer.fit_transform(df_numerical[['kolona1', 'kolona2', 'kolona3']]) #Primena na našu tabelu
df_numerical.drop(labels = ["kolona1","kolona2","kolona3"], axis = 1, inplace = True) #Uklanjanje kolona sa starim vrednostima

3.3. Ubacivanje srednje ili najčešće vrednosti

from sklearn.impute import SimpleImputer #importujemo SimpleImputer koji pomaže u ubacivanju vrednosti
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #umesto mean može se koristiti i most_frequent
df_numerical[["nova_kolona1",'nova_kolona2','nova_kolona3']] = imputer.fit_transform(df_numerical[['kolona1', 'kolona2', 'kolona3']]) #Primena na našu tabelu
df_numerical.drop(labels = ["kolona1","kolona2","kolona3"], axis = 1, inplace = True) #Uklanjanje kolona sa starim vrednostima

3.4. Ubacivanje vrednosti izračunate drugim modelom

Ponekad se vrednosti mogu izračunati pomoću regresionih modela, koristeći modele iz biblioteke sklearn ili drugih sličnih biblioteka. Naš tim će posvetiti poseban članak o tome kako se to može učiniti u bliskoj budućnosti.

Dakle, dok se priča o kvantitativnim podacima prekida, jer postoje mnogi drugi aspekti o tome kako bolje raditi pripremu podataka i preprocesiranje za razne zadatke, osnovne stvari za kvantitativne podatke su uračunate u ovom članku, i sada je pravo vreme da se vratimo kvalitativnim podacima koje smo odvojili nekoliko koraka unazad od kvantitativnih. Možete menjati ovaj notebook kako želite, prilagođavajući ga raznim zadacima, kako bi priprema podataka prolazila veoma brzo!

Kvalitativni podaci

U osnovi, za kvalitativne podatke koristi se metoda One-hot-encoding kako bi se formatirali iz stringa (ili objekta) u broj. Prije nego što pređemo na ovu tačku, iskoristit ćemo shemu i kod iznad da bismo se suočili s praznim vrijednostima.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(), yticklabels=False, cbar=False, cmap='viridis')

Notepad-špiraljica za brzo predprocesiranje podataka

0. Uklanjamo nepotrebne kolone

df_categorical.drop(labels=["kolona1", "kolona2"], axis=1, inplace=True)

1. Da li je broj praznih vrednosti u ovoj koloni veći od 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["kolona1", "kolona2"], axis=1, inplace=True) # Uklanjamo ako neka kolona 
                                                                # ima više od 50% praznih vrijednosti

2. Uklanjamo redove sa praznim vrednostima

df_categorical.dropna(inplace=True) # Uklanjamo redove s praznim vrijednostima, 
                                   # ako će kasnije ostati dovoljno podataka za obučavanje

3.1. Ubacivanje nasumične vrednosti

import random
df_categorical["kolona"].fillna(lambda x: random.choice(df[df[column] != np.nan]["kolona"]), inplace=True)

3.2. Ubacivanje konstantne vrednosti

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="")
df_categorical[["nova_kolona1", 'nova_kolona2', 'nova_kolona3']] = imputer.fit_transform(df_categorical[['kolona1', 'kolona2', 'kolona3']])
df_categorical.drop(labels=["kolona1", "kolona2", "kolona3"], axis=1, inplace=True)

Dakle, konačno smo se pozabavili praznim vrijednostima u kvalitativnim podacima. Sada je vrijeme za izvođenje one-hot-encoding za vrijednosti koje su u vašoj bazi podataka. Ova metoda se vrlo često koristi kako bi vaš algoritam mogao učiti uzimajući u obzir kvalitativne podatke.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["kolona1", "kolona2", "kolona3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature)

Dakle, konačno smo završili s obradom kvalitativnih i kvantitativnih podataka — vrijeme je da ih ponovo spojimo

new_df = pd.concat([df_numerical, df_categorical], axis=1)

Nakon što smo spojili datasete u jedan, na kraju možemo upotrijebiti transformaciju podataka pomoću MinMaxScaler iz biblioteke sklearn. Ovo će učiniti naše vrijednosti unutar intervala od 0 do 1, što će pomoći pri obučavanju modela u budućnosti.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Ovi podaci su sada spremni za sve — za neuronske mreže, standardne ML algoritme itd!

U ovom članku nismo obradili rad s podacima vezanim za vremenske serije, jer za takve podatke treba koristiti malo drugačije tehnike obrade, u zavisnosti od vašeg zadatka. U budućnosti, naš tim će se posvetiti ovoj temi i nadamo se da će ona doneti nešto zanimljivo, novo i korisno u vaš život, kao i ovaj članak.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster