Često ljudi koji ulaze u oblast Data Science imaju nerealna očekivanja o tome šta ih čeka. Mnogi misle da će odmah začeti napisati nevjerojatne neuronske mreže, stvoriti glasovnog asistenta poput Željeznog Čovjeka ili pobijediti na finansijskim tržištima.
Ali rad Podaci Scientista je vezan za podatke, a jedan od najvažnijih i vremenski najintenzivnijih aspekata je obrada podataka prije nego što ih pošaljemo neuronskoj mreži ili analiziramo na određeni način.
U ovom članku, naš tim će opisati kako lako i brzo obraditi podatke uz korak-po-korak upute i kod. Pokušali smo učiniti kod dovoljno fleksibilnim da ga možemo primijeniti na različite skupove podataka.
Mnogi profesionalci možda neće pronaći ništa izvanredno u ovom članku, ali početnici će moći naučiti nešto novo, a takođe svako ko je dugo sanjao o tome da napravi svoj zasebni notebook za brzu i strukturiranu obradu podataka može kopirati kod i prilagoditi ga sebi, ili
Dobijamo dataset. Šta raditi dalje?
Dakle, standard: potrebno je razumjeti s čim se suočavamo, opću sliku. Za to ćemo koristiti pandas da jednostavno odredimo različite tipove podataka.
import pandas as pd # uvozimo pandas
import numpy as np # uvozimo numpy
df = pd.read_csv("AB_NYC_2019.csv") # čitamo dataset i snimamo u varijablu df
df.head(3) # gledamo prva 3 reda da bismo razumjeli kako izgledaju vrijednosti 
df.info() # Prikazujemo informacije o kolonama 
Pogledajmo vrijednosti u kolonama:
- Da li se broj redova svake kolone poklapa sa ukupnim brojem redova?
- Koja je suština podataka u svakoj koloni?
- Koju kolonu želimo učiniti target, kako bismo pravili predikcije za nju?
Odgovori na ova pitanja omogućit će analizu dataseta i otprilike će nacrtati plan narednih koraka.
Takođe, za dublji uvid u vrijednosti u svakoj koloni, možemo koristiti funkciju pandas describe(). Međutim, nedostatak ove funkcije je što ne daje informacije o kolonama sa string vrijednostima. O njima ćemo razgovarati kasnije.
df.describe() 
Čarobna vizualizacija
Pogledajmo gdje nam potpuno nedostaju vrijednosti:
import seaborn as sns
sns.heatmap(df.isnull(), yticklabels=False, cbar=False, cmap='viridis') 
Ovo je bio mali pogled s vrha, sada prelazimo na zanimljivije stvari.
Pokušat ćemo pronaći i po mogućstvu ukloniti kolone koje imaju samo jednu vrijednost u svim redovima (one neće imati nikakav utjecaj na rezultat):
df = df[[c for c
in list(df)
if len(df[c].unique()) > 1]] #Prepisujemo dataset, ostavljajući samo one kolone u kojima ima više od jednog jedinstvenog vrijednostiSada se štitimo i osiguravamo uspjeh našeg projekta od redaka-dupikata (redaka koji sadrže iste informacije u istom redoslijedu kao već jedan od postojećih redaka):
df.drop_duplicates(inplace=True) #Radimo to ako smatramo neophodnim.
#U nekim projektima, nije potrebno brisati te podatke odmah.Dijelimo dataset na dva: jedan s kvalitativnim vrijednostima, a drugi — s kvantitativnim
Ovdje treba napraviti malu preciznost: ako se redovi s propuštenim podacima za kvalitativne i kvantitativne podatke značajno ne odnose jedni na druge, trebati će donijeti odluku o tome čime ćemo žrtvovati — svim redovima s propuštenim podacima, samo njihovim dijelom ili određenim kolonama. Ako su se redovi propuštenih podataka odnose, onda imamo sve pravo da podijelimo dataset na dva. U suprotnom, prvo je potrebno razjasniti redove u kojima se ne odnose propušteni podaci u kvalitativnim i kvantitativnim, a tek onda podijeliti dataset na dva.
df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])Radimo to kako bismo olakšali obradu ova dva različita tipa podataka — kasnije ćemo shvatiti koliko nam to pojednostavljuje život.
Radimo s kvantitativnim podacima
Prvo što trebamo učiniti je da utvrdimo ima li "špijunskih kolona" u kvantitativnim podacima. Ove kolone nazivamo tako zato što se predstavljaju kao kvantitativni podaci, a zapravo djeluju kao kvalitativni.
Kako ih možemo definirati? Naravno, sve ovisi o prirodi podataka koje analizirate, ali uglavnom takve kolone mogu imati malo jedinstvenih podataka (oko 3-10 jedinstvenih vrijednosti).
print(df_numerical.nunique())Nakon što se dogovorimo oko špijunskih kolona, premjestit ćemo ih iz kvantitativnih podataka u kvalitativne:
spy_columns = df_numerical[['kolona1', 'kolona2', 'kolona3']]#izdvajamo špijunske kolone i zapišemo ih u zaseban dataframe
df_numerical.drop(labels=['kolona1', 'kolona2', 'kolona3'], axis=1, inplace = True)#uklanjamo te kolone iz kvantitativnih podataka
df_categorical.insert(1, 'kolona1', spy_columns['kolona1']) #dodajemo prvu špijunsku kolonu u kvalitativne podatke
df_categorical.insert(1, 'kolona2', spy_columns['kolona2']) #dodajemo drugu špijunsku kolonu u kvalitativne podatke
df_categorical.insert(1, 'kolona3', spy_columns['kolona3']) #dodajemo treću špijunsku kolonu u kvalitativne podatkeNapokon smo potpuno odvojili kvantitativne podatke od kvalitativnih i sada možemo s njima ozbiljno raditi. Prvo — treba razumeti gde imamo prazne vrednosti (NaN, a u nekim slučajevima i 0 se smatraju praznim vrednostima).
for i in df_numerical.columns:
print(i, df[i][df[i]==0].count())U ovoj fazi je važno razumeti u kojim kolonama nule mogu značiti odsutne vrednosti: da li je to povezano s načinom na koji su prikupljeni podaci? Ili to može biti povezano s vrednostima podataka? Na ta pitanja treba odgovarati u svakom pojedinačnom slučaju.
Dakle, ako smo ipak zaključili da podaci mogu biti odsutni tamo gde su nule, trebali bismo zameniti nule sa NaN, kako bismo lakše radili sa tim izgubljenim podacima:
df_numerical[["kolona 1", "kolona 2"]] = df_numerical[["kolona 1", "kolona 2"]].replace(0, nan)Sada ćemo pogledati gde su nam podaci propušteni:
sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Takođe možemo koristiti df_numerical.info() 
Ovde bi trebalo da budu označene žutom bojom one vrednosti unutar kolona koje nedostaju. I najzanimljivije sada počinje — kako se ponašati sa ovim vrednostima? Ukloniti redove sa ovim vrednostima ili kolone? Ili popuniti te prazne vrednosti nekim drugim?
Evo približne sheme koja može pomoći da odlučite šta možete učiniti sa praznim vrednostima:

0. Uklanjamo nepotrebne kolone
df_numerical.drop(labels=["kolona1","kolona2"], axis=1, inplace=True)1. Da li je broj praznih vrednosti u ovoj koloni veći od 50%?
print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)df_numerical.drop(labels=["kolona1","kolona2"], axis=1, inplace=True)#Uklanjamo, ako neka kolona ima više od 50 praznih vrednosti2. Uklanjamo redove sa praznim vrednostima
df_numerical.dropna(inplace=True)#Uklanjamo redove sa praznim vrednostima, ako ostane dovoljno podataka za obuku3.1. Ubacivanje nasumične vrednosti
import random #importujemo random
df_numerical["kolona"].fillna(lambda x: random.choice(df[df[column] != np.nan]["kolona"]), inplace=True) #ubacivanje nasumičnih vrednosti u prazne ćelije tabele3.2. Ubacivanje konstantne vrednosti
from sklearn.impute import SimpleImputer #importujemo SimpleImputer koji pomaže u ubacivanju vrednosti
imputer = SimpleImputer(strategy='constant', fill_value="") #ubacivanje određene vrednosti pomoću SimpleImputer
df_numerical[["nova_kolona1",'nova_kolona2','nova_kolona3']] = imputer.fit_transform(df_numerical[['kolona1', 'kolona2', 'kolona3']]) #Primena na našu tabelu
df_numerical.drop(labels = ["kolona1","kolona2","kolona3"], axis = 1, inplace = True) #Uklanjanje kolona sa starim vrednostima3.3. Ubacivanje srednje ili najčešće vrednosti
from sklearn.impute import SimpleImputer #importujemo SimpleImputer koji pomaže u ubacivanju vrednosti
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #umesto mean može se koristiti i most_frequent
df_numerical[["nova_kolona1",'nova_kolona2','nova_kolona3']] = imputer.fit_transform(df_numerical[['kolona1', 'kolona2', 'kolona3']]) #Primena na našu tabelu
df_numerical.drop(labels = ["kolona1","kolona2","kolona3"], axis = 1, inplace = True) #Uklanjanje kolona sa starim vrednostima3.4. Ubacivanje vrednosti izračunate drugim modelom
Ponekad se vrednosti mogu izračunati pomoću regresionih modela, koristeći modele iz biblioteke sklearn ili drugih sličnih biblioteka. Naš tim će posvetiti poseban članak o tome kako se to može učiniti u bliskoj budućnosti.
Dakle, dok se priča o kvantitativnim podacima prekida, jer postoje mnogi drugi aspekti o tome kako bolje raditi pripremu podataka i preprocesiranje za razne zadatke, osnovne stvari za kvantitativne podatke su uračunate u ovom članku, i sada je pravo vreme da se vratimo kvalitativnim podacima koje smo odvojili nekoliko koraka unazad od kvantitativnih. Možete menjati ovaj notebook kako želite, prilagođavajući ga raznim zadacima, kako bi priprema podataka prolazila veoma brzo!
Kvalitativni podaci
U osnovi, za kvalitativne podatke koristi se metoda One-hot-encoding kako bi se formatirali iz stringa (ili objekta) u broj. Prije nego što pređemo na ovu tačku, iskoristit ćemo shemu i kod iznad da bismo se suočili s praznim vrijednostima.
df_categorical.nunique()sns.heatmap(df_categorical.isnull(), yticklabels=False, cbar=False, cmap='viridis') 
0. Uklanjamo nepotrebne kolone
df_categorical.drop(labels=["kolona1", "kolona2"], axis=1, inplace=True)1. Da li je broj praznih vrednosti u ovoj koloni veći od 50%?
print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)df_categorical.drop(labels=["kolona1", "kolona2"], axis=1, inplace=True) # Uklanjamo ako neka kolona
# ima više od 50% praznih vrijednosti2. Uklanjamo redove sa praznim vrednostima
df_categorical.dropna(inplace=True) # Uklanjamo redove s praznim vrijednostima,
# ako će kasnije ostati dovoljno podataka za obučavanje3.1. Ubacivanje nasumične vrednosti
import random
df_categorical["kolona"].fillna(lambda x: random.choice(df[df[column] != np.nan]["kolona"]), inplace=True)3.2. Ubacivanje konstantne vrednosti
from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="")
df_categorical[["nova_kolona1", 'nova_kolona2', 'nova_kolona3']] = imputer.fit_transform(df_categorical[['kolona1', 'kolona2', 'kolona3']])
df_categorical.drop(labels=["kolona1", "kolona2", "kolona3"], axis=1, inplace=True)Dakle, konačno smo se pozabavili praznim vrijednostima u kvalitativnim podacima. Sada je vrijeme za izvođenje one-hot-encoding za vrijednosti koje su u vašoj bazi podataka. Ova metoda se vrlo često koristi kako bi vaš algoritam mogao učiti uzimajući u obzir kvalitativne podatke.
def encode_and_bind(original_dataframe, feature_to_encode):
dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
res = pd.concat([original_dataframe, dummies], axis=1)
res = res.drop([feature_to_encode], axis=1)
return(res)features_to_encode = ["kolona1", "kolona2", "kolona3"]
for feature in features_to_encode:
df_categorical = encode_and_bind(df_categorical, feature)Dakle, konačno smo završili s obradom kvalitativnih i kvantitativnih podataka — vrijeme je da ih ponovo spojimo
new_df = pd.concat([df_numerical, df_categorical], axis=1)Nakon što smo spojili datasete u jedan, na kraju možemo upotrijebiti transformaciju podataka pomoću MinMaxScaler iz biblioteke sklearn. Ovo će učiniti naše vrijednosti unutar intervala od 0 do 1, što će pomoći pri obučavanju modela u budućnosti.
from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)Ovi podaci su sada spremni za sve — za neuronske mreže, standardne ML algoritme itd!
U ovom članku nismo obradili rad s podacima vezanim za vremenske serije, jer za takve podatke treba koristiti malo drugačije tehnike obrade, u zavisnosti od vašeg zadatka. U budućnosti, naš tim će se posvetiti ovoj temi i nadamo se da će ona doneti nešto zanimljivo, novo i korisno u vaš život, kao i ovaj članak.
Izvor: habr.com
