Notebook cheat sheet vir vinnige data-voorverwerking

Dikwels het mense wat die veld van Data Science betree nie 'n heeltemal realistiese idee van wat op hulle wag nie. Baie mense dink dat hulle nou koel neurale netwerke sal skryf, 'n stemassistent van Iron Man sal skep, of almal in die finansiële markte sal klop.
Maar werk data Wetenskaplike is data-gedrewe, en een van die belangrikste en tydrowendste oomblikke is dataverwerking voordat dit in 'n neurale netwerk ingevoer of op 'n sekere manier ontleed word.

In hierdie artikel sal ons span beskryf hoe jy data maklik en vinnig kan verwerk met stap-vir-stap instruksies en kode. Ons het probeer om die kode redelik buigsaam te maak en kon vir verskillende datastelle gebruik word.

Baie professionele mense vind dalk niks buitengewoon in hierdie artikel nie, maar beginners sal iets nuuts kan leer, en enigiemand wat lank gedroom het om 'n aparte notaboek vir vinnige en gestruktureerde dataverwerking te maak, kan die kode kopieer en dit vir hulself formateer, of laai die voltooide notaboek van Github af.

Datastel ontvang. Wat om volgende te doen?

Dus, die standaard: jy moet verstaan ​​waarmee ons te doen het, die groot prentjie. Hiervoor gebruik ons ​​pandas om eenvoudig verskillende datatipes te definieer.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

Kom ons kyk na die waardes van die kolomme:

1. Stem die aantal lyne in elke kolom ooreen met die totale aantal lyne?
2. Wat is die kern van die data in elke kolom?
3. Watter kolom wil ons teiken om voorspellings daarvoor te maak?

Die antwoorde op hierdie vrae sal jou toelaat om die datastel te ontleed en rofweg 'n plan vir die volgende stappe te teken.

Ook, vir 'n dieper kyk na die waardes in elke kolom, kan ons die pandas describe() funksie gebruik. Dit is waar, die nadeel van hierdie funksie is dat dit nie inligting verskaf oor kolomme met stringwaardes nie. Ons sal later met hulle handel.

df.describe()

Magiese visualisering

Kom ons kyk na waar ons geen waardes het nie:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

Dit was 'n klein uitsig van bo af, nou gaan ons na meer interessante dinge.

Kom ons probeer om kolomme te vind en, indien moontlik, uit te vee wat slegs een waarde in alle rye het (dit sal op geen manier die resultaat beïnvloed nie):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

Nou beskerm ons onsself en die sukses van ons projek teen duplikaatlyne (lyne wat dieselfde inligting in dieselfde volgorde as een van die bestaande lyne bevat):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

Ons verdeel die datastel in twee: een met kwalitatiewe waardes, en die ander met kwantitatiewe waardes

Hier moet ons 'n klein verduideliking maak: as die rye met ontbrekende data in kwalitatiewe en kwantitatiewe data nie sterk met mekaar korreleer nie, dan sal ons moet besluit wat ons opoffer - al die rye met ontbrekende data, slegs 'n deel daarvan of sekere kolomme. As die lyne gekorreleer is, het ons die volste reg om die datastel in twee te verdeel. Andersins sal jy eers die lyne moet hanteer waarin die ontbrekende data nie in kwalitatiewe en kwantitatiewe terme korreleer nie, en dan eers die datastel in twee verdeel.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Ons doen dit om dit vir ons makliker te maak om hierdie twee verskillende tipes data te verwerk – later sal ons verstaan ​​hoeveel dit ons lewens vereenvoudig.

Werk met kwantitatiewe data

Die eerste ding wat ons moet doen is om vas te stel of daar enige "spioenkolomme" in die kwantitatiewe data is. Ons noem hierdie kolomme so omdat hulle voorgee om kwantitatiewe data te wees, maar hulle werk self as kwalitatiewe.

Hoe kan ons hulle definieer? Dit hang natuurlik alles af van die aard van die data wat jy ontleed, maar oor die algemeen kan sulke kolomme min unieke data hê (in die omgewing van 3-10 unieke waardes).

print(df_numerical.nunique())

Nadat ons op die spioenkolomme besluit het, skuif ons dit van kwantitatiewe na kwalitatiewe data:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

Ten slotte het ons kwantitatiewe data heeltemal van kwalitatiewe data geskei en nou kan ons behoorlik daarmee werk. Die eerste ding is om te verstaan ​​waar ons leë waardes het (NaN, en in sommige gevalle sal 0 as leë waardes aanvaar word).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

Op hierdie stadium is dit belangrik om te verstaan ​​watter kolomme nulle kan hê wat ontbrekende waardes aandui: het dit iets te doen met hoe die data ingesamel is? Of kan dit verband hou met datawaardes? Hierdie vrae moet op 'n geval-tot-geval basis beantwoord word.

Dus, as ons nietemin besluit dat ons nie data mag hê waar daar nulle is nie, moet ons nulle vervang met NaN, sodat dit makliker sal wees om later met hierdie verlore data te werk:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Kom ons kyk nou waar ons vermiste data het:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

Hier moet die waardes binne die kolomme wat ontbreek in geel gemerk word. En die pret begin nou – hoe om met hierdie waardes op te tree? Vee reëls met hierdie waardes of kolomme uit? Of vul hierdie leë waardes met 'n paar ander?

Hier is 'n rowwe diagram wat jou kan help om uit te vind wat jy basies met leë waardes kan doen:

0. Verwyder onnodige kolomme

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Is die aantal leë waardes in hierdie kolom groter as 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. Verwyder reëls met leë waardes

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. Voeg 'n ewekansige waarde in

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. Die invoeging van 'n konstante waarde

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. Voeg die gemiddelde of maksimum gereelde waarde in

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. Voeg waarde in wat deur 'n ander model bereken is

Soms kan waardes bereken word met behulp van regressiemodelle met behulp van modelle van die sklearn-biblioteek of ander soortgelyke biblioteke. Ons span sal 'n aparte artikel wy oor hoe dit in die nabye toekoms gedoen kan word.

Dus, terwyl die storie oor kwantitatiewe data onderbreek sal word, want daar is baie ander nuanses oor hoe om datavoorbereiding en -voorverwerking vir verskillende take die beste te doen, en die basiese dinge vir kwantitatiewe data is in hierdie artikel in ag geneem, en dit is nou die tyd om terug te keer na die kwalitatiewe data, wat ons 'n paar stappe terug van kwantitatiewe data geskei het. Jy kan hierdie notaboek verander soos jy wil, dit aanpas by verskillende take sodat datavoorverwerking baie vinnig verloop!

Kwalitatiewe data

Basies, vir kwalitatiewe data, word die Een-warm-enkoderingsmetode gebruik om dit van 'n string (of voorwerp) na 'n getal te formateer. Voordat ons verder gaan na hierdie punt, kom ons gebruik die skema en kode hierbo om leë waardes te hanteer.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. Verwyder onnodige kolomme

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Is die aantal leë waardes in hierdie kolom groter as 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. Verwyder reëls met leë waardes

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. Voeg 'n ewekansige waarde in

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Die invoeging van 'n konstante waarde

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

So, uiteindelik het ons te doen gehad met leë waardes in kwalitatiewe data. Nou is dit tyd om een-warm-enkodering te doen vir die waardes wat jy in jou databasis het. Hierdie metode word baie dikwels gebruik sodat jou algoritme opgelei kan word op kwalitatiewe data.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

Uiteindelik het ons kwalitatiewe en kwantitatiewe data afsonderlik verwerk - dit is tyd om dit terug te kombineer

new_df = pd.concat([df_numerical,df_categorical], axis=1)

Nadat ons die datastelle in een verbind het, kan ons uiteindelik die datatransformasie gebruik deur die MinMaxScaler van die sklearn-biblioteek te gebruik. Dit sal ons waardes tussen 0 en 1 maak, wat sal help wanneer die model in die toekoms opgelei word.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Hierdie data is nou gereed vir enigiets - vir neurale netwerke, standaard ML-algoritmes, ensovoorts!

In hierdie artikel het ons nie die werk met data wat verband hou met tydreekse in ag geneem nie, aangesien u vir sulke data effens verskillende verwerkingstegnieke moet gebruik, afhangend van u taak. In die toekoms sal ons span 'n aparte artikel aan hierdie onderwerp wy, en ons hoop dat dit iets interessants, nuuts en nuttig in jou lewe sal kan bring, soos hierdie een.

Bron: will.com