Foglio informativo del blocco note per una rapida preelaborazione dei dati

Spesso le persone che entrano nel campo della scienza dei dati hanno aspettative tutt’altro che realistiche su ciò che li attende. Molte persone pensano che ora scriveranno fantastiche reti neurali, creeranno un assistente vocale di Iron Man o batteranno tutti nei mercati finanziari.
Ma lavora Dati Lo scienziato è guidato dai dati e uno degli aspetti più importanti e dispendiosi in termini di tempo è l'elaborazione dei dati prima di inserirli in una rete neurale o analizzarli in un certo modo.

In questo articolo, il nostro team descriverà come elaborare i dati in modo rapido e semplice con istruzioni e codice passo passo. Abbiamo cercato di rendere il codice abbastanza flessibile e che potesse essere utilizzato per diversi set di dati.

Molti professionisti potrebbero non trovare nulla di straordinario in questo articolo, ma i principianti potranno imparare qualcosa di nuovo e chiunque sogni da tempo di creare un notebook separato per l'elaborazione rapida e strutturata dei dati può copiare il codice e formattarlo da solo, oppure scarica il notebook finito da Github.

Abbiamo ricevuto il set di dati. Cosa fare dopo?

Quindi, la norma: bisogna capire con cosa abbiamo a che fare, il quadro complessivo. Per fare ciò, utilizziamo i panda per definire semplicemente diversi tipi di dati.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

Diamo un'occhiata ai valori delle colonne:

1. Il numero di righe in ciascuna colonna corrisponde al numero totale di righe?
2. Qual è l'essenza dei dati in ciascuna colonna?
3. Quale colonna vogliamo prendere di mira per fare previsioni al riguardo?

Le risposte a queste domande ti permetteranno di analizzare il set di dati e tracciare approssimativamente un piano per le tue prossime azioni.

Inoltre, per uno sguardo più approfondito ai valori in ciascuna colonna, possiamo utilizzare la funzione pandas description(). Tuttavia, lo svantaggio di questa funzione è che non fornisce informazioni sulle colonne con valori stringa. Ci occuperemo di loro più tardi.

df.describe()

Visualizzazione magica

Diamo un'occhiata a dove non abbiamo alcun valore:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

Questo era un breve sguardo dall'alto, ora passeremo a cose più interessanti

Proviamo a trovare e, se possibile, rimuovere le colonne che hanno un solo valore in tutte le righe (non influenzeranno in alcun modo il risultato):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

Ora proteggiamo noi stessi e il successo del nostro progetto dalle righe duplicate (righe che contengono le stesse informazioni nello stesso ordine di una delle righe esistenti):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

Dividiamo il dataset in due: uno con valori qualitativi e l'altro con valori quantitativi

Qui dobbiamo fare una piccola precisazione: se le righe con dati mancanti nei dati qualitativi e quantitativi non sono molto correlate tra loro, allora dovremo decidere cosa sacrificare: tutte le righe con dati mancanti, solo una parte di esse, o determinate colonne. Se le linee sono correlate, abbiamo tutto il diritto di dividere il set di dati in due. Altrimenti bisognerà prima occuparsi delle linee che non correlano i dati mancanti in termini qualitativi e quantitativi, e solo successivamente dividere il dataset in due.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Lo facciamo per facilitarci l'elaborazione di questi due diversi tipi di dati: in seguito capiremo quanto questo ci semplifichi la vita.

Lavoriamo con dati quantitativi

La prima cosa da fare è determinare se ci sono “colonne spia” nei dati quantitativi. Chiamiamo queste colonne così perché si presentano come dati quantitativi, ma agiscono come dati qualitativi.

Come li definiamo? Naturalmente, tutto dipende dalla natura dei dati che stai analizzando, ma in generale tali colonne potrebbero contenere pochi dati univoci (nell'ordine di 3-10 valori univoci).

print(df_numerical.nunique())

Una volta individuate le colonne spia, le sposteremo dai dati quantitativi ai dati qualitativi:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

Infine, abbiamo completamente separato i dati quantitativi da quelli qualitativi e ora possiamo lavorarci correttamente. La prima cosa è capire dove abbiamo valori vuoti (NaN, e in alcuni casi 0 saranno accettati come valori vuoti).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

A questo punto è importante capire in quali colonne gli zeri possono indicare valori mancanti: è dovuto a come sono stati raccolti i dati? O potrebbe essere correlato ai valori dei dati? A queste domande bisogna rispondere caso per caso.

Quindi, se decidiamo ancora che potrebbero mancare dati dove sono presenti zeri, dovremmo sostituire gli zeri con NaN per rendere più semplice lavorare con questi dati persi in seguito:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Ora vediamo dove mancano i dati:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

Qui quei valori all'interno delle colonne che mancano dovrebbero essere contrassegnati in giallo. E ora inizia il divertimento: come affrontare questi valori? Devo eliminare righe con questi valori o colonne? O riempire questi valori vuoti con altri?

Ecco un diagramma approssimativo che può aiutarti a decidere cosa si può fare, in linea di principio, con valori vuoti:

0. Rimuovere le colonne non necessarie

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Il numero di valori vuoti in questa colonna è superiore al 50%?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. Elimina le righe con valori vuoti

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. Inserimento di un valore casuale

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. Inserimento di un valore costante

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. Inserisci il valore medio o più frequente

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. Inserire il valore calcolato da un altro modello

A volte i valori possono essere calcolati utilizzando modelli di regressione utilizzando modelli della libreria sklearn o altre librerie simili. Il nostro team dedicherà un articolo separato su come ciò possa essere fatto nel prossimo futuro.

Quindi, per ora, la narrazione sui dati quantitativi verrà interrotta, perché ci sono molte altre sfumature su come eseguire al meglio la preparazione e la preelaborazione dei dati per compiti diversi, e gli aspetti fondamentali per i dati quantitativi sono stati presi in considerazione in questo articolo, e ora è il momento di ritornare ai dati qualitativi, che abbiamo separato parecchi passi indietro da quelli quantitativi. Puoi modificare questo taccuino come preferisci, adattandolo a compiti diversi, in modo che la preelaborazione dei dati avvenga molto rapidamente!

Dati qualitativi

Fondamentalmente, per i dati qualitativi, viene utilizzato il metodo One-hot-encoding per formattarli da una stringa (o oggetto) a un numero. Prima di passare a questo punto, utilizziamo il diagramma e il codice sopra per gestire i valori vuoti.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. Rimuovere le colonne non necessarie

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Il numero di valori vuoti in questa colonna è superiore al 50%?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. Elimina le righe con valori vuoti

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. Inserimento di un valore casuale

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Inserimento di un valore costante

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

Quindi, finalmente siamo riusciti a gestire i valori nulli nei dati qualitativi. Ora è il momento di eseguire la codifica a caldo sui valori presenti nel tuo database. Questo metodo viene utilizzato molto spesso per garantire che il tuo algoritmo possa apprendere da dati di alta qualità.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

Quindi, abbiamo finalmente finito di elaborare dati qualitativi e quantitativi separati: è ora di combinarli di nuovo

new_df = pd.concat([df_numerical,df_categorical], axis=1)

Dopo aver combinato i set di dati in uno solo, possiamo finalmente utilizzare la trasformazione dei dati utilizzando MinMaxScaler dalla libreria sklearn. Ciò renderà i nostri valori compresi tra 0 e 1, il che aiuterà durante l'addestramento del modello in futuro.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Questi dati sono ora pronti per tutto: reti neurali, algoritmi ML standard, ecc.!

In questo articolo non abbiamo preso in considerazione il lavoro con dati di serie temporali, poiché per tali dati è necessario utilizzare tecniche di elaborazione leggermente diverse, a seconda dell'attività. In futuro, il nostro team dedicherà un articolo separato a questo argomento e speriamo che possa portare qualcosa di interessante, nuovo e utile nella tua vita, proprio come questo.

Fonte: habr.com