🥇მონაცემთა სწრაფი წინასწარი დამუშავების ინსტრუქცია

ხშირად, მონაცემთა მეცნიერების სფეროში შესულ ადამიანებს არარეალური წარმოდგენა აქვთ იმის შესახებ, თუ რა ელის მათ. ბევრი ფიქრობს, რომ ახლა მათ შეეძლებათ მაგარი ნეირონული ქსელების დაწერა, Iron Man-ის ხმოვანი ასისტენტის შექმნა ან ფინანსურ ბაზრებზე ყველას დამარცხება.
მაგრამ მუშაობა თარიღი მეცნიერი მონაცემებზეა ორიენტირებული და ერთ-ერთი ყველაზე მნიშვნელოვანი და შრომატევადი ასპექტი მონაცემების დამუშავებაა ნერვულ ქსელში მათ შეტანამდე ან გარკვეული გზით ანალიზამდე.

ამ სტატიაში ჩვენი გუნდი აღწერს, თუ როგორ შეგიძლიათ მონაცემების მარტივად და სწრაფად დამუშავება ეტაპობრივი ინსტრუქციებისა და კოდის გამოყენებით. ჩვენ ვეცადეთ, კოდი საკმარისად მოქნილი გაგვეხადა, რათა გამოყენებულიყო სხვადასხვა მონაცემთა ნაკრებებისთვის.

ბევრმა პროფესიონალმა შეიძლება ამ სტატიაში ვერაფერი განსაკუთრებული ვერ აღმოაჩინოს, მაგრამ დამწყებებს შეეძლებათ რაღაც ახალი ისწავლონ და ყველას, ვინც დიდი ხანია ოცნებობს ცალკე რვეულის შექმნაზე სწრაფი და სტრუქტურირებული მონაცემთა დამუშავებისთვის, შეუძლია კოდის კოპირება და მისი ფორმატირება თავად, ან ჩამოტვირთეთ დასრულებული რვეული Github-დან.

მონაცემთა ნაკრები მივიღე. რა უნდა გავაკეთოთ შემდეგ?

ასე რომ, სტანდარტი: ჩვენ უნდა გვესმოდეს, რასთან გვაქვს საქმე, ზოგადი სურათი. ამისათვის ჩვენ პანდებს ვიყენებთ მონაცემთა სხვადასხვა ტიპის მარტივად განსაზღვრისთვის.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

მოდით განვიხილოთ სვეტის მნიშვნელობები:

თითოეულ სვეტში ხაზების რაოდენობა ემთხვევა ხაზების საერთო რაოდენობას?
რა არის თითოეული სვეტის მონაცემების არსი?
რომელი სვეტის სამიზნედ გამოყენება გვინდა, რომ პროგნოზები გავაკეთოთ?

ამ კითხვებზე პასუხები საშუალებას მოგვცემს გავაანალიზოთ მონაცემთა ნაკრები და დაახლოებით შევიმუშაოთ დაუყოვნებელი მოქმედების გეგმა.

ასევე, თითოეული სვეტის მნიშვნელობების უფრო ღრმად გასაცნობად, შეგვიძლია გამოვიყენოთ pandas describe() ფუნქცია. თუმცა, ამ ფუნქციის ნაკლი ის არის, რომ ის არ გვაწვდის ინფორმაციას სტრიქონის მნიშვნელობების მქონე სვეტების შესახებ. მათ მოგვიანებით განვიხილავთ.

df.describe()

მაგიური ვიზუალიზაცია

მოდით შევხედოთ, სადაც საერთოდ არ გვაქვს ღირებულებები:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

ეს ზემოდან მცირე ხედი იყო, ახლა უფრო საინტერესო საკითხებზე გადავალთ.

შევეცადოთ ვიპოვოთ და, თუ შესაძლებელია, წავშალოთ სვეტები, რომლებსაც ყველა რიგში მხოლოდ ერთი მნიშვნელობა აქვთ (ისინი არანაირად არ იმოქმედებენ შედეგზე):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

ახლა ჩვენ ვიცავთ საკუთარ თავს და ჩვენი პროექტის წარმატებას დუბლირებული ხაზებისგან (ხაზები, რომლებიც შეიცავს იგივე ინფორმაციას იმავე თანმიმდევრობით, როგორც ერთ-ერთი არსებული ხაზი):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

მონაცემთა ნაკრები ორ ნაწილად დავყავით: ერთი თვისებრივი მნიშვნელობებით, ხოლო მეორე - რაოდენობრივი.

აქ მცირე განმარტებაა საჭირო: თუ თვისებრივ და რაოდენობრივ მონაცემებში დაკარგული მონაცემების მქონე რიგები ერთმანეთთან მჭიდრო კორელაციაში არ არის, მაშინ უნდა გადავწყვიტოთ, რას ვწირავთ - დაკარგული მონაცემების მქონე ყველა რიგს, მხოლოდ მათ ნაწილს თუ გარკვეულ სვეტებს. თუ რიგები კორელაციაშია, მაშინ სრული უფლება გვაქვს, მონაცემთა ნაკრები ორად გავყოთ. წინააღმდეგ შემთხვევაში, ჯერ იმ რიგებს გავუმკლავდებით, რომლებშიც თვისებრივ და რაოდენობრივ მონაცემებში დაკარგული მონაცემები არ კორელაციაშია და მხოლოდ ამის შემდეგ მონაცემთა ნაკრები ორად გავყოთ.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

ჩვენ ამას ვაკეთებთ იმისათვის, რომ ამ ორი განსხვავებული ტიპის მონაცემების დამუშავება გაგვიადვილდეს - მოგვიანებით ვნახავთ, რამდენად გვიადვილებს ეს ცხოვრებას.

რაოდენობრივ მონაცემებთან მუშაობა

პირველი, რაც უნდა გავაკეთოთ, არის იმის დადგენა, არის თუ არა რაოდენობრივ მონაცემებში რაიმე „ჯაშუშური სვეტები“. ამ სვეტებს ასე ვუწოდებთ, რადგან ისინი რაოდენობრივ მონაცემებს წარმოადგენენ, მაგრამ თვისებრივ მონაცემებს ჰგვანან.

როგორ განვსაზღვროთ ისინი? რა თქმა უნდა, ეს ყველაფერი დამოკიდებულია თქვენს მიერ გაანალიზებული მონაცემების ბუნებაზე, მაგრამ, როგორც წესი, ასეთ სვეტებს შეიძლება ჰქონდეთ მცირე უნიკალური მონაცემები (3-10 უნიკალური მნიშვნელობის დიაპაზონში).

print(df_numerical.nunique())

ჯაშუშური სვეტების იდენტიფიცირების შემდეგ, მათ რაოდენობრივი მონაცემებიდან თვისებრივზე გადავიტანთ:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

საბოლოოდ, ჩვენ მთლიანად გამოვყავით რაოდენობრივი მონაცემები თვისებრივი მონაცემებისგან და ახლა შეგვიძლია მათთან სათანადოდ მუშაობა. პირველი, რაც უნდა გავაკეთოთ, არის იმის გაგება, თუ სად გვაქვს ცარიელი მნიშვნელობები (NaN და ზოგიერთ შემთხვევაში 0 მიიღება როგორც ცარიელი მნიშვნელობები).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

ამ ეტაპზე მნიშვნელოვანია გვესმოდეს, თუ რომელ სვეტებში შეიძლება მიუთითებდეს ნულები გამოტოვებულ მნიშვნელობებზე: დაკავშირებულია ეს იმასთან, თუ როგორ იქნა შეგროვებული მონაცემები? ან შეიძლება ეს დაკავშირებული იყოს მონაცემთა მნიშვნელობებთან? ამ კითხვებზე პასუხის გაცემა თითოეული შემთხვევისთვის ინდივიდუალურად უნდა მოხდეს.

ამგვარად, თუ მაინც გადავწყვეტთ, რომ შესაძლოა დაკარგული მონაცემები გვქონდეს იქ, სადაც ნულებია, ნულები NaN-ით უნდა ჩავანაცვლოთ, რათა მოგვიანებით ამ დაკარგულ მონაცემებთან მუშაობა უფრო ადვილი იყოს:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

ახლა ვნახოთ, სად გვაქვს დაკარგული მონაცემები:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

აქ სვეტებში არსებული დაკარგული მნიშვნელობები ყვითლად უნდა იყოს მონიშნული. ახლა კი იწყება ყველაზე საინტერესო ნაწილი - როგორ გავუმკლავდეთ ამ მნიშვნელობებს? წავშალოთ ამ მნიშვნელობებით ან სვეტებით სტრიქონები? თუ შევავსოთ ეს ცარიელი მნიშვნელობები სხვა მნიშვნელობებით?

აქ მოცემულია უხეში დიაგრამა, რომელიც შეიძლება დაგეხმაროთ იმის გარკვევაში, თუ რა შეგიძლიათ გააკეთოთ ცარიელი მნიშვნელობებით:

0. არასაჭირო სვეტების წაშლა

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. ამ სვეტში ცარიელი მნიშვნელობების რაოდენობა 50%-ზე მეტია?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. ცარიელი მნიშვნელობების მქონე ხაზების წაშლა

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1 შემთხვევითი მნიშვნელობის ჩასმა

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. მუდმივი მნიშვნელობის ჩასმა

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. ჩასვით საშუალო ან მაქსიმალური სიხშირის მნიშვნელობა

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4 სხვა მოდელით გამოთვლილი მნიშვნელობის ჩასმა

ზოგჯერ მნიშვნელობების გამოთვლა შესაძლებელია რეგრესიული მოდელების გამოყენებით, sklearn ბიბლიოთეკის ან სხვა მსგავსი ბიბლიოთეკების მოდელების გამოყენებით. ჩვენი გუნდი უახლოეს მომავალში ცალკე სტატიას მიუძღვნის იმის შესახებ, თუ როგორ შეიძლება ამის გაკეთება.

ასე რომ, ახლა რაოდენობრივი მონაცემების შესახებ ისტორია შეწყდება, რადგან არსებობს მრავალი სხვა ნიუანსი იმის შესახებ, თუ როგორ უნდა მოხდეს მონაცემების მომზადება და წინასწარი დამუშავება სხვადასხვა ამოცანებისთვის და რაოდენობრივი მონაცემების ძირითადი საკითხები გათვალისწინებული იყო ამ სტატიაში და ახლა დროა დავუბრუნდეთ თვისებრივ მონაცემებს, რომლებიც რამდენიმე ნაბიჯით უკან გამოვყავით რაოდენობრივისგან. თქვენ შეგიძლიათ შეცვალოთ ეს რვეული თქვენი სურვილისამებრ, სხვადასხვა ამოცანებისთვის მორგებით, რათა მონაცემთა წინასწარი დამუშავება ძალიან სწრაფად მოხდეს!

თვისებრივი მონაცემები

ძირითადად, თვისებრივი მონაცემებისთვის, One-hot-encoding მეთოდი გამოიყენება მათი სტრიქონიდან (ან ობიექტიდან) რიცხვად ფორმატირებისთვის. სანამ ამ საკითხზე გადავალთ, მოდით გამოვიყენოთ ზემოთ მოცემული დიაგრამა და კოდი ცარიელი მნიშვნელობების დასამუშავებლად.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. არასაჭირო სვეტების წაშლა

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. ამ სვეტში ცარიელი მნიშვნელობების რაოდენობა 50%-ზე მეტია?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. ცარიელი მნიშვნელობების მქონე ხაზების წაშლა

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1 შემთხვევითი მნიშვნელობის ჩასმა

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. მუდმივი მნიშვნელობის ჩასმა

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

ასე რომ, საბოლოოდ გავუმკლავდით კარგ მონაცემებში არსებულ ცარიელ მნიშვნელობებს. ახლა დროა, თქვენს მონაცემთა ბაზაში არსებული მნიშვნელობები ერთიანი კოდირებით დავშიფროთ. ეს მეთოდი ძალიან ხშირად გამოიყენება იმისათვის, რომ თქვენს ალგორითმს კარგი მონაცემებიდან სწავლა შეეძლოს.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

ასე რომ, საბოლოოდ დავასრულეთ თვისებრივი და რაოდენობრივი მონაცემების ცალ-ცალკე დამუშავება - დროა, ისინი ისევ გავაერთიანოთ.

new_df = pd.concat([df_numerical,df_categorical], axis=1)

მას შემდეგ, რაც მონაცემთა ნაკრებებს ერთში გავაერთიანებთ, საბოლოოდ შეგვიძლია გამოვიყენოთ მონაცემთა ტრანსფორმაცია sklearn ბიბლიოთეკიდან MinMaxScaler-ის გამოყენებით. ეს ჩვენს მნიშვნელობებს 0-დან 1-მდე გახდის, რაც მომავალში მოდელის წვრთნაში დაგვეხმარება.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

ეს მონაცემები ახლა ყველაფრისთვის მზადაა - ნეირონული ქსელებისთვის, სტანდარტული ML ალგორითმებისთვის და ა.შ.!

ამ სტატიაში ჩვენ არ გავითვალისწინეთ დროითი სერიების მონაცემებთან მუშაობა, რადგან ასეთი მონაცემები უნდა დამუშავდეს ოდნავ განსხვავებული ტექნიკის გამოყენებით, თქვენი ამოცანიდან გამომდინარე. მომავალში ჩვენი გუნდი ამ თემას ცალკე სტატიას მიუძღვნის და ვიმედოვნებთ, რომ ის თქვენს ცხოვრებას ისეთ საინტერესო, ახალ და სასარგებლო რამეს შემოიტანს, როგორიც ეს არის.

წყარო: www.habr.com