Notepad-cheat sheet მონაცემთა სწრაფი წინასწარი დამუშავებისთვის

ხშირად მონაცემთა მეცნიერების სფეროში შესულ ადამიანებს აქვთ ნაკლები რეალური მოლოდინი იმის შესახებ, თუ რა ელის მათ. ბევრი ფიქრობს, რომ ახლა ისინი დაწერენ მაგარ ნერვულ ქსელებს, შექმნიან ხმოვან ასისტენტს რკინის კაცისგან, ან დაამარცხებენ ყველას ფინანსურ ბაზრებზე.
მაგრამ მუშაობა თარიღი მეცნიერი ხელმძღვანელობს მონაცემებს და ერთ-ერთი ყველაზე მნიშვნელოვანი და შრომატევადი ასპექტია მონაცემების დამუშავება ნერვულ ქსელში შეყვანამდე ან გარკვეული გზით გაანალიზებამდე.

ამ სტატიაში ჩვენი გუნდი აღწერს, თუ როგორ შეგიძლიათ სწრაფად და მარტივად დაამუშავოთ მონაცემები ნაბიჯ-ნაბიჯ ინსტრუქციებითა და კოდით. ჩვენ შევეცადეთ გაგვეკეთებინა კოდი საკმაოდ მოქნილი და შეიძლება გამოგვეყენებინა სხვადასხვა მონაცემთა ნაკრებისთვის.

ბევრმა პროფესიონალმა შეიძლება ვერ იპოვნოს რაიმე განსაკუთრებული ამ სტატიაში, მაგრამ დამწყებთათვის შეეძლებათ ისწავლონ რაიმე ახალი და ყველას, ვინც დიდი ხანია ოცნებობს ცალკეული ნოუთბუქის შექმნაზე სწრაფი და სტრუქტურირებული მონაცემთა დამუშავებისთვის, შეუძლია დააკოპიროს კოდი და დააფორმოს იგი თავისთვის, ან ჩამოტვირთეთ მზა ნოუთბუქი Github-დან.

ჩვენ მივიღეთ მონაცემთა ბაზა. რა უნდა გააკეთოს შემდეგ?

ასე რომ, სტანდარტი: უნდა გვესმოდეს, რასთან გვაქვს საქმე, საერთო სურათი. ამისათვის ჩვენ ვიყენებთ პანდებს, რათა უბრალოდ განვსაზღვროთ მონაცემთა სხვადასხვა ტიპები.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

მოდით შევხედოთ სვეტის მნიშვნელობებს:

1. შეესაბამება თუ არა თითოეულ სვეტში ხაზების რაოდენობა ხაზების მთლიან რაოდენობას?
2. რა არის მონაცემების არსი თითოეულ სვეტში?
3. რომელი სვეტი გვინდა მივმართოთ, რომ პროგნოზები გავაკეთოთ?

ამ კითხვებზე პასუხები საშუალებას მოგცემთ გაანალიზოთ მონაცემთა ნაკრები და უხეშად დახაზოთ გეგმა თქვენი შემდეგი მოქმედებებისთვის.

ასევე, თითოეული სვეტის მნიშვნელობების უფრო ღრმად სანახავად, შეგვიძლია გამოვიყენოთ pandas describe() ფუნქცია. თუმცა, ამ ფუნქციის მინუსი არის ის, რომ ის არ იძლევა ინფორმაციას სტრიქონების მნიშვნელობების მქონე სვეტების შესახებ. ჩვენ მათ მოგვიანებით შევეხებით.

df.describe()

ჯადოსნური ვიზუალიზაცია

მოდით შევხედოთ სად არ გვაქვს ღირებულებები:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

ეს იყო ზემოდან მოკლე გამოხედვა, ახლა უფრო საინტერესოზე გადავალთ

შევეცადოთ ვიპოვოთ და, თუ ეს შესაძლებელია, წავშალოთ სვეტები, რომლებსაც აქვთ მხოლოდ ერთი მნიშვნელობა ყველა მწკრივში (ისინი არანაირად არ იმოქმედებენ შედეგზე):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

ახლა ჩვენ ვიცავთ საკუთარ თავს და ჩვენი პროექტის წარმატებას დუბლიკატი ხაზებისგან (ხაზები, რომლებიც შეიცავს იმავე ინფორმაციას იმავე თანმიმდევრობით, როგორც ერთ-ერთი არსებული ხაზი):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

ჩვენ ვყოფთ მონაცემთა ნაკრებს ორად: ერთი ხარისხობრივი მნიშვნელობებით, მეორე კი რაოდენობრივი მნიშვნელობებით.

აქ მცირე განმარტება გვჭირდება: თუ ხარისხობრივ და რაოდენობრივ მონაცემებში დაკარგული მონაცემების მქონე ხაზები არ არის ერთმანეთთან ძალიან კორელირებული, მაშინ ჩვენ უნდა გადავწყვიტოთ რას შევწირავთ - ყველა სტრიქონი დაკარგული მონაცემებით, მხოლოდ მათი ნაწილი. ან გარკვეული სვეტები. თუ ხაზები კორელირებულია, მაშინ ჩვენ გვაქვს სრული უფლება გავყოთ მონაცემთა ნაკრები ორად. წინააღმდეგ შემთხვევაში, ჯერ მოგიწევთ გაუმკლავდეთ ხაზებს, რომლებიც არ აკავშირებს დაკარგული მონაცემებს ხარისხობრივად და რაოდენობრივად და მხოლოდ ამის შემდეგ გაყავით მონაცემთა ნაკრები ორად.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

ჩვენ ამას ვაკეთებთ იმისთვის, რომ გაგვიადვილდეს ამ ორი განსხვავებული ტიპის მონაცემების დამუშავება - მოგვიანებით გავიგებთ, რამდენად აადვილებს ეს ჩვენს ცხოვრებას.

ჩვენ ვმუშაობთ რაოდენობრივი მონაცემებით

პირველი, რაც უნდა გავაკეთოთ, არის იმის დადგენა, არის თუ არა „ჯაშუშური სვეტები“ რაოდენობრივ მონაცემებში. ჩვენ ამ სვეტებს ასე ვუწოდებთ, რადგან ისინი თავს წარმოადგენენ რაოდენობრივ მონაცემებად, მაგრამ მოქმედებენ როგორც თვისებრივი მონაცემები.

როგორ განვსაზღვროთ ისინი? რა თქმა უნდა, ეს ყველაფერი დამოკიდებულია თქვენს მიერ გაანალიზებული მონაცემების ბუნებაზე, მაგრამ ზოგადად ასეთ სვეტებს შეიძლება ჰქონდეს მცირე უნიკალური მონაცემები (3-10 უნიკალური მნიშვნელობის რეგიონში).

print(df_numerical.nunique())

მას შემდეგ რაც ჩვენ დავადგინეთ ჯაშუშური სვეტები, ჩვენ მათ გადავიტანთ რაოდენობრივი მონაცემებიდან ხარისხობრივ მონაცემებზე:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

საბოლოოდ, რაოდენობრივი მონაცემები ხარისხობრივი მონაცემებისგან სრულიად გამოვყავით და ახლა შეგვიძლია სწორად ვიმუშაოთ. პირველი, რაც უნდა გვესმოდეს, სად გვაქვს ცარიელი მნიშვნელობები (NaN და ზოგიერთ შემთხვევაში 0 მიიღება ცარიელ მნიშვნელობებად).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

ამ ეტაპზე, მნიშვნელოვანია გვესმოდეს, რომელ სვეტებში ნულები შეიძლება მიუთითებდეს გამოტოვებულ მნიშვნელობებზე: არის ეს იმის გამო, თუ როგორ შეგროვდა მონაცემები? ან შეიძლება იყოს დაკავშირებული მონაცემთა მნიშვნელობებთან? ამ კითხვებზე პასუხი უნდა გაეცეს თითოეულ შემთხვევაში.

ასე რომ, თუ მაინც გადავწყვიტეთ, რომ შეიძლება გვაკლდეს მონაცემები იქ, სადაც არის ნულები, ჩვენ უნდა შევცვალოთ ნულები NaN-ით, რათა მოგვიანებით გაუადვილდეს ამ დაკარგულ მონაცემებთან მუშაობა:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

ახლა ვნახოთ სად გვაკლია მონაცემები:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

აქ ის მნიშვნელობები სვეტების შიგნით, რომლებიც აკლია, უნდა იყოს მონიშნული ყვითლად. ახლა კი გართობა იწყება - როგორ გავუმკლავდეთ ამ ღირებულებებს? უნდა წავშალო რიგები ამ მნიშვნელობებით ან სვეტებით? ან შეავსეთ ეს ცარიელი მნიშვნელობები სხვა მნიშვნელობებით?

აქ არის სავარაუდო დიაგრამა, რომელიც დაგეხმარებათ გადაწყვიტოთ რა შეიძლება გაკეთდეს, პრინციპში, ცარიელი მნიშვნელობებით:

0. წაშალეთ არასაჭირო სვეტები

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. არის თუ არა ამ სვეტში ცარიელი მნიშვნელობების რაოდენობა 50%-ზე მეტი?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. წაშალეთ ხაზები ცარიელი მნიშვნელობებით

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. შემთხვევითი მნიშვნელობის ჩასმა

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. მუდმივი მნიშვნელობის ჩასმა

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. ჩადეთ საშუალო ან ყველაზე ხშირი მნიშვნელობა

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. ჩადეთ სხვა მოდელის მიერ გამოთვლილი მნიშვნელობა

ზოგჯერ მნიშვნელობები შეიძლება გამოითვალოს რეგრესიის მოდელების გამოყენებით sklearn ბიბლიოთეკის ან სხვა მსგავსი ბიბლიოთეკების მოდელების გამოყენებით. ჩვენი გუნდი დაუთმობს ცალკე სტატიას, თუ როგორ შეიძლება ამის გაკეთება უახლოეს მომავალში.

ასე რომ, ჯერჯერობით, რაოდენობრივი მონაცემების შესახებ თხრობა შეწყდება, რადგან არსებობს მრავალი სხვა ნიუანსი იმის შესახებ, თუ როგორ უკეთესად გავაკეთოთ მონაცემების მომზადება და წინასწარი დამუშავება სხვადასხვა ამოცანებისთვის, და რაოდენობრივი მონაცემების ძირითადი საკითხები გათვალისწინებულია ამ სტატიაში, და ახლა დროა დავუბრუნდეთ ხარისხობრივ მონაცემებს, რომლებიც რაოდენობრივიდან რამდენიმე ნაბიჯით უკან გამოვყავით. თქვენ შეგიძლიათ შეცვალოთ ეს ნოუთბუქი, როგორც გსურთ, მოარგეთ იგი სხვადასხვა ამოცანებს, რათა მონაცემთა წინასწარი დამუშავება ძალიან სწრაფად წავიდეს!

ხარისხობრივი მონაცემები

ძირითადად, თვისებრივი მონაცემებისთვის გამოიყენება One-hot-encoding მეთოდი, რათა მოხდეს მისი ფორმატირება სტრიქონიდან (ან ობიექტიდან) რიცხვამდე. სანამ ამ პუნქტზე გადავიდოდეთ, მოდით გამოვიყენოთ ზემოთ მოცემული დიაგრამა და კოდი ცარიელ მნიშვნელობებთან გასამკლავებლად.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. წაშალეთ არასაჭირო სვეტები

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. არის თუ არა ამ სვეტში ცარიელი მნიშვნელობების რაოდენობა 50%-ზე მეტი?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. წაშალეთ ხაზები ცარიელი მნიშვნელობებით

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. შემთხვევითი მნიშვნელობის ჩასმა

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. მუდმივი მნიშვნელობის ჩასმა

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

ასე რომ, ჩვენ საბოლოოდ მივიღეთ სახელური ნულოვანი ხარისხობრივი მონაცემებით. ახლა დროა შეასრულოთ ერთჯერადი კოდირება იმ მნიშვნელობებზე, რომლებიც თქვენს მონაცემთა ბაზაშია. ეს მეთოდი ძალიან ხშირად გამოიყენება იმის უზრუნველსაყოფად, რომ თქვენს ალგორითმს შეუძლია ისწავლოს მაღალი ხარისხის მონაცემებიდან.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

ასე რომ, ჩვენ საბოლოოდ დავასრულეთ ცალკეული ხარისხობრივი და რაოდენობრივი მონაცემების დამუშავება - დროა გავაერთიანოთ ისინი

new_df = pd.concat([df_numerical,df_categorical], axis=1)

მას შემდეგ, რაც ჩვენ გავაერთიანეთ მონაცემთა ნაკრები ერთში, ჩვენ საბოლოოდ შეგვიძლია გამოვიყენოთ მონაცემთა ტრანსფორმაცია MinMaxScaler-ის გამოყენებით sklearn ბიბლიოთეკიდან. ეს გახდის ჩვენს მნიშვნელობებს 0-სა და 1-ს შორის, რაც დაგეხმარებათ მომავალში მოდელის მომზადებაში.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

ეს მონაცემები ახლა მზად არის ყველაფრისთვის - ნერვული ქსელები, სტანდარტული ML ალგორითმები და ა.შ.!

ამ სტატიაში ჩვენ არ გავითვალისწინეთ დროის სერიების მონაცემებთან მუშაობა, რადგან ასეთი მონაცემებისთვის თქვენ უნდა გამოიყენოთ ოდნავ განსხვავებული დამუშავების ტექნიკა, თქვენი დავალების მიხედვით. სამომავლოდ ჩვენი გუნდი ცალკე სტატიას დაუთმობს ამ თემას და ვიმედოვნებთ, რომ ის შეძლებს თქვენს ცხოვრებაში რაიმე საინტერესო, ახალი და სასარგებლო შემოიტანოს, ისევე როგორც ეს.

წყარო: www.habr.com