សន្លឹកបន្លំ Notepad សម្រាប់ដំណើរការទិន្នន័យលឿន

ជារឿយៗមនុស្សដែលចូលទៅក្នុងវិស័យវិទ្យាសាស្ត្រទិន្នន័យមានតិចជាងការរំពឹងទុកជាក់ស្តែងនៃអ្វីដែលកំពុងរង់ចាំពួកគេ។ មនុស្សជាច្រើនគិតថាឥឡូវនេះពួកគេនឹងសរសេរបណ្តាញសរសៃប្រសាទត្រជាក់ បង្កើតជំនួយការសំឡេងពី Iron Man ឬវាយអ្នកគ្រប់គ្នានៅក្នុងទីផ្សារហិរញ្ញវត្ថុ។
ប៉ុន្តែធ្វើការ ទិន្នន័យ អ្នកវិទ្យាសាស្ត្រត្រូវបានជំរុញដោយទិន្នន័យ ហើយទិដ្ឋភាពដ៏សំខាន់បំផុត និងប្រើប្រាស់ពេលវេលាមួយគឺដំណើរការទិន្នន័យមុនពេលបញ្ចូលវាទៅក្នុងបណ្តាញសរសៃប្រសាទ ឬវិភាគវាតាមវិធីជាក់លាក់មួយ។

នៅក្នុងអត្ថបទនេះ ក្រុមការងាររបស់យើងនឹងរៀបរាប់ពីរបៀបដែលអ្នកអាចដំណើរការទិន្នន័យបានយ៉ាងរហ័ស និងងាយស្រួលជាមួយនឹងការណែនាំ និងលេខកូដជាជំហានៗ។ យើងបានព្យាយាមធ្វើឱ្យកូដមានភាពបត់បែន និងអាចប្រើសម្រាប់សំណុំទិន្នន័យផ្សេងៗគ្នា។

អ្នកជំនាញជាច្រើនប្រហែលជាមិនរកឃើញអ្វីដែលមិនធម្មតានៅក្នុងអត្ថបទនេះទេ ប៉ុន្តែអ្នកចាប់ផ្តើមដំបូងនឹងអាចរៀនអ្វីថ្មី ហើយអ្នកណាដែលសុបិនចង់បង្កើតសៀវភៅកត់ត្រាដាច់ដោយឡែកមួយសម្រាប់ដំណើរការទិន្នន័យលឿន និងមានរចនាសម្ព័ន្ធអាចចម្លងកូដ និងធ្វើទ្រង់ទ្រាយសម្រាប់ខ្លួនគេ ឬ ទាញយកសៀវភៅកត់ត្រាដែលបានបញ្ចប់ពី Github ។

យើងបានទទួលសំណុំទិន្នន័យ។ អ្វីដែលត្រូវធ្វើបន្ទាប់?

ដូច្នេះ ស្តង់ដារ៖ យើងត្រូវយល់ពីអ្វីដែលយើងកំពុងដោះស្រាយ ជារូបភាពរួម។ ដើម្បីធ្វើដូចនេះយើងប្រើផេនដាដើម្បីកំណត់ប្រភេទទិន្នន័យផ្សេងៗគ្នា។

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

តោះមើលតម្លៃជួរឈរ៖

1. តើ​ចំនួន​បន្ទាត់​ក្នុង​ជួរ​ឈរ​នីមួយៗ​ត្រូវ​នឹង​ចំនួន​បន្ទាត់​សរុប​ដែរ​ឬ​ទេ?
2. តើអ្វីជាខ្លឹមសារនៃទិន្នន័យនៅក្នុងជួរឈរនីមួយៗ?
3. តើជួរឈរមួយណាដែលយើងចង់កំណត់គោលដៅ ដើម្បីធ្វើការព្យាករណ៍សម្រាប់វា?

ចម្លើយចំពោះសំណួរទាំងនេះនឹងអនុញ្ញាតឱ្យអ្នកវិភាគសំណុំទិន្នន័យ និងគូរផែនការសម្រាប់សកម្មភាពបន្ទាប់របស់អ្នក។

ដូចគ្នានេះផងដែរ សម្រាប់ការមើលឱ្យកាន់តែស៊ីជម្រៅអំពីតម្លៃនៅក្នុងជួរឈរនីមួយៗ យើងអាចប្រើមុខងារ pandas describe() ។ ទោះយ៉ាងណាក៏ដោយ គុណវិបត្តិនៃមុខងារនេះគឺថាវាមិនផ្តល់ព័ត៌មានអំពីជួរឈរដែលមានតម្លៃខ្សែអក្សរទេ។ យើងនឹងដោះស្រាយជាមួយពួកគេនៅពេលក្រោយ។

df.describe()

ការមើលឃើញវេទមន្ត

តោះមើលកន្លែងដែលយើងគ្មានតម្លៃទាំងអស់គ្នា៖

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

នេះជាទិដ្ឋភាពខ្លីៗពីខាងលើ ឥឡូវនេះយើងនឹងបន្តទៅអ្វីដែលគួរឱ្យចាប់អារម្មណ៍បន្ថែមទៀត

ចូរយើងព្យាយាមស្វែងរក ហើយប្រសិនបើអាចធ្វើបាន សូមដកជួរឈរដែលមានតម្លៃតែមួយនៅក្នុងជួរទាំងអស់ចេញ (ពួកវានឹងមិនប៉ះពាល់ដល់លទ្ធផលតាមមធ្យោបាយណាមួយឡើយ)៖

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

ឥឡូវនេះ យើងការពារខ្លួនយើង និងភាពជោគជ័យនៃគម្រោងរបស់យើងពីបន្ទាត់ស្ទួន (បន្ទាត់ដែលមានព័ត៌មានដូចគ្នាក្នុងលំដាប់ដូចគ្នាជាមួយនឹងបន្ទាត់ដែលមានស្រាប់មួយ)៖

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

យើងបែងចែកសំណុំទិន្នន័យជាពីរ៖ មួយមានតម្លៃគុណភាព និងមួយទៀតមានបរិមាណ

នៅទីនេះយើងត្រូវធ្វើការបញ្ជាក់តូចមួយ៖ ប្រសិនបើបន្ទាត់ដែលមានទិន្នន័យបាត់ក្នុងទិន្នន័យគុណភាព និងបរិមាណមិនមានទំនាក់ទំនងគ្នាខ្លាំងទេ នោះយើងនឹងត្រូវសម្រេចចិត្តថាតើយើងលះបង់អ្វីខ្លះ - បន្ទាត់ទាំងអស់ដែលមានទិន្នន័យបាត់មានតែផ្នែកខ្លះនៃពួកគេ។ ឬជួរឈរជាក់លាក់។ ប្រសិនបើបន្ទាត់មានទំនាក់ទំនងគ្នា នោះយើងមានសិទ្ធិទាំងអស់ក្នុងការបែងចែកសំណុំទិន្នន័យជាពីរ។ បើមិនដូច្នេះទេ ដំបូងអ្នកនឹងត្រូវដោះស្រាយជាមួយបន្ទាត់ដែលមិនទាក់ទងទិន្នន័យដែលបាត់ក្នុងគុណភាព និងបរិមាណ ហើយមានតែបន្ទាប់មកបែងចែកសំណុំទិន្នន័យជាពីរ។

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

យើងធ្វើនេះដើម្បីធ្វើឱ្យវាកាន់តែងាយស្រួលសម្រាប់យើងក្នុងការដំណើរការទិន្នន័យពីរប្រភេទផ្សេងគ្នានេះ - នៅពេលក្រោយយើងនឹងយល់ថាវាកាន់តែងាយស្រួលសម្រាប់ជីវិតរបស់យើង។

យើងធ្វើការជាមួយទិន្នន័យបរិមាណ

រឿងដំបូងដែលយើងគួរធ្វើគឺកំណត់ថាតើមាន "ជួរឈរចារកម្ម" នៅក្នុងទិន្នន័យបរិមាណ។ យើងហៅជួរឈរទាំងនេះថា ដោយសារតែពួកវាបង្ហាញខ្លួនឯងថាជាទិន្នន័យបរិមាណ ប៉ុន្តែដើរតួជាទិន្នន័យគុណភាព។

តើយើងអាចកំណត់អត្តសញ្ញាណពួកគេដោយរបៀបណា? ជាការពិតណាស់ វាទាំងអស់គឺអាស្រ័យលើធម្មជាតិនៃទិន្នន័យដែលអ្នកកំពុងវិភាគ ប៉ុន្តែជាទូទៅជួរឈរបែបនេះអាចមានទិន្នន័យតែមួយគត់តិចតួច (នៅក្នុងតំបន់នៃតម្លៃពិសេស 3-10)។

print(df_numerical.nunique())

នៅពេលដែលយើងកំណត់អត្តសញ្ញាណជួរឈរចារកម្ម យើងនឹងផ្លាស់ទីពួកវាពីទិន្នន័យបរិមាណទៅជាទិន្នន័យគុណភាព៖

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

ទីបំផុត យើងបានបំបែកទិន្នន័យបរិមាណទាំងស្រុងពីទិន្នន័យគុណភាព ហើយឥឡូវនេះយើងអាចធ្វើការជាមួយវាបានត្រឹមត្រូវ។ រឿងដំបូងគឺត្រូវយល់ពីកន្លែងដែលយើងមានតម្លៃទទេ (NaN ហើយក្នុងករណីខ្លះ 0 នឹងត្រូវបានទទួលយកជាតម្លៃទទេ) ។

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

នៅចំណុចនេះ វាជារឿងសំខាន់ក្នុងការយល់ដឹងថាតើលេខសូន្យមួយណាអាចបង្ហាញពីតម្លៃដែលបាត់៖ តើនេះមកពីរបៀបដែលទិន្នន័យត្រូវបានប្រមូល? ឬវាអាចទាក់ទងនឹងតម្លៃទិន្នន័យ? សំណួរទាំងនេះត្រូវតែឆ្លើយតាមករណីនីមួយៗ។

ដូច្នេះ ប្រសិនបើយើងនៅតែសម្រេចចិត្តថាយើងអាចនឹងបាត់ទិន្នន័យដែលមានលេខសូន្យ នោះយើងគួរតែជំនួសលេខសូន្យដោយ NaN ដើម្បីធ្វើឱ្យវាកាន់តែងាយស្រួលក្នុងការធ្វើការជាមួយទិន្នន័យដែលបាត់បង់នេះនៅពេលក្រោយ៖

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

ឥឡូវនេះសូមមើលកន្លែងដែលយើងបាត់ទិន្នន័យ៖

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

នៅទីនេះតម្លៃទាំងនោះនៅខាងក្នុងជួរឈរដែលបាត់គួរតែត្រូវបានសម្គាល់ជាពណ៌លឿង។ ហើយឥឡូវនេះភាពសប្បាយរីករាយចាប់ផ្តើម - របៀបដោះស្រាយជាមួយនឹងតម្លៃទាំងនេះ? តើខ្ញុំគួរលុបជួរដេកជាមួយនឹងតម្លៃ ឬជួរឈរទាំងនេះទេ? ឬបំពេញតម្លៃទទេទាំងនេះជាមួយនឹងតម្លៃផ្សេងទៀត?

នេះគឺជាដ្យាក្រាមប្រហាក់ប្រហែលដែលអាចជួយអ្នកក្នុងការសម្រេចចិត្តថាជាគោលការណ៍អ្វីដែលអាចធ្វើបានជាមួយនឹងតម្លៃទទេ៖

0. យកជួរឈរដែលមិនចាំបាច់ចេញ

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. តើចំនួននៃតម្លៃទទេនៅក្នុងជួរឈរនេះធំជាង 50% ដែរឬទេ?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. លុបបន្ទាត់ដែលមានតម្លៃទទេ

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

៣.១. ការបញ្ចូលតម្លៃចៃដន្យ

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

៣.២. ការបញ្ចូលតម្លៃថេរ

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

៣.៣. បញ្ចូលតម្លៃមធ្យម ឬញឹកញាប់បំផុត។

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

៣.៤. បញ្ចូលតម្លៃដែលបានគណនាដោយគំរូផ្សេងទៀត។

ជួនកាលតម្លៃអាចត្រូវបានគណនាដោយប្រើគំរូតំរែតំរង់ដោយប្រើគំរូពីបណ្ណាល័យ sklearn ឬបណ្ណាល័យស្រដៀងគ្នាផ្សេងទៀត។ ក្រុមការងាររបស់យើងនឹងលះបង់អត្ថបទដាច់ដោយឡែកមួយអំពីរបៀបដែលវាអាចធ្វើបាននាពេលខាងមុខនេះ។

ដូច្នេះហើយ សម្រាប់ពេលនេះ ការនិទានរឿងអំពីទិន្នន័យបរិមាណនឹងត្រូវបានរំខាន ព្រោះវាមានភាពខុសប្លែកគ្នាជាច្រើនទៀតអំពីរបៀបរៀបចំទិន្នន័យ និងដំណើរការជាមុនសម្រាប់កិច្ចការផ្សេងៗបានប្រសើរជាងមុន ហើយរឿងជាមូលដ្ឋានសម្រាប់ទិន្នន័យបរិមាណត្រូវបានគេយកមកពិចារណានៅក្នុងអត្ថបទនេះ ហើយ ឥឡូវនេះគឺជាពេលវេលាដើម្បីត្រឡប់ទៅទិន្នន័យគុណភាពដែលយើងបានបំបែកជំហានជាច្រើនត្រឡប់មកវិញពីបរិមាណ។ អ្នកអាចផ្លាស់ប្តូរសៀវភៅកត់ត្រានេះតាមដែលអ្នកចង់បាន ដោយសម្របវាទៅនឹងកិច្ចការផ្សេងៗ ដូច្នេះការដំណើរការទិន្នន័យជាមុនដំណើរការលឿនណាស់!

ទិន្នន័យគុណភាព

ជាមូលដ្ឋានសម្រាប់ទិន្នន័យគុណភាព វិធីសាស្ត្រ One-hot-encoding ត្រូវបានប្រើដើម្បីធ្វើទ្រង់ទ្រាយវាពីខ្សែអក្សរ (ឬវត្ថុ) ទៅលេខមួយ។ មុននឹងបន្តទៅចំណុចនេះ ចូរយើងប្រើដ្យាក្រាម និងកូដខាងលើ ដើម្បីដោះស្រាយជាមួយតម្លៃទទេ។

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. យកជួរឈរដែលមិនចាំបាច់ចេញ

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. តើចំនួននៃតម្លៃទទេនៅក្នុងជួរឈរនេះធំជាង 50% ដែរឬទេ?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. លុបបន្ទាត់ដែលមានតម្លៃទទេ

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

៣.១. ការបញ្ចូលតម្លៃចៃដន្យ

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

៣.២. ការបញ្ចូលតម្លៃថេរ

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

ដូច្នេះ ទីបំផុត​យើង​ទទួលបាន​ចំណុច​ដោះស្រាយ​លើ​ការចាត់ទុកជាមោឃៈ​ក្នុង​ទិន្នន័យ​គុណភាព។ ឥឡូវនេះវាដល់ពេលហើយដើម្បីអនុវត្តការអ៊ិនកូដក្តៅមួយលើតម្លៃដែលមាននៅក្នុងមូលដ្ឋានទិន្នន័យរបស់អ្នក។ វិធីសាស្រ្តនេះត្រូវបានគេប្រើជាញឹកញាប់ដើម្បីធានាថា algorithm របស់អ្នកអាចរៀនពីទិន្នន័យដែលមានគុណភាពខ្ពស់។

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

ដូច្នេះ ទីបំផុត យើងបានបញ្ចប់ការដំណើរការទិន្នន័យគុណភាព និងបរិមាណដាច់ដោយឡែកពីគ្នា ដល់ពេលដែលត្រូវបញ្ចូលពួកវាមកវិញ

new_df = pd.concat([df_numerical,df_categorical], axis=1)

បន្ទាប់​ពី​យើង​បាន​បញ្ចូល​សំណុំ​ទិន្នន័យ​ចូល​គ្នា​ជា​មួយ​ហើយ ទីបំផុត​យើង​អាច​ប្រើ​ការ​បំប្លែង​ទិន្នន័យ​ដោយ​ប្រើ MinMaxScaler ពី​បណ្ណាល័យ sklearn។ នេះនឹងធ្វើឱ្យតម្លៃរបស់យើងនៅចន្លោះ 0 និង 1 ដែលនឹងជួយនៅពេលបណ្តុះបណ្តាលគំរូនាពេលអនាគត។

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

ឥឡូវនេះទិន្នន័យនេះគឺរួចរាល់សម្រាប់អ្វីទាំងអស់ - បណ្តាញសរសៃប្រសាទ ស្តង់ដារ ML algorithms ។ល។

នៅក្នុងអត្ថបទនេះ យើងមិនបានគិតពីការធ្វើការជាមួយទិន្នន័យស៊េរីពេលវេលាទេ ព្រោះសម្រាប់ទិន្នន័យបែបនេះ អ្នកគួរប្រើបច្ចេកទេសដំណើរការខុសគ្នាបន្តិចបន្តួច អាស្រ័យលើកិច្ចការរបស់អ្នក។ នៅពេលអនាគត ក្រុមការងាររបស់យើងនឹងលើកយកអត្ថបទដាច់ដោយឡែកមួយចំពោះប្រធានបទនេះ ហើយយើងសង្ឃឹមថាវានឹងអាចនាំមកនូវអ្វីដែលគួរឱ្យចាប់អារម្មណ៍ ថ្មី និងមានប្រយោជន៍ក្នុងជីវិតរបស់អ្នក ដូចអត្ថបទមួយនេះ។

ប្រភព: www.habr.com