Notepad-cheat sheet ສໍາລັບການປະມວນຜົນຂໍ້ມູນໄວ

ເລື້ອຍໆຄົນທີ່ເຂົ້າມາໃນຂົງເຂດວິທະຍາສາດຂໍ້ມູນມີຄວາມຄາດຫວັງຫນ້ອຍກວ່າຄວາມເປັນຈິງຂອງສິ່ງທີ່ລໍຖ້າພວກເຂົາ. ຫຼາຍຄົນຄິດວ່າໃນປັດຈຸບັນພວກເຂົາຈະຂຽນເຄືອຂ່າຍ neural ເຢັນ, ສ້າງຜູ້ຊ່ວຍສຽງຈາກ Iron Man, ຫຼືຕີທຸກຄົນໃນຕະຫຼາດການເງິນ.
ແຕ່ເຮັດວຽກ ຂໍ້ມູນ ນັກວິທະຍາສາດແມ່ນອີງໃສ່ຂໍ້ມູນ, ແລະຫນຶ່ງໃນລັກສະນະທີ່ສໍາຄັນທີ່ສຸດແລະໃຊ້ເວລາຫຼາຍແມ່ນການປຸງແຕ່ງຂໍ້ມູນກ່ອນທີ່ຈະໃຫ້ມັນເຂົ້າໄປໃນເຄືອຂ່າຍ neural ຫຼືການວິເຄາະມັນໃນທາງທີ່ແນ່ນອນ.

ໃນບົດຄວາມນີ້, ທີມງານຂອງພວກເຮົາຈະອະທິບາຍວິທີທີ່ທ່ານສາມາດປະມວນຜົນຂໍ້ມູນໄດ້ໄວແລະງ່າຍດາຍດ້ວຍຄໍາແນະນໍາຂັ້ນຕອນແລະລະຫັດ. ພວກ​ເຮົາ​ພະ​ຍາ​ຍາມ​ທີ່​ຈະ​ເຮັດ​ໃຫ້​ລະ​ຫັດ​ທີ່​ຂ້ອນ​ຂ້າງ​ປ່ຽນ​ແປງ​ໄດ້​ແລະ​ສາ​ມາດ​ນໍາ​ໃຊ້​ສໍາ​ລັບ​ຊຸດ​ຂໍ້​ມູນ​ທີ່​ແຕກ​ຕ່າງ​ກັນ​.

ຜູ້ຊ່ຽວຊານຫຼາຍຄົນອາດຈະບໍ່ພົບສິ່ງທີ່ພິເສດໃນບົດຄວາມນີ້, ແຕ່ຜູ້ເລີ່ມຕົ້ນຈະສາມາດຮຽນຮູ້ສິ່ງໃຫມ່ໄດ້, ແລະຜູ້ທີ່ເຄີຍຝັນຢາກສ້າງປື້ມບັນທຶກແຍກຕ່າງຫາກສໍາລັບການປຸງແຕ່ງຂໍ້ມູນໄວແລະມີໂຄງສ້າງສາມາດຄັດລອກລະຫັດແລະຈັດຮູບແບບສໍາລັບຕົວເອງ, ຫຼື. ດາວໂຫລດປື້ມບັນທຶກສໍາເລັດຮູບຈາກ Github.

ພວກເຮົາໄດ້ຮັບຊຸດຂໍ້ມູນ. ຈະເຮັດແນວໃດຕໍ່ໄປ?

ດັ່ງນັ້ນ, ມາດຕະຖານ: ພວກເຮົາຈໍາເປັນຕ້ອງເຂົ້າໃຈສິ່ງທີ່ພວກເຮົາກໍາລັງຈັດການກັບ, ພາບລວມ. ເພື່ອເຮັດສິ່ງນີ້, ພວກເຮົາໃຊ້ pandas ເພື່ອກໍານົດປະເພດຂໍ້ມູນທີ່ແຕກຕ່າງກັນ.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

ມາເບິ່ງຄ່າຂອງຖັນ:

1. ຈໍານວນແຖວໃນແຕ່ລະຖັນກົງກັນກັບຈໍານວນເສັ້ນທັງໝົດບໍ?
2. ເນື້ອໃນຂອງຂໍ້ມູນໃນແຕ່ລະຖັນແມ່ນຫຍັງ?
3. ຖັນໃດທີ່ເຮົາຕ້ອງການຕັ້ງເປົ້າໝາຍເພື່ອເຮັດການຄາດເດົາ?

ຄໍາຕອບຂອງຄໍາຖາມເຫຼົ່ານີ້ຈະຊ່ວຍໃຫ້ທ່ານສາມາດວິເຄາະຊຸດຂໍ້ມູນແລະປະມານການວາງແຜນການດໍາເນີນການຕໍ່ໄປຂອງທ່ານ.

ນອກຈາກນັ້ນ, ສໍາລັບການເບິ່ງເລິກກ່ຽວກັບຄ່າໃນແຕ່ລະຄໍລໍາ, ພວກເຮົາສາມາດໃຊ້ຫນ້າທີ່ pandas describe() ໄດ້. ຢ່າງໃດກໍຕາມ, ຂໍ້ເສຍຂອງຟັງຊັນນີ້ແມ່ນວ່າມັນບໍ່ໃຫ້ຂໍ້ມູນກ່ຽວກັບຄໍລໍາທີ່ມີຄ່າສະຕຣິງ. ພວກເຮົາຈະຈັດການກັບພວກມັນພາຍຫຼັງ.

df.describe()

ການເບິ່ງເຫັນ magic

ໃຫ້ເບິ່ງບ່ອນທີ່ພວກເຮົາບໍ່ມີຄ່າທັງຫມົດ:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

ນີ້ແມ່ນການເບິ່ງສັ້ນໆຈາກຂ້າງເທິງ, ຕອນນີ້ພວກເຮົາຈະກ້າວໄປສູ່ສິ່ງທີ່ຫນ້າສົນໃຈຫຼາຍ

ໃຫ້ພະຍາຍາມຊອກຫາແລະ, ຖ້າເປັນໄປໄດ້, ເອົາຄໍລໍາທີ່ມີຄ່າດຽວໃນແຖວທັງຫມົດ (ພວກມັນຈະບໍ່ມີຜົນກະທົບຕໍ່ຜົນໄດ້ຮັບໃນທາງໃດກໍ່ຕາມ):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

ໃນປັດຈຸບັນພວກເຮົາປົກປ້ອງຕົວເຮົາເອງແລະຄວາມສໍາເລັດຂອງໂຄງການຂອງພວກເຮົາຈາກສາຍທີ່ຊ້ໍາກັນ (ສາຍທີ່ມີຂໍ້ມູນດຽວກັນຢູ່ໃນລໍາດັບດຽວກັນກັບຫນຶ່ງໃນສາຍທີ່ມີຢູ່ແລ້ວ):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

ພວກ​ເຮົາ​ແບ່ງ​ຊຸດ​ຂໍ້​ມູນ​ອອກ​ເປັນ​ສອງ​: ຫນຶ່ງ​ທີ່​ມີ​ຄຸນ​ນະ​ພາບ​, ແລະ​ອື່ນໆ​ທີ່​ມີ​ປະ​ລິ​ມານ​.

ໃນທີ່ນີ້ພວກເຮົາຕ້ອງການຄວາມກະຈ່າງແຈ້ງເລັກນ້ອຍ: ຖ້າສາຍທີ່ມີຂໍ້ມູນທີ່ຂາດຫາຍໄປໃນຂໍ້ມູນທີ່ມີຄຸນນະພາບແລະປະລິມານບໍ່ກ່ຽວຂ້ອງກັນຫຼາຍ, ພວກເຮົາຈະຕ້ອງຕັດສິນໃຈວ່າພວກເຮົາເສຍສະລະ - ທຸກສາຍທີ່ມີຂໍ້ມູນທີ່ຂາດຫາຍໄປ, ພຽງແຕ່ສ່ວນຫນຶ່ງຂອງພວກມັນ, ຫຼືຄໍລໍາທີ່ແນ່ນອນ. ຖ້າສາຍມີຄວາມກ່ຽວຂ້ອງກັນ, ພວກເຮົາມີສິດທີ່ຈະແບ່ງຊຸດຂໍ້ມູນອອກເປັນສອງຢ່າງ. ຖ້າບໍ່ດັ່ງນັ້ນ, ກ່ອນອື່ນ ໝົດ, ທ່ານ ຈຳ ເປັນຕ້ອງຈັດການກັບສາຍທີ່ບໍ່ກ່ຽວຂ້ອງກັບຂໍ້ມູນທີ່ຂາດຫາຍໄປໃນດ້ານຄຸນນະພາບແລະປະລິມານ, ແລະຫຼັງຈາກນັ້ນແບ່ງຊຸດຂໍ້ມູນອອກເປັນສອງຢ່າງ.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

ພວກເຮົາເຮັດສິ່ງນີ້ເພື່ອເຮັດໃຫ້ມັນງ່າຍຂຶ້ນສໍາລັບພວກເຮົາທີ່ຈະປະມວນຜົນຂໍ້ມູນສອງປະເພດນີ້ - ຕໍ່ມາພວກເຮົາຈະເຂົ້າໃຈວິທີການນີ້ເຮັດໃຫ້ຊີວິດຂອງພວກເຮົາງ່າຍຂຶ້ນ.

ພວກເຮົາເຮັດວຽກກັບຂໍ້ມູນປະລິມານ

ສິ່ງທໍາອິດທີ່ພວກເຮົາຄວນເຮັດແມ່ນກໍານົດວ່າມີ "ຖັນ spy" ໃນຂໍ້ມູນປະລິມານ. ພວກເຮົາເອີ້ນຄໍລໍາເຫຼົ່ານີ້ວ່າຍ້ອນວ່າພວກເຂົານໍາສະເຫນີຕົວເອງເປັນຂໍ້ມູນປະລິມານ, ແຕ່ເຮັດຫນ້າທີ່ເປັນຂໍ້ມູນທີ່ມີຄຸນນະພາບ.

ພວກເຮົາສາມາດລະບຸພວກມັນໄດ້ແນວໃດ? ແນ່ນອນ, ມັນທັງຫມົດແມ່ນຂຶ້ນກັບລັກສະນະຂອງຂໍ້ມູນທີ່ທ່ານກໍາລັງວິເຄາະ, ແຕ່ໂດຍທົ່ວໄປຄໍລໍາດັ່ງກ່າວອາດຈະມີຂໍ້ມູນທີ່ບໍ່ຊ້ໍາກັນຫນ້ອຍ (ໃນພາກພື້ນຂອງ 3-10 ມູນຄ່າທີ່ເປັນເອກະລັກ).

print(df_numerical.nunique())

ເມື່ອພວກເຮົາໄດ້ກໍານົດຖັນ spy, ພວກເຮົາຈະຍ້າຍພວກເຂົາຈາກຂໍ້ມູນປະລິມານໄປຫາຂໍ້ມູນທີ່ມີຄຸນນະພາບ:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

ສຸດທ້າຍ, ພວກເຮົາໄດ້ແຍກຂໍ້ມູນປະລິມານຢ່າງສົມບູນອອກຈາກຂໍ້ມູນທີ່ມີຄຸນນະພາບແລະໃນປັດຈຸບັນພວກເຮົາສາມາດເຮັດວຽກກັບມັນໄດ້ຢ່າງຖືກຕ້ອງ. ທໍາອິດ, ພວກເຮົາຈໍາເປັນຕ້ອງເຂົ້າໃຈບ່ອນທີ່ພວກເຮົາມີມູນຄ່າເປົ່າ (NaN ແລະໃນບາງກໍລະນີ 0 ຈະຖືກຍອມຮັບເປັນຄ່າຫວ່າງເປົ່າ).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

ໃນຈຸດນີ້, ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະເຂົ້າໃຈວ່າຄໍລໍາສູນອາດຈະຊີ້ບອກເຖິງຄ່າທີ່ຂາດຫາຍໄປ: ນີ້ແມ່ນຍ້ອນວິທີການເກັບກໍາຂໍ້ມູນ? ຫຼືມັນອາດຈະກ່ຽວຂ້ອງກັບຄ່າຂໍ້ມູນ? ຄໍາຖາມເຫຼົ່ານີ້ຕ້ອງໄດ້ຮັບການຕອບເປັນກໍລະນີ.

ດັ່ງນັ້ນ, ຖ້າພວກເຮົາຍັງຕັດສິນໃຈວ່າພວກເຮົາອາດຈະຂາດຂໍ້ມູນບ່ອນທີ່ມີສູນ, ພວກເຮົາຄວນທົດແທນສູນດ້ວຍ NaN ເພື່ອເຮັດໃຫ້ມັນງ່າຍຕໍ່ການເຮັດວຽກກັບຂໍ້ມູນທີ່ສູນເສຍໃນພາຍຫຼັງ:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

ຕອນນີ້ໃຫ້ເບິ່ງບ່ອນທີ່ພວກເຮົາຂາດຂໍ້ມູນ:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

ໃນທີ່ນີ້ຄ່າເຫຼົ່ານັ້ນພາຍໃນຖັນທີ່ຂາດຫາຍໄປຄວນຈະຖືກຫມາຍເປັນສີເຫຼືອງ. ແລະໃນປັດຈຸບັນຄວາມມ່ວນເລີ່ມຕົ້ນ - ວິທີການຈັດການກັບຄຸນຄ່າເຫຼົ່ານີ້? ຂ້ອຍຄວນລຶບແຖວທີ່ມີຄ່າຫຼືຄໍລໍາເຫຼົ່ານີ້ບໍ? ຫຼືຕື່ມມູນຄ່າຫວ່າງເປົ່າເຫຼົ່ານີ້ກັບບາງອັນອື່ນ?

ນີ້ແມ່ນແຜນວາດໂດຍປະມານທີ່ສາມາດຊ່ວຍໃຫ້ທ່ານຕັດສິນໃຈວ່າສິ່ງທີ່ສາມາດເຮັດໄດ້, ໃນຫຼັກການ, ສາມາດເຮັດໄດ້ດ້ວຍຄ່າຫວ່າງເປົ່າ:

0. ເອົາຖັນທີ່ບໍ່ຈໍາເປັນອອກ

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. ຈໍານວນຄ່າຫວ່າງເປົ່າຢູ່ໃນຖັນນີ້ສູງກວ່າ 50% ບໍ?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. ລຶບເສັ້ນທີ່ມີຄ່າຫວ່າງເປົ່າ

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. ການໃສ່ຄ່າສຸ່ມ

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. ການໃສ່ຄ່າຄົງທີ່

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. ໃສ່ຄ່າສະເລ່ຍຫຼືເລື້ອຍໆທີ່ສຸດ

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. ໃສ່ຄ່າທີ່ຄິດໄລ່ໂດຍຕົວແບບອື່ນ

ບາງຄັ້ງຄ່າສາມາດຖືກຄິດໄລ່ໂດຍໃຊ້ຕົວແບບ regression ໂດຍໃຊ້ຕົວແບບຈາກຫ້ອງສະຫມຸດ sklearn ຫຼືຫ້ອງສະຫມຸດທີ່ຄ້າຍຄືກັນອື່ນໆ. ທີມງານຂອງພວກເຮົາຈະອຸທິດບົດຄວາມແຍກຕ່າງຫາກກ່ຽວກັບວິທີການນີ້ສາມາດເຮັດໄດ້ໃນອະນາຄົດອັນໃກ້ນີ້.

ດັ່ງນັ້ນ, ສໍາລັບໃນປັດຈຸບັນ, ການບັນຍາຍກ່ຽວກັບຂໍ້ມູນປະລິມານຈະຂັດຂວາງ, ເນື່ອງຈາກວ່າມີຫຼາຍ nuances ອື່ນໆກ່ຽວກັບວິທີການທີ່ດີກວ່າການກະກຽມຂໍ້ມູນແລະການປຸງແຕ່ງສໍາລັບວຽກງານທີ່ແຕກຕ່າງກັນ, ແລະສິ່ງພື້ນຖານສໍາລັບຂໍ້ມູນປະລິມານໄດ້ຖືກພິຈາລະນາໃນບົດຄວາມນີ້, ແລະ. ໃນປັດຈຸບັນແມ່ນເວລາທີ່ຈະກັບຄືນໄປຫາຂໍ້ມູນທີ່ມີຄຸນນະພາບທີ່ພວກເຮົາໄດ້ແຍກອອກຫຼາຍຂັ້ນຕອນກັບຄືນໄປບ່ອນຈາກປະລິມານ. ທ່ານ​ສາ​ມາດ​ປ່ຽນ​ປື້ມ​ບັນ​ທຶກ​ນີ້​ຕາມ​ທີ່​ທ່ານ​ກະ​ລຸ​ນາ​, ປັບ​ມັນ​ກັບ​ວຽກ​ງານ​ທີ່​ແຕກ​ຕ່າງ​ກັນ​, ດັ່ງ​ນັ້ນ​ການ​ປະ​ມວນ​ຜົນ​ຂໍ້​ມູນ​ລ່ວງ​ຫນ້າ​ໄວ​ຫຼາຍ​!

ຂໍ້ມູນຄຸນນະພາບ

ໂດຍພື້ນຖານແລ້ວ, ສໍາລັບຂໍ້ມູນທີ່ມີຄຸນນະພາບ, ວິທີການເຂົ້າລະຫັດຫນຶ່ງຮ້ອນແມ່ນຖືກນໍາໃຊ້ເພື່ອຈັດຮູບແບບມັນຈາກສະຕຣິງ (ຫຼືວັດຖຸ) ໄປຫາຕົວເລກ. ກ່ອນທີ່ຈະກ້າວໄປສູ່ຈຸດນີ້, ໃຫ້ໃຊ້ແຜນວາດແລະລະຫັດຂ້າງເທິງເພື່ອຈັດການກັບຄ່າຫວ່າງເປົ່າ.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. ເອົາຖັນທີ່ບໍ່ຈໍາເປັນອອກ

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. ຈໍານວນຄ່າຫວ່າງເປົ່າຢູ່ໃນຖັນນີ້ສູງກວ່າ 50% ບໍ?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. ລຶບເສັ້ນທີ່ມີຄ່າຫວ່າງເປົ່າ

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. ການໃສ່ຄ່າສຸ່ມ

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. ການໃສ່ຄ່າຄົງທີ່

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

ດັ່ງນັ້ນ, ໃນທີ່ສຸດພວກເຮົາໄດ້ຮັບການຈັດການກ່ຽວກັບ nulls ໃນຂໍ້ມູນຄຸນນະພາບ. ໃນປັດຈຸບັນມັນເປັນເວລາທີ່ຈະປະຕິບັດການເຂົ້າລະຫັດຫນຶ່ງຮ້ອນກ່ຽວກັບຄຸນຄ່າທີ່ມີຢູ່ໃນຖານຂໍ້ມູນຂອງທ່ານ. ວິທີການນີ້ຖືກນໍາໃຊ້ເລື້ອຍໆເພື່ອຮັບປະກັນວ່າລະບົບຂອງທ່ານສາມາດຮຽນຮູ້ຈາກຂໍ້ມູນທີ່ມີຄຸນນະພາບສູງ.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

ດັ່ງນັ້ນ, ໃນທີ່ສຸດພວກເຮົາໄດ້ສໍາເລັດການປຸງແຕ່ງຂໍ້ມູນທີ່ມີຄຸນນະພາບແລະປະລິມານແຍກຕ່າງຫາກ - ເວລາທີ່ຈະລວມພວກມັນຄືນ

new_df = pd.concat([df_numerical,df_categorical], axis=1)

ຫຼັງຈາກທີ່ພວກເຮົາໄດ້ລວມຊຸດຂໍ້ມູນເຂົ້າກັນເປັນອັນດຽວກັນ, ໃນທີ່ສຸດພວກເຮົາສາມາດນໍາໃຊ້ການຫັນປ່ຽນຂໍ້ມູນໂດຍໃຊ້ MinMaxScaler ຈາກຫ້ອງສະຫມຸດ sklearn. ນີ້ຈະເຮັດໃຫ້ຄຸນຄ່າຂອງພວກເຮົາລະຫວ່າງ 0 ແລະ 1, ເຊິ່ງຈະຊ່ວຍໃນເວລາທີ່ການຝຶກອົບຮົມຕົວແບບໃນອະນາຄົດ.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

ຂໍ້ມູນນີ້ພ້ອມແລ້ວສຳລັບທຸກຢ່າງ - neural networks, standard ML algorithms, etc.!

ໃນບົດຄວາມນີ້, ພວກເຮົາບໍ່ໄດ້ຄໍານຶງເຖິງການເຮັດວຽກກັບຂໍ້ມູນຊຸດເວລາ, ເພາະວ່າສໍາລັບຂໍ້ມູນດັ່ງກ່າວທ່ານຄວນໃຊ້ເຕັກນິກການປຸງແຕ່ງທີ່ແຕກຕ່າງກັນເລັກນ້ອຍ, ຂຶ້ນກັບວຽກງານຂອງທ່ານ. ໃນອະນາຄົດ, ທີມງານຂອງພວກເຮົາຈະອຸທິດບົດຄວາມແຍກຕ່າງຫາກກ່ຽວກັບຫົວຂໍ້ນີ້, ແລະພວກເຮົາຫວັງວ່າມັນຈະສາມາດນໍາເອົາສິ່ງທີ່ຫນ້າສົນໃຈ, ໃຫມ່ແລະເປັນປະໂຫຍດເຂົ້າມາໃນຊີວິດຂອງເຈົ້າ, ຄືກັນກັບເລື່ອງນີ້.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com