দ্রুত ডেটা প্রিপ্রসেসিংয়ের জন্য নোটপ্যাড-চিট শীট

প্রায়শই ডেটা সায়েন্সের ক্ষেত্রে প্রবেশকারী লোকেরা তাদের জন্য যা অপেক্ষা করছে তার বাস্তবসম্মত প্রত্যাশার চেয়ে কম। অনেক লোক মনে করে যে তারা এখন দুর্দান্ত নিউরাল নেটওয়ার্ক লিখবে, আয়রন ম্যান থেকে একটি ভয়েস সহকারী তৈরি করবে বা আর্থিক বাজারে সবাইকে পরাজিত করবে।
কিন্তু কাজ উপাত্ত বিজ্ঞানী ডেটা-চালিত, এবং সবচেয়ে গুরুত্বপূর্ণ এবং সময়সাপেক্ষ দিকগুলির মধ্যে একটি হল ডেটাকে একটি নিউরাল নেটওয়ার্কে খাওয়ানোর আগে বা একটি নির্দিষ্ট উপায়ে বিশ্লেষণ করার আগে প্রক্রিয়া করা।

এই নিবন্ধে, আমাদের দল বর্ণনা করবে কিভাবে আপনি ধাপে ধাপে নির্দেশাবলী এবং কোড সহ দ্রুত এবং সহজে ডেটা প্রক্রিয়া করতে পারেন। আমরা কোডটিকে বেশ নমনীয় করার চেষ্টা করেছি এবং বিভিন্ন ডেটাসেটের জন্য ব্যবহার করা যেতে পারে।

অনেক পেশাদার এই নিবন্ধটিতে অসাধারণ কিছু খুঁজে নাও পেতে পারেন, তবে নতুনরা নতুন কিছু শিখতে সক্ষম হবেন, এবং যে কেউ দ্রুত এবং কাঠামোগত ডেটা প্রক্রিয়াকরণের জন্য একটি পৃথক নোটবুক তৈরির স্বপ্ন দেখেছেন তারা কোডটি অনুলিপি করতে এবং নিজের জন্য ফর্ম্যাট করতে পারেন, অথবা Github থেকে সমাপ্ত নোটবুক ডাউনলোড করুন।

আমরা ডেটাসেট পেয়েছি। পরবর্তী কি করতে হবে?

সুতরাং, মান: আমাদের বুঝতে হবে আমরা কী নিয়ে কাজ করছি, সামগ্রিক চিত্র। এটি করার জন্য, আমরা বিভিন্ন ডেটা টাইপকে সহজভাবে সংজ্ঞায়িত করতে পান্ডা ব্যবহার করি।

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

আসুন কলামের মানগুলি দেখি:

1. প্রতিটি কলামের লাইনের সংখ্যা কি মোট লাইনের সংখ্যার সাথে মিলে যায়?
2. প্রতিটি কলামে ডেটার সারমর্ম কী?
3. এর জন্য ভবিষ্যদ্বাণী করার জন্য আমরা কোন কলামকে লক্ষ্য করতে চাই?

এই প্রশ্নগুলির উত্তর আপনাকে ডেটাসেট বিশ্লেষণ করতে এবং আপনার পরবর্তী কর্মের জন্য মোটামুটিভাবে একটি পরিকল্পনা আঁকতে অনুমতি দেবে।

এছাড়াও, প্রতিটি কলামের মানগুলি গভীরভাবে দেখার জন্য, আমরা pandas describe() ফাংশন ব্যবহার করতে পারি। যাইহোক, এই ফাংশনের অসুবিধা হল যে এটি স্ট্রিং মান সহ কলাম সম্পর্কে তথ্য প্রদান করে না। আমরা পরে তাদের মোকাবেলা করব.

df.describe()

ম্যাজিক ভিজ্যুয়ালাইজেশন

আসুন দেখি যেখানে আমাদের কোন মান নেই:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

এটি উপরে থেকে একটি সংক্ষিপ্ত চেহারা ছিল, এখন আমরা আরও আকর্ষণীয় জিনিসগুলিতে চলে যাব

আসুন খুঁজে বের করার চেষ্টা করি এবং, যদি সম্ভব হয়, সমস্ত সারিতে শুধুমাত্র একটি মান আছে এমন কলামগুলি সরান (তারা ফলাফলকে কোনোভাবেই প্রভাবিত করবে না):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

এখন আমরা নিজেদেরকে এবং আমাদের প্রকল্পের সাফল্যকে ডুপ্লিকেট লাইন থেকে রক্ষা করি (যে লাইনে বিদ্যমান লাইনগুলির একটির মতো একই ক্রমে একই তথ্য রয়েছে):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

আমরা ডেটাসেটটিকে দুটি ভাগে ভাগ করি: একটি গুণগত মান সহ এবং অন্যটি পরিমাণগত মান সহ

এখানে আমাদের একটি ছোট স্পষ্টীকরণ করতে হবে: যদি গুণগত এবং পরিমাণগত ডেটাতে অনুপস্থিত ডেটা সহ লাইনগুলি একে অপরের সাথে খুব বেশি সম্পর্কযুক্ত না হয়, তবে আমাদের সিদ্ধান্ত নিতে হবে যে আমরা কী উৎসর্গ করব - অনুপস্থিত ডেটা সহ সমস্ত লাইন, তাদের শুধুমাত্র একটি অংশ, বা নির্দিষ্ট কলাম। যদি লাইনগুলি পারস্পরিক সম্পর্কযুক্ত হয়, তবে ডেটাসেটটিকে দুটি ভাগে ভাগ করার অধিকার আমাদের রয়েছে। অন্যথায়, আপনাকে প্রথমে সেই লাইনগুলির সাথে মোকাবিলা করতে হবে যা গুণগত এবং পরিমাণগতভাবে অনুপস্থিত ডেটার সাথে সম্পর্ক রাখে না এবং শুধুমাত্র তারপরে ডেটাসেটটিকে দুটি ভাগে ভাগ করতে হবে।

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

এই দুটি ভিন্ন ধরণের ডেটা প্রক্রিয়া করা আমাদের জন্য সহজ করার জন্য আমরা এটি করি - পরে আমরা বুঝতে পারব এটি আমাদের জীবনকে কতটা সহজ করে তোলে।

আমরা পরিমাণগত তথ্য নিয়ে কাজ করি

আমাদের প্রথম জিনিসটি নির্ধারণ করা উচিত যে পরিমাণগত ডেটাতে "গুপ্তচর কলাম" আছে কিনা। আমরা এই কলামগুলিকে বলি কারণ তারা নিজেদেরকে পরিমাণগত ডেটা হিসাবে উপস্থাপন করে, কিন্তু গুণগত ডেটা হিসাবে কাজ করে।

আমরা কিভাবে তাদের চিহ্নিত করতে পারি? অবশ্যই, এটি সবই নির্ভর করে আপনি যে ডেটা বিশ্লেষণ করছেন তার প্রকৃতির উপর, তবে সাধারণভাবে এই ধরনের কলামগুলিতে সামান্য অনন্য ডেটা থাকতে পারে (3-10 অনন্য মানের অঞ্চলে)।

print(df_numerical.nunique())

একবার আমরা গুপ্তচর কলামগুলি চিহ্নিত করার পরে, আমরা তাদের পরিমাণগত ডেটা থেকে গুণগত ডেটাতে স্থানান্তর করব:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

অবশেষে, আমরা গুণগত ডেটা থেকে পরিমাণগত ডেটা সম্পূর্ণরূপে আলাদা করেছি এবং এখন আমরা এটির সাথে সঠিকভাবে কাজ করতে পারি। প্রথম জিনিসটি বুঝতে হবে আমাদের কোথায় খালি মান রয়েছে (NaN, এবং কিছু ক্ষেত্রে 0 খালি মান হিসাবে গ্রহণ করা হবে)।

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

এই মুহুর্তে, কোন কলামে শূন্য অনুপস্থিত মানগুলি নির্দেশ করতে পারে তা বোঝা গুরুত্বপূর্ণ: এটি কি ডেটা সংগ্রহ করার কারণে? অথবা এটি ডেটা মানগুলির সাথে সম্পর্কিত হতে পারে? এই প্রশ্নের উত্তর কেস-বাই-কেস ভিত্তিতে দিতে হবে।

সুতরাং, যদি আমরা এখনও সিদ্ধান্ত নিই যে যেখানে শূন্য রয়েছে সেখানে আমরা ডেটা হারিয়ে ফেলতে পারি, তাহলে পরবর্তীতে এই হারিয়ে যাওয়া ডেটার সাথে কাজ করা আরও সহজ করার জন্য আমাদের শূন্যগুলিকে NaN দিয়ে প্রতিস্থাপন করা উচিত:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

এখন দেখা যাক আমরা কোথায় ডেটা মিস করছি:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

এখানে অনুপস্থিত কলামগুলির ভিতরে সেই মানগুলি হলুদ রঙে চিহ্নিত করা উচিত। এবং এখন মজা শুরু হয় - কিভাবে এই মান মোকাবেলা করতে? আমি কি এই মান বা কলামগুলির সাথে সারি মুছে ফেলতে পারি? নাকি অন্য কিছু দিয়ে এই খালি মানগুলি পূরণ করবেন?

এখানে একটি আনুমানিক চিত্র রয়েছে যা আপনাকে সিদ্ধান্ত নিতে সাহায্য করতে পারে যে নীতিগতভাবে, খালি মানগুলির সাথে কী করা যেতে পারে:

0. অপ্রয়োজনীয় কলাম সরান

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. এই কলামে খালি মানের সংখ্যা কি 50% এর বেশি?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. খালি মান সহ লাইন মুছুন

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1। একটি র্যান্ডম মান সন্নিবেশ

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2। একটি ধ্রুবক মান সন্নিবেশ করান

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3। গড় বা সবচেয়ে ঘন ঘন মান সন্নিবেশ করান

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4। অন্য মডেল দ্বারা গণনা করা মান সন্নিবেশ করান

কখনও কখনও মান স্কলার লাইব্রেরি বা অন্যান্য অনুরূপ লাইব্রেরি থেকে মডেল ব্যবহার করে রিগ্রেশন মডেল ব্যবহার করে গণনা করা যেতে পারে। অদূর ভবিষ্যতে এটি কীভাবে করা যেতে পারে সে সম্পর্কে আমাদের দল একটি পৃথক নিবন্ধ উত্সর্গ করবে।

সুতরাং, আপাতত, পরিমাণগত ডেটা সম্পর্কে আখ্যানটি বাধাগ্রস্ত হবে, কারণ বিভিন্ন কাজের জন্য ডেটা প্রস্তুতি এবং প্রিপ্রসেসিং কীভাবে আরও ভালভাবে করা যায় সে সম্পর্কে আরও অনেক সূক্ষ্মতা রয়েছে এবং পরিমাণগত ডেটার জন্য প্রাথমিক বিষয়গুলি এই নিবন্ধে বিবেচনা করা হয়েছে, এবং এখন সময় এসেছে গুণগত তথ্যে ফিরে যাবার। আপনি এই নোটবুকটি আপনার ইচ্ছামতো পরিবর্তন করতে পারেন, এটিকে বিভিন্ন কাজের সাথে খাপ খাইয়ে নিতে পারেন, যাতে ডেটা প্রিপ্রসেসিং খুব দ্রুত হয়!

গুণগত তথ্য

মূলত, গুণগত ডেটার জন্য, ওয়ান-হট-এনকোডিং পদ্ধতিটি একটি স্ট্রিং (বা বস্তু) থেকে একটি সংখ্যায় ফর্ম্যাট করার জন্য ব্যবহার করা হয়। এই বিন্দুতে যাওয়ার আগে, খালি মানগুলি মোকাবেলা করতে উপরের চিত্র এবং কোডটি ব্যবহার করা যাক।

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. অপ্রয়োজনীয় কলাম সরান

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. এই কলামে খালি মানের সংখ্যা কি 50% এর বেশি?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. খালি মান সহ লাইন মুছুন

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1। একটি র্যান্ডম মান সন্নিবেশ

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2। একটি ধ্রুবক মান সন্নিবেশ করান

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

সুতরাং, আমরা অবশেষে গুণগত ডেটাতে নালগুলির একটি হ্যান্ডেল পেয়েছি। এখন আপনার ডাটাবেসে থাকা মানগুলিতে এক-হট-এনকোডিং করার সময়। আপনার অ্যালগরিদম উচ্চ-মানের ডেটা থেকে শিখতে পারে তা নিশ্চিত করতে এই পদ্ধতিটি প্রায়শই ব্যবহৃত হয়।

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

সুতরাং, আমরা অবশেষে পৃথক গুণগত এবং পরিমাণগত ডেটা প্রক্রিয়াকরণ শেষ করেছি - তাদের আবার একত্রিত করার সময়

new_df = pd.concat([df_numerical,df_categorical], axis=1)

আমরা ডেটাসেটগুলিকে একত্রে একত্রিত করার পরে, আমরা অবশেষে sklearn লাইব্রেরি থেকে MinMaxScaler ব্যবহার করে ডেটা ট্রান্সফর্মেশন ব্যবহার করতে পারি। এটি আমাদের মানগুলি 0 এবং 1 এর মধ্যে তৈরি করবে, যা ভবিষ্যতে মডেলকে প্রশিক্ষণ দেওয়ার সময় সাহায্য করবে।

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

এই ডেটা এখন যেকোনো কিছুর জন্য প্রস্তুত - নিউরাল নেটওয়ার্ক, স্ট্যান্ডার্ড এমএল অ্যালগরিদম ইত্যাদি!

এই নিবন্ধে, আমরা টাইম সিরিজ ডেটা নিয়ে কাজ করার কথা বিবেচনা করিনি, যেহেতু এই ধরনের ডেটার জন্য আপনার কাজের উপর নির্ভর করে কিছুটা ভিন্ন প্রক্রিয়াকরণ কৌশল ব্যবহার করা উচিত। ভবিষ্যতে, আমাদের দল এই বিষয়ে একটি পৃথক নিবন্ধ উত্সর্গ করবে, এবং আমরা আশা করি যে এটি আপনার জীবনে আকর্ষণীয়, নতুন এবং দরকারী কিছু আনতে সক্ষম হবে, ঠিক এটির মতো।

উত্স: www.habr.com