ઝડપી ડેટા પ્રીપ્રોસેસિંગ માટે નોટપેડ-ચીટ શીટ

ઘણી વખત ડેટા સાયન્સના ક્ષેત્રમાં પ્રવેશતા લોકો તેમની રાહ જોઈ રહ્યા છે તેની વાસ્તવિક અપેક્ષાઓ કરતાં ઓછી હોય છે. ઘણા લોકો વિચારે છે કે હવે તેઓ શાનદાર ન્યુરલ નેટવર્ક્સ લખશે, આયર્ન મૅનમાંથી વૉઇસ સહાયક બનાવશે અથવા નાણાકીય બજારોમાં દરેકને હરાવી દેશે.
પણ કામ ડેટા વૈજ્ઞાનિક ડેટા આધારિત છે, અને એક સૌથી મહત્વપૂર્ણ અને સમય માંગી લેતું પાસું એ છે કે ડેટાને ન્યુરલ નેટવર્કમાં ફીડ કરતા પહેલા અથવા ચોક્કસ રીતે તેનું વિશ્લેષણ કરતા પહેલા તેની પ્રક્રિયા કરવી.

આ લેખમાં, અમારી ટીમ વર્ણવશે કે તમે કેવી રીતે પગલું-દર-પગલાં સૂચનો અને કોડ વડે ઝડપથી અને સરળતાથી ડેટા પર પ્રક્રિયા કરી શકો છો. અમે કોડને તદ્દન લવચીક બનાવવાનો પ્રયાસ કર્યો અને તેનો ઉપયોગ વિવિધ ડેટાસેટ્સ માટે થઈ શકે.

ઘણા પ્રોફેશનલ્સને આ લેખમાં અસાધારણ કંઈ લાગતું નથી, પરંતુ નવા નિશાળીયા કંઈક નવું શીખી શકશે, અને કોઈપણ જેણે ઝડપી અને સંરચિત ડેટા પ્રોસેસિંગ માટે એક અલગ નોટબુક બનાવવાનું લાંબા સમયથી સપનું જોયું છે તે કોડની નકલ કરી શકે છે અને તેને પોતાને માટે ફોર્મેટ કરી શકે છે, અથવા ગીથબમાંથી ફિનિશ્ડ નોટબુક ડાઉનલોડ કરો.

અમને ડેટાસેટ મળ્યો છે. આગળ શું કરવું?

તેથી, ધોરણ: આપણે સમજવાની જરૂર છે કે આપણે જેની સાથે વ્યવહાર કરી રહ્યા છીએ, એકંદર ચિત્ર. આ કરવા માટે, અમે વિવિધ ડેટા પ્રકારોને સરળ રીતે વ્યાખ્યાયિત કરવા માટે પાંડાનો ઉપયોગ કરીએ છીએ.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

ચાલો કૉલમના મૂલ્યો જોઈએ:

1. શું દરેક કૉલમમાં લીટીઓની સંખ્યા લીટીઓની કુલ સંખ્યાને અનુરૂપ છે?
2. દરેક કૉલમમાં ડેટાનો સાર શું છે?
3. તેની આગાહી કરવા માટે આપણે કઈ કૉલમને લક્ષ્યાંક બનાવવા માંગીએ છીએ?

આ પ્રશ્નોના જવાબો તમને ડેટાસેટનું પૃથ્થકરણ કરવાની અને તમારી આગામી ક્રિયાઓ માટે અંદાજે એક યોજના બનાવવાની મંજૂરી આપશે.

ઉપરાંત, દરેક કૉલમમાંના મૂલ્યો પર ઊંડાણપૂર્વક જોવા માટે, અમે pandas describe() ફંક્શનનો ઉપયોગ કરી શકીએ છીએ. જો કે, આ કાર્યનો ગેરલાભ એ છે કે તે સ્ટ્રિંગ મૂલ્યો સાથે કૉલમ વિશે માહિતી પ્રદાન કરતું નથી. અમે તેમની સાથે પછીથી વ્યવહાર કરીશું.

df.describe()

મેજિક વિઝ્યુલાઇઝેશન

ચાલો જોઈએ કે જ્યાં આપણી પાસે કોઈ મૂલ્ય નથી:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

આ ઉપરથી એક નાનો દેખાવ હતો, હવે આપણે વધુ રસપ્રદ બાબતો તરફ આગળ વધીશું

ચાલો શોધવાનો પ્રયાસ કરીએ અને, જો શક્ય હોય તો, બધી પંક્તિઓમાં માત્ર એક જ મૂલ્ય ધરાવતા કૉલમ્સને દૂર કરીએ (તે પરિણામને કોઈપણ રીતે અસર કરશે નહીં):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

હવે અમે અમારી જાતને અને અમારા પ્રોજેક્ટની સફળતાને ડુપ્લિકેટ લાઇન્સથી સુરક્ષિત કરીએ છીએ (લાઇનો જેમાં અસ્તિત્વમાંની એક લાઇનની જેમ સમાન ક્રમમાં સમાન માહિતી હોય છે):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

અમે ડેટાસેટને બે ભાગમાં વિભાજીત કરીએ છીએ: એક ગુણાત્મક મૂલ્યો સાથે, અને બીજું માત્રાત્મક મૂલ્યો સાથે

અહીં આપણે એક નાનકડી સ્પષ્ટતા કરવાની જરૂર છે: જો ગુણાત્મક અને જથ્થાત્મક ડેટામાં ગુમ થયેલ ડેટા સાથેની રેખાઓ એકબીજા સાથે ખૂબ સહસંબંધિત ન હોય, તો આપણે તે નક્કી કરવાની જરૂર પડશે કે આપણે શું બલિદાન આપીએ છીએ - ગુમ થયેલ ડેટાવાળી બધી રેખાઓ, તેનો માત્ર એક ભાગ, અથવા ચોક્કસ કૉલમ. જો રેખાઓ સહસંબંધિત હોય, તો અમને ડેટાસેટને બે ભાગમાં વિભાજીત કરવાનો સંપૂર્ણ અધિકાર છે. નહિંતર, તમારે પહેલા એવી રેખાઓ સાથે વ્યવહાર કરવાની જરૂર પડશે કે જે ગુમ થયેલ ડેટાને ગુણાત્મક અને જથ્થાત્મકમાં સહસંબંધિત કરતી નથી, અને તે પછી જ ડેટાસેટને બે ભાગમાં વહેંચો.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

અમે આ બે અલગ-અલગ પ્રકારના ડેટા પર પ્રક્રિયા કરવાનું અમારા માટે સરળ બનાવવા માટે કરીએ છીએ - પછીથી આપણે સમજીશું કે આ આપણું જીવન કેટલું સરળ બનાવે છે.

અમે માત્રાત્મક ડેટા સાથે કામ કરીએ છીએ

પ્રથમ વસ્તુ એ છે કે આપણે નક્કી કરવું જોઈએ કે માત્રાત્મક ડેટામાં "જાસૂસ કૉલમ" છે કે કેમ. અમે આ કૉલમ્સને કહીએ છીએ કારણ કે તેઓ પોતાને માત્રાત્મક ડેટા તરીકે રજૂ કરે છે, પરંતુ ગુણાત્મક ડેટા તરીકે કાર્ય કરે છે.

આપણે તેમને કેવી રીતે ઓળખી શકીએ? અલબત્ત, તે બધું તમે જે ડેટાનું વિશ્લેષણ કરી રહ્યાં છો તેના પર આધાર રાખે છે, પરંતુ સામાન્ય રીતે આવા કૉલમમાં થોડો અનન્ય ડેટા હોઈ શકે છે (3-10 અનન્ય મૂલ્યોના ક્ષેત્રમાં).

print(df_numerical.nunique())

એકવાર અમે જાસૂસી કૉલમ ઓળખી લીધા પછી, અમે તેમને માત્રાત્મક ડેટામાંથી ગુણાત્મક ડેટામાં ખસેડીશું:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

અંતે, અમે માત્રાત્મક ડેટાને ગુણાત્મક ડેટાથી સંપૂર્ણપણે અલગ કરી દીધો છે અને હવે અમે તેની સાથે યોગ્ય રીતે કામ કરી શકીએ છીએ. પ્રથમ વસ્તુ એ સમજવાની છે કે આપણી પાસે ક્યાં ખાલી મૂલ્યો છે (NaN, અને કેટલાક કિસ્સાઓમાં 0 ખાલી મૂલ્યો તરીકે સ્વીકારવામાં આવશે).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

આ બિંદુએ, તે સમજવું અગત્યનું છે કે કયા કૉલમમાં શૂન્ય ગુમ થયેલ મૂલ્યો સૂચવી શકે છે: શું આ ડેટા કેવી રીતે એકત્રિત કરવામાં આવ્યો હતો તેના કારણે છે? અથવા તે ડેટા મૂલ્યો સાથે સંબંધિત હોઈ શકે છે? આ પ્રશ્નોના જવાબ દરેક કેસના આધારે હોવા જોઈએ.

તેથી, જો આપણે હજી પણ નક્કી કરીએ કે જ્યાં શૂન્ય છે ત્યાં ડેટા ખૂટે છે, તો પછી આ ખોવાયેલા ડેટા સાથે કામ કરવાનું સરળ બનાવવા માટે આપણે શૂન્યને NaN સાથે બદલવું જોઈએ:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

હવે ચાલો જોઈએ કે આપણી પાસે ક્યાં ડેટા ખૂટે છે:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

અહીં કૉલમની અંદરના તે મૂલ્યો જે ખૂટે છે તે પીળા રંગમાં ચિહ્નિત હોવા જોઈએ. અને હવે મજા શરૂ થાય છે - આ મૂલ્યો સાથે કેવી રીતે વ્યવહાર કરવો? શું મારે આ મૂલ્યો અથવા કૉલમ સાથેની પંક્તિઓ કાઢી નાખવી જોઈએ? અથવા આ ખાલી મૂલ્યો અન્ય કેટલાક સાથે ભરો?

અહીં એક અંદાજિત આકૃતિ છે જે તમને તે નક્કી કરવામાં મદદ કરી શકે છે કે સૈદ્ધાંતિક રીતે, ખાલી મૂલ્યો સાથે શું કરી શકાય છે:

0. બિનજરૂરી કૉલમ દૂર કરો

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. શું આ કૉલમમાં ખાલી મૂલ્યોની સંખ્યા 50% કરતા વધારે છે?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. ખાલી કિંમતો સાથે લીટીઓ કાઢી નાખો

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. રેન્ડમ મૂલ્ય દાખલ કરવું

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. સતત મૂલ્ય દાખલ કરવું

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. સરેરાશ અથવા સૌથી વધુ વારંવાર મૂલ્ય દાખલ કરો

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. અન્ય મોડેલ દ્વારા ગણતરી કરેલ મૂલ્ય દાખલ કરો

કેટલીકવાર સ્ક્લેર્ન લાઇબ્રેરી અથવા અન્ય સમાન લાઇબ્રેરીઓના મોડલનો ઉપયોગ કરીને રીગ્રેશન મોડલ્સનો ઉપયોગ કરીને મૂલ્યોની ગણતરી કરી શકાય છે. અમારી ટીમ નજીકના ભવિષ્યમાં આ કેવી રીતે કરી શકાય તેના પર એક અલગ લેખ આપશે.

તેથી, હમણાં માટે, માત્રાત્મક ડેટા વિશેની વાર્તામાં વિક્ષેપ આવશે, કારણ કે વિવિધ કાર્યો માટે ડેટાની તૈયારી અને પ્રીપ્રોસેસિંગ કેવી રીતે વધુ સારી રીતે કરવું તે વિશે અન્ય ઘણી ઘોંઘાટ છે, અને આ લેખમાં માત્રાત્મક માહિતી માટેની મૂળભૂત બાબતો ધ્યાનમાં લેવામાં આવી છે, અને હવે ગુણાત્મક ડેટા પર પાછા ફરવાનો સમય આવી ગયો છે. જેને અમે માત્રાત્મક ડેટાથી ઘણા પગલાં પાછળ અલગ કર્યા છે. તમે આ નોટબુકને તમારી ઈચ્છા મુજબ બદલી શકો છો, તેને વિવિધ કાર્યો માટે અનુકૂળ બનાવી શકો છો, જેથી ડેટા પ્રીપ્રોસેસિંગ ખૂબ જ ઝડપથી થઈ જાય!

ગુણાત્મક ડેટા

મૂળભૂત રીતે, ગુણાત્મક ડેટા માટે, વન-હોટ-એન્કોડિંગ પદ્ધતિનો ઉપયોગ તેને સ્ટ્રિંગ (અથવા ઑબ્જેક્ટ) થી નંબર પર ફોર્મેટ કરવા માટે થાય છે. આ બિંદુ પર આગળ વધતા પહેલા, ચાલો ખાલી મૂલ્યો સાથે વ્યવહાર કરવા માટે ઉપરના રેખાકૃતિ અને કોડનો ઉપયોગ કરીએ.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. બિનજરૂરી કૉલમ દૂર કરો

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. શું આ કૉલમમાં ખાલી મૂલ્યોની સંખ્યા 50% કરતા વધારે છે?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. ખાલી કિંમતો સાથે લીટીઓ કાઢી નાખો

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. રેન્ડમ મૂલ્ય દાખલ કરવું

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. સતત મૂલ્ય દાખલ કરવું

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

તેથી, અમને આખરે ગુણાત્મક ડેટામાં નલ પર હેન્ડલ મળ્યું છે. હવે તમારા ડેટાબેઝમાં રહેલા મૂલ્યો પર વન-હોટ-એન્કોડિંગ કરવાનો સમય છે. તમારી અલ્ગોરિધમ ઉચ્ચ-ગુણવત્તાવાળા ડેટામાંથી શીખી શકે તેની ખાતરી કરવા માટે આ પદ્ધતિનો વારંવાર ઉપયોગ કરવામાં આવે છે.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

તેથી, અમે આખરે અલગ-અલગ ગુણાત્મક અને જથ્થાત્મક ડેટાની પ્રક્રિયા પૂર્ણ કરી લીધી છે - તેમને પાછા ભેગા કરવાનો સમય

new_df = pd.concat([df_numerical,df_categorical], axis=1)

અમે ડેટાસેટ્સને એકસાથે ભેગા કર્યા પછી, અમે આખરે sklearn લાઇબ્રેરીમાંથી MinMaxScaler નો ઉપયોગ કરીને ડેટા ટ્રાન્સફોર્મેશનનો ઉપયોગ કરી શકીએ છીએ. આનાથી અમારા મૂલ્યો 0 અને 1 ની વચ્ચે રહેશે, જે ભવિષ્યમાં મોડેલને તાલીમ આપતી વખતે મદદ કરશે.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

આ ડેટા હવે કોઈપણ વસ્તુ માટે તૈયાર છે - ન્યુરલ નેટવર્ક્સ, સ્ટાન્ડર્ડ ML અલ્ગોરિધમ્સ, વગેરે.

આ લેખમાં, અમે સમય શ્રેણીના ડેટા સાથે કામ કરવાનું ધ્યાનમાં લીધું નથી, કારણ કે આવા ડેટા માટે તમારે તમારા કાર્યના આધારે થોડી અલગ પ્રોસેસિંગ તકનીકોનો ઉપયોગ કરવો જોઈએ. ભવિષ્યમાં, અમારી ટીમ આ વિષય પર એક અલગ લેખ સમર્પિત કરશે, અને અમે આશા રાખીએ છીએ કે તે આની જેમ તમારા જીવનમાં કંઈક રસપ્રદ, નવું અને ઉપયોગી લાવવામાં સમર્થ હશે.

સોર્સ: www.habr.com