Ma'lumotlarni tez qayta ishlash uchun bloknot-cheat varaq

Ko'pincha Data Science sohasiga kiruvchi odamlar ularni nima kutayotganiga nisbatan real umidlarga ega emaslar. Ko'pchilik endi ular ajoyib neyron tarmoqlarni yozadilar, Iron Man-dan ovozli yordamchini yaratadilar yoki moliyaviy bozorlarda hammani mag'lub etadilar deb o'ylashadi.
Lekin ish ma'lumotlar Olim ma'lumotlarga asoslangan va eng muhim va ko'p vaqt talab qiladigan jihatlardan biri ma'lumotlarni neyron tarmoqqa yuborishdan yoki ma'lum bir usulda tahlil qilishdan oldin qayta ishlashdir.

Ushbu maqolada bizning jamoamiz bosqichma-bosqich ko'rsatmalar va kod yordamida ma'lumotlarni qanday tez va oson qayta ishlashingiz mumkinligini tasvirlab beradi. Biz kodni juda moslashuvchan qilishga harakat qildik va uni turli ma'lumotlar to'plamlari uchun ishlatish mumkin edi.

Ko'pgina mutaxassislar ushbu maqolada g'ayrioddiy narsani topa olmasligi mumkin, ammo yangi boshlanuvchilar yangi narsalarni o'rganishlari mumkin va uzoq vaqtdan beri tez va tuzilgan ma'lumotlarni qayta ishlash uchun alohida daftar qilishni orzu qilgan har bir kishi kodni nusxalashi va uni o'zi uchun formatlashi mumkin yoki Github-dan tayyor daftarni yuklab oling.

Biz ma'lumotlar to'plamini oldik. Keyin nima qilish kerak?

Shunday qilib, standart: biz nima bilan shug'ullanayotganimizni, umumiy rasmni tushunishimiz kerak. Buning uchun biz turli xil ma'lumotlar turlarini aniqlash uchun pandalardan foydalanamiz.

import pandas as pd #импортируем pandas
import numpy as np  #импортируем numpy
df = pd.read_csv("AB_NYC_2019.csv") #читаем датасет и записываем в переменную df

df.head(3) #смотрим на первые 3 строчки, чтобы понять, как выглядят значения

df.info() #Демонстрируем информацию о колонках

Keling, ustun qiymatlarini ko'rib chiqaylik:

1. Har bir ustundagi satrlar soni satrlarning umumiy soniga mos keladimi?
2. Har bir ustundagi ma'lumotlarning mohiyati nimada?
3. Buni bashorat qilish uchun qaysi ustunni nishonlashni xohlaymiz?

Ushbu savollarga javoblar sizga ma'lumotlar to'plamini tahlil qilish va keyingi harakatlaringiz uchun taxminiy rejani tuzish imkonini beradi.

Bundan tashqari, har bir ustundagi qiymatlarni chuqurroq ko'rib chiqish uchun biz pandas describe() funktsiyasidan foydalanishimiz mumkin. Biroq, bu funksiyaning kamchiligi shundaki, u satr qiymatlari bo'lgan ustunlar haqida ma'lumot bermaydi. Biz ular bilan keyinroq shug'ullanamiz.

df.describe()

Sehrli vizualizatsiya

Keling, bizda umuman qadriyatlar yo'qligini ko'rib chiqaylik:

import seaborn as sns
sns.heatmap(df.isnull(),yticklabels=False,cbar=False,cmap='viridis')

Bu yuqoridan qisqacha ko'rinish edi, endi biz qiziqarliroq narsalarga o'tamiz

Keling, barcha satrlarda faqat bitta qiymatga ega bo'lgan ustunlarni topishga va iloji bo'lsa, o'chirishga harakat qilaylik (ular natijaga hech qanday ta'sir qilmaydi):

df = df[[c for c
        in list(df)
        if len(df[c].unique()) > 1]] #Перезаписываем датасет, оставляя только те колонки, в которых больше одного уникального значения

Endi biz o'zimizni va loyihamizning muvaffaqiyatini takroriy satrlardan himoya qilamiz (mavjud qatorlardan biri bilan bir xil tartibda bir xil ma'lumotlarni o'z ichiga olgan qatorlar):

df.drop_duplicates(inplace=True) #Делаем это, если считаем нужным.
                                 #В некоторых проектах удалять такие данные с самого начала не стоит.

Biz ma'lumotlar to'plamini ikkiga ajratamiz: biri sifat qiymatlari bilan, ikkinchisi esa miqdoriy

Bu erda biz kichik bir aniqlik kiritishimiz kerak: agar sifat va miqdoriy ma'lumotlarda etishmayotgan ma'lumotlarga ega bo'lgan chiziqlar bir-biri bilan unchalik bog'liq bo'lmasa, biz nima qurbon qilishimizni hal qilishimiz kerak - etishmayotgan ma'lumotlarga ega barcha chiziqlar, ularning faqat bir qismi, yoki ma'lum ustunlar. Agar chiziqlar o'zaro bog'liq bo'lsa, biz ma'lumotlar to'plamini ikkiga bo'lish huquqiga egamiz. Aks holda, siz birinchi navbatda etishmayotgan ma'lumotlarni sifat va miqdoriy jihatdan bog'lamaydigan chiziqlar bilan shug'ullanishingiz kerak bo'ladi va shundan keyingina ma'lumotlar to'plamini ikkiga bo'ling.

df_numerical = df.select_dtypes(include = [np.number])
df_categorical = df.select_dtypes(exclude = [np.number])

Biz buni ushbu ikki xil turdagi ma'lumotlarni qayta ishlashni osonlashtirish uchun qilamiz - keyinchalik bu bizning hayotimizni qanchalik osonlashtirishini tushunamiz.

Biz miqdoriy ma'lumotlar bilan ishlaymiz

Biz qilishimiz kerak bo'lgan birinchi narsa, miqdoriy ma'lumotlarda "josus ustunlar" mavjudligini aniqlashdir. Biz bu ustunlarni shunday deb ataymiz, chunki ular o'zlarini miqdoriy ma'lumotlar sifatida taqdim etadilar, lekin sifatli ma'lumotlar sifatida ishlaydilar.

Ularni qanday aniqlashimiz mumkin? Albatta, barchasi siz tahlil qilayotgan ma'lumotlarning tabiatiga bog'liq, lekin umuman olganda, bunday ustunlar kam noyob ma'lumotlarga ega bo'lishi mumkin (3-10 noyob qiymatlar mintaqasida).

print(df_numerical.nunique())

Ayg'oqchi ustunlarni aniqlaganimizdan so'ng, biz ularni miqdoriy ma'lumotlardan sifatli ma'lumotlarga o'tkazamiz:

spy_columns = df_numerical[['колонка1', 'колока2', 'колонка3']]#выделяем колонки-шпионы и записываем в отдельную dataframe
df_numerical.drop(labels=['колонка1', 'колока2', 'колонка3'], axis=1, inplace = True)#вырезаем эти колонки из количественных данных
df_categorical.insert(1, 'колонка1', spy_columns['колонка1']) #добавляем первую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка2', spy_columns['колонка2']) #добавляем вторую колонку-шпион в качественные данные
df_categorical.insert(1, 'колонка3', spy_columns['колонка3']) #добавляем третью колонку-шпион в качественные данные

Nihoyat, biz miqdoriy ma'lumotlarni sifatli ma'lumotlardan butunlay ajratdik va endi biz u bilan to'g'ri ishlashimiz mumkin. Birinchi narsa, bizda bo'sh qiymatlar mavjudligini tushunish (NaN va ba'zi hollarda 0 bo'sh qiymatlar sifatida qabul qilinadi).

for i in df_numerical.columns:
    print(i, df[i][df[i]==0].count())

Shu nuqtada, qaysi ustunlarda nol etishmayotgan qiymatlarni ko'rsatishi mumkinligini tushunish muhimdir: bu ma'lumotlar qanday to'planganligi bilan bog'liqmi? Yoki bu ma'lumotlar qiymatlari bilan bog'liq bo'lishi mumkinmi? Bu savollarga har bir holatda javob berish kerak.

Shunday qilib, agar biz hali ham nol bo'lgan joyda ma'lumotlar etishmayotgan deb qaror qilsak, keyinchalik yo'qolgan ma'lumotlar bilan ishlashni osonlashtirish uchun nollarni NaN bilan almashtirishimiz kerak:

df_numerical[["колонка 1", "колонка 2"]] = df_numerical[["колонка 1", "колонка 2"]].replace(0, nan)

Keling, qaerda ma'lumotlar etishmayotganini ko'rib chiqaylik:

sns.heatmap(df_numerical.isnull(),yticklabels=False,cbar=False,cmap='viridis') # Можно также воспользоваться df_numerical.info()

Bu erda ustunlar ichida etishmayotgan qiymatlar sariq rang bilan belgilanishi kerak. Va endi qiziqarli boshlanadi - bu qadriyatlar bilan qanday kurashish mumkin? Ushbu qiymatlar yoki ustunlar bilan qatorlarni o'chirishim kerakmi? Yoki bu bo'sh qiymatlarni boshqalari bilan to'ldiringmi?

Mana, bo'sh qiymatlar bilan nima qilish mumkinligini aniqlashga yordam beradigan taxminiy diagramma:

0. Keraksiz ustunlarni olib tashlang

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Ushbu ustundagi bo'sh qiymatlar soni 50% dan ortiqmi?

print(df_numerical.isnull().sum() / df_numerical.shape[0] * 100)

df_numerical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)#Удаляем, если какая-то колонка имеет больше 50 пустых значений

2. Bo'sh qiymatlari bo'lgan satrlarni o'chirish

df_numerical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, если потом останется достаточно данных для обучения

3.1. Tasodifiy qiymat kiritish

import random #импортируем random
df_numerical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True) #вставляем рандомные значения в пустые клетки таблицы

3.2. Doimiy qiymat kiritish

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>") #вставляем определенное значение с помощью SimpleImputer
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.3. O'rtacha yoki eng tez-tez uchraydigan qiymatni kiriting

from sklearn.impute import SimpleImputer #импортируем SimpleImputer, который поможет вставить значения
imputer = SimpleImputer(strategy='mean', missing_values = np.nan) #вместо mean можно также использовать most_frequent
df_numerical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_numerical[['колонка1', 'колонка2', 'колонка3']]) #Применяем это для нашей таблицы
df_numerical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True) #Убираем колонки со старыми значениями

3.4. Boshqa model tomonidan hisoblangan qiymatni kiriting

Ba'zida qiymatlarni sklearn kutubxonasi yoki boshqa shunga o'xshash kutubxonalar modellari yordamida regressiya modellari yordamida hisoblash mumkin. Bizning jamoamiz buni yaqin kelajakda qanday qilish mumkinligi haqida alohida maqola ajratadi.

Shunday qilib, hozircha miqdoriy ma'lumotlar haqidagi hikoya to'xtatiladi, chunki turli xil vazifalar uchun ma'lumotlarni tayyorlash va oldindan qayta ishlashni qanday qilib yaxshiroq qilish haqida ko'plab boshqa nuanslar mavjud va miqdoriy ma'lumotlar uchun asosiy narsalar ushbu maqolada hisobga olingan va Endi sifat ma'lumotlariga qaytish vaqti keldi, biz miqdoriy ma'lumotlardan bir necha qadam orqaga ajratdik. Siz ushbu daftarni xohlaganingizcha o'zgartirishingiz mumkin, uni turli vazifalarga moslashtirasiz, shunda ma'lumotlarni oldindan qayta ishlash juda tez ketadi!

Sifatli ma'lumotlar

Asosan, sifatli ma'lumotlar uchun, uni satrdan (yoki ob'ektdan) raqamga formatlash uchun One-hot-kodlash usuli qo'llaniladi. Ushbu nuqtaga o'tishdan oldin, keling, bo'sh qiymatlar bilan ishlash uchun yuqoridagi diagramma va koddan foydalanamiz.

df_categorical.nunique()

sns.heatmap(df_categorical.isnull(),yticklabels=False,cbar=False,cmap='viridis')

0. Keraksiz ustunlarni olib tashlang

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True)

1. Ushbu ustundagi bo'sh qiymatlar soni 50% dan ortiqmi?

print(df_categorical.isnull().sum() / df_numerical.shape[0] * 100)

df_categorical.drop(labels=["колонка1","колонка2"], axis=1, inplace=True) #Удаляем, если какая-то колонка 
                                                                          #имеет больше 50% пустых значений

2. Bo'sh qiymatlari bo'lgan satrlarni o'chirish

df_categorical.dropna(inplace=True)#Удаляем строчки с пустыми значениями, 
                                   #если потом останется достаточно данных для обучения

3.1. Tasodifiy qiymat kiritish

import random
df_categorical["колонка"].fillna(lambda x: random.choice(df[df[column] != np.nan]["колонка"]), inplace=True)

3.2. Doimiy qiymat kiritish

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='constant', fill_value="<Ваше значение здесь>")
df_categorical[["новая_колонка1",'новая_колонка2','новая_колонка3']] = imputer.fit_transform(df_categorical[['колонка1', 'колонка2', 'колонка3']])
df_categorical.drop(labels = ["колонка1","колонка2","колонка3"], axis = 1, inplace = True)

Shunday qilib, biz nihoyat sifat ma'lumotlaridagi nulllarni ko'rib chiqdik. Endi ma'lumotlar bazangizdagi qiymatlarni bir martalik kodlashni amalga oshirish vaqti keldi. Ushbu usul ko'pincha algoritmingiz yuqori sifatli ma'lumotlardan o'rganishini ta'minlash uchun ishlatiladi.

def encode_and_bind(original_dataframe, feature_to_encode):
    dummies = pd.get_dummies(original_dataframe[[feature_to_encode]])
    res = pd.concat([original_dataframe, dummies], axis=1)
    res = res.drop([feature_to_encode], axis=1)
    return(res)

features_to_encode = ["колонка1","колонка2","колонка3"]
for feature in features_to_encode:
    df_categorical = encode_and_bind(df_categorical, feature))

Shunday qilib, biz nihoyat alohida sifat va miqdoriy ma'lumotlarni qayta ishlashni tugatdik - ularni qayta birlashtirish vaqti keldi

new_df = pd.concat([df_numerical,df_categorical], axis=1)

Ma'lumotlar to'plamini birlashtirgandan so'ng, biz nihoyat sklearn kutubxonasidan MinMaxScaler yordamida ma'lumotlarni o'zgartirishdan foydalanishimiz mumkin. Bu bizning qadriyatlarimizni 0 va 1 oralig'ida qiladi, bu kelajakda modelni o'rgatishda yordam beradi.

from sklearn.preprocessing import MinMaxScaler
min_max_scaler = MinMaxScaler()
new_df = min_max_scaler.fit_transform(new_df)

Bu ma'lumotlar endi hamma narsaga tayyor - neyron tarmoqlar, standart ML algoritmlari va boshqalar!

Ushbu maqolada biz vaqt seriyalari ma'lumotlari bilan ishlashni hisobga olmadik, chunki bunday ma'lumotlar uchun siz o'zingizning vazifangizga qarab biroz boshqacha ishlov berish usullaridan foydalanishingiz kerak. Kelajakda bizning jamoamiz ushbu mavzuga alohida maqola bag'ishlaydi va umid qilamizki, u sizning hayotingizga xuddi shu kabi qiziqarli, yangi va foydali narsalarni olib kirishi mumkin.

Manba: www.habr.com