Твой първи стъпка в Data Science. Титаник

Кратко предисловие

Смятам, че можем да свършим повече неща, ако получим стъпка по стъпка инструкции, които да ни кажат какво и как да правим. Спомням си в живота си моменти, в които не можех да започна нещо, защото беше трудно да разбера откъде да започна. Може би някога, когато в интернет видя думи "Data Science", си помисли, че си далеч от това, а хората, които се занимават с него, са някъде там, в другия свят. Но те всъщност са тук. И, възможно е, благодарение на хора в тази област, да си попаднал на статия в лентата си. Съществуват много курсове, които ще ти помогнат да усвоиш занаята и тук ще помогна да направиш първата стъпка.

Така че, готов ли си? Ще ти кажа веднага, че трябва да знаеш Python 3, тъй като ще го използвам тук. Препоръчвам също да инсталираш Jupyter Notebook предварително или да разгледаш как да използваш Google Colab.

Стъпка първа

Kaggle е важен помощник в това начинание. В принципе, можеш и без него, но за него ще говоря в друга статия. Това е платформа, на която се провеждат състезания по Data Science. На ранните етапи на всяко състезание ще получиш огромно количество опит в решаването на различни задачи, опит в разработката и работа в екип, което е важно днес.

Ще вземем нашата задача оттам. Намира се под името: "Титаник". Условията са: да се прогнозира, дали всеки отделен човек ще оцелее. Като цяло, задачата на човек, занимаващ се с DS, е да събира данни, обработва ги, обучава модел, прави прогнози и всичко останало. В Kaggle обаче ни позволяват да пропуснем етапа на събиране на данни — те вече са предоставени на платформата. Трябва само да ги изтеглим и можем да започнем работа!

Можеш да направиш това по следния начин:

в раздела Data са разположени файловете, в които се съдържат данните

Изтеглихме данните, подготвихме нашите Jupyter тетрадки и…

Стъпка втора

Как сега да изтеглим тези данни?

Първо, внасяме необходимите библиотеки:

import pandas as pd
import numpy as np

Pandas ще ни позволи да зареждаме .csv файлове за по-нататъшна обработка.

Numpy е необходим, за да представим нашата таблица данни под формата на матрица с числа.
Продължаваме. Ще вземем файла train.csv и ще го заредим:

dataset = pd.read_csv('train.csv')

Ще се позовем на нашия набор от данни train.csv чрез променливата dataset. Нека да видим какво съдържа той:

dataset.head()

Функцията head() ни позволява да прегледаме първите няколко реда на датафрейма.

Стълбците Survived представляват нашите резултати, които в този датафрейм са известни. За целите на задачата ни трябва да прогнозираме стълбец Survived за данните test.csv. В тези данни се съдържа информация за други пътници на Титаник, за които не знаем изходите.

И така, ще разделим нашата таблица на зависими и независими данни. Тук всичко е просто. Зависимите данни са тези, които зависят от независимите - т.е. резултатите. Независимите данни са тези, които влияят на изхода.

Например, имаме следния набор от данни:

„Вова учил информатика — не.
Вова получил 2 по информатика.“

Оценката по информатика зависи от отговора на въпроса: учил ли е Вова информатика? Ясно ли е? Продължаваме нататък, вече сме по-близо до целта!

Традиционната променлива за независими данни е X. За зависими - y.

Правим следното:

X = dataset.iloc[ : , 2 : ]
y = dataset.iloc[ : , 1 : 2 ]

Какво е това? С функцията iloc[:, 2: ] казваме на Python: искам да видя в променливата X данните, които започват от втория стълб (включително, при условие, че броенето започва от нула). Във втората линия казваме, че искаме да видим в y данните от първия стълб.

[ a:b, c:d ] — това е конструкцията, която използваме в скобите. Ако не зададем определени променливи, те ще останат по подразбиране. Тоест можем да зададем [:,: d] и тогава ще получим в датафрейма всички стълбци, с изключение на тези, които започват от номер d нататък. Променливите a и b определят редовете, но те са ни всички необходими, така че оставяме по подразбиране.

Нека видим какво сме получили:

X.head()

y.head()

За да опростим този малък урок, ще премахнем стълбците, които изискват особено „грижа“, или изобщо не влияят на оцеляването. Те съдържат данни от тип str.

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X.drop(count, inplace=True, axis=1)

Супер! Преминаваме към следващата стъпка.

Стъпка трета

Тук ще трябва да кодираме нашите данни, за да може машината по-добре да разбира как тези данни влияят на резултата. Но ще кодиране само част от данните, а именно данните от тип str, които сме оставили. Колоната "Sex". Как искаме да кодираме? Нека представим данните за пола на човека като вектор: 10 — мъжки пол, 01 — женски пол.

Първоначално да преобразуваме нашите таблици в матрица NumPy:

X = np.array(X)
y = np.array(y)

А сега да видим:

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X = np.array(ct.fit_transform(X))

Библиотеката sklearn е страхотна библиотека, която ни позволява да извършваме цялостна работа в Data Science. Тя съдържа голямо количество интересни модели за машинно обучение и ни позволява да се занимаваме с подготовка на данни.

OneHotEncoder ще ни позволи да кодиране пола на човека в желаното представяне, каквото описахме. Ще бъдат създадени 2 класа: мъжки и женски. Ако човекът е мъж, в колоната "мъжки" ще бъде записана 1, а в "женски" съответно 0.

След OneHotEncoder() стои [1] — това означава, че искаме да кодираме колоната номер 1 (броенето започва от нула).

Страхотно. Продължаваме напред!

Обикновено се случва така, че някои данни остават непопълнени (т.е. NaN — not a number). Например, има информация за човек: името му, пола. Но все пак няма данни за възрастта му. В такъв случай ще приложим метод, при който ще намерим средното аритметично на всички колони и, ако някои от данните в колоната са пропуснати, ще запълним празнотата със средното аритметично.

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X)
X = imputer.transform(X)

А сега да вземем в предвид, че могат да се случат ситуации, когато данните са много разпръснати. Някои данни са в интервала [0:1], а други могат да надвишават стотици и хиляди. За да изключим подобен разпад и компютърът да бъде по-точен в изчисленията, ще нормализираме данните. Нека всички числа да не надвишават три. За това ще използваме функцията StandartScaler.

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X[:, 2:] = sc.fit_transform(X[:, 2:])

Сега нашите данни изглеждат така:

Страхотно. Ние вече сме близо до целта си!

Четвърта стъпка

Ще обучим нашата първа модел! От библиотеката sklearn можем да намерим безброй интересни неща. Приложих модела Gradient Boosting Classifier към тази задача. Използваме класификатор, тъй като нашата задача е задача за класификация. Трябва да се прогнозира дали е 1 (оцелял) или 0 (не е оцелял).

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(learning_rate=0.5, max_depth=5, n_estimators=150)
gbc.fit(X, y)

Функцията fit казва на Python: Нека моделът търси зависимости между X и y.

По-малко от секунда и моделът е готов.

Как да го приложим? Сега ще видим!

Стъпка пета. Заключение

Сега трябва да заредим таблицата с нашите тестови данни, за които трябва да направим прогнозата. С тази таблица ще извършим същите действия, които направихме за X.

X_test = pd.read_csv('test.csv', index_col=0)

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X_test.drop(count, inplace=True, axis=1)

X_test = np.array(X_test)

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X_test = np.array(ct.fit_transform(X_test))

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X_test)
X_test = imputer.transform(X_test)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_test[:, 2:] = sc.fit_transform(X_test[:, 2:])

Нека приложим нашия модел!

gbc_predict = gbc.predict(X_test)

Всичко. Направихме прогнозата. Сега трябва да я запишем в csv и да я изпратим на сайта.

np.savetxt('my_gbc_predict.csv', gbc_predict, delimiter=",", header = 'Survived')

Готово. Получихме файл, съдържащ прогнозите за всеки пътник. Остава само да качим тези решения на сайта и да получим оценка на прогнозата. Такова примитивно решение дава 74% правилни отговори на публичните данни и също така осигурява известен тласък в Data Science. Най-любопитните могат по всяко време да ми пишат на лично и да задават въпроси. Благодаря на всички!

Източник: habr.com