Твоята първа стъпка в Data Science. Титаник

Небольшо въведително слово

Смятам, че можем да извършваме много повече дейности, ако имаме стъпкови инструкции, които да ни кажат какво и как да правим. Аз самият си спомням моменти в живота, когато не можех да започна определена дейност, защото просто беше трудно да разбера откъде да започна. Може би някога в интернет си видял думите „Data Science“ и си помислил, че това не е за теб, а хората, които се занимават с това, са някъде другаде, в друг свят. Но не, те са точно тук. И вероятно, благодарение на хора от тази сфера, ти е попаднала статия в новинарската лента. Има много курсове, които ще ти помогнат да се запознаеш с това умение, а аз ще ти помогна да направиш първата стъпка.

Така че, готов ли си? От самото начало трябва да ти кажа, че трябва да знаеш Python 3, тъй като него ще използвам тук. Също така ти препоръчвам предварително да инсталираш Jupyter Notebook или да видиш как да използваш Google Colab.

Първа стъпка

Kaggle е твой значителен помощник в това начинание. В принципе, можеш да се справиш и без него, но за това ще говоря в друга статия. Това е платформа, където се провеждат състезания по Data Science. На всяко такова състезание в ранните етапи ще получиш неимоверно количество опит в решаването на различни задачи, опит в разработката и работа в екип, което е важно в днешно време.

Нашата задача ще вземем оттам. Нейното наименование е: „Титаник“. Условието е: да предскажем дали всеки отделен човек ще оцелее. Общата задача на човек, който се занимава с DS, е събиране на данни, тяхната обработка, обучение на модел, предсказание и т.н. В Kaggle обаче ни позволяват да пропуснем етапа на събиране на данни — те са налични на платформата. Нужно е само да ги изтеглим и можем да започнем работа!

Можем да направим това по следния начин:

в раздела Data се намират файловете, в които се съдържат данните

Изтеглихме данните, подготвихме нашите Jupyter тетрадки и…

Втора стъпка

Как да изтеглим тези данни сега?

Първо, импортираме нужните библиотеки:

import pandas as pd
import numpy as np

Pandas ще ни позволи да заредим .csv файловете за по-нататъшната обработка.

Numpy е нужен за да представим нашата таблица с данни под формата на матрица с числа.
Продължаваме. Вземаме файла train.csv и го зареждаме:

dataset = pd.read_csv('train.csv')

Ние ще се позоваваме на нашата извадка train.csv данни чрез променливата dataset. Нека да видим какво има там:

dataset.head()

Функцията head() ни позволява да видим първите няколко реда на датафрейма.

Стълбецът Survived — е, всъщност, нашият резултат, който в този датафрейм е известен. По задачата, ни трябва да предскажем стълбеца Survived за данните в test.csv. В тези данни се съдържа информация за други пасажери на Титаник, за които, решаващи задачата, не познаваме изходите.

Така че, разделяме нашата таблица на зависими и независими данни. Тук всичко е просто. Зависимите данни са тези, които зависят от независимите, тоест от това, което се съдържа в изходите. Независимите данни са тези, които влияят на изхода.

Например, имаме такъв набор от данни:

„Вова учил ли е информатика — не.
Вова получил по информатика 2.“

Оценката по информатика зависи от отговора на въпроса: учил ли е Вова информатика? Ясно ли е? Продължаваме напред, вече сме по-близо до целта!

Традиционната променлива за независимите данни е X. За зависимите — y.

Правим следното:

X = dataset.iloc[ : , 2 : ]
y = dataset.iloc[ : , 1 : 2 ]

Какво означава това? С функцията iloc[:, 2: ] казваме на питона: искам да видя в променливата X данните, започващи от втория стълб (включително и при условие, че броенето започва от нула). Във втория ред казваме, че искаме да видим в y данните от първия стълб.

[ a:b, c:d ] — това е конструкция, която използваме в скобите. Ако не укажем някои променливи, те ще останат по подразбиране. Тоест, можем да укажем [:,: d] и тогава ще получим в датафрейма всички стълбци, освен тези, които започват от номер d и нататък. Променливите a и b определят редовете, но на нас ни трябват всички, затова оставяме по подразбиране.

Нека видим какво имаме:

X.head()

y.head()

За да опростим този малък урок, ще премахнем стълбците, които изискват специална 'грижа', или изобщо не влияят на оцеляването. Те съдържат данни от тип str.

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X.drop(count, inplace=True, axis=1)

Супер! Продължаваме към следващата стъпка.

Стъпка трета

Тук трябва да кодиране нашите данни, за да разбира машината по-добре как тези данни влияят на резултата. Но ще кодиране не всичко, а само данните от тип str, които сме оставили. Колоната „Пол“. Как искаме да ги кодиране? Нека представим данните за пола на човека като вектор: 10 — мъжки пол, 01 — женски пол.

Първо, нека преведем нашите таблици в NumPy матрица:

X = np.array(X)
y = np.array(y)

А сега да видим:

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X = np.array(ct.fit_transform(X))

Библиотеката sklearn е страхотна библиотека, която ни позволява да правим всичко в Data Science. Тя съдържа много интересни модели на машинно обучение, а също така ни позволява да се занимаваме с подготовка на данните.

OneHotEncoder ще ни позволи да кодиране пола на човека в описаното от нас представяне. Ще бъдат създадени 2 класа: мъжки и женски. Ако човекът е мъж, то в колоната „мъжки“ ще бъде записана 1, а в „женски“, съответно, 0.

След OneHotEncoder() стои [1] — това означава, че искаме да кодиране колоната номер 1 (започваме от нула).

Супер. Продължаваме напред!

Обикновено се случва, че някои данни остават незапълнени (т.е. NaN — not a number). Например, имаме информация за човек: неговото име, пол. Но данни за неговата възраст няма. В такъв случай ще приложим следния метод: ще намерим средното аритметично за всички колони и, ако данни в някоя колона са пропуснати, ще запълним пропуската със средното аритметично.

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X)
X = imputer.transform(X)

А сега да вземем предвид, че има ситуации, в които данните са много разпръснати. Някои данни се намират в диапазона [0:1], а други могат да достигат стотици и хиляди. За да изключим такова разпръскване и компютърът да е по-точен в изчисленията, ще мащабираме данните. Нека всички числа не надвишават тройка. За това ще използваме функцията StandardScaler.

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X[:, 2:] = sc.fit_transform(X[:, 2:])

Сега нашите данни изглеждат така:

Страхотно. Вече сме близо до нашата цел!

Четвърта стъпка

Нека обучим нашия първи модел! От библиотеката sklearn можем да намерим огромно количество интересности. Приложих модел Gradient Boosting Classifier за тази задача. Използваме класификатор, тъй като нашата задача е задача за класификация. Необходимо е да прогнозираме дали е 1 (оцелял) или 0 (не е оцелял).

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(learning_rate=0.5, max_depth=5, n_estimators=150)
gbc.fit(X, y)

Функцията fit казва на Python: Нека моделът търси зависимости между X и y.

По-малко от секунда и моделът е готов.

Как да го приложим? Скоро ще видим!

Стъпка пета. Заключение

Сега трябва да заредим таблица с нашите тестови данни, за които трябва да направим прогноза. С тази таблица ще извършим същите действия, които направихме за X.

X_test = pd.read_csv('test.csv', index_col=0)

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X_test.drop(count, inplace=True, axis=1)

X_test = np.array(X_test)

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X_test = np.array(ct.fit_transform(X_test))

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X_test)
X_test = imputer.transform(X_test)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_test[:, 2:] = sc.fit_transform(X_test[:, 2:])

Нека приложим нашия модел!

gbc_predict = gbc.predict(X_test)

Всичко. Направихме прогноза. Сега трябва да я запишем в CSV и да я изпратим на сайта.

np.savetxt('my_gbc_predict.csv', gbc_predict, delimiter=",", header = 'Survived')

Готово. Получихме файл, съдържащ предсказания за всеки пътник. Остава да качим тези решения на сайта и да получим оценка на прогнозата. Такова примитивно решение дава не само 74% правилни отговори на публичната платформа, но и някакъв тласък в Data Science. Най-любопитните могат да ми пишат в лични съобщения и да задават въпроси. Благодаря на всички!

Източник: habr.com