Вашиот прв чекор во науката за податоци. Титаник

Краток воведен збор

Верувам дека би можеле да направиме повеќе работи доколку ни бидат дадени чекор-по-чекор инструкции кои ќе ни кажат што да правиме и како да го правиме тоа. Се сеќавам на моменти од мојот живот кога не можев да започнам нешто затоа што беше едноставно тешко да се разбере од каде да почнам. Можеби некогаш на Интернет сте ги виделе зборовите „Наука за податоци“ и решивте дека сте далеку од ова, а луѓето што го прават тоа биле некаде таму, во друг свет. Не, тие се тука. И, можеби, благодарение на луѓето од оваа област, се појави статија на вашата храна. Има многу курсеви кои ќе ви помогнат да се навикнете на овој занает, но тука ќе ви помогнам да го направите првиот чекор.

Па, дали сте подготвени? Веднаш да ви кажам дека ќе треба да го знаете Python 3, бидејќи тоа е она што ќе го користам овде. Исто така, ве советувам однапред да го инсталирате на Jupyter Notebook или да видите како да користите google colab.

Чекор еден

Kaggle е вашиот значаен асистент во ова прашање. Во принцип, можете да направите без него, но јас ќе зборувам за ова во друга статија. Ова е платформа која е домаќин на натпревари за Data Science. Во секој таков натпревар, во раните фази ќе стекнете нереално искуство во решавање на проблеми од различни видови, развојно искуство и искуство во тимска работа, што е важно во наше време.

Од таму ќе си ја преземеме задачата. Се вика „Титаник“. Условот е овој: предвидете дали секој поединец ќе преживее. Општо земено, задачата на лицето вклучено во ДС е собирање податоци, нивна обработка, обука на модел, прогнозирање итн. Во kaggle, ни е дозволено да ја прескокнеме фазата на собирање податоци - тие се претставени на платформата. Треба да ги преземеме и можеме да започнеме!

Можете да го направите ова на следниов начин:

табот Податоци содржи датотеки што содржат податоци

Ги преземавме податоците, ги подготвивме нашите Jupyter тетратки и ...

Чекор два

Како сега да ги вчитаме овие податоци?

Прво, да ги увеземе потребните библиотеки:

import pandas as pd
import numpy as np

Pandas ќе ни овозможат да преземаме .csv датотеки за понатамошна обработка.

Numpy е потребен за да ја претстави нашата табела со податоци како матрица со броеви.
Само напред. Да ја земеме датотеката train.csv и да ја подигнеме кај нас:

dataset = pd.read_csv('train.csv')

Ќе се повикаме на нашиот избор на податоци train.csv преку променливата на податоци. Ајде да видиме што има таму:

dataset.head()

Функцијата head() ни овозможува да ги погледнеме првите неколку редови од податочната рамка.

Колоните Survived се токму нашите резултати, кои се познати во оваа податочна рамка. За прашањето за задачата, треба да ја предвидиме колоната Survived за податоци test.csv. Овие податоци чуваат информации за други патници на Титаник, за кои ние, решавајќи го проблемот, не го знаеме исходот.

Значи, ајде да ја поделиме нашата табела на зависни и независни податоци. Сè е едноставно овде. Зависни податоци се оние податоци кои зависат од независните податоци кои се во исходите. Независни податоци се оние податоци кои влијаат на исходот.

На пример, го имаме следното збир на податоци:

„Вова предаваше информатика - бр.
Вова доби 2 по компјутерски науки“.

Оценката по информатика зависи од одговорот на прашањето: дали Вова студирал информатика? Дали е јасно? Одиме понатаму, веќе сме поблиску до целта!

Традиционалната променлива за независни податоци е X. За зависни податоци, y.

Го правиме следново:

X = dataset.iloc[ : , 2 : ]
y = dataset.iloc[ : , 1 : 2 ]

Што е тоа? Со функцијата iloc[:, 2: ] му кажуваме на Python: Сакам да ги видам во променливата X податоците почнувајќи од втората колона (вклучително и под услов броењето да започне од нула). Во вториот ред велиме дека сакаме да ги видиме податоците во првата колона.

[ a:b, c:d ] е конструкција на она што го користиме во загради. Ако не наведете никакви променливи, тие ќе бидат зачувани како стандардни. Односно, можеме да одредиме [:,: d] и потоа ќе ги добиеме сите колони во податочната рамка, освен оние што одат од бројот d наваму. Променливите a и b дефинираат низи, но ни требаат сите, па го оставаме ова како стандардно.

Ајде да видиме што добивме:

X.head()

y.head()

Со цел да ја поедноставиме оваа мала лекција, ќе ги отстраниме колоните кои бараат посебна грижа или воопшто не влијаат на опстанокот. Содржат податоци од типот str.

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X.drop(count, inplace=True, axis=1)

Супер! Ајде да продолжиме на следниот чекор.

Чекор три

Тука треба да ги шифрираме нашите податоци за машината подобро да разбере како овие податоци влијаат на резултатот. Но, ние нема да шифрираме сè, туку само податоците за str што ги оставивме. Колона „Секс“. Како сакаме да кодираме? Да ги претставиме податоците за полот на една личност како вектор: 10 - машки, 01 - женски.

Прво, ајде да ги конвертираме нашите табели во NumPy матрица:

X = np.array(X)
y = np.array(y)

И сега да погледнеме:

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X = np.array(ct.fit_transform(X))

Sklearn библиотеката е толку кул библиотека што ни овозможува да направиме целосна работа во Data Science. Содржи голем број на интересни модели за машинско учење и исто така ни овозможува да правиме подготовка на податоци.

OneHotEncoder ќе ни овозможи да го шифрираме полот на личноста во таа репрезентација, како што опишавме. Ќе се создадат 2 паралелки: машки, женски. Ако лицето е маж, тогаш во колоната „машки“ ќе биде напишано 1, а во колоната „женско“ 0, соодветно.

По OneHotEncoder() постои [1] - тоа значи дека сакаме да ја кодираме колоната број 1 (броејќи од нула).

Супер. Да одиме уште подалеку!

Како по правило, ова се случува некои податоци да останат празни (т.е. NaN - не бројка). На пример, има информации за некоја личност: неговото име, пол. Но, нема информации за неговата возраст. Во овој случај, ќе го примениме следниов метод: ќе ја најдеме аритметичката средина над сите колони и, ако недостасуваат некои податоци во колоната, тогаш празнината ќе ја пополниме со аритметичката средина.

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X)
X = imputer.transform(X)

Сега да земеме предвид дека се случуваат ситуации кога податоците се многу големи. Некои податоци се во интервалот [0:1], додека некои може да надминат стотици и илјадници. За да се елиминира таквото расејување и да се направи компјутерот попрецизен во неговите пресметки, ќе ги скенираме податоците и ќе ги скалираме. Нека сите броеви не надминуваат три. За да го направите ова, ќе ја користиме функцијата StandardScaler.

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X[:, 2:] = sc.fit_transform(X[:, 2:])

Сега нашите податоци изгледаат вака:

Класа. Веќе сме блиску до нашата цел!

Чекор четири

Ајде да го тренираме нашиот прв модел! Од библиотеката Sklearn можеме да најдеме огромен број интересни работи. На овој проблем го применив моделот на Класификатор за зајакнување на градиент. Ние користиме класификатор бидејќи нашата задача е задача за класификација. Прогнозата треба да се додели на 1 (преживеан) или 0 (не преживеа).

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(learning_rate=0.5, max_depth=5, n_estimators=150)
gbc.fit(X, y)

Функцијата за вклопување му кажува на Пајтон: Нека моделот бара зависност помеѓу X и y.

Помалку од секунда и моделот е готов.

Како да се примени? Сега ќе видиме!

Чекор пет. Заклучок

Сега треба да вчитаме табела со нашите тест податоци за кои треба да направиме прогноза. Со оваа табела ќе ги направиме сите исти дејства што ги направивме за X.

X_test = pd.read_csv('test.csv', index_col=0)

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X_test.drop(count, inplace=True, axis=1)

X_test = np.array(X_test)

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X_test = np.array(ct.fit_transform(X_test))

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X_test)
X_test = imputer.transform(X_test)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_test[:, 2:] = sc.fit_transform(X_test[:, 2:])

Ајде да го примениме нашиот модел сега!

gbc_predict = gbc.predict(X_test)

Сите. Направивме прогноза. Сега треба да се сними во csv и да се испрати на веб-страницата.

np.savetxt('my_gbc_predict.csv', gbc_predict, delimiter=",", header = 'Survived')

Подготвени. Добивме досие со предвидувања за секој патник. Останува само да се прикачат овие решенија на веб-страницата и да се добие проценка на прогнозата. Ваквото примитивно решение дава не само 74% точни одговори во јавноста, туку и одреден импулс во Data Science. Најљубопитните можат во секое време да ми пишат во приватни пораки и да постават прашање. Ви благодарам на сите!

Извор: www.habr.com