Ваш први корак у науци о подацима. Титаник

Кратка уводна реч

Верујем да бисмо могли да урадимо више ствари када бисмо добили упутства корак по корак која би нам говорила шта и како да радимо. И сама се сећам тренутака у свом животу када нисам могла нешто да започнем јер је једноставно било тешко разумети одакле да почнем. Можда сте једном давно на Интернету видели речи „Наука о подацима“ и закључили да сте далеко од овога, а људи који то раде су негде тамо, у другом свету. Не, они су овде. И, можда, захваљујући људима из ове области, на вашем фееду се појавио чланак. Постоји много курсева који ће вам помоћи да се навикнете на овај занат, али овде ћу вам помоћи да направите први корак.

Па, јеси ли спреман? Одмах да вам кажем да ћете морати да знате Питхон 3, пошто ћу то овде користити. Такође вам саветујем да га унапред инсталирате на Јупитер Нотебоок или видите како да користите гоогле цолаб.

Први корак

Каггле је ваш значајан помоћник у овој ствари. У принципу, можете и без тога, али о томе ћу говорити у другом чланку. Ово је платформа на којој се одржавају такмичења у науци о подацима. У сваком таквом такмичењу, у раним фазама стећи ћете нереално искуство у решавању проблема разних врста, развојно искуство и искуство рада у тиму, што је важно у нашем времену.

Одатле ћемо преузети наш задатак. Зове се "Титаник". Услов је следећи: предвидети да ли ће свака појединачна особа преживети. Уопштено говорећи, задатак особе која је укључена у ДС је прикупљање података, њихова обрада, обучавање модела, предвиђање и тако даље. У каггле-у нам је дозвољено да прескочимо фазу прикупљања података - они су представљени на платформи. Морамо да их преузмемо и можемо да почнемо!

То можете учинити на следећи начин:

картица Подаци садржи датотеке које садрже податке

Преузели смо податке, припремили наше Јупитер свеске и...

Други корак

Како сада учитавамо ове податке?

Прво, хајде да увеземо потребне библиотеке:

import pandas as pd
import numpy as np

Панде ће нам омогућити да преузмемо .цсв датотеке за даљу обраду.

Нумпи је потребан да представи нашу табелу података као матрицу са бројевима.
Хајде. Узмимо датотеку траин.цсв и отпремимо нам је:

dataset = pd.read_csv('train.csv')

Позваћемо се на наш избор података траин.цсв кроз променљиву скупа података. Да видимо шта има:

dataset.head()

Функција хеад() омогућава нам да погледамо првих неколико редова оквира података.

Преживеле колоне су управо наши резултати, који су познати у овом оквиру података. За питање задатка, треба да предвидимо колону Преживели за тест.цсв податке. Ови подаци чувају информације о другим путницима Титаника, за које ми, решавајући проблем, не знамо исход.

Дакле, поделимо нашу табелу на зависне и независне податке. Овде је све једноставно. Зависни подаци су они подаци који зависе од независних података који се налазе у исходима. Независни подаци су они подаци који утичу на исход.

На пример, имамо следећи скуп података:

„Вова је предавао информатику - не.
Вова је добио 2 из информатике.”

Оцена из информатике зависи од одговора на питање: да ли је Вова студирао информатику? Је јасно? Идемо даље, већ смо ближе циљу!

Традиционална варијабла за независне податке је Кс. За зависне податке, и.

Радимо следеће:

X = dataset.iloc[ : , 2 : ]
y = dataset.iloc[ : , 1 : 2 ]

Шта је то? Са функцијом илоц[:, 2: ] кажемо Питхон-у: Желим да видим у променљивој Кс податке који почињу од друге колоне (укључујући и под условом да бројање почиње од нуле). У другом реду кажемо да желимо да видимо податке у првој колони.

[ а:б, ц:д ] је конструкција онога што користимо у заградама. Ако не наведете ниједну променљиву, оне ће бити сачуване као подразумеване. То јест, можемо одредити [:,: д] и тада ћемо добити све колоне у оквиру података, осим оних које иду од броја д па надаље. Променљиве а и б дефинишу низове, али су нам све потребне, па ово остављамо као подразумевано.

Да видимо шта имамо:

X.head()

y.head()

Да бисмо поједноставили ову малу лекцију, уклонићемо колоне које захтевају посебну пажњу или уопште не утичу на преживљавање. Садрже податке типа стр.

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X.drop(count, inplace=True, axis=1)

Супер! Пређимо на следећи корак.

Корак три

Овде треба да кодирамо наше податке како би машина боље разумела како ови подаци утичу на резултат. Али нећемо кодирати све, већ само стр податке које смо оставили. Колона „Секс”. Како желимо да кодирамо? Хајде да представимо податке о полу особе као вектор: 10 - мушко, 01 - женско.

Прво, хајде да конвертујемо наше табеле у НумПи матрицу:

X = np.array(X)
y = np.array(y)

А сада погледајмо:

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X = np.array(ct.fit_transform(X))

Склеарн библиотека је тако кул библиотека која нам омогућава да обавимо комплетан посао у науци о подацима. Садржи велики број занимљивих модела машинског учења и такође нам омогућава припрему података.

ОнеХотЕнцодер ће нам омогућити да кодирамо пол особе у тој репрезентацији, као што смо описали. Створиће се 2 разреда: мушко, женско. Ако је особа мушкарац, онда ће 1 бити написано у колони „мушко“, а 0 у колони „женско“.

После ОнеХотЕнцодер() постоји [1] - то значи да желимо да кодирамо колону број 1 (рачунајући од нуле).

Супер. Хајдемо још даље!

По правилу, то се дешава да неки подаци остану празни (то јест, НаН - не број). На пример, постоје информације о особи: његово име, пол. Али нема података о његовим годинама. У овом случају применићемо следећи метод: наћи ћемо аритметичку средину над свим колонама и, ако неки подаци недостају у колони, онда ћемо празнину попунити аритметичком средином.

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X)
X = imputer.transform(X)

Сада узмимо у обзир да се ситуације дешавају када су подаци веома велики. Неки подаци су у интервалу [0:1], док неки могу прелазити стотине и хиљаде. Да бисмо елиминисали такво расипање и да бисмо рачунар учинили прецизнијим у својим прорачунима, скенираћемо податке и скалирати их. Нека сви бројеви не прелазе три. Да бисмо то урадили, користићемо функцију СтандардСцалер.

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X[:, 2:] = sc.fit_transform(X[:, 2:])

Сада наши подаци изгледају овако:

Класа. Већ смо близу циља!

Четврти корак

Хајде да обучимо наш први модел! Из склеарн библиотеке можемо пронаћи огроман број занимљивих ствари. На овај проблем сам применио модел Градиент Боостинг Цлассифиер. Користимо А класификатор јер је наш задатак задатак класификације. Прогнозу треба доделити 1 (преживео) или 0 (није преживео).

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(learning_rate=0.5, max_depth=5, n_estimators=150)
gbc.fit(X, y)

Функција уклапања говори Пајтону: Нека модел тражи зависности између Кс и и.

Мање од секунде и модел је спреман.

Како га применити? Видећемо сад!

Корак пети. Закључак

Сада треба да учитамо табелу са нашим тест подацима за које треба да направимо прогнозу. Са овом табелом урадићемо све исте радње које смо урадили за Кс.

X_test = pd.read_csv('test.csv', index_col=0)

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X_test.drop(count, inplace=True, axis=1)

X_test = np.array(X_test)

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X_test = np.array(ct.fit_transform(X_test))

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X_test)
X_test = imputer.transform(X_test)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_test[:, 2:] = sc.fit_transform(X_test[:, 2:])

Хајде да сада применимо наш модел!

gbc_predict = gbc.predict(X_test)

Све. Направили смо прогнозу. Сада то треба снимити у цсв и послати на сајт.

np.savetxt('my_gbc_predict.csv', gbc_predict, delimiter=",", header = 'Survived')

Спреман. Добили смо фајл који садржи предвиђања за сваког путника. Остаје само да ова решења поставите на веб локацију и добијете процену прогнозе. Овакво примитивно решење даје не само 74% тачних одговора у јавности, већ и неки подстицај у Дата Сциенце. Најрадозналији могу у сваком тренутку да ми пишу у приватне поруке и постављају питање. Хвала свима!

Извор: ввв.хабр.цом