Sinu esimene samm andme teaduses. Titanic

Lühike sissejuhatus

Ma usun, et me võiksime teha palju rohkem, kui meil oleks samm-sammult juhiseid, mis ütleksid, mida ja kuidas teha. Mäletan, et minu elus on olnud hetki, kus mul oli raske alustada mõnda projekti, kuna oli lihtsalt keeruline mõista, kust alustada. Võib-olla, kui sa kunagi ammu Internetis nägid sõnu „Andme teadus” ja arvasid, et see on kaugel sinust, kuna inimesed, kes sellega tegelevad, on kusagil seal teises maailmas. Kuid nii see ei ole, nad on siin lähedal. Ja võib-olla, tänu sellele valdkonnale, sattusid sa mingisse artiklisse. On palju kursuseid, mis aitavad sul seda ametit omandada ning siin aitan ma sul teha oma esimese sammu.

Noh, oled valmis? Ootan, et sa pead teadma Python 3, kuna seda ma siin kasutan. Samuti soovitan eelnevalt paigaldada Jupyter Notebooki või uurida, kuidas kasutada Google Colabi.

Esimene samm

Kaggle on sinu oluline abiline selles osas. Tegelikult saab hakkama ka ilma selleta, kuid sellest räägin ma teises artiklis. See on platvorm, kus toimuvad andme teaduse võistlused. Igas sellises võistluses saad sa varakult palju kogemusi erinevate probleemide lahendamisel, arendamisel ja meeskonnatöös, mis on tänapäeval ülioluline.

Meie ülesanne tuleb sealt. Selle nimi on: „Titanic”. Ülesanne on selline: prognoosida, kas iga eraldi inimene jääb ellu või mitte. Üldiselt on andme teaduse spetsialisti ülesanne andmete kogumine, töötlemine, mudeli treenimine, prognoosimine ja nii edasi. Kaggle'is võimaldatakse meile andmete kogumise etapp vahele jätta — need on platvormil juba olemas. Peame need üles laadima ja saame alustada tööd!

Seda saab teha järgmiselt:

andmete vahekaardilt leiad failid, kus on andmed

Oleme andmed üles laadinud, valmistanud ette meie Jupyter töövihikud ja…

Teine samm

Kuidas me nüüd neid andmeid üles laadime?

Esiteks toome sisse vajalikud raamatukogud:

import pandas as pd
import numpy as np

Pandas võimaldab meil laadida .csv faile edasiseks töötlemiseks.

Numpy on vajalik selleks, et esitada meie andmetabel numbritega maatriksina.
Liigume edasi. Võtame faili train.csv ja laadime selle meile:

dataset = pd.read_csv('train.csv')

Me viitame meie andmestikule train.csv muutuja kaudu. Vaadakem, mis seal on:

dataset.head()

Funktsioon head() võimaldab meil vaadata andmeraami esimesi paar rida.

Veerg Survived on just need tulemused, mis on selles andmeraamis teada. Meie ülesande kohaselt peame ennustama veeru Survived väärtusi andmetes test.csv. Nendes andmetes on teavet teiste Titanicu reisijate kohta, kelle lõpptulemused on meile, ülesannet lahendavale, teadmata.

Nii et jagame oma tabeli sõltuvateks ja sõltumatuteks andmeteks. Siin on kõik lihtne. Sõltuvad andmed on need, mis sõltuvad sõltumatutest, see, mis on tulemustes. Süsteemsed andmed on need, mis mõjutavad tulemust.

Näiteks on meil selline andmestik:

«Vova õppis informaatikat — ei.
Vova sai informaatikast 2.»

Hinnang informaatikas sõltub vastusest küsimusele: kas Vova õppis informaatikat? Kas on selge? Liigume edasi, oleme juba lähemal eesmärgile!

Traditsiooniline muutuja sõltumatute andmete jaoks on X. Sõltuvate jaoks — y.

Teeme järgmist:

X = dataset.iloc[ : , 2 : ]
y = dataset.iloc[ : , 1 : 2 ]

Mis see on? Funktsioon iloc[:, 2: ] ütleb Pythoni: tahan näha muutuja X sees andmeid, mis algavad teisest veerust (kaasa arvatud ja eeldades, et loendus algab nullist). Teises reas ütleme, et tahame näha y sees esimest veergu.

[ a:b, c:d ] — see on konstruktsioon, mida me kasutame sulgudes. Kui mõnda muutujat ei täpsustata, jäävad nad vaikimisi. See tähendab, et saame määrata [:,: d] ja siis saame andmeraamis kõik veerud, välja arvatud need, mis algavad numbrist d ja edasi. Muutujad a ja b määravad read, kuid neid vajame kõik, seega jätame vaikimisi.

Vaadakem, mis meil välja tuli:

X.head()

y.head()

Selle väikesed õppetunni lihtsustamiseks eemaldame veerud, mis vajavad erilist 'hoolt', või mõjutavad üldse mitte ellujäämist. Neis on andmed tüübilt str.

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X.drop(count, inplace=True, axis=1)

Super! Liikume järgmise sammu juurde.

Kolmas samm

Siin peame kodeerima meie andmed, et masin saaks paremini aru, kuidas need andmed tulemust mõjutavad. Kuid kodeerime ainult need andmed, mis on tüüpi str, mille me jätsime. Veerg «Sex». Kuidas me tahame selle kodeerida? Kujutame inimese soo andmeid vektorina: 10 – meessoost, 01 – naissoost.

Alustame, muutes meie tabelid NumPy maatriksiks:

X = np.array(X)
y = np.array(y)

Ja nüüd vaatame:

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X = np.array(ct.fit_transform(X))

Sklearn teek on selline äge teek, mis võimaldab meil teha täielikult Data Science'i tööd. See sisaldab palju huvitavaid masinõppe mudeleid ja võimaldab meil tegeleda andmete ettevalmistamisega.

OneHotEncoder võimaldab meil kodeerida inimese soo just sellisel viisil, nagu me oleme seda kirjeldanud. Loodud saavad kaks klassi: meessoost, naissoost. Kui inimene on mees, kirjutatakse veergu «meessoost» 1 ja veergu «naissoost» vastavalt 0.

Pärast OneHotEncoder() on [1] – see tähendab, et tahame kodeerida veeru number 1 (arvestamine algab nullist).

Super. Edasi liikudes!

Tavaliselt juhtub, et mõned andmed jäävad täitmata (st NaN – mitte number). Näiteks on inimesest teave: tema nimi, sugu. Kuid tema vanuse kohta andmeid ei ole. Sellisel juhul rakendame sellist meetodit: leiame keskmise aritmeetika kõigi veergude osas ja kui mõnes veerus on andmed puudulikud, siis täidame tühik keskmise aritmeetikaga.

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X)
X = imputer.transform(X)

Ja nüüd peame arvestama, et on olukordi, kus andmed on väga palju laienenud. Mõned andmed asuvad vahemikus [0:1], kuid mõned võivad küündida sadade ja tuhandeteni. Selle hajumise välistamiseks ja arvuti täpsemaks muutmiseks skaleerime andmed, standardiseerime need. Las kõik numbrid ei ületa kolme. Selleks kasutame funktsiooni StandardScaler.

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X[:, 2:] = sc.fit_transform(X[:, 2:])

Nüüd näevad meie andmed välja sellised:

Klass. Oleme juba oma eesmärgile lähedal!

Neljas samm

Koolitame meie esimest mudelit! Sklearn'i raamatukogust leiame tohutult palju huvitavat. Rakendasin selle ülesande jaoks Gradient Boosting Classifier mudelit. Kasutame klassifikaatorit, kuna meie ülesanne on klassifitseerimine. Tuleb prognoosida, kas inimene kuulub 1 (ellu jäänud) või 0 (ei suutnud ellu jääda).

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(learning_rate=0.5, max_depth=5, n_estimators=150)
gbc.fit(X, y)

Funktsioon fit ütleb Pythonile: Las mudel otsib sõltuvusi X ja y vahel.

Minder kui sekund ja mudel on valmis.

Kuidas seda rakendada? Praegu näeme!

Viies samm. Kokkuvõte

Nüüd peame laadima lauale meie testandmed, mille jaoks tuleb koostada prognoos. Selle tabeliga teeme kõik samad toimingud, mida tegime Xiga.

X_test = pd.read_csv('test.csv', index_col=0)

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X_test.drop(count, inplace=True, axis=1)

X_test = np.array(X_test)

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X_test = np.array(ct.fit_transform(X_test))

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X_test)
X_test = imputer.transform(X_test)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_test[:, 2:] = sc.fit_transform(X_test[:, 2:])

Rakendame nüüd meie mudelit!

gbc_predict = gbc.predict(X_test)

Kõik. Koostasime prognoosi. Nüüd tuleb see salvestada csv formaati ja saata veebilehele.

np.savetxt('my_gbc_predict.csv', gbc_predict, delimiter=",", header = 'Survived')

Valmis. Saime faili, mis sisaldab ennustusi iga reisija kohta. Jäänud on vaid need lahendused veebilehele laadida ja prognoosi hindamine saada. See primitiivne lahendus annab mitte ainult 74% õigeid vastuseid avalikus, vaid ka teatud tõuke andmete teaduses. Kõige uudishimulikumad võivad mulle igal ajal kirjutada isiklikes sõnumites ja küsimusi esitada. Kõigile aitäh!

Allikas: habr.com