데이터 과학의 첫 번째 단계입니다. 거대한

짧은 소개 단어

나는 우리에게 무엇을 해야 할지, 어떻게 해야 할지 알려주는 단계별 지침이 제공된다면 우리가 더 많은 일을 할 수 있다고 믿습니다. 나 자신도 인생에서 어디서부터 시작해야 할지 이해하기 어려웠기 때문에 무언가를 시작할 수 없었던 순간을 기억합니다. 아마도 옛날 옛적에 인터넷에서 "데이터 과학"이라는 단어를 보고 자신은 이것과는 거리가 멀고 이 일을 하는 사람들은 저 바깥 어딘가, 다른 세계에 있다고 판단했을 것입니다. 아니, 바로 여기 있어요. 그리고 아마도 이 분야의 사람들 덕분에 귀하의 피드에 기사가 나타났을 것입니다. 이 기술에 익숙해지는 데 도움이 되는 강좌가 많이 있지만 여기서는 첫 단계를 밟는 데 도움을 드리겠습니다.

자, 준비됐나요? 여기서는 Python 3를 사용할 것이기 때문에 Python XNUMX를 알아야 한다는 점을 즉시 말씀드리겠습니다. 그리고 미리 Jupyter Notebook에 설치해 보시거나 구글 Colab 사용법을 참고해 보시길 권합니다.

Шаг의 первый

Kaggle은 이 문제에 있어 중요한 조력자입니다. 원칙적으로 그것 없이도 할 수 있지만 이에 대해서는 다른 기사에서 이야기하겠습니다. 데이터 사이언스 대회를 개최하는 플랫폼입니다. 이러한 각 대회에서는 초기 단계에서 우리 시대에 중요한 다양한 종류의 문제 해결, 개발 경험 및 팀 작업 경험에 대한 비현실적인 양의 경험을 얻게 될 것입니다.

우리는 거기에서 우리의 임무를 맡을 것입니다. 이름은 '타이타닉'이다. 조건은 이렇습니다. 각 개인이 생존할 것인지 예측하는 것입니다. 일반적으로 DS에 관련된 사람의 업무는 데이터 수집, 처리, 모델 학습, 예측 등입니다. Kaggle에서는 데이터 수집 단계를 건너뛸 수 있습니다. 데이터 수집 단계는 플랫폼에 표시됩니다. 다운로드해야 하며 시작할 수 있습니다!

다음과 같이 이 작업을 수행할 수 있습니다.

데이터 탭에는 데이터가 포함된 파일이 포함되어 있습니다.

데이터를 다운로드하고 Jupyter 노트북을 준비한 다음...

Шаг의 второй

이제 이 데이터를 어떻게 로드합니까?

먼저 필요한 라이브러리를 가져옵니다.

import pandas as pd
import numpy as np

Pandas를 사용하면 추가 처리를 위해 .csv 파일을 다운로드할 수 있습니다.

데이터 테이블을 숫자가 포함된 행렬로 표현하려면 Numpy가 필요합니다.
계속하세요. train.csv 파일을 가져와서 업로드해 보겠습니다.

dataset = pd.read_csv('train.csv')

데이터세트 변수를 통해 train.csv 데이터 선택을 참조하겠습니다. 거기에 무엇이 있는지 봅시다:

dataset.head()

head() 함수를 사용하면 데이터프레임의 처음 몇 행을 볼 수 있습니다.

Survived 열은 정확하게 이 데이터 프레임에 알려진 결과입니다. 작업 질문의 경우 test.csv 데이터의 Survived 열을 예측해야 합니다. 이 데이터는 타이타닉의 다른 승객에 대한 정보를 저장하며, 문제를 해결하는 우리는 결과를 알 수 없습니다.

이제 테이블을 종속 데이터와 독립 데이터로 나누어 보겠습니다. 여기에서는 모든 것이 간단합니다. 종속 데이터는 결과에 포함된 독립 데이터에 의존하는 데이터입니다. 독립적인 데이터는 결과에 영향을 미치는 데이터입니다.

예를 들어 다음과 같은 데이터 세트가 있습니다.

“Vova는 컴퓨터 과학을 가르쳤습니다.
Vova는 컴퓨터 과학에서 2점을 받았습니다.”

컴퓨터 과학의 성적은 Vova가 컴퓨터 과학을 공부했습니까?라는 질문에 대한 답에 따라 달라집니다. 명백합니까? 계속해서 진행하세요. 우리는 이미 목표에 더 가까워졌습니다!

독립 데이터의 기존 변수는 X입니다. 종속 데이터의 경우 y입니다.

우리는 다음을 수행합니다:

X = dataset.iloc[ : , 2 : ]
y = dataset.iloc[ : , 1 : 2 ]

그것은 무엇입니까? iloc[:, 2: ] 함수를 사용하여 Python에 다음과 같이 알립니다. 변수 X에서 두 번째 열부터 시작하는 데이터를 보고 싶습니다(XNUMX부터 계산이 시작되는 경우 포함). 두 번째 줄에서는 첫 번째 열의 데이터를 보고 싶다고 말합니다.

[ a:b, c:d ]는 괄호 안에 사용하는 구성입니다. 변수를 지정하지 않으면 기본값으로 저장됩니다. 즉, [:,: d]를 지정하면 숫자 d 이후의 열을 제외하고 데이터프레임의 모든 열을 가져올 수 있습니다. 변수 a와 b는 문자열을 정의하지만 모두 필요하므로 기본값으로 둡니다.

우리가 무엇을 얻었는지 봅시다:

X.head()

y.head()

이 작은 교훈을 단순화하기 위해 특별한 주의가 필요하거나 생존 가능성에 전혀 영향을 주지 않는 열을 제거하겠습니다. 여기에는 str 유형의 데이터가 포함됩니다.

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X.drop(count, inplace=True, axis=1)

감독자! 다음 단계로 넘어 갑시다.

3 단계

여기서는 기계가 이 데이터가 결과에 어떤 영향을 미치는지 더 잘 이해할 수 있도록 데이터를 인코딩해야 합니다. 그러나 우리는 모든 것을 인코딩하지 않고 우리가 남긴 str 데이터만 인코딩할 것입니다. 열 "섹스". 우리는 어떻게 코딩하고 싶나요? 사람의 성별에 대한 데이터를 벡터(10 - 남성, 01 - 여성)로 표현해 보겠습니다.

먼저 테이블을 NumPy 행렬로 변환해 보겠습니다.

X = np.array(X)
y = np.array(y)

이제 살펴보겠습니다.

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X = np.array(ct.fit_transform(X))

sklearn 라이브러리는 데이터 과학에서 완전한 작업을 수행할 수 있는 멋진 라이브러리입니다. 여기에는 흥미로운 기계 학습 모델이 많이 포함되어 있으며 데이터 준비도 가능합니다.

OneHotEncoder를 사용하면 설명된 대로 해당 표현에서 사람의 성별을 인코딩할 수 있습니다. 남성, 여성 2개의 클래스가 생성됩니다. 그 사람이 남자인 경우, “남자” 열에는 1, “여자” 열에는 0이 각각 기록됩니다.

OneHotEncoder() 뒤에는 [1]이 있습니다. 이는 열 번호 1(XNUMX부터 계산)을 인코딩한다는 의미입니다.

감독자. 더욱 더 나아가자!

일반적으로 일부 데이터는 공백으로 남아 있습니다(즉, NaN - 숫자가 아님). 예를 들어, 이름, 성별 등 사람에 대한 정보가 있습니다. 그러나 그의 나이에 대한 정보는 없습니다. 이 경우 다음 방법을 적용합니다. 모든 열에 대한 산술 평균을 찾고, 열에 일부 데이터가 누락된 경우 산술 평균으로 공백을 채웁니다.

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X)
X = imputer.transform(X)

이제 데이터가 매우 클 때 발생하는 상황을 고려해 보겠습니다. 일부 데이터는 [0:1] 간격에 있는 반면 일부 데이터는 수백, 수천을 초과할 수 있습니다. 이러한 분산을 제거하고 컴퓨터 계산을 더욱 정확하게 만들기 위해 데이터를 스캔하고 크기를 조정합니다. 모든 숫자가 XNUMX을 초과하지 않도록 하세요. 이를 위해 StandardScaler 함수를 사용합니다.

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X[:, 2:] = sc.fit_transform(X[:, 2:])

이제 우리의 데이터는 다음과 같습니다:

수업. 우리는 이미 목표에 가까워졌습니다!

XNUMX단계

첫 번째 모델을 훈련시켜 보겠습니다! sklearn 라이브러리에서 우리는 수많은 흥미로운 것들을 찾을 수 있습니다. 나는 이 문제에 Gradient Boosting Classifier 모델을 적용했습니다. 우리의 작업은 분류 작업이기 때문에 A 분류자를 사용합니다. 예후는 1(생존) 또는 0(생존하지 않음)으로 할당되어야 합니다.

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(learning_rate=0.5, max_depth=5, n_estimators=150)
gbc.fit(X, y)

fit 함수는 Python에 다음과 같이 지시합니다. 모델이 X와 y 사이의 종속성을 찾도록 합니다.

XNUMX초도 안 되어 모델이 준비됩니다.

어떻게 적용하나요? 지금 볼게요!

XNUMX단계. 결론

이제 예측이 필요한 테스트 데이터가 포함된 테이블을 로드해야 합니다. 이 테이블을 사용하여 X에서 수행한 것과 동일한 작업을 모두 수행합니다.

X_test = pd.read_csv('test.csv', index_col=0)

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X_test.drop(count, inplace=True, axis=1)

X_test = np.array(X_test)

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X_test = np.array(ct.fit_transform(X_test))

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X_test)
X_test = imputer.transform(X_test)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_test[:, 2:] = sc.fit_transform(X_test[:, 2:])

이제 모델을 적용해 보겠습니다!

gbc_predict = gbc.predict(X_test)

모두. 우리는 예측했습니다. 이제 csv로 기록해서 사이트로 보내야 합니다.

np.savetxt('my_gbc_predict.csv', gbc_predict, delimiter=",", header = 'Survived')

준비가 된. 우리는 각 승객에 대한 예측이 포함된 파일을 받았습니다. 남은 것은 이러한 솔루션을 웹사이트에 업로드하고 예측에 대한 평가를 받는 것입니다. 이러한 원시적인 솔루션은 대중에게 74%의 정답을 제공할 뿐만 아니라 데이터 과학에 어느 정도 자극을 줍니다. 가장 궁금하신 분은 언제든지 비공개 메시지로 저에게 편지를 보내 질문하실 수 있습니다. 모두에게 감사드립니다!

출처 : habr.com