ຂັ້ນຕອນທໍາອິດຂອງທ່ານໃນ Data Science. Titanic

ຄໍາ​ແນະ​ນໍາ​ສັ້ນ​

ຂ້າພະເຈົ້າເຊື່ອວ່າພວກເຮົາສາມາດເຮັດສິ່ງຕ່າງໆໄດ້ຫຼາຍຂຶ້ນຖ້າພວກເຮົາໄດ້ຮັບການໃຫ້ຄໍາແນະນໍາເທື່ອລະຂັ້ນຕອນທີ່ຈະບອກພວກເຮົາວ່າຈະເຮັດແນວໃດແລະເຮັດແນວໃດມັນ. ຂ້າພະເຈົ້າເອງຈື່ຈໍາຊ່ວງເວລາໃນຊີວິດຂອງຂ້າພະເຈົ້າໃນເວລາທີ່ຂ້າພະເຈົ້າບໍ່ສາມາດເລີ່ມຕົ້ນບາງສິ່ງບາງຢ່າງເນື່ອງຈາກວ່າມັນເປັນພຽງແຕ່ຍາກທີ່ຈະເຂົ້າໃຈບ່ອນທີ່ຈະເລີ່ມຕົ້ນ. ບາງທີ, ຄັ້ງຫນຶ່ງໃນອິນເຕີເນັດເຈົ້າໄດ້ເຫັນຄໍາວ່າ "ວິທະຍາສາດຂໍ້ມູນ" ແລະຕັດສິນໃຈວ່າເຈົ້າຢູ່ໄກຈາກນີ້, ແລະຄົນທີ່ເຮັດສິ່ງນີ້ຢູ່ບ່ອນນັ້ນ, ໃນໂລກອື່ນ. ບໍ່, ເຂົາເຈົ້າຢູ່ບ່ອນນີ້. ແລະ, ບາງທີ, ຂໍຂອບໃຈກັບຄົນຈາກພາກສະຫນາມນີ້, ບົດຄວາມປາກົດຢູ່ໃນອາຫານຂອງທ່ານ. ມີຫຼາຍຫຼັກສູດທີ່ຈະຊ່ວຍໃຫ້ທ່ານໄດ້ຮັບໃຊ້ກັບເຄື່ອງຫັດຖະກໍານີ້, ແຕ່ໃນທີ່ນີ້ຂ້ອຍຈະຊ່ວຍໃຫ້ທ່ານເຮັດຂັ້ນຕອນທໍາອິດ.

ແລ້ວ, ເຈົ້າພ້ອມແລ້ວບໍ? ໃຫ້ຂ້ອຍບອກເຈົ້າທັນທີວ່າເຈົ້າຈະຕ້ອງຮູ້ຈັກ Python 3, ເພາະວ່ານັ້ນແມ່ນສິ່ງທີ່ຂ້ອຍຈະໃຊ້ຢູ່ທີ່ນີ້. ຂ້າພະເຈົ້າຍັງແນະນໍາໃຫ້ທ່ານຕິດຕັ້ງມັນຢູ່ໃນ Jupyter Notebook ລ່ວງຫນ້າຫຼືເບິ່ງວິທີການໃຊ້ google colab.

ຂັ້ນຕອນທີຫນຶ່ງ

Kaggle ແມ່ນຜູ້ຊ່ວຍທີ່ສໍາຄັນຂອງທ່ານໃນເລື່ອງນີ້. ໃນຫຼັກການ, ເຈົ້າສາມາດເຮັດໄດ້ໂດຍບໍ່ມີມັນ, ແຕ່ຂ້ອຍຈະເວົ້າກ່ຽວກັບເລື່ອງນີ້ໃນບົດຄວາມອື່ນ. ນີ້ແມ່ນເວທີທີ່ເປັນເຈົ້າພາບການແຂ່ງຂັນວິທະຍາສາດຂໍ້ມູນ. ໃນແຕ່ລະການແຂ່ງຂັນດັ່ງກ່າວ, ໃນໄລຍະເລີ່ມຕົ້ນ, ທ່ານຈະໄດ້ຮັບປະສົບການທີ່ບໍ່ສົມເຫດສົມຜົນໃນການແກ້ໄຂບັນຫາປະເພດຕ່າງໆ, ປະສົບການການພັດທະນາແລະປະສົບການການເຮັດວຽກໃນທີມ, ເຊິ່ງເປັນສິ່ງສໍາຄັນໃນຍຸກຂອງພວກເຮົາ.

ພວກເຮົາຈະເອົາວຽກງານຂອງພວກເຮົາຈາກບ່ອນນັ້ນ. ມັນຖືກເອີ້ນວ່າ "Titanic". ເງື່ອນໄຂແມ່ນນີ້: ຄາດຄະເນວ່າແຕ່ລະຄົນຈະຢູ່ລອດ. ໂດຍທົ່ວໄປແລ້ວ, ວຽກງານຂອງບຸກຄົນທີ່ກ່ຽວຂ້ອງກັບ DS ແມ່ນການລວບລວມຂໍ້ມູນ, ການປຸງແຕ່ງມັນ, ການຝຶກອົບຮົມແບບຈໍາລອງ, ການຄາດຄະເນ, ແລະອື່ນໆ. ໃນ kaggle, ພວກເຮົາໄດ້ຖືກອະນຸຍາດໃຫ້ຂ້າມຂັ້ນຕອນການລວບລວມຂໍ້ມູນ - ພວກມັນຖືກນໍາສະເຫນີໃນເວທີ. ພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ດາວນ໌ໂຫລດໃຫ້ເຂົາເຈົ້າແລະພວກເຮົາສາມາດເລີ່ມຕົ້ນໄດ້!

ທ່ານສາມາດເຮັດໄດ້ດັ່ງນີ້:

ແຖບຂໍ້ມູນປະກອບດ້ວຍໄຟລ໌ທີ່ມີຂໍ້ມູນ

ພວກເຮົາໄດ້ດາວໂຫລດຂໍ້ມູນ, ກະກຽມປື້ມບັນທຶກ Jupyter ຂອງພວກເຮົາແລະ ...

ຂັ້ນຕອນທີສອງ

ຕອນນີ້ເຮົາໂຫຼດຂໍ້ມູນນີ້ແນວໃດ?

ທໍາອິດ, ໃຫ້ນໍາເຂົ້າຫ້ອງສະຫມຸດທີ່ຈໍາເປັນ:

import pandas as pd
import numpy as np

Pandas ຈະອະນຸຍາດໃຫ້ພວກເຮົາດາວໂຫລດໄຟລ໌ .csv ເພື່ອດໍາເນີນການຕໍ່ໄປ.

Numpy ແມ່ນຈໍາເປັນເພື່ອສະແດງຕາຕະລາງຂໍ້ມູນຂອງພວກເຮົາເປັນ matrix ທີ່ມີຕົວເລກ.
ສືບຕໍ່ເດີນຫນ້າ. ລອງເອົາໄຟລ໌ train.csv ແລະອັບໂຫລດໃຫ້ພວກເຮົາ:

dataset = pd.read_csv('train.csv')

ພວກເຮົາຈະອ້າງອີງເຖິງການເລືອກຂໍ້ມູນ train.csv ຂອງພວກເຮົາຜ່ານຕົວແປຊຸດຂໍ້ມູນ. ມາເບິ່ງກັນວ່າມີຫຍັງແດ່:

dataset.head()

ຟັງຊັນ head() ຊ່ວຍໃຫ້ພວກເຮົາເບິ່ງສອງສາມແຖວທຳອິດຂອງກອບຂໍ້ມູນ.

ຖັນທີ່ລອດຊີວິດແມ່ນແນ່ນອນຜົນໄດ້ຮັບຂອງພວກເຮົາ, ເຊິ່ງເປັນທີ່ຮູ້ຈັກໃນກອບຂໍ້ມູນນີ້. ສໍາລັບຄໍາຖາມກ່ຽວກັບວຽກງານ, ພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ຄາດຄະເນຄໍລໍາ Survived ສໍາລັບຂໍ້ມູນ test.csv. ຂໍ້ມູນນີ້ເກັບຮັກສາຂໍ້ມູນກ່ຽວກັບຜູ້ໂດຍສານອື່ນໆຂອງ Titanic, ເຊິ່ງພວກເຮົາ, ແກ້ໄຂບັນຫາ, ບໍ່ຮູ້ຜົນໄດ້ຮັບ.

ດັ່ງນັ້ນ, ໃຫ້ພວກເຮົາແບ່ງຕາຕະລາງຂອງພວກເຮົາເປັນຂໍ້ມູນທີ່ຂຶ້ນກັບແລະເອກະລາດ. ທຸກສິ່ງທຸກຢ່າງແມ່ນງ່າຍດາຍຢູ່ທີ່ນີ້. ຂໍ້ມູນທີ່ຂຶ້ນກັບແມ່ນຂໍ້ມູນເຫຼົ່ານັ້ນທີ່ຂຶ້ນກັບຂໍ້ມູນເອກະລາດທີ່ຢູ່ໃນຜົນໄດ້ຮັບ. ຂໍ້ມູນເອກະລາດແມ່ນຂໍ້ມູນເຫຼົ່ານັ້ນທີ່ມີອິດທິພົນຕໍ່ຜົນໄດ້ຮັບ.

ຕົວຢ່າງ, ພວກເຮົາມີຊຸດຂໍ້ມູນຕໍ່ໄປນີ້:

“Vova ສອນວິທະຍາສາດຄອມພິວເຕີ - ບໍ່.
Vova ໄດ້ຮັບ 2 ໃນວິທະຍາສາດຄອມພິວເຕີ."

ຊັ້ນຮຽນໃນວິທະຍາສາດຄອມພິວເຕີແມ່ນຂຶ້ນກັບຄໍາຕອບຂອງຄໍາຖາມ: Vova ໄດ້ຮຽນວິທະຍາສາດຄອມພິວເຕີບໍ? ມັນຈະແຈ້ງບໍ? ກ້າວຕໍ່ໄປ, ພວກເຮົາໃກ້ກັບເປົ້າຫມາຍແລ້ວ!

ຕົວແປແບບດັ້ງເດີມສໍາລັບຂໍ້ມູນເອກະລາດແມ່ນ X. ສໍາລັບຂໍ້ມູນທີ່ຂຶ້ນກັບ, y.

ພວກເຮົາເຮັດສິ່ງຕໍ່ໄປນີ້:

X = dataset.iloc[ : , 2 : ]
y = dataset.iloc[ : , 1 : 2 ]

ມັນ​ແມ່ນ​ຫຍັງ? ດ້ວຍຟັງຊັນ iloc[:, 2:] ພວກເຮົາບອກ Python: ຂ້ອຍຕ້ອງການເບິ່ງຕົວແປ X ຂໍ້ມູນເລີ່ມຕົ້ນຈາກຄໍລໍາທີສອງ (ລວມແລະສະຫນອງໃຫ້ວ່າການນັບເລີ່ມຕົ້ນຈາກສູນ). ໃນແຖວທີສອງພວກເຮົາເວົ້າວ່າພວກເຮົາຕ້ອງການເບິ່ງຂໍ້ມູນໃນຖັນທໍາອິດ.

[ a:b, c:d ] ແມ່ນການສ້າງສິ່ງທີ່ພວກເຮົາໃຊ້ໃນວົງເລັບ. ຖ້າທ່ານບໍ່ລະບຸຕົວແປໃດໆ, ພວກມັນຈະຖືກບັນທຶກເປັນຄ່າເລີ່ມຕົ້ນ. ນັ້ນແມ່ນ, ພວກເຮົາສາມາດລະບຸ [:, : d] ແລະຫຼັງຈາກນັ້ນພວກເຮົາຈະໄດ້ຮັບຄໍລໍາທັງຫມົດໃນກອບຂໍ້ມູນ, ຍົກເວັ້ນທີ່ມາຈາກຈໍານວນ d ເປັນຕົ້ນໄປ. ຕົວແປ a ແລະ b ກໍານົດສະຕຣິງ, ແຕ່ພວກເຮົາຕ້ອງການພວກມັນທັງຫມົດ, ດັ່ງນັ້ນພວກເຮົາຈຶ່ງປ່ອຍໃຫ້ມັນເປັນຄ່າເລີ່ມຕົ້ນ.

ມາເບິ່ງສິ່ງທີ່ພວກເຮົາໄດ້ຮັບ:

X.head()

y.head()

ເພື່ອເຮັດໃຫ້ບົດຮຽນເລັກນ້ອຍນີ້ງ່າຍດາຍ, ພວກເຮົາຈະເອົາຄໍລໍາທີ່ຕ້ອງການການດູແລພິເສດຫຼືບໍ່ມີຜົນກະທົບຕໍ່ການຢູ່ລອດທັງຫມົດ. ພວກມັນມີຂໍ້ມູນປະເພດ str.

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X.drop(count, inplace=True, axis=1)

ສຸດຍອດ! ຂໍໃຫ້ກ້າວໄປສູ່ຂັ້ນຕອນຕໍ່ໄປ.

ຂັ້ນຕອນທີສາມ

ໃນທີ່ນີ້ພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ເຂົ້າລະຫັດຂໍ້ມູນຂອງພວກເຮົາເພື່ອໃຫ້ເຄື່ອງຈັກເຂົ້າໃຈດີຂຶ້ນວ່າຂໍ້ມູນນີ້ມີຜົນກະທົບຕໍ່ຜົນໄດ້ຮັບແນວໃດ. ແຕ່ພວກເຮົາຈະບໍ່ເຂົ້າລະຫັດທຸກຢ່າງ, ແຕ່ວ່າພຽງແຕ່ຂໍ້ມູນ str ທີ່ພວກເຮົາປະໄວ້. ຖັນ "ເພດ". ພວກເຮົາຕ້ອງການລະຫັດແນວໃດ? ໃຫ້ສະແດງຂໍ້ມູນກ່ຽວກັບເພດຂອງບຸກຄົນເປັນ vector: 10 - ເພດຊາຍ, 01 - ເພດຍິງ.

ກ່ອນອື່ນ, ໃຫ້ປ່ຽນຕາຕະລາງຂອງພວກເຮົາເປັນ NumPy matrix:

X = np.array(X)
y = np.array(y)

ແລະຕອນນີ້ໃຫ້ເບິ່ງ:

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X = np.array(ct.fit_transform(X))

ຫໍສະຫມຸດ sklearn ເປັນຫ້ອງສະຫມຸດເຢັນທີ່ອະນຸຍາດໃຫ້ພວກເຮົາເຮັດວຽກສໍາເລັດໃນ Data Science. ມັນມີຈໍານວນຂະຫນາດໃຫຍ່ຂອງຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກທີ່ຫນ້າສົນໃຈແລະຍັງຊ່ວຍໃຫ້ພວກເຮົາກະກຽມຂໍ້ມູນ.

OneHotEncoder ຈະອະນຸຍາດໃຫ້ພວກເຮົາເຂົ້າລະຫັດເພດຂອງບຸກຄົນໃນການເປັນຕົວແທນນັ້ນ, ດັ່ງທີ່ພວກເຮົາໄດ້ອະທິບາຍ. ຈະສ້າງ 2 ຫ້ອງຮຽນຄື: ຊາຍ, ຍິງ. ຖ້າຄົນນັ້ນເປັນຜູ້ຊາຍ, ຫຼັງຈາກນັ້ນ 1 ຈະຖືກຂຽນໄວ້ໃນຖັນ "ຜູ້ຊາຍ", ແລະ 0 ໃນຖັນ "ແມ່ຍິງ", ຕາມລໍາດັບ.

ຫຼັງຈາກ OneHotEncoder() ມີ [1] - ນີ້ຫມາຍຄວາມວ່າພວກເຮົາຕ້ອງການເຂົ້າລະຫັດຖັນເລກ 1 (ນັບຈາກສູນ).

ສຸດຍອດ. ຂໍໃຫ້ກ້າວຕໍ່ໄປ!

ຕາມກົດລະບຽບ, ນີ້ເກີດຂື້ນວ່າບາງຂໍ້ມູນຖືກປະໄວ້ຫວ່າງເປົ່າ (ນັ້ນແມ່ນ, NaN - ບໍ່ແມ່ນຕົວເລກ). ຕົວຢ່າງ, ມີຂໍ້ມູນກ່ຽວກັບບຸກຄົນ: ຊື່, ເພດ. ແຕ່ບໍ່ມີຂໍ້ມູນກ່ຽວກັບອາຍຸຂອງລາວ. ໃນກໍລະນີນີ້, ພວກເຮົາຈະນໍາໃຊ້ວິທີການດັ່ງຕໍ່ໄປນີ້: ພວກເຮົາຈະຊອກຫາຄ່າສະເລ່ຍເລກເລກໃນຖັນທັງຫມົດແລະ, ຖ້າຂໍ້ມູນບາງຢ່າງຫາຍໄປໃນຖັນ, ພວກເຮົາຈະຕື່ມຊ່ອງຫວ່າງດ້ວຍຄ່າເລກຄະນິດສາດ.

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X)
X = imputer.transform(X)

ຕອນນີ້ໃຫ້ຄໍານຶງເຖິງສະຖານະການທີ່ເກີດຂື້ນເມື່ອຂໍ້ມູນມີຂະຫນາດໃຫຍ່ຫຼາຍ. ບາງຂໍ້ມູນແມ່ນຢູ່ໃນໄລຍະ [0:1], ໃນຂະນະທີ່ບາງຂໍ້ມູນອາດຈະໄປຫຼາຍກວ່າຫຼາຍຮ້ອຍພັນຄົນ. ເພື່ອລົບລ້າງການກະແຈກກະຈາຍດັ່ງກ່າວແລະເຮັດໃຫ້ຄອມພິວເຕີມີຄວາມຖືກຕ້ອງຫຼາຍຂຶ້ນໃນການຄິດໄລ່ຂອງມັນ, ພວກເຮົາຈະສະແກນຂໍ້ມູນແລະຂະຫນາດມັນ. ໃຫ້ຕົວເລກທັງຫມົດບໍ່ເກີນສາມ. ເພື່ອເຮັດສິ່ງນີ້, ພວກເຮົາຈະນໍາໃຊ້ຟັງຊັນ StandardScaler.

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X[:, 2:] = sc.fit_transform(X[:, 2:])

ໃນປັດຈຸບັນຂໍ້ມູນຂອງພວກເຮົາເບິ່ງຄືວ່ານີ້:

ຫ້ອງຮຽນ. ພວກເຮົາໃກ້ຈະຮອດເປົ້າໝາຍແລ້ວ!

ຂັ້ນຕອນທີສີ່

ມາຝຶກຝົນແບບທໍາອິດຂອງພວກເຮົາ! ຈາກຫ້ອງສະຫມຸດ sklearn ພວກເຮົາສາມາດຊອກຫາຈໍານວນຫລາຍຂອງສິ່ງທີ່ຫນ້າສົນໃຈ. ຂ້າພະເຈົ້າໄດ້ນໍາໃຊ້ຕົວແບບ Gradient Boosting Classifier ກັບບັນຫານີ້. ພວກເຮົາໃຊ້ຕົວຈັດປະເພດ A ເພາະວ່າວຽກງານຂອງພວກເຮົາແມ່ນວຽກງານການຈັດປະເພດ. ການຄາດຄະເນຄວນຈະຖືກມອບຫມາຍໃຫ້ 1 (ລອດ) ຫຼື 0 (ບໍ່ລອດ).

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(learning_rate=0.5, max_depth=5, n_estimators=150)
gbc.fit(X, y)

ຟັງຊັນທີ່ພໍດີບອກ Python: ໃຫ້ຕົວແບບຊອກຫາຄວາມເພິ່ງພາອາໄສລະຫວ່າງ X ແລະ y.

ຫນ້ອຍກວ່າຫນຶ່ງວິນາທີແລະຮູບແບບແມ່ນກຽມພ້ອມ.

ວິທີການສະຫມັກ? ພວກເຮົາຈະເຫັນດຽວນີ້!

ຂັ້ນຕອນທີຫ້າ. ສະຫຼຸບ

ໃນປັດຈຸບັນພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ໂຫລດຕາຕະລາງທີ່ມີຂໍ້ມູນການທົດສອບຂອງພວກເຮົາທີ່ພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ເຮັດການຄາດຄະເນ. ດ້ວຍຕາຕະລາງນີ້ພວກເຮົາຈະເຮັດທຸກການປະຕິບັດດຽວກັນທີ່ພວກເຮົາໄດ້ເຮັດສໍາລັບ X.

X_test = pd.read_csv('test.csv', index_col=0)

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X_test.drop(count, inplace=True, axis=1)

X_test = np.array(X_test)

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X_test = np.array(ct.fit_transform(X_test))

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X_test)
X_test = imputer.transform(X_test)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_test[:, 2:] = sc.fit_transform(X_test[:, 2:])

ໃຫ້ໃຊ້ຕົວແບບຂອງພວກເຮົາດຽວນີ້!

gbc_predict = gbc.predict(X_test)

ທັງໝົດ. ພວກເຮົາໄດ້ຄາດຄະເນ. ໃນປັດຈຸບັນມັນຈໍາເປັນຕ້ອງຖືກບັນທຶກໄວ້ໃນ csv ແລະຖືກສົ່ງໄປຫາເວັບໄຊທ໌.

np.savetxt('my_gbc_predict.csv', gbc_predict, delimiter=",", header = 'Survived')

ພ້ອມ. ພວກເຮົາໄດ້ຮັບໄຟລ໌ທີ່ມີການຄາດຄະເນສໍາລັບຜູ້ໂດຍສານແຕ່ລະຄົນ. ທັງຫມົດທີ່ຍັງເຫຼືອແມ່ນເພື່ອອັບໂຫລດການແກ້ໄຂເຫຼົ່ານີ້ໄປຫາເວັບໄຊທ໌ແລະໄດ້ຮັບການປະເມີນການຄາດຄະເນ. ການແກ້ໄຂເບື້ອງຕົ້ນດັ່ງກ່າວບໍ່ພຽງແຕ່ໃຫ້ 74% ຂອງຄໍາຕອບທີ່ຖືກຕ້ອງຢູ່ໃນສາທາລະນະ, ແຕ່ຍັງເປັນແຮງກະຕຸ້ນບາງຢ່າງໃນວິທະຍາສາດຂໍ້ມູນ. ຄົນທີ່ຢາກຮູ້ຢາກເຫັນທີ່ສຸດສາມາດຂຽນຫາຂ້ອຍໃນຂໍ້ຄວາມສ່ວນຕົວໄດ້ທຸກເວລາແລະຖາມຄໍາຖາມ. ຂອບໃຈທຸກຄົນ!

ແຫຼ່ງຂໍ້ມູນ: www.habr.com