डाटा विज्ञान मा तपाइँको पहिलो कदम। टाइटानिक

छोटो परिचयात्मक शब्द

मलाई विश्वास छ कि यदि हामीलाई के गर्ने र कसरी गर्ने भनेर बताउने चरण-दर-चरण निर्देशनहरू उपलब्ध गराइयो भने हामीले धेरै चीजहरू गर्न सक्छौं। म आफैंलाई मेरो जीवनका पलहरू सम्झन्छु जब मैले केहि सुरु गर्न सकिन किनभने कहाँबाट सुरु गर्ने बुझ्न गाह्रो थियो। सायद, एक पटक इन्टरनेटमा तपाईंले "डेटा विज्ञान" शब्दहरू देख्नुभयो र निर्णय गर्नुभयो कि तपाईं यसबाट टाढा हुनुहुन्छ, र यो गर्ने व्यक्तिहरू कतै बाहिर, अर्को संसारमा थिए। होइन, तिनीहरू यहाँ छन्। र सायद, यस क्षेत्रका मानिसहरूलाई धन्यवाद, तपाईंको फिडमा एउटा लेख देखा पर्‍यो। त्यहाँ धेरै पाठ्यक्रमहरू छन् जसले तपाईंलाई यस शिल्पसँग सहज हुन मद्दत गर्नेछ, तर यहाँ म तपाईंलाई पहिलो कदम चाल्न मद्दत गर्नेछु।

खैर, तपाईं तयार हुनुहुन्छ? म तपाईलाई तुरुन्तै बताउन चाहन्छु कि तपाईलाई पाइथन 3 थाहा हुनु आवश्यक छ, किनकि म यहाँ प्रयोग गर्दैछु। म तपाइँलाई यो अग्रिम Jupyter Notebook मा स्थापना गर्न वा गुगल कोलाब कसरी प्रयोग गर्ने भनेर हेर्न सल्लाह दिन्छु।

पहिलो चरण

Kaggle यस मामिलामा तपाईंको महत्त्वपूर्ण सहायक हो। सिद्धान्तमा, तपाईं यसलाई बिना गर्न सक्नुहुन्छ, तर म अर्को लेखमा यसको बारेमा कुरा गर्नेछु। यो एक प्लेटफर्म हो जसले डेटा विज्ञान प्रतियोगिताहरू होस्ट गर्दछ। यस्तो प्रत्येक प्रतिस्पर्धामा, प्रारम्भिक चरणहरूमा तपाईले विभिन्न प्रकारका समस्याहरू समाधान गर्न, विकास अनुभव र टोलीमा काम गर्ने अनुभवको अवास्तविक मात्रा प्राप्त गर्नुहुनेछ, जुन हाम्रो समयमा महत्त्वपूर्ण छ।

हामी त्यहाँबाट हाम्रो काम लिन्छौं। यसलाई "टाइटानिक" भनिन्छ। अवस्था यो हो: प्रत्येक व्यक्ति बाँच्नेछ कि भनेर भविष्यवाणी गर्नुहोस्। सामान्यतया, DS मा संलग्न व्यक्तिको कार्य डेटा सङ्कलन, प्रशोधन, एक मोडेल प्रशिक्षण, पूर्वानुमान, र यस्तै हो। कागलमा, हामीलाई डेटा सङ्कलन चरण छोड्न अनुमति दिइएको छ - तिनीहरू प्लेटफर्ममा प्रस्तुत गरिएका छन्। हामीले तिनीहरूलाई डाउनलोड गर्न आवश्यक छ र हामी सुरु गर्न सक्छौं!

तपाइँ निम्नानुसार यो गर्न सक्नुहुन्छ:

डाटा ट्याबले डाटा समावेश गर्ने फाइलहरू समावेश गर्दछ

हामीले डाटा डाउनलोड गर्यौं, हाम्रो Jupyter नोटबुकहरू तयार गर्यौं र...

दोस्रो चरण

अब हामी यो डाटा कसरी लोड गर्छौं?

पहिले, आवश्यक पुस्तकालयहरू आयात गरौं:

import pandas as pd
import numpy as np

Pandas ले हामीलाई थप प्रशोधनका लागि .csv फाइलहरू डाउनलोड गर्न अनुमति दिनेछ।

Numpy को संख्या संग म्याट्रिक्स को रूप मा हाम्रो डेटा तालिका प्रतिनिधित्व गर्न आवश्यक छ।
अघि बढ। फाईल train.csv लिनुहोस् र हामीलाई अपलोड गर्नुहोस्:

dataset = pd.read_csv('train.csv')

हामी डेटासेट चर मार्फत हाम्रो train.csv डेटा चयनलाई सन्दर्भ गर्नेछौं। त्यहाँ के छ हेरौं:

dataset.head()

head() प्रकार्यले हामीलाई डेटाफ्रेमको पहिलो केही पङ्क्तिहरू हेर्न अनुमति दिन्छ।

बाँचेका स्तम्भहरू ठ्याक्कै हाम्रा नतिजाहरू हुन्, जुन यस डेटाफ्रेममा ज्ञात छन्। कार्य प्रश्नको लागि, हामीले test.csv डेटाको लागि बाँचेको स्तम्भको भविष्यवाणी गर्न आवश्यक छ। यो डाटाले टाइटानिकका अन्य यात्रुहरूको बारेमा जानकारी भण्डार गर्दछ, जसको लागि हामी, समस्या समाधान गर्दै, परिणाम थाहा छैन।

त्यसोभए, हाम्रो तालिकालाई निर्भर र स्वतन्त्र डेटामा विभाजन गरौं। यहाँ सबै कुरा सरल छ। निर्भर डाटा ती डाटा हुन् जुन परिणामहरूमा रहेको स्वतन्त्र डाटामा निर्भर हुन्छ। स्वतन्त्र डाटा ती डाटा हुन् जसले परिणामलाई असर गर्छ।

उदाहरणका लागि, हामीसँग निम्न डेटा सेट छ:

"भोभाले कम्प्युटर विज्ञान पढाए - होइन।
भोभाले कम्प्युटर विज्ञानमा २ प्राप्त गरे।

कम्प्युटर विज्ञानमा ग्रेड प्रश्नको जवाफमा निर्भर गर्दछ: के भोभाले कम्प्युटर विज्ञान अध्ययन गरे? के यो स्पष्ट छ? अगाडि बढौं, हामी पहिले नै लक्ष्यको नजिक छौं!

स्वतन्त्र डेटाको लागि परम्परागत चर X हो। निर्भर डेटाको लागि, y।

हामी निम्न गर्छौं:

X = dataset.iloc[ : , 2 : ]
y = dataset.iloc[ : , 1 : 2 ]

यो के हो? प्रकार्य iloc [:, 2: ] को साथमा हामी Python लाई भन्छौं: म दोस्रो स्तम्भबाट सुरु हुने डाटा भेरिएबल X मा हेर्न चाहन्छु (समावेशी र गन्ती शून्यबाट सुरु हुन्छ)। दोस्रो लाइनमा हामी भन्छौं कि हामी पहिलो स्तम्भमा डाटा हेर्न चाहन्छौं।

[a:b, c:d] हामीले कोष्ठकमा प्रयोग गर्ने कुराको निर्माण हो। यदि तपाईंले कुनै पनि चर निर्दिष्ट गर्नुभएन भने, तिनीहरू पूर्वनिर्धारित रूपमा बचत हुनेछन्। अर्थात्, हामीले [:,: d] निर्दिष्ट गर्न सक्छौं र त्यसपछि हामीले डेटाफ्रेममा सबै स्तम्भहरू प्राप्त गर्नेछौं, ती बाहेक जुन नम्बर d बाट अगाडि जान्छन्। चर a र b ले स्ट्रिङहरू परिभाषित गर्दछ, तर हामीलाई ती सबै चाहिन्छ, त्यसैले हामीले यसलाई पूर्वनिर्धारित रूपमा छोड्छौं।

हामीले के पायौं हेरौं:

X.head()

y.head()

यस सानो पाठलाई सरल बनाउनको लागि, हामी विशेष हेरचाह आवश्यक पर्ने वा बाँच्ने क्षमतालाई असर नगर्ने स्तम्भहरू हटाउनेछौं। तिनीहरूले str प्रकारको डेटा समावेश गर्दछ।

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X.drop(count, inplace=True, axis=1)

सुपर! अर्को चरणमा जाऔं।

तेस्रो चरण

यहाँ हामीले हाम्रो डेटा इन्कोड गर्न आवश्यक छ ताकि मेसिनले यो डेटाले परिणामलाई कसरी असर गर्छ भनेर राम्रोसँग बुझ्दछ। तर हामी सबै कुरा इन्कोड गर्दैनौं, तर हामीले छोडेको str डाटा मात्र। स्तम्भ "सेक्स"। हामी कसरी कोड गर्न चाहन्छौं? भेक्टरको रूपमा एक व्यक्तिको लिंगको बारेमा डेटा प्रतिनिधित्व गरौं: 10 - पुरुष, 01 - महिला।

पहिले, हाम्रो तालिकाहरूलाई NumPy म्याट्रिक्समा रूपान्तरण गरौं:

X = np.array(X)
y = np.array(y)

र अब हेरौं:

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X = np.array(ct.fit_transform(X))

sklearn पुस्तकालय यस्तो सुन्दर पुस्तकालय हो जसले हामीलाई डेटा विज्ञानमा पूर्ण काम गर्न अनुमति दिन्छ। यसले ठूलो संख्यामा रोचक मेसिन लर्निङ मोडेलहरू समावेश गर्दछ र हामीलाई डेटा तयारी गर्न अनुमति दिन्छ।

OneHotEncoder ले हामीलाई त्यो प्रतिनिधित्वमा व्यक्तिको लिङ्ग इन्कोड गर्न अनुमति दिनेछ, जसरी हामीले वर्णन गरेका छौं। 2 वर्गहरू सिर्जना गरिनेछ: पुरुष, महिला। यदि व्यक्ति पुरुष हो भने, "पुरुष" स्तम्भमा 1 र "महिला" स्तम्भमा क्रमशः 0 लेखिनेछ।

OneHotEncoder() पछि त्यहाँ [1] छ - यसको मतलब हामी स्तम्भ नम्बर 1 (शून्यबाट गणना गर्दै) इन्कोड गर्न चाहन्छौं।

सुपर। अझ अगाडि बढौं!

एक नियमको रूपमा, यो हुन्छ कि केहि डाटा खाली छोडिएको छ (अर्थात, NaN - नम्बर होइन)। उदाहरणका लागि, त्यहाँ एक व्यक्तिको बारेमा जानकारी छ: उसको नाम, लिङ्ग। तर उनको उमेरबारे भने केही जानकारी छैन । यस अवस्थामा, हामी निम्न विधि लागू गर्नेछौं: हामी सबै स्तम्भहरूमा अंकगणित माध्य फेला पार्नेछौं र, यदि स्तम्भमा केही डेटा छुटेको छ भने, हामी अंकगणितीय माध्यले शून्य भर्नेछौं।

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X)
X = imputer.transform(X)

अब डेटा धेरै ठूलो हुँदा परिस्थितिहरू हुन्छन् भन्ने कुरालाई ध्यानमा राखौं। केहि डाटा अन्तराल [०:१] मा छ, जबकि केहि सयौं र हजारौं भन्दा माथि जान सक्छ। यस्तो स्क्याटर हटाउन र कम्प्युटरलाई यसको गणनामा अझ सटीक बनाउन, हामी डाटा स्क्यान गर्नेछौं र यसलाई मापन गर्नेछौं। सबै संख्याहरू तीन भन्दा बढी नहोस्। यो गर्नको लागि, हामी StandardScaler प्रकार्य प्रयोग गर्नेछौं।

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X[:, 2:] = sc.fit_transform(X[:, 2:])

अब हाम्रो डाटा यस्तो देखिन्छ:

कक्षा। हामी पहिले नै हाम्रो लक्ष्यको नजिक छौं!

चरण चार

हाम्रो पहिलो मोडेल तालिम गरौं! sklearn पुस्तकालयबाट हामीले धेरै रोचक चीजहरू फेला पार्न सक्छौं। मैले यस समस्यामा ग्रेडियन्ट बूस्टिङ क्लासिफायर मोडेल लागू गरें। हामी ए क्लासिफायर प्रयोग गर्दछौं किनभने हाम्रो कार्य वर्गीकरण कार्य हो। प्रोग्नोसिस 1 (बाँचिएको) वा 0 (बाँच्न सकेन) मा तोकिएको हुनुपर्छ।

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(learning_rate=0.5, max_depth=5, n_estimators=150)
gbc.fit(X, y)

फिट प्रकार्यले पाइथनलाई बताउँछ: मोडेललाई X र y बीचको निर्भरताहरू खोज्न दिनुहोस्।

एक सेकेन्ड भन्दा कम र मोडेल तयार छ।

यसलाई कसरी लागू गर्ने? हामी अब देख्नेछौं!

चरण पाँच। निष्कर्ष

अब हामीले हाम्रो परीक्षण डेटाको साथ एउटा तालिका लोड गर्न आवश्यक छ जसको लागि हामीले भविष्यवाणी गर्न आवश्यक छ। यस तालिकाको साथ हामीले X को लागि गरेका सबै कार्यहरू गर्नेछौं।

X_test = pd.read_csv('test.csv', index_col=0)

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X_test.drop(count, inplace=True, axis=1)

X_test = np.array(X_test)

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X_test = np.array(ct.fit_transform(X_test))

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X_test)
X_test = imputer.transform(X_test)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_test[:, 2:] = sc.fit_transform(X_test[:, 2:])

अब हाम्रो मोडेल लागू गरौं!

gbc_predict = gbc.predict(X_test)

सबै। हामीले भविष्यवाणी गर्यौं। अब यसलाई csv मा रेकर्ड गरी साइटमा पठाउन आवश्यक छ।

np.savetxt('my_gbc_predict.csv', gbc_predict, delimiter=",", header = 'Survived')

तयार। हामीले प्रत्येक यात्रुको लागि भविष्यवाणी भएको फाइल प्राप्त गर्यौं। बाँकी सबै वेबसाइटमा यी समाधानहरू अपलोड गर्न र पूर्वानुमानको मूल्याङ्कन प्राप्त गर्न हो। यस्तो आदिम समाधानले जनतामा ७४% सहि उत्तर मात्र होइन, डाटा साइन्समा केही प्रोत्साहन पनि दिन्छ। सबैभन्दा जिज्ञासुले मलाई कुनै पनि समयमा निजी सन्देशहरूमा लेख्न र प्रश्न सोध्न सक्छ। सबैलाई धन्यवाद!

स्रोत: www.habr.com