ডেটা সায়েন্সে আপনার প্রথম ধাপ। টাইটানিক

একটি সংক্ষিপ্ত পরিচায়ক শব্দ

আমি বিশ্বাস করি যে আমরা আরও কিছু করতে পারতাম যদি আমাদের ধাপে ধাপে নির্দেশাবলী দেওয়া হয় যা আমাদেরকে কী করতে হবে এবং কীভাবে এটি করতে হবে তা জানাবে। আমি নিজেই আমার জীবনের সেই মুহূর্তগুলি মনে করি যখন আমি কিছু শুরু করতে পারিনি কারণ কোথা থেকে শুরু করব তা বোঝা কঠিন ছিল। সম্ভবত, একবার ইন্টারনেটে আপনি "ডেটা সায়েন্স" শব্দগুলি দেখেছিলেন এবং সিদ্ধান্ত নিয়েছিলেন যে আপনি এটি থেকে অনেক দূরে ছিলেন এবং যারা এটি করে তারা অন্য কোথাও কোথাও ছিল। না, তারা এখানেই আছে। এবং সম্ভবত, এই ক্ষেত্রের লোকেদের ধন্যবাদ, একটি নিবন্ধ আপনার ফিডে উপস্থিত হয়েছে। প্রচুর কোর্স রয়েছে যা আপনাকে এই নৈপুণ্যে স্বাচ্ছন্দ্য পেতে সাহায্য করবে, কিন্তু এখানে আমি আপনাকে প্রথম পদক্ষেপ নিতে সাহায্য করব।

আচ্ছা, তুমি কি প্রস্তুত? আমি এখনই আপনাকে বলি যে আপনাকে পাইথন 3 জানতে হবে, যেহেতু আমি এখানে এটি ব্যবহার করব। আমি আপনাকে Jupyter Notebook এ এটিকে আগে থেকে ইনস্টল করার পরামর্শ দিচ্ছি অথবা কিভাবে google colab ব্যবহার করতে হয় তা দেখুন।

এক ধাপ

কাগল এই বিষয়ে আপনার উল্লেখযোগ্য সহকারী। নীতিগতভাবে, আপনি এটি ছাড়া করতে পারেন, কিন্তু আমি অন্য নিবন্ধে এই সম্পর্কে কথা বলতে হবে। এটি এমন একটি প্ল্যাটফর্ম যা ডেটা সায়েন্স প্রতিযোগিতার আয়োজন করে। এই জাতীয় প্রতিটি প্রতিযোগিতায়, প্রাথমিক পর্যায়ে আপনি বিভিন্ন ধরণের সমস্যা সমাধানে অবাস্তব পরিমাণে অভিজ্ঞতা অর্জন করবেন, বিকাশের অভিজ্ঞতা এবং একটি দলে কাজ করার অভিজ্ঞতা, যা আমাদের সময়ে গুরুত্বপূর্ণ।

আমরা সেখান থেকে আমাদের দায়িত্ব নেব। এর নাম ‘টাইটানিক’। শর্ত হল: প্রতিটি ব্যক্তি বেঁচে থাকবে কিনা তা ভবিষ্যদ্বাণী করুন। সাধারণভাবে বলতে গেলে, ডিএস-এর সাথে জড়িত একজন ব্যক্তির কাজ হল ডেটা সংগ্রহ করা, এটি প্রক্রিয়া করা, একটি মডেলকে প্রশিক্ষণ দেওয়া, পূর্বাভাস দেওয়া ইত্যাদি। কাগল-এ, আমাদের ডেটা সংগ্রহের পর্যায়টি এড়িয়ে যাওয়ার অনুমতি দেওয়া হয় - সেগুলি প্ল্যাটফর্মে উপস্থাপন করা হয়। আমাদের সেগুলি ডাউনলোড করতে হবে এবং আমরা শুরু করতে পারি!

আপনি নিম্নলিখিত হিসাবে এটি করতে পারেন:

ডেটা ট্যাবে ডেটা থাকে এমন ফাইল রয়েছে

Загрузили данные, подготовили наши Jupyter тетрадки и…

ধাপ দুই

আমরা এখন এই ডেটা কিভাবে লোড করব?

প্রথমে, আসুন প্রয়োজনীয় লাইব্রেরিগুলি আমদানি করি:

import pandas as pd
import numpy as np

আরও প্রক্রিয়াকরণের জন্য পান্ডাস আমাদের .csv ফাইল ডাউনলোড করার অনুমতি দেবে।

সংখ্যা সহ একটি ম্যাট্রিক্স হিসাবে আমাদের ডেটা টেবিলের প্রতিনিধিত্ব করতে Numpy প্রয়োজন।
এগিয়ে যান. আসুন train.csv ফাইলটি নিয়ে আমাদের কাছে আপলোড করি:

dataset = pd.read_csv('train.csv')

আমরা ডেটাসেট ভেরিয়েবলের মাধ্যমে আমাদের train.csv ডেটা নির্বাচনকে উল্লেখ করব। চলুন দেখি সেখানে কি আছে:

dataset.head()

head() ফাংশন আমাদের একটি ডেটাফ্রেমের প্রথম কয়েকটি সারি দেখতে দেয়।

বেঁচে থাকা কলামগুলি হল আমাদের ফলাফল, যা এই ডেটাফ্রেমে পরিচিত। টাস্ক প্রশ্নের জন্য, test.csv ডেটার জন্য আমাদের বেঁচে থাকা কলামের পূর্বাভাস দিতে হবে। এই ডেটা টাইটানিকের অন্যান্য যাত্রীদের সম্পর্কে তথ্য সঞ্চয় করে, যার জন্য আমরা সমস্যার সমাধান করছি, ফলাফলটি জানি না।

সুতরাং, আসুন আমাদের টেবিলটিকে নির্ভরশীল এবং স্বাধীন ডেটাতে ভাগ করি। এখানে সবকিছু সহজ. নির্ভরশীল ডেটা হল সেই ডেটা যা ফলাফলে থাকা স্বাধীন ডেটার উপর নির্ভর করে। স্বাধীন ডেটা হল সেই ডেটা যা ফলাফলকে প্রভাবিত করে।

উদাহরণস্বরূপ, আমাদের কাছে নিম্নলিখিত ডেটা সেট রয়েছে:

"ভোভা কম্পিউটার সায়েন্স পড়াতেন - না।
ভোভা কম্পিউটার বিজ্ঞানে 2 পেয়েছে।"

কম্পিউটার বিজ্ঞানের গ্রেড প্রশ্নের উত্তরের উপর নির্ভর করে: ভোভা কি কম্পিউটার বিজ্ঞান অধ্যয়ন করেছিলেন? এটা কি পরিস্কার? চলুন এগিয়ে চলুন, আমরা ইতিমধ্যে লক্ষ্য কাছাকাছি!

স্বাধীন ডেটার জন্য প্রথাগত পরিবর্তনশীল হল X। নির্ভরশীল ডেটার জন্য, y।

আমরা নিম্নলিখিত করি:

X = dataset.iloc[ : , 2 : ]
y = dataset.iloc[ : , 1 : 2 ]

এটা কি? iloc[:, 2: ] ফাংশন দিয়ে আমরা পাইথনকে বলি: আমি দ্বিতীয় কলাম থেকে শুরু হওয়া ডাটা X পরিবর্তনশীল দেখতে চাই (অন্তর্ভুক্ত এবং শর্ত থাকে যে গণনা শূন্য থেকে শুরু হয়)। দ্বিতীয় লাইনে আমরা বলি যে আমরা প্রথম কলামে ডেটা দেখতে চাই।

[a:b, c:d] হল আমরা বন্ধনীতে যা ব্যবহার করি তার নির্মাণ। আপনি কোনো ভেরিয়েবল নির্দিষ্ট না করলে, সেগুলি ডিফল্ট হিসাবে সংরক্ষণ করা হবে। অর্থাৎ, আমরা [:,:d] নির্দিষ্ট করতে পারি এবং তারপরে আমরা ডাটাফ্রেমের সমস্ত কলাম পাব, যেগুলি d থেকে সংখ্যার দিকে যায় বাদে। ভেরিয়েবল a এবং b স্ট্রিংগুলিকে সংজ্ঞায়িত করে, কিন্তু আমাদের সেগুলি সব প্রয়োজন, তাই আমরা এটিকে ডিফল্ট হিসাবে রেখে দিই।

আসুন দেখি আমরা কি পেয়েছি:

X.head()

y.head()

এই ছোট্ট পাঠটিকে সহজ করার জন্য, আমরা এমন কলামগুলি সরিয়ে দেব যেগুলির বিশেষ যত্নের প্রয়োজন বা বেঁচে থাকার ক্ষমতাকে একেবারেই প্রভাবিত করে না। তারা টাইপ str তথ্য আছে.

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X.drop(count, inplace=True, axis=1)

সুপার! এর পরবর্তী ধাপে এগিয়ে যাওয়া যাক.

ধাপ তিন

এখানে আমাদের ডেটা এনকোড করতে হবে যাতে মেশিনটি আরও ভালভাবে বুঝতে পারে যে এই ডেটা ফলাফলকে কীভাবে প্রভাবিত করে। কিন্তু আমরা সবকিছু এনকোড করব না, শুধুমাত্র str ডেটা যা আমরা রেখেছি। কলাম "সেক্স"। আমরা কিভাবে কোড করতে চাই? আসুন ভেক্টর হিসাবে একজন ব্যক্তির লিঙ্গ সম্পর্কে ডেটা উপস্থাপন করি: 10 - পুরুষ, 01 - মহিলা।

প্রথমে, আসুন আমাদের টেবিলগুলিকে একটি NumPy ম্যাট্রিক্সে রূপান্তর করি:

X = np.array(X)
y = np.array(y)

এবং এখন দেখা যাক:

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X = np.array(ct.fit_transform(X))

স্কলারন লাইব্রেরি এমন একটি দুর্দান্ত লাইব্রেরি যা আমাদের ডেটা সায়েন্সে সম্পূর্ণ কাজ করতে দেয়। এটিতে প্রচুর সংখ্যক আকর্ষণীয় মেশিন লার্নিং মডেল রয়েছে এবং এটি আমাদের ডেটা প্রস্তুত করার অনুমতি দেয়।

OneHotEncoder আমাদেরকে সেই প্রতিনিধিত্বে একজন ব্যক্তির লিঙ্গ এনকোড করার অনুমতি দেবে, যেমন আমরা বর্ণনা করেছি। 2টি ক্লাস তৈরি করা হবে: পুরুষ, মহিলা। যদি ব্যক্তিটি একজন পুরুষ হয়, তাহলে যথাক্রমে "পুরুষ" কলামে 1 এবং "মহিলা" কলামে 0 লেখা হবে।

OneHotEncoder() এর পরে আছে [1] - এর মানে হল আমরা কলাম নম্বর 1 (শূন্য থেকে গণনা) এনকোড করতে চাই।

সুপার. এর আরও এগিয়ে চলুন!

একটি নিয়ম হিসাবে, এটি ঘটে যে কিছু ডেটা ফাঁকা রাখা হয় (অর্থাৎ, NaN - একটি সংখ্যা নয়)। উদাহরণস্বরূপ, একজন ব্যক্তির সম্পর্কে তথ্য রয়েছে: তার নাম, লিঙ্গ। তবে তার বয়স সম্পর্কে কোনো তথ্য নেই। এই ক্ষেত্রে, আমরা নিম্নলিখিত পদ্ধতিটি প্রয়োগ করব: আমরা সমস্ত কলামে গাণিতিক গড় খুঁজে পাব এবং, যদি কলামে কিছু ডেটা অনুপস্থিত থাকে, তাহলে আমরা গাণিতিক গড় দিয়ে শূন্যতা পূরণ করব।

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X)
X = imputer.transform(X)

এখন বিবেচনা করা যাক যে পরিস্থিতিগুলি ঘটে যখন ডেটা খুব বড় হয়। কিছু ডেটা ব্যবধানে রয়েছে [0:1], কিছু ডেটা কয়েকশ এবং হাজার ছাড়িয়ে যেতে পারে। এই ধরনের বিক্ষিপ্তকরণ দূর করতে এবং কম্পিউটারকে তার গণনায় আরও নির্ভুল করতে, আমরা ডেটা স্ক্যান করব এবং স্কেল করব। সব সংখ্যা তিন অতিক্রম না করা যাক. এটি করার জন্য, আমরা StandardScaler ফাংশন ব্যবহার করব।

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X[:, 2:] = sc.fit_transform(X[:, 2:])

এখন আমাদের তথ্য এই মত দেখায়:

ক্লাস। আমরা ইতিমধ্যে আমাদের লক্ষ্য কাছাকাছি!

ধাপ চার

আসুন আমাদের প্রথম মডেলকে প্রশিক্ষণ দিই! স্ক্লিয়ার লাইব্রেরি থেকে আমরা প্রচুর আকর্ষণীয় জিনিস খুঁজে পেতে পারি। আমি এই সমস্যার জন্য গ্রেডিয়েন্ট বুস্টিং ক্লাসিফায়ার মডেল প্রয়োগ করেছি। আমরা একটি ক্লাসিফায়ার ব্যবহার করি কারণ আমাদের কাজটি একটি শ্রেণিবদ্ধকরণের কাজ। পূর্বাভাসটি 1 (বেঁচে থাকা) বা 0 (বেঁচে যায়নি) নির্ধারণ করা উচিত।

from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier(learning_rate=0.5, max_depth=5, n_estimators=150)
gbc.fit(X, y)

ফিট ফাংশনটি পাইথনকে বলে: মডেলটিকে X এবং y-এর মধ্যে নির্ভরতা খুঁজতে দিন।

এক সেকেন্ডেরও কম এবং মডেল প্রস্তুত।

এটা কিভাবে প্রয়োগ করবেন? আমরা এখন দেখব!

ধাপ পাঁচ. উপসংহার

এখন আমাদের পরীক্ষার ডেটা সহ একটি টেবিল লোড করতে হবে যার জন্য আমাদের একটি পূর্বাভাস করতে হবে। এই টেবিলের সাহায্যে আমরা X এর জন্য যে সমস্ত কাজ করেছি সেই একই কাজ করব।

X_test = pd.read_csv('test.csv', index_col=0)

count = ['Name', 'Ticket', 'Cabin', 'Embarked']
X_test.drop(count, inplace=True, axis=1)

X_test = np.array(X_test)

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [1])],
                       remainder='passthrough')
X_test = np.array(ct.fit_transform(X_test))

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X_test)
X_test = imputer.transform(X_test)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_test[:, 2:] = sc.fit_transform(X_test[:, 2:])

এখন আমাদের মডেল প্রয়োগ করা যাক!

gbc_predict = gbc.predict(X_test)

সব আমরা একটি পূর্বাভাস করেছি। এখন এটি সিএসভিতে রেকর্ড করে ওয়েবসাইটে পাঠাতে হবে।

np.savetxt('my_gbc_predict.csv', gbc_predict, delimiter=",", header = 'Survived')

প্রস্তুত. আমরা প্রতিটি যাত্রীর জন্য পূর্বাভাস সম্বলিত একটি ফাইল পেয়েছি। যা অবশিষ্ট থাকে তা হল ওয়েবসাইটে এই সমাধানগুলি আপলোড করা এবং পূর্বাভাসের মূল্যায়ন করা। এই ধরনের একটি আদিম সমাধান জনসাধারণের কাছে শুধুমাত্র 74% সঠিক উত্তর দেয় না, কিন্তু ডেটা সায়েন্সে কিছু অনুপ্রেরণাও দেয়। সবচেয়ে কৌতূহলী যে কোন সময় আমাকে ব্যক্তিগত বার্তায় লিখতে এবং একটি প্রশ্ন জিজ্ঞাসা করতে পারে। সবাইকে ধন্যবাদ!

উত্স: www.habr.com