পান্ডা-প্রোফাইলিং লাইব্রেরি ব্যবহার করে অনুসন্ধানমূলক ডেটা বিশ্লেষণকে ত্বরান্বিত করুন

একটি নতুন ডেটা সেট নিয়ে কাজ শুরু করার প্রথম ধাপ হল এটি বোঝা। এটি করার জন্য, আপনাকে, উদাহরণস্বরূপ, ভেরিয়েবল দ্বারা গৃহীত মানগুলির পরিসর, তাদের প্রকারগুলি খুঁজে বের করতে হবে এবং অনুপস্থিত মানগুলির সংখ্যা সম্পর্কেও খুঁজে বের করতে হবে।

পান্ডাস লাইব্রেরি আমাদের অনুসন্ধানমূলক ডেটা বিশ্লেষণ (EDA) করার জন্য অনেক দরকারী টুল সরবরাহ করে। কিন্তু আপনি সেগুলি ব্যবহার করার আগে, আপনাকে সাধারণত আরও সাধারণ ফাংশন যেমন df.describe() দিয়ে শুরু করতে হবে। যাইহোক, এটি লক্ষ করা উচিত যে এই ধরনের ফাংশনগুলির দ্বারা প্রদত্ত ক্ষমতাগুলি সীমিত, এবং EDA সম্পাদন করার সময় যে কোনও ডেটা সেটের সাথে কাজ করার প্রাথমিক পর্যায়গুলি প্রায়ই একে অপরের সাথে খুব মিল।

আমরা আজ যে উপাদানটি প্রকাশ করছি তার লেখক বলেছেন যে তিনি পুনরাবৃত্তিমূলক ক্রিয়া সম্পাদনের অনুরাগী নন। ফলস্বরূপ, দ্রুত এবং দক্ষতার সাথে অনুসন্ধানমূলক ডেটা বিশ্লেষণ করার জন্য সরঞ্জামগুলির সন্ধানে, তিনি লাইব্রেরিটি খুঁজে পান পান্ডা-প্রোফাইলিং. এর কাজের ফলাফলগুলি নির্দিষ্ট স্বতন্ত্র সূচকগুলির আকারে প্রকাশ করা হয় না, তবে একটি মোটামুটি বিস্তারিত HTML রিপোর্টের আকারে যা বিশ্লেষণ করা ডেটা সম্পর্কে বেশিরভাগ তথ্য রয়েছে যা আপনাকে এটির সাথে আরও ঘনিষ্ঠভাবে কাজ শুরু করার আগে জানতে হবে।

এখানে আমরা উদাহরণ হিসাবে টাইটানিক ডেটাসেট ব্যবহার করে পান্ডা-প্রোফাইলিং লাইব্রেরি ব্যবহারের বৈশিষ্ট্যগুলি দেখব।

পান্ডা ব্যবহার করে অনুসন্ধানমূলক ডেটা বিশ্লেষণ

আমি টাইটানিক ডেটাসেটে পান্ডা-প্রোফাইলিং নিয়ে পরীক্ষা করার সিদ্ধান্ত নিয়েছি কারণ এতে বিভিন্ন ধরণের ডেটা রয়েছে এবং এতে অনুপস্থিত মান রয়েছে। আমি বিশ্বাস করি যে পান্ডা-প্রোফাইলিং লাইব্রেরি বিশেষত এমন ক্ষেত্রে আকর্ষণীয় যেখানে ডেটা এখনও পরিষ্কার করা হয়নি এবং এর বৈশিষ্ট্যগুলির উপর নির্ভর করে আরও প্রক্রিয়াকরণের প্রয়োজন। এই জাতীয় প্রক্রিয়াকরণ সফলভাবে সম্পাদন করার জন্য, আপনাকে কোথায় শুরু করতে হবে এবং কী মনোযোগ দিতে হবে তা জানতে হবে। এখানেই পান্ডা-প্রোফাইলিং ক্ষমতা কাজে আসে।

প্রথমত, আমরা ডেটা আমদানি করি এবং বর্ণনামূলক পরিসংখ্যান পেতে পান্ডা ব্যবহার করি:

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

কোডের এই অংশটি কার্যকর করার পরে, আপনি নিম্নলিখিত চিত্রে যা দেখানো হয়েছে তা পাবেন।

স্ট্যান্ডার্ড পান্ডাস টুল ব্যবহার করে প্রাপ্ত বর্ণনামূলক পরিসংখ্যান

যদিও এখানে প্রচুর দরকারী তথ্য রয়েছে, তবে এতে অধ্যয়নের অধীনে থাকা ডেটা সম্পর্কে জানতে আকর্ষণীয় হবে এমন সবকিছু নেই। উদাহরণস্বরূপ, কেউ ধরে নিতে পারে যে একটি ডেটা ফ্রেমে, একটি কাঠামোতে DataFrame, 891 লাইন আছে. যদি এটি চেক করার প্রয়োজন হয়, তাহলে ফ্রেমের আকার নির্ধারণ করতে কোডের আরেকটি লাইন প্রয়োজন। যদিও এই গণনাগুলি বিশেষভাবে সম্পদ-নিবিড় নয়, সেগুলিকে সব সময় পুনরাবৃত্তি করা সময় নষ্ট করতে বাধ্য যা সম্ভবত ডেটা পরিষ্কার করার জন্য আরও ভালভাবে ব্যয় করা যেতে পারে।

পান্ডা-প্রোফাইলিং ব্যবহার করে অনুসন্ধানমূলক ডেটা বিশ্লেষণ

এখন পান্ডা-প্রোফাইলিং ব্যবহার করে একই কাজ করা যাক:

pandas_profiling.ProfileReport(df)

কোডের উপরের লাইনটি কার্যকর করা অনুসন্ধানমূলক ডেটা বিশ্লেষণ সূচক সহ একটি প্রতিবেদন তৈরি করবে। উপরে দেখানো কোডটি পাওয়া ডেটা আউটপুট করবে, কিন্তু আপনি এটিকে একটি HTML ফাইল আউটপুট করতে পারেন যা আপনি কাউকে দেখাতে পারেন, উদাহরণস্বরূপ।

প্রতিবেদনের প্রথম অংশে একটি ওভারভিউ বিভাগ থাকবে, যা ডেটা সম্পর্কে প্রাথমিক তথ্য দেবে (পর্যবেক্ষণের সংখ্যা, ভেরিয়েবলের সংখ্যা ইত্যাদি)। এটিতে সতর্কতার একটি তালিকাও থাকবে, যা বিশ্লেষককে বিশেষ মনোযোগ দিতে হবে সে সম্পর্কে অবহিত করবে। এই সতর্কতাগুলি আপনি কোথায় আপনার ডেটা পরিষ্কার করার প্রচেষ্টাকে ফোকাস করতে পারেন সে সম্পর্কে সূত্র সরবরাহ করতে পারে।

ওভারভিউ রিপোর্ট বিভাগ

অনুসন্ধানী পরিবর্তনশীল বিশ্লেষণ

প্রতিবেদনের ওভারভিউ বিভাগের নীচে আপনি প্রতিটি পরিবর্তনশীল সম্পর্কে দরকারী তথ্য পেতে পারেন। তারা, অন্যান্য জিনিসের মধ্যে, প্রতিটি ভেরিয়েবলের বন্টন বর্ণনা করে ছোট চার্ট অন্তর্ভুক্ত করে।

বয়স সংখ্যাগত পরিবর্তনশীল সম্পর্কে

আপনি আগের উদাহরণ থেকে দেখতে পাচ্ছেন, পান্ডা-প্রোফাইলিং আমাদের বেশ কিছু দরকারী সূচক দেয়, যেমন হারানো মানগুলির শতাংশ এবং সংখ্যা, সেইসাথে বর্ণনামূলক পরিসংখ্যানের পরিমাপ যা আমরা ইতিমধ্যে দেখেছি। কারণ Age একটি সংখ্যাসূচক পরিবর্তনশীল, একটি হিস্টোগ্রাম আকারে এর বিতরণের ভিজ্যুয়ালাইজেশন আমাদের এই সিদ্ধান্তে পৌঁছাতে দেয় যে আমাদের একটি বন্টন ডানদিকে তির্যক হয়েছে।

একটি শ্রেণীগত পরিবর্তনশীল বিবেচনা করার সময়, আউটপুট ফলাফল একটি সংখ্যাসূচক পরিবর্তনশীলের জন্য পাওয়া ফলাফল থেকে সামান্য ভিন্ন।

সেক্স শ্রেণীগত পরিবর্তনশীল সম্পর্কে

যথা, গড়, সর্বনিম্ন এবং সর্বোচ্চ খোঁজার পরিবর্তে, পান্ডা-প্রোফাইলিং লাইব্রেরি ক্লাসের সংখ্যা খুঁজে পেয়েছে। কারণ Sex — একটি বাইনারি ভেরিয়েবল, এর মান দুটি শ্রেণী দ্বারা উপস্থাপিত হয়।

আপনি যদি আমার মতো কোড পরীক্ষা করতে চান তবে পান্ডা-প্রোফাইলিং লাইব্রেরি এই মেট্রিক্সগুলি কীভাবে গণনা করে তা নিয়ে আপনি আগ্রহী হতে পারেন। লাইব্রেরি কোড খোলা এবং GitHub-এ উপলব্ধ থাকায় এই সম্পর্কে খুঁজে বের করা এতটা কঠিন নয়। যেহেতু আমি আমার প্রোজেক্টে ব্ল্যাক বক্স ব্যবহার করার বড় অনুরাগী নই, তাই আমি লাইব্রেরির সোর্স কোড দেখেছি। উদাহরণস্বরূপ, সাংখ্যিক ভেরিয়েবল প্রক্রিয়াকরণের প্রক্রিয়াটি ফাংশন দ্বারা উপস্থাপিত হয় এমন দেখায় describe_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

যদিও কোডের এই অংশটি বেশ বড় এবং জটিল বলে মনে হতে পারে, আসলে এটি বোঝা খুব সহজ। মোদ্দা কথা হল লাইব্রেরির সোর্স কোডে একটি ফাংশন আছে যা ভেরিয়েবলের ধরন নির্ধারণ করে। যদি দেখা যায় যে লাইব্রেরি একটি সংখ্যাসূচক পরিবর্তনশীলের সম্মুখীন হয়েছে, উপরের ফাংশনটি আমরা যে মেট্রিকগুলি দেখছিলাম তা খুঁজে পাবে। এই ফাংশন টাইপের বস্তুর সাথে কাজ করার জন্য স্ট্যান্ডার্ড পান্ডা অপারেশন ব্যবহার করে Series, মত series.mean(). গণনার ফলাফল একটি অভিধানে সংরক্ষণ করা হয় stats. হিস্টোগ্রামগুলি ফাংশনের একটি অভিযোজিত সংস্করণ ব্যবহার করে তৈরি করা হয় matplotlib.pyplot.hist. ফাংশনটি বিভিন্ন ধরণের ডেটা সেটের সাথে কাজ করতে পারে তা নিশ্চিত করার লক্ষ্যে অভিযোজন।

পারস্পরিক সম্পর্ক সূচক এবং নমুনা ডেটা অধ্যয়ন করা হয়েছে

ভেরিয়েবলের বিশ্লেষণের ফলাফলের পর, পান্ডা-প্রোফাইলিং, পারস্পরিক সম্পর্ক বিভাগে, পিয়ারসন এবং স্পিয়ারম্যান পারস্পরিক সম্পর্ক ম্যাট্রিক্স প্রদর্শন করবে।

পিয়ারসন পারস্পরিক সম্পর্ক ম্যাট্রিক্স

যদি প্রয়োজন হয়, আপনি রিপোর্টের প্রজন্মকে ট্রিগার করে এমন কোডের লাইনে, পারস্পরিক সম্পর্ক গণনা করার সময় ব্যবহৃত থ্রেশহোল্ড মানগুলির সূচক সেট করতে পারেন। এটি করার মাধ্যমে, আপনি আপনার বিশ্লেষণের জন্য পারস্পরিক সম্পর্কের কোন শক্তি গুরুত্বপূর্ণ বলে বিবেচিত হয় তা নির্দিষ্ট করতে পারেন।

অবশেষে, নমুনা বিভাগে, পান্ডা-প্রোফাইলিং রিপোর্ট, উদাহরণ হিসাবে, ডেটা সেটের শুরু থেকে নেওয়া ডেটার একটি অংশ প্রদর্শন করে। এই পদ্ধতিটি অপ্রীতিকর বিস্ময়ের দিকে নিয়ে যেতে পারে, যেহেতু প্রথম কয়েকটি পর্যবেক্ষণ এমন একটি নমুনা উপস্থাপন করতে পারে যা সমগ্র ডেটা সেটের বৈশিষ্ট্যগুলিকে প্রতিফলিত করে না।

অধ্যায় অধীন নমুনা তথ্য ধারণকারী বিভাগ

ফলস্বরূপ, আমি এই শেষ বিভাগে মনোযোগ দেওয়ার পরামর্শ দিচ্ছি না। পরিবর্তে, কমান্ড ব্যবহার করা ভাল df.sample(5), যা এলোমেলোভাবে ডেটা সেট থেকে 5টি পর্যবেক্ষণ নির্বাচন করবে।

ফলাফল

সংক্ষেপে বলতে গেলে, পান্ডা-প্রোফাইলিং লাইব্রেরি বিশ্লেষককে কিছু দরকারী ক্ষমতা দেয় যেগুলি এমন ক্ষেত্রে কাজে আসবে যেখানে আপনাকে দ্রুত ডেটা সম্পর্কে একটি মোটামুটি ধারণা পেতে বা কাউকে গোয়েন্দা বিশ্লেষণের প্রতিবেদন দিতে হবে। একই সময়ে, ডেটার সাথে বাস্তব কাজ, এর বৈশিষ্ট্যগুলি বিবেচনায় নিয়ে, ম্যানুয়ালি পান্ডা-প্রোফাইলিং ব্যবহার না করে সঞ্চালিত হয়।

আপনি যদি একটি জুপিটার নোটবুকে সমস্ত বুদ্ধিমত্তার ডেটা বিশ্লেষণ কেমন দেখায় তা একবার দেখতে চান তবে একবার দেখুন এই আমার প্রকল্প nbviewer ব্যবহার করে তৈরি। এবং ভিতরে এই আপনি GitHub সংগ্রহস্থলে সংশ্লিষ্ট কোড খুঁজে পেতে পারেন।

প্রিয় পাঠকগণ! আপনি কোথায় নতুন ডেটা সেট বিশ্লেষণ শুরু করবেন?

উত্স: www.habr.com