पायथन में ग्रुपिंग और डेटा विज़ुअलाइज़ेशन का उपयोग करने के कौशल पर काम करना

हे हबर!

आज हम पायथन में डेटा को ग्रुपिंग और विज़ुअलाइज़ करने के लिए टूल का उपयोग करने के कौशल पर काम करेंगे। दिए गए में Github पर डेटासेट आइए कई विशेषताओं का विश्लेषण करें और विज़ुअलाइज़ेशन का एक सेट बनाएं।

परंपरा के अनुसार, शुरुआत में, आइए लक्ष्य परिभाषित करें:

• लिंग और वर्ष के आधार पर डेटा समूहित करें और दोनों लिंगों की जन्म दर की समग्र गतिशीलता की कल्पना करें;
• अब तक के सबसे लोकप्रिय नाम खोजें;
• डेटा में संपूर्ण समयावधि को 10 भागों में विभाजित करें और प्रत्येक के लिए, प्रत्येक लिंग का सबसे लोकप्रिय नाम ढूंढें। पाए गए प्रत्येक नाम के लिए, हर समय उसकी गतिशीलता की कल्पना करें;
• प्रत्येक वर्ष के लिए, गणना करें कि कितने नाम 50% लोगों को कवर करते हैं और कल्पना करें (हम प्रत्येक वर्ष के लिए नामों की विविधता देखेंगे);
• संपूर्ण अंतराल से 4 वर्ष चुनें और प्रत्येक वर्ष के लिए नाम के पहले अक्षर और नाम के अंतिम अक्षर द्वारा वितरण प्रदर्शित करें;
• कई प्रसिद्ध लोगों (राष्ट्रपति, गायक, अभिनेता, फिल्म पात्र) की सूची बनाएं और नामों की गतिशीलता पर उनके प्रभाव का मूल्यांकन करें। एक विज़ुअलाइज़ेशन बनाएं.

कम शब्द, अधिक कोड!

और, चलो चलें.

आइए डेटा को लिंग और वर्ष के आधार पर समूहित करें और दोनों लिंगों की जन्म दर की समग्र गतिशीलता की कल्पना करें:

import numpy as np
import pandas as pd 
import matplotlib.pyplot as plt

years = np.arange(1880, 2011, 3)
datalist = 'https://raw.githubusercontent.com/wesm/pydata-book/2nd-edition/datasets/babynames/yob{year}.txt'
dataframes = []
for year in years:
    dataset = datalist.format(year=year)
    dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    dataframes.append(dataframe.assign(year=year))

result = pd.concat(dataframes)
sex = result.groupby('sex')
births_men = sex.get_group('M').groupby('year', as_index=False)
births_women = sex.get_group('F').groupby('year', as_index=False)
births_men_list = births_men.aggregate(np.sum)['count'].tolist()
births_women_list = births_women.aggregate(np.sum)['count'].tolist()

fig, ax = plt.subplots()
fig.set_size_inches(25,15)

index = np.arange(len(years))
stolb1 = ax.bar(index, births_men_list, 0.4, color='c', label='Мужчины')
stolb2 = ax.bar(index + 0.4, births_women_list, 0.4, alpha=0.8, color='r', label='Женщины')

ax.set_title('Рождаемость по полу и годам')
ax.set_xlabel('Года')
ax.set_ylabel('Рождаемость')
ax.set_xticklabels(years)
ax.set_xticks(index + 0.4)
ax.legend(loc=9)

fig.tight_layout()
plt.show()

आइए इतिहास में सबसे लोकप्रिय नाम खोजें:

years = np.arange(1880, 2011)

dataframes = []
for year in years:
    dataset = datalist.format(year=year)
    dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    dataframes.append(dataframe)

result = pd.concat(dataframes)
names = result.groupby('name', as_index=False).sum().sort_values('count', ascending=False)
names.head(10)

आइए डेटा की पूरी समयावधि को 10 भागों में विभाजित करें और प्रत्येक के लिए हम प्रत्येक लिंग का सबसे लोकप्रिय नाम ढूंढेंगे। पाए गए प्रत्येक नाम के लिए, हम हर समय इसकी गतिशीलता की कल्पना करते हैं:

years = np.arange(1880, 2011)
part_size = int((years[years.size - 1] - years[0]) / 10) + 1
parts = {}
def GetPart(year):
    return int((year - years[0]) / part_size)
for year in years:
    index = GetPart(year)
    r = years[0] + part_size * index, min(years[years.size - 1], years[0] + part_size * (index + 1))
    parts[index] = str(r[0]) + '-' + str(r[1])

dataframe_parts = []
dataframes = []
for year in years:
    dataset = datalist.format(year=year)
    dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    dataframe_parts.append(dataframe.assign(years=parts[GetPart(year)]))
    dataframes.append(dataframe.assign(year=year))
    
result_parts = pd.concat(dataframe_parts)
result = pd.concat(dataframes)

result_parts_sums = result_parts.groupby(['years', 'sex', 'name'], as_index=False).sum()
result_parts_names = result_parts_sums.iloc[result_parts_sums.groupby(['years', 'sex'], as_index=False).apply(lambda x: x['count'].idxmax())]
result_sums = result.groupby(['year', 'sex', 'name'], as_index=False).sum()

for groupName, groupLabels in result_parts_names.groupby(['name', 'sex']).groups.items():
    group = result_sums.groupby(['name', 'sex']).get_group(groupName)
    fig, ax = plt.subplots(1, 1, figsize=(18,10))

    ax.set_xlabel('Года')
    ax.set_ylabel('Рождаемость')
    label = group['name']
    ax.plot(group['year'], group['count'], label=label.aggregate(np.max), color='b', ls='-')
    ax.legend(loc=9, fontsize=11)

    plt.show()

प्रत्येक वर्ष के लिए, हम गणना करते हैं कि कितने नाम 50% लोगों को कवर करते हैं और इस डेटा की कल्पना करते हैं:

dataframe = pd.DataFrame({'year': [], 'count': []})
years = np.arange(1880, 2011)
for year in years:
    dataset = datalist.format(year=year)
    csv = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    names = csv.groupby('name', as_index=False).aggregate(np.sum)
    names['sum'] = names.sum()['count']
    names['percent'] = names['count'] / names['sum'] * 100
    names = names.sort_values(['percent'], ascending=False)
    names['cum_perc'] = names['percent'].cumsum()
    names_filtered = names[names['cum_perc'] <= 50]
    dataframe = dataframe.append(pd.DataFrame({'year': [year], 'count': [names_filtered.shape[0]]}))

fig, ax1 = plt.subplots(1, 1, figsize=(22,13))
ax1.set_xlabel('Года', fontsize = 12)
ax1.set_ylabel('Разнообразие имен', fontsize = 12)
ax1.plot(dataframe['year'], dataframe['count'], color='r', ls='-')
ax1.legend(loc=9, fontsize=12)

plt.show()

आइए संपूर्ण अंतराल से 4 वर्ष चुनें और प्रत्येक वर्ष के लिए नाम के पहले अक्षर और नाम के अंतिम अक्षर द्वारा वितरण प्रदर्शित करें:

from string import ascii_lowercase, ascii_uppercase

fig_first, ax_first = plt.subplots(1, 1, figsize=(14,10))
fig_last, ax_last = plt.subplots(1, 1, figsize=(14,10))

index = np.arange(len(ascii_uppercase))
years = [1944, 1978, 1991, 2003]
colors = ['r', 'g', 'b', 'y']
n = 0
for year in years:
    dataset = datalist.format(year=year)
    csv = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    names = csv.groupby('name', as_index=False).aggregate(np.sum)
    count = names.shape[0]

    dataframe = pd.DataFrame({'letter': [], 'frequency_first': [], 'frequency_last': []})
    for letter in ascii_uppercase:
        countFirst = (names[names.name.str.startswith(letter)].count()['count'])
        countLast = (names[names.name.str.endswith(letter.lower())].count()['count'])

        dataframe = dataframe.append(pd.DataFrame({
            'letter': [letter],
            'frequency_first': [countFirst / count * 100],
            'frequency_last': [countLast / count * 100]}))

    ax_first.bar(index + 0.3 * n, dataframe['frequency_first'], 0.3, alpha=0.5, color=colors[n], label=year)
    ax_last.bar(index + bar_width * n, dataframe['frequency_last'], 0.3, alpha=0.5, color=colors[n], label=year)
    n += 1

ax_first.set_xlabel('Буква алфавита')
ax_first.set_ylabel('Частота, %')
ax_first.set_title('Первая буква в имени')
ax_first.set_xticks(index)
ax_first.set_xticklabels(ascii_uppercase)
ax_first.legend()

ax_last.set_xlabel('Буква алфавита')
ax_last.set_ylabel('Частота, %')
ax_last.set_title('Последняя буква в имени')
ax_last.set_xticks(index)
ax_last.set_xticklabels(ascii_uppercase)
ax_last.legend()

fig_first.tight_layout()
fig_last.tight_layout()

plt.show()

आइए कई प्रसिद्ध लोगों (राष्ट्रपति, गायक, अभिनेता, फिल्म पात्र) की एक सूची बनाएं और नामों की गतिशीलता पर उनके प्रभाव का मूल्यांकन करें:

celebrities = {'Frank': 'M', 'Britney': 'F', 'Madonna': 'F', 'Bob': 'M'}
dataframes = []
for year in years:
    dataset = datalist.format(year=year)
    dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    dataframes.append(dataframe.assign(year=year))

result = pd.concat(dataframes)

for celebrity, sex in celebrities.items():
    names = result[result.name == celebrity]
    dataframe = names[names.sex == sex]
    fig, ax = plt.subplots(1, 1, figsize=(16,8))

    ax.set_xlabel('Года', fontsize = 10)
    ax.set_ylabel('Рождаемость', fontsize = 10)
    ax.plot(dataframe['year'], dataframe['count'], label=celebrity, color='r', ls='-')
    ax.legend(loc=9, fontsize=12)
        
    plt.show()

प्रशिक्षण के लिए, आप नामों की गतिशीलता पर उनके प्रभाव का स्पष्ट रूप से आकलन करने के लिए अंतिम उदाहरण से विज़ुअलाइज़ेशन में सेलिब्रिटी के जीवन काल को जोड़ सकते हैं।

इससे हमारे सभी लक्ष्य प्राप्त एवं पूर्ण हो गये। हमने पायथन में डेटा को समूहीकृत करने और विज़ुअलाइज़ करने के लिए टूल का उपयोग करने का कौशल विकसित किया है, और हम डेटा के साथ काम करना जारी रखेंगे। हर कोई स्वयं तैयार, विज़ुअलाइज़ किए गए डेटा के आधार पर निष्कर्ष निकाल सकता है।

सभी को ज्ञान!

स्रोत: www.habr.com