പൈത്തണിൽ ഗ്രൂപ്പിംഗും ഡാറ്റ വിഷ്വലൈസേഷനും ഉപയോഗിക്കുന്നതിനുള്ള കഴിവിൽ പ്രവർത്തിക്കുന്നു

ഹേ ഹബർ!

പൈത്തണിൽ ഡാറ്റ ഗ്രൂപ്പുചെയ്യുന്നതിനും ദൃശ്യവൽക്കരിക്കുന്നതിനുമുള്ള ടൂളുകൾ ഉപയോഗിക്കുന്നതിനുള്ള വൈദഗ്ധ്യത്തിൽ ഞങ്ങൾ ഇന്ന് പ്രവർത്തിക്കും. നൽകിയതിൽ Github-ലെ ഡാറ്റാസെറ്റ് നമുക്ക് നിരവധി സവിശേഷതകൾ വിശകലനം ചെയ്ത് ഒരു കൂട്ടം ദൃശ്യവൽക്കരണങ്ങൾ നിർമ്മിക്കാം.

പാരമ്പര്യമനുസരിച്ച്, തുടക്കത്തിൽ, നമുക്ക് ലക്ഷ്യങ്ങൾ നിർവചിക്കാം:

• ലിംഗഭേദവും വർഷവും അനുസരിച്ച് ഡാറ്റ ഗ്രൂപ്പ് ചെയ്യുകയും രണ്ട് ലിംഗങ്ങളുടെയും ജനനനിരക്കിന്റെ മൊത്തത്തിലുള്ള ചലനാത്മകത ദൃശ്യവൽക്കരിക്കുകയും ചെയ്യുക;
• എക്കാലത്തെയും ജനപ്രിയമായ പേരുകൾ കണ്ടെത്തുക;
• ഡാറ്റയിലെ മുഴുവൻ സമയ കാലയളവും 10 ഭാഗങ്ങളായി വിഭജിക്കുക, ഓരോന്നിനും, ഓരോ ലിംഗത്തിന്റെയും ഏറ്റവും ജനപ്രിയമായ പേര് കണ്ടെത്തുക. കണ്ടെത്തിയ ഓരോ പേരിനും, എല്ലാ സമയത്തും അതിന്റെ ചലനാത്മകത ദൃശ്യവൽക്കരിക്കുക;
• ഓരോ വർഷവും, എത്ര പേരുകൾ 50% ആളുകളെ ഉൾക്കൊള്ളുന്നു എന്ന് കണക്കാക്കുകയും ദൃശ്യവൽക്കരിക്കുകയും ചെയ്യുക (ഓരോ വർഷത്തിനും ഞങ്ങൾ വ്യത്യസ്ത പേരുകൾ കാണും);
• മുഴുവൻ ഇടവേളയിൽ നിന്നും 4 വർഷം തിരഞ്ഞെടുത്ത് ഓരോ വർഷവും പേരിലെ ആദ്യ അക്ഷരത്തിലും അവസാന അക്ഷരത്തിലും വിതരണം പ്രദർശിപ്പിക്കുക;
• നിരവധി പ്രശസ്തരായ ആളുകളുടെ (പ്രസിഡൻറുകൾ, ഗായകർ, അഭിനേതാക്കൾ, സിനിമാ കഥാപാത്രങ്ങൾ) ഒരു ലിസ്റ്റ് ഉണ്ടാക്കുക, പേരുകളുടെ ചലനാത്മകതയിൽ അവരുടെ സ്വാധീനം വിലയിരുത്തുക. ഒരു വിഷ്വലൈസേഷൻ നിർമ്മിക്കുക.

കുറച്ച് വാക്കുകൾ, കൂടുതൽ കോഡ്!

പിന്നെ, പോകാം.

ലിംഗഭേദവും വർഷവും അനുസരിച്ച് ഡാറ്റ ഗ്രൂപ്പുചെയ്യുകയും രണ്ട് ലിംഗങ്ങളുടെയും ജനനനിരക്കിന്റെ മൊത്തത്തിലുള്ള ചലനാത്മകത ദൃശ്യവൽക്കരിക്കുകയും ചെയ്യാം:

import numpy as np
import pandas as pd 
import matplotlib.pyplot as plt

years = np.arange(1880, 2011, 3)
datalist = 'https://raw.githubusercontent.com/wesm/pydata-book/2nd-edition/datasets/babynames/yob{year}.txt'
dataframes = []
for year in years:
    dataset = datalist.format(year=year)
    dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    dataframes.append(dataframe.assign(year=year))

result = pd.concat(dataframes)
sex = result.groupby('sex')
births_men = sex.get_group('M').groupby('year', as_index=False)
births_women = sex.get_group('F').groupby('year', as_index=False)
births_men_list = births_men.aggregate(np.sum)['count'].tolist()
births_women_list = births_women.aggregate(np.sum)['count'].tolist()

fig, ax = plt.subplots()
fig.set_size_inches(25,15)

index = np.arange(len(years))
stolb1 = ax.bar(index, births_men_list, 0.4, color='c', label='Мужчины')
stolb2 = ax.bar(index + 0.4, births_women_list, 0.4, alpha=0.8, color='r', label='Женщины')

ax.set_title('Рождаемость по полу и годам')
ax.set_xlabel('Года')
ax.set_ylabel('Рождаемость')
ax.set_xticklabels(years)
ax.set_xticks(index + 0.4)
ax.legend(loc=9)

fig.tight_layout()
plt.show()

ചരിത്രത്തിലെ ഏറ്റവും ജനപ്രിയമായ പേരുകൾ നമുക്ക് കണ്ടെത്താം:

years = np.arange(1880, 2011)

dataframes = []
for year in years:
    dataset = datalist.format(year=year)
    dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    dataframes.append(dataframe)

result = pd.concat(dataframes)
names = result.groupby('name', as_index=False).sum().sort_values('count', ascending=False)
names.head(10)

നമുക്ക് ഡാറ്റയിലെ മുഴുവൻ സമയ കാലയളവും 10 ഭാഗങ്ങളായി വിഭജിക്കാം, ഓരോന്നിനും ഓരോ ലിംഗത്തിന്റെയും ഏറ്റവും ജനപ്രിയമായ പേര് ഞങ്ങൾ കണ്ടെത്തും. കണ്ടെത്തിയ ഓരോ പേരിനും, എല്ലാ സമയത്തും അതിന്റെ ചലനാത്മകത ഞങ്ങൾ ദൃശ്യവൽക്കരിക്കുന്നു:

years = np.arange(1880, 2011)
part_size = int((years[years.size - 1] - years[0]) / 10) + 1
parts = {}
def GetPart(year):
    return int((year - years[0]) / part_size)
for year in years:
    index = GetPart(year)
    r = years[0] + part_size * index, min(years[years.size - 1], years[0] + part_size * (index + 1))
    parts[index] = str(r[0]) + '-' + str(r[1])

dataframe_parts = []
dataframes = []
for year in years:
    dataset = datalist.format(year=year)
    dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    dataframe_parts.append(dataframe.assign(years=parts[GetPart(year)]))
    dataframes.append(dataframe.assign(year=year))
    
result_parts = pd.concat(dataframe_parts)
result = pd.concat(dataframes)

result_parts_sums = result_parts.groupby(['years', 'sex', 'name'], as_index=False).sum()
result_parts_names = result_parts_sums.iloc[result_parts_sums.groupby(['years', 'sex'], as_index=False).apply(lambda x: x['count'].idxmax())]
result_sums = result.groupby(['year', 'sex', 'name'], as_index=False).sum()

for groupName, groupLabels in result_parts_names.groupby(['name', 'sex']).groups.items():
    group = result_sums.groupby(['name', 'sex']).get_group(groupName)
    fig, ax = plt.subplots(1, 1, figsize=(18,10))

    ax.set_xlabel('Года')
    ax.set_ylabel('Рождаемость')
    label = group['name']
    ax.plot(group['year'], group['count'], label=label.aggregate(np.max), color='b', ls='-')
    ax.legend(loc=9, fontsize=11)

    plt.show()

ഓരോ വർഷവും, 50% ആളുകളെ ഉൾക്കൊള്ളുന്ന എത്ര പേരുകൾ ഞങ്ങൾ കണക്കാക്കുകയും ഈ ഡാറ്റ ദൃശ്യവൽക്കരിക്കുകയും ചെയ്യുന്നു:

dataframe = pd.DataFrame({'year': [], 'count': []})
years = np.arange(1880, 2011)
for year in years:
    dataset = datalist.format(year=year)
    csv = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    names = csv.groupby('name', as_index=False).aggregate(np.sum)
    names['sum'] = names.sum()['count']
    names['percent'] = names['count'] / names['sum'] * 100
    names = names.sort_values(['percent'], ascending=False)
    names['cum_perc'] = names['percent'].cumsum()
    names_filtered = names[names['cum_perc'] <= 50]
    dataframe = dataframe.append(pd.DataFrame({'year': [year], 'count': [names_filtered.shape[0]]}))

fig, ax1 = plt.subplots(1, 1, figsize=(22,13))
ax1.set_xlabel('Года', fontsize = 12)
ax1.set_ylabel('Разнообразие имен', fontsize = 12)
ax1.plot(dataframe['year'], dataframe['count'], color='r', ls='-')
ax1.legend(loc=9, fontsize=12)

plt.show()

മുഴുവൻ ഇടവേളയിൽ നിന്നും 4 വർഷം തിരഞ്ഞെടുത്ത് ഓരോ വർഷവും പേരിലെ ആദ്യ അക്ഷരത്തിലും അവസാന അക്ഷരത്തിലും വിതരണം പ്രദർശിപ്പിക്കാം:

from string import ascii_lowercase, ascii_uppercase

fig_first, ax_first = plt.subplots(1, 1, figsize=(14,10))
fig_last, ax_last = plt.subplots(1, 1, figsize=(14,10))

index = np.arange(len(ascii_uppercase))
years = [1944, 1978, 1991, 2003]
colors = ['r', 'g', 'b', 'y']
n = 0
for year in years:
    dataset = datalist.format(year=year)
    csv = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    names = csv.groupby('name', as_index=False).aggregate(np.sum)
    count = names.shape[0]

    dataframe = pd.DataFrame({'letter': [], 'frequency_first': [], 'frequency_last': []})
    for letter in ascii_uppercase:
        countFirst = (names[names.name.str.startswith(letter)].count()['count'])
        countLast = (names[names.name.str.endswith(letter.lower())].count()['count'])

        dataframe = dataframe.append(pd.DataFrame({
            'letter': [letter],
            'frequency_first': [countFirst / count * 100],
            'frequency_last': [countLast / count * 100]}))

    ax_first.bar(index + 0.3 * n, dataframe['frequency_first'], 0.3, alpha=0.5, color=colors[n], label=year)
    ax_last.bar(index + bar_width * n, dataframe['frequency_last'], 0.3, alpha=0.5, color=colors[n], label=year)
    n += 1

ax_first.set_xlabel('Буква алфавита')
ax_first.set_ylabel('Частота, %')
ax_first.set_title('Первая буква в имени')
ax_first.set_xticks(index)
ax_first.set_xticklabels(ascii_uppercase)
ax_first.legend()

ax_last.set_xlabel('Буква алфавита')
ax_last.set_ylabel('Частота, %')
ax_last.set_title('Последняя буква в имени')
ax_last.set_xticks(index)
ax_last.set_xticklabels(ascii_uppercase)
ax_last.legend()

fig_first.tight_layout()
fig_last.tight_layout()

plt.show()

നമുക്ക് നിരവധി പ്രശസ്തരായ ആളുകളുടെ (പ്രസിഡൻറുമാർ, ഗായകർ, അഭിനേതാക്കൾ, സിനിമാ കഥാപാത്രങ്ങൾ) ഒരു ലിസ്റ്റ് ഉണ്ടാക്കുകയും പേരുകളുടെ ചലനാത്മകതയിൽ അവരുടെ സ്വാധീനം വിലയിരുത്തുകയും ചെയ്യാം:

celebrities = {'Frank': 'M', 'Britney': 'F', 'Madonna': 'F', 'Bob': 'M'}
dataframes = []
for year in years:
    dataset = datalist.format(year=year)
    dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count'])
    dataframes.append(dataframe.assign(year=year))

result = pd.concat(dataframes)

for celebrity, sex in celebrities.items():
    names = result[result.name == celebrity]
    dataframe = names[names.sex == sex]
    fig, ax = plt.subplots(1, 1, figsize=(16,8))

    ax.set_xlabel('Года', fontsize = 10)
    ax.set_ylabel('Рождаемость', fontsize = 10)
    ax.plot(dataframe['year'], dataframe['count'], label=celebrity, color='r', ls='-')
    ax.legend(loc=9, fontsize=12)
        
    plt.show()

പരിശീലനത്തിനായി, പേരുകളുടെ ചലനാത്മകതയിൽ അവരുടെ സ്വാധീനം വ്യക്തമായി വിലയിരുത്തുന്നതിന്, അവസാന ഉദാഹരണത്തിൽ നിന്ന് നിങ്ങൾക്ക് സെലിബ്രിറ്റിയുടെ ജീവിത കാലയളവ് ദൃശ്യവൽക്കരണത്തിലേക്ക് ചേർക്കാൻ കഴിയും.

ഇതോടെ ഞങ്ങളുടെ എല്ലാ ലക്ഷ്യങ്ങളും പൂർത്തീകരിക്കപ്പെട്ടു. പൈത്തണിൽ ഡാറ്റ ഗ്രൂപ്പുചെയ്യുന്നതിനും ദൃശ്യവൽക്കരിക്കുന്നതിനുമുള്ള ടൂളുകൾ ഉപയോഗിക്കുന്നതിനുള്ള കഴിവ് ഞങ്ങൾ വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട്, ഞങ്ങൾ ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നത് തുടരും. റെഡിമെയ്ഡ്, ദൃശ്യവൽക്കരിക്കപ്പെട്ട ഡാറ്റയെ അടിസ്ഥാനമാക്കി എല്ലാവർക്കും നിഗമനങ്ങളിൽ എത്തിച്ചേരാനാകും.

എല്ലാവർക്കും അറിവ്!

അവലംബം: www.habr.com