પાંડા-પ્રોફાઇલિંગ લાઇબ્રેરીનો ઉપયોગ કરીને સંશોધનાત્મક ડેટા વિશ્લેષણને વેગ આપો

નવા ડેટા સેટ સાથે કામ કરવાનું શરૂ કરતી વખતે પ્રથમ પગલું તેને સમજવું છે. આ કરવા માટે, તમારે, ઉદાહરણ તરીકે, ચલો દ્વારા સ્વીકૃત મૂલ્યોની શ્રેણીઓ, તેમના પ્રકારો શોધવા અને ગુમ થયેલ મૂલ્યોની સંખ્યા વિશે પણ શોધવાની જરૂર છે.

પાંડા લાઇબ્રેરી અમને સંશોધનાત્મક ડેટા વિશ્લેષણ (EDA) કરવા માટે ઘણા ઉપયોગી સાધનો પ્રદાન કરે છે. પરંતુ તમે તેનો ઉપયોગ કરો તે પહેલાં, તમારે સામાન્ય રીતે વધુ સામાન્ય કાર્યો જેમ કે df.describe() સાથે પ્રારંભ કરવાની જરૂર છે. જો કે, એ નોંધવું જોઈએ કે આવા કાર્યો દ્વારા પ્રદાન કરવામાં આવતી ક્ષમતાઓ મર્યાદિત છે, અને EDA કરતી વખતે કોઈપણ ડેટા સેટ સાથે કામ કરવાના પ્રારંભિક તબક્કાઓ ઘણી વાર એકબીજા સાથે ખૂબ સમાન હોય છે.

આજે અમે જે સામગ્રી પ્રકાશિત કરી રહ્યા છીએ તેના લેખક કહે છે કે તે પુનરાવર્તિત ક્રિયાઓ કરવાના ચાહક નથી. પરિણામે, સંશોધનાત્મક ડેટા વિશ્લેષણ ઝડપથી અને અસરકારક રીતે કરવા માટેના સાધનોની શોધમાં, તેમણે પુસ્તકાલય શોધી કાઢ્યું. પાંડા-પ્રોફાઈલિંગ. તેના કાર્યના પરિણામો ચોક્કસ વ્યક્તિગત સૂચકાંકોના સ્વરૂપમાં વ્યક્ત કરવામાં આવતાં નથી, પરંતુ વિશ્લેષણ કરેલા ડેટા વિશેની મોટાભાગની માહિતી ધરાવતા એકદમ વિગતવાર HTML રિપોર્ટના રૂપમાં, જેની સાથે વધુ નજીકથી કામ કરવાનું શરૂ કરતા પહેલા તમારે જાણવાની જરૂર પડી શકે છે.

અહીં આપણે ઉદાહરણ તરીકે ટાઇટેનિક ડેટાસેટનો ઉપયોગ કરીને પાંડા-પ્રોફાઇલિંગ લાઇબ્રેરીનો ઉપયોગ કરવાની સુવિધાઓ જોઈશું.

પાંડાનો ઉપયોગ કરીને સંશોધનાત્મક ડેટા વિશ્લેષણ

મેં ટાઇટેનિક ડેટાસેટ પર પાંડા-પ્રોફાઇલિંગ સાથે પ્રયોગ કરવાનું નક્કી કર્યું કારણ કે તેમાં રહેલા વિવિધ પ્રકારના ડેટા અને તેમાં ખૂટતા મૂલ્યોની હાજરી છે. હું માનું છું કે પાંડા-પ્રોફાઇલિંગ લાઇબ્રેરી ખાસ કરીને એવા કિસ્સાઓમાં રસપ્રદ છે કે જ્યાં ડેટા હજી સુધી સાફ કરવામાં આવ્યો નથી અને તેની લાક્ષણિકતાઓના આધારે વધુ પ્રક્રિયાની જરૂર છે. આવી પ્રક્રિયા સફળતાપૂર્વક કરવા માટે, તમારે ક્યાંથી શરૂ કરવું અને શું ધ્યાન આપવું તે જાણવાની જરૂર છે. આ તે છે જ્યાં પાંડા-પ્રોફાઇલિંગ ક્ષમતાઓ કામમાં આવે છે.

પ્રથમ, અમે ડેટા આયાત કરીએ છીએ અને વર્ણનાત્મક આંકડા મેળવવા માટે પાંડાનો ઉપયોગ કરીએ છીએ:

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

કોડના આ ભાગને એક્ઝિક્યુટ કર્યા પછી, તમને નીચેની આકૃતિમાં જે બતાવવામાં આવ્યું છે તે મળશે.

પ્રમાણભૂત પાંડા સાધનોનો ઉપયોગ કરીને મેળવેલ વર્ણનાત્મક આંકડા

જો કે અહીં ઘણી બધી ઉપયોગી માહિતી છે, તેમાં અભ્યાસ હેઠળના ડેટા વિશે જાણવા માટે રસપ્રદ હોય તેવી દરેક વસ્તુ શામેલ નથી. ઉદાહરણ તરીકે, કોઈ એવું માની શકે છે કે ડેટા ફ્રેમમાં, સ્ટ્રક્ચરમાં DataFrame, ત્યાં 891 રેખાઓ છે. જો આને તપાસવાની જરૂર હોય, તો ફ્રેમનું કદ નક્કી કરવા માટે કોડની બીજી લાઇનની જરૂર છે. જ્યારે આ ગણતરીઓ ખાસ કરીને સંસાધન-સઘન હોતી નથી, ત્યારે તેને દરેક સમયે પુનરાવર્તિત કરવાથી સમયનો બગાડ થાય છે જે કદાચ ડેટાને સાફ કરવામાં વધુ સારી રીતે ખર્ચવામાં આવી શકે છે.

પાંડા-પ્રોફાઈલિંગનો ઉપયોગ કરીને સંશોધનાત્મક ડેટા વિશ્લેષણ

હવે ચાલો pandas-profiling નો ઉપયોગ કરીને તે જ કરીએ:

pandas_profiling.ProfileReport(df)

કોડની ઉપરોક્ત લાઇનને અમલમાં મૂકવાથી સંશોધનાત્મક ડેટા વિશ્લેષણ સૂચકાંકો સાથેનો અહેવાલ જનરેટ થશે. ઉપર દર્શાવેલ કોડ મળેલ ડેટાને આઉટપુટ કરશે, પરંતુ તમે તેને એક HTML ફાઇલ આઉટપુટ કરી શકો છો જે તમે કોઈને બતાવી શકો છો, ઉદાહરણ તરીકે.

રિપોર્ટના પ્રથમ ભાગમાં વિહંગાવલોકન વિભાગ હશે, જેમાં ડેટા વિશે મૂળભૂત માહિતી આપવામાં આવશે (અવલોકનોની સંખ્યા, ચલોની સંખ્યા વગેરે). તેમાં ચેતવણીઓની સૂચિ પણ હશે, જે વિશ્લેષકને વિશેષ ધ્યાન આપવાની બાબતો વિશે સૂચિત કરશે. આ ચેતવણીઓ તમે તમારા ડેટા ક્લિનઅપ પ્રયત્નોને ક્યાં ફોકસ કરી શકો છો તેના સંકેતો આપી શકે છે.

વિહંગાવલોકન અહેવાલ વિભાગ

સંશોધનાત્મક ચલ વિશ્લેષણ

રિપોર્ટના વિહંગાવલોકન વિભાગની નીચે તમે દરેક ચલ વિશે ઉપયોગી માહિતી મેળવી શકો છો. તેમાં, અન્ય વસ્તુઓની સાથે, દરેક ચલના વિતરણનું વર્ણન કરતા નાના ચાર્ટનો સમાવેશ થાય છે.

ઉંમર આંકડાકીય ચલ વિશે

તમે અગાઉના ઉદાહરણમાંથી જોઈ શકો છો તેમ, પાંડા-પ્રોફાઈલિંગ આપણને ઘણા ઉપયોગી સૂચકાંકો આપે છે, જેમ કે ગુમ થયેલ મૂલ્યોની ટકાવારી અને સંખ્યા, તેમજ વર્ણનાત્મક આંકડાકીય માપદંડો કે જે આપણે પહેલાથી જોયા છે. કારણ કે Age એક સંખ્યાત્મક ચલ છે, હિસ્ટોગ્રામના સ્વરૂપમાં તેના વિતરણનું વિઝ્યુલાઇઝેશન અમને નિષ્કર્ષ પર આવવા દે છે કે અમારી પાસે વિતરણ જમણી તરફ વળેલું છે.

વર્ગીકૃત ચલનો વિચાર કરતી વખતે, આઉટપુટ પરિણામો આંકડાકીય ચલ માટે મળેલા પરિણામો કરતાં થોડા અલગ હોય છે.

સેક્સ વર્ગીકૃત ચલ વિશે

એટલે કે, સરેરાશ, લઘુત્તમ અને મહત્તમ શોધવાને બદલે, પાંડા-પ્રોફાઇલિંગ લાઇબ્રેરીએ વર્ગોની સંખ્યા શોધી કાઢી. કારણ કે Sex દ્વિસંગી ચલ, તેના મૂલ્યો બે વર્ગો દ્વારા રજૂ થાય છે.

જો તમે મારા જેવા કોડનું પરીક્ષણ કરવાનું પસંદ કરો છો, તો તમને પાંડા-પ્રોફાઇલિંગ લાઇબ્રેરી આ મેટ્રિક્સની ગણતરી કેવી રીતે કરે છે તેમાં તમને રસ હશે. લાઇબ્રેરી કોડ ખુલ્લો છે અને GitHub પર ઉપલબ્ધ છે તે જોતાં આ વિશે શોધવું એટલું મુશ્કેલ નથી. હું મારા પ્રોજેક્ટ્સમાં બ્લેક બોક્સનો ઉપયોગ કરવાનો મોટો ચાહક ન હોવાથી, મેં લાઇબ્રેરીના સોર્સ કોડ પર એક નજર નાખી. ઉદાહરણ તરીકે, સંખ્યાત્મક ચલોની પ્રક્રિયા કરવાની પદ્ધતિ આ રીતે દેખાય છે, જે ફંક્શન દ્વારા રજૂ થાય છે. describe_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

જો કે કોડનો આ ભાગ ઘણો મોટો અને જટિલ લાગે છે, તે વાસ્તવમાં સમજવા માટે ખૂબ જ સરળ છે. મુદ્દો એ છે કે લાઇબ્રેરીના સ્ત્રોત કોડમાં એક કાર્ય છે જે ચલોના પ્રકારો નક્કી કરે છે. જો તે તારણ આપે છે કે લાઇબ્રેરીને સંખ્યાત્મક ચલનો સામનો કરવો પડ્યો છે, તો ઉપરોક્ત કાર્ય તે મેટ્રિક્સ શોધી કાઢશે જે અમે જોઈ રહ્યા હતા. આ ફંક્શન પ્રકારના ઑબ્જેક્ટ્સ સાથે કામ કરવા માટે માનક પાંડા ઑપરેશનનો ઉપયોગ કરે છે Series, જેમ series.mean(). ગણતરીના પરિણામો શબ્દકોશમાં સંગ્રહિત થાય છે stats. હિસ્ટોગ્રામ ફંક્શનના અનુકૂલિત સંસ્કરણનો ઉપયોગ કરીને જનરેટ કરવામાં આવે છે matplotlib.pyplot.hist. અનુકૂલન એ સુનિશ્ચિત કરવાનો છે કે ફંક્શન વિવિધ પ્રકારના ડેટા સેટ સાથે કામ કરી શકે છે.

સહસંબંધ સૂચકાંકો અને નમૂના ડેટાનો અભ્યાસ કર્યો

ચલોના પૃથ્થકરણના પરિણામો પછી, સહસંબંધ વિભાગમાં, પાંડા-પ્રોફાઈલિંગ, પીયર્સન અને સ્પીયરમેન સહસંબંધ મેટ્રિસીસ પ્રદર્શિત કરશે.

પીયર્સન સહસંબંધ મેટ્રિક્સ

જો જરૂરી હોય તો, તમે રિપોર્ટના નિર્માણને ટ્રિગર કરતા કોડની લાઇનમાં, સહસંબંધની ગણતરી કરતી વખતે ઉપયોગમાં લેવાતા થ્રેશોલ્ડ મૂલ્યોના સૂચકાંકો સેટ કરી શકો છો. આ કરવાથી, તમે સ્પષ્ટ કરી શકો છો કે તમારા વિશ્લેષણ માટે સહસંબંધની કઈ તાકાત મહત્વપૂર્ણ માનવામાં આવે છે.

છેલ્લે, નમૂના વિભાગમાં, પાંડા-પ્રોફાઈલિંગ રિપોર્ટ, ઉદાહરણ તરીકે, ડેટા સેટની શરૂઆતથી લેવામાં આવેલ ડેટાનો ટુકડો દર્શાવે છે. આ અભિગમ અપ્રિય આશ્ચર્ય તરફ દોરી શકે છે, કારણ કે પ્રથમ થોડા અવલોકનો એક નમૂનાનું પ્રતિનિધિત્વ કરી શકે છે જે સમગ્ર ડેટા સેટની લાક્ષણિકતાઓને પ્રતિબિંબિત કરતું નથી.

અભ્યાસ હેઠળનો સેમ્પલ ડેટા ધરાવતો વિભાગ

પરિણામે, હું આ છેલ્લા વિભાગ પર ધ્યાન આપવાની ભલામણ કરતો નથી. તેના બદલે, આદેશનો ઉપયોગ કરવો વધુ સારું છે df.sample(5), જે ડેટા સેટમાંથી રેન્ડમલી 5 અવલોકનો પસંદ કરશે.

પરિણામો

સારાંશ માટે, પાંડા-પ્રોફાઇલિંગ લાઇબ્રેરી વિશ્લેષકને કેટલીક ઉપયોગી ક્ષમતાઓ આપે છે જે એવા કિસ્સાઓમાં કામમાં આવશે જ્યાં તમારે ડેટાનો રફ વિચાર ઝડપથી મેળવવાની અથવા કોઈને ગુપ્ત માહિતી વિશ્લેષણ અહેવાલ આપવાની જરૂર હોય. તે જ સમયે, ડેટા સાથે વાસ્તવિક કાર્ય, તેની સુવિધાઓને ધ્યાનમાં લેતા, હાથ ધરવામાં આવે છે, જેમ કે પાંડા-પ્રોફાઇલિંગનો ઉપયોગ કર્યા વિના, મેન્યુઅલી.

જો તમે એક જ્યુપીટર નોટબુકમાં તમામ ઇન્ટેલિજન્સ ડેટા વિશ્લેષણ કેવું દેખાય છે તેના પર એક નજર કરવા માંગતા હો, તો તેના પર એક નજર નાખો આ મારો પ્રોજેક્ટ nbviewer નો ઉપયોગ કરીને બનાવેલ છે. અને માં આ તમે GitHub રીપોઝીટરીઝમાં અનુરૂપ કોડ શોધી શકો છો.

પ્રિય વાચકો! તમે નવા ડેટા સેટનું વિશ્લેષણ ક્યાંથી શરૂ કરશો?

સોર્સ: www.habr.com