ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਲਾਇਬ੍ਰੇਰੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਖੋਜੀ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਤੇਜ਼ ਕਰੋ

ਇੱਕ ਨਵੇਂ ਡੇਟਾ ਸੈੱਟ ਨਾਲ ਕੰਮ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰਨ ਵੇਲੇ ਪਹਿਲਾ ਕਦਮ ਇਸ ਨੂੰ ਸਮਝਣਾ ਹੈ। ਅਜਿਹਾ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਲੋੜ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ਵੇਰੀਏਬਲਾਂ ਦੁਆਰਾ ਸਵੀਕਾਰ ਕੀਤੇ ਮੁੱਲਾਂ ਦੀਆਂ ਰੇਂਜਾਂ, ਉਹਨਾਂ ਦੀਆਂ ਕਿਸਮਾਂ, ਅਤੇ ਗੁੰਮ ਹੋਏ ਮੁੱਲਾਂ ਦੀ ਸੰਖਿਆ ਬਾਰੇ ਵੀ ਪਤਾ ਲਗਾਉਣ ਲਈ।

ਪਾਂਡਾ ਲਾਇਬ੍ਰੇਰੀ ਸਾਨੂੰ ਖੋਜੀ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ (EDA) ਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰੇ ਉਪਯੋਗੀ ਸਾਧਨ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ। ਪਰ ਇਹਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਤੁਹਾਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਹੋਰ ਆਮ ਫੰਕਸ਼ਨਾਂ ਜਿਵੇਂ ਕਿ df.describe() ਨਾਲ ਸ਼ੁਰੂ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਹਾਲਾਂਕਿ, ਇਹ ਨੋਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਅਜਿਹੇ ਫੰਕਸ਼ਨਾਂ ਦੁਆਰਾ ਪ੍ਰਦਾਨ ਕੀਤੀਆਂ ਗਈਆਂ ਸਮਰੱਥਾਵਾਂ ਸੀਮਤ ਹਨ, ਅਤੇ EDA ਕਰਦੇ ਸਮੇਂ ਕਿਸੇ ਵੀ ਡੇਟਾ ਸੈੱਟਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਦੇ ਸ਼ੁਰੂਆਤੀ ਪੜਾਅ ਅਕਸਰ ਇੱਕ ਦੂਜੇ ਦੇ ਸਮਾਨ ਹੁੰਦੇ ਹਨ.

ਅੱਜ ਜੋ ਸਮੱਗਰੀ ਅਸੀਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰ ਰਹੇ ਹਾਂ ਉਸ ਦਾ ਲੇਖਕ ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹ ਦੁਹਰਾਉਣ ਵਾਲੀਆਂ ਕਾਰਵਾਈਆਂ ਕਰਨ ਦਾ ਪ੍ਰਸ਼ੰਸਕ ਨਹੀਂ ਹੈ। ਨਤੀਜੇ ਵਜੋਂ, ਖੋਜੀ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਅਤੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਕਰਨ ਲਈ ਸਾਧਨਾਂ ਦੀ ਖੋਜ ਵਿੱਚ, ਉਸਨੇ ਲਾਇਬ੍ਰੇਰੀ ਲੱਭੀ। ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ. ਇਸਦੇ ਕੰਮ ਦੇ ਨਤੀਜੇ ਕੁਝ ਵਿਅਕਤੀਗਤ ਸੂਚਕਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਨਹੀਂ, ਪਰ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਵਿਸਤ੍ਰਿਤ HTML ਰਿਪੋਰਟ ਦੇ ਰੂਪ ਵਿੱਚ ਪ੍ਰਗਟ ਕੀਤੇ ਗਏ ਹਨ ਜਿਸ ਵਿੱਚ ਵਿਸ਼ਲੇਸ਼ਣ ਕੀਤੇ ਡੇਟਾ ਬਾਰੇ ਜ਼ਿਆਦਾਤਰ ਜਾਣਕਾਰੀ ਸ਼ਾਮਲ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਇਸਦੇ ਨਾਲ ਹੋਰ ਨੇੜਿਓਂ ਕੰਮ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਜਾਣਨ ਦੀ ਜ਼ਰੂਰਤ ਹੋ ਸਕਦੀ ਹੈ।

ਇੱਥੇ ਅਸੀਂ ਇੱਕ ਉਦਾਹਰਣ ਦੇ ਤੌਰ 'ਤੇ ਟਾਇਟੈਨਿਕ ਡੇਟਾਸੈਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਲਾਇਬ੍ਰੇਰੀ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਦੇਖਾਂਗੇ।

ਪਾਂਡਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਖੋਜੀ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ

ਮੈਂ ਟਾਈਟੈਨਿਕ ਡੇਟਾਸੈਟ 'ਤੇ ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਦੇ ਨਾਲ ਪ੍ਰਯੋਗ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਕਿਉਂਕਿ ਇਸ ਵਿੱਚ ਮੌਜੂਦ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ ਡੇਟਾ ਅਤੇ ਇਸ ਵਿੱਚ ਗੁੰਮ ਮੁੱਲਾਂ ਦੀ ਮੌਜੂਦਗੀ ਹੈ। ਮੇਰਾ ਮੰਨਣਾ ਹੈ ਕਿ ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਲਾਇਬ੍ਰੇਰੀ ਉਹਨਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ ਖਾਸ ਤੌਰ 'ਤੇ ਦਿਲਚਸਪ ਹੈ ਜਿੱਥੇ ਡੇਟਾ ਨੂੰ ਅਜੇ ਤੱਕ ਸਾਫ਼ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਇਸ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਅਧਾਰ ਤੇ ਹੋਰ ਪ੍ਰਕਿਰਿਆ ਦੀ ਲੋੜ ਹੈ। ਅਜਿਹੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਸਫਲਤਾਪੂਰਵਕ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਇਹ ਜਾਣਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ ਕਿ ਕਿੱਥੇ ਸ਼ੁਰੂ ਕਰਨਾ ਹੈ ਅਤੇ ਕਿਸ ਵੱਲ ਧਿਆਨ ਦੇਣਾ ਹੈ. ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਸਮਰੱਥਾਵਾਂ ਕੰਮ ਆਉਂਦੀਆਂ ਹਨ।

ਪਹਿਲਾਂ, ਅਸੀਂ ਡੇਟਾ ਨੂੰ ਆਯਾਤ ਕਰਦੇ ਹਾਂ ਅਤੇ ਵਰਣਨਯੋਗ ਅੰਕੜੇ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਪਾਂਡਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ:

# импорт необходимых пакетов
import pandas as pd
import pandas_profiling
import numpy as np

# импорт данных
df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv')

# вычисление показателей описательной статистики
df.describe()

ਕੋਡ ਦੇ ਇਸ ਟੁਕੜੇ ਨੂੰ ਚਲਾਉਣ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਉਹ ਪ੍ਰਾਪਤ ਕਰੋਗੇ ਜੋ ਹੇਠਾਂ ਦਿੱਤੇ ਚਿੱਤਰ ਵਿੱਚ ਦਿਖਾਇਆ ਗਿਆ ਹੈ।

ਮਿਆਰੀ ਪਾਂਡਾ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪ੍ਰਾਪਤ ਕੀਤੇ ਵਰਣਨਯੋਗ ਅੰਕੜੇ

ਹਾਲਾਂਕਿ ਇੱਥੇ ਬਹੁਤ ਸਾਰੀ ਉਪਯੋਗੀ ਜਾਣਕਾਰੀ ਹੈ, ਇਸ ਵਿੱਚ ਉਹ ਸਭ ਕੁਝ ਸ਼ਾਮਲ ਨਹੀਂ ਹੈ ਜੋ ਅਧਿਐਨ ਅਧੀਨ ਡੇਟਾ ਬਾਰੇ ਜਾਣਨਾ ਦਿਲਚਸਪ ਹੋਵੇਗਾ। ਉਦਾਹਰਨ ਲਈ, ਕੋਈ ਇਹ ਮੰਨ ਸਕਦਾ ਹੈ ਕਿ ਇੱਕ ਡੇਟਾ ਫਰੇਮ ਵਿੱਚ, ਇੱਕ ਢਾਂਚੇ ਵਿੱਚ DataFrame, ਇੱਥੇ 891 ਲਾਈਨਾਂ ਹਨ। ਜੇਕਰ ਇਸਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਫਰੇਮ ਦੇ ਆਕਾਰ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਕੋਡ ਦੀ ਇੱਕ ਹੋਰ ਲਾਈਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਹਾਲਾਂਕਿ ਇਹ ਗਣਨਾਵਾਂ ਖਾਸ ਤੌਰ 'ਤੇ ਸਰੋਤ-ਸੰਬੰਧੀ ਨਹੀਂ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਹਰ ਸਮੇਂ ਦੁਹਰਾਉਣ ਨਾਲ ਸਮਾਂ ਬਰਬਾਦ ਹੁੰਦਾ ਹੈ ਜੋ ਸ਼ਾਇਦ ਡੇਟਾ ਨੂੰ ਸਾਫ਼ ਕਰਨ ਵਿੱਚ ਬਿਹਤਰ ਖਰਚ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਖੋਜੀ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ

ਹੁਣ ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਹੀ ਕਰੀਏ:

pandas_profiling.ProfileReport(df)

ਕੋਡ ਦੀ ਉਪਰੋਕਤ ਲਾਈਨ ਨੂੰ ਚਲਾਉਣ ਨਾਲ ਖੋਜੀ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਸੂਚਕਾਂ ਦੇ ਨਾਲ ਇੱਕ ਰਿਪੋਰਟ ਤਿਆਰ ਹੋਵੇਗੀ। ਉੱਪਰ ਦਿਖਾਇਆ ਗਿਆ ਕੋਡ ਲੱਭੇ ਗਏ ਡੇਟਾ ਨੂੰ ਆਉਟਪੁੱਟ ਕਰੇਗਾ, ਪਰ ਤੁਸੀਂ ਇਸਨੂੰ ਇੱਕ HTML ਫਾਈਲ ਬਣਾ ਸਕਦੇ ਹੋ ਜੋ ਤੁਸੀਂ ਕਿਸੇ ਨੂੰ ਦਿਖਾ ਸਕਦੇ ਹੋ, ਉਦਾਹਰਨ ਲਈ।

ਰਿਪੋਰਟ ਦੇ ਪਹਿਲੇ ਹਿੱਸੇ ਵਿੱਚ ਇੱਕ ਸੰਖੇਪ ਭਾਗ ਸ਼ਾਮਲ ਹੋਵੇਗਾ, ਡੇਟਾ (ਨਿਰੀਖਣਾਂ ਦੀ ਸੰਖਿਆ, ਵੇਰੀਏਬਲਾਂ ਦੀ ਸੰਖਿਆ, ਆਦਿ) ਬਾਰੇ ਮੁਢਲੀ ਜਾਣਕਾਰੀ ਦਿੰਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਅਲਰਟਾਂ ਦੀ ਇੱਕ ਸੂਚੀ ਵੀ ਹੋਵੇਗੀ, ਵਿਸ਼ਲੇਸ਼ਕ ਨੂੰ ਖਾਸ ਧਿਆਨ ਦੇਣ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ ਬਾਰੇ ਸੂਚਿਤ ਕਰਨਾ। ਇਹ ਚੇਤਾਵਨੀਆਂ ਇਸ ਗੱਲ ਦਾ ਸੁਰਾਗ ਪ੍ਰਦਾਨ ਕਰ ਸਕਦੀਆਂ ਹਨ ਕਿ ਤੁਸੀਂ ਆਪਣੇ ਡੇਟਾ ਕਲੀਨਅੱਪ ਯਤਨਾਂ ਨੂੰ ਕਿੱਥੇ ਫੋਕਸ ਕਰ ਸਕਦੇ ਹੋ।

ਸੰਖੇਪ ਰਿਪੋਰਟ ਸੈਕਸ਼ਨ

ਖੋਜੀ ਵੇਰੀਏਬਲ ਵਿਸ਼ਲੇਸ਼ਣ

ਰਿਪੋਰਟ ਦੇ ਸੰਖੇਪ ਭਾਗ ਦੇ ਹੇਠਾਂ ਤੁਸੀਂ ਹਰੇਕ ਵੇਰੀਏਬਲ ਬਾਰੇ ਉਪਯੋਗੀ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ। ਉਹਨਾਂ ਵਿੱਚ, ਹੋਰ ਚੀਜ਼ਾਂ ਦੇ ਨਾਲ, ਹਰੇਕ ਵੇਰੀਏਬਲ ਦੀ ਵੰਡ ਦਾ ਵਰਣਨ ਕਰਨ ਵਾਲੇ ਛੋਟੇ ਚਾਰਟ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ।

ਉਮਰ ਸੰਖਿਆਤਮਕ ਵੇਰੀਏਬਲ ਬਾਰੇ

ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਪਿਛਲੀ ਉਦਾਹਰਨ ਤੋਂ ਦੇਖ ਸਕਦੇ ਹੋ, ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਸਾਨੂੰ ਕਈ ਉਪਯੋਗੀ ਸੂਚਕ ਦਿੰਦੀ ਹੈ, ਜਿਵੇਂ ਕਿ ਗੁੰਮ ਮੁੱਲਾਂ ਦੀ ਪ੍ਰਤੀਸ਼ਤਤਾ ਅਤੇ ਸੰਖਿਆ, ਅਤੇ ਨਾਲ ਹੀ ਵਰਣਨਯੋਗ ਅੰਕੜੇ ਮਾਪ ਜੋ ਅਸੀਂ ਪਹਿਲਾਂ ਹੀ ਵੇਖ ਚੁੱਕੇ ਹਾਂ। ਕਿਉਂਕਿ Age ਇੱਕ ਸੰਖਿਆਤਮਕ ਵੇਰੀਏਬਲ ਹੈ, ਇੱਕ ਹਿਸਟੋਗ੍ਰਾਮ ਦੇ ਰੂਪ ਵਿੱਚ ਇਸਦੀ ਵੰਡ ਦਾ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਸਾਨੂੰ ਇਹ ਸਿੱਟਾ ਕੱਢਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਕਿ ਸਾਡੇ ਕੋਲ ਇੱਕ ਵੰਡ ਸੱਜੇ ਪਾਸੇ ਹੈ।

ਇੱਕ ਸ਼੍ਰੇਣੀਗਤ ਵੇਰੀਏਬਲ 'ਤੇ ਵਿਚਾਰ ਕਰਦੇ ਸਮੇਂ, ਆਉਟਪੁੱਟ ਨਤੀਜੇ ਇੱਕ ਸੰਖਿਆਤਮਕ ਵੇਰੀਏਬਲ ਲਈ ਪਾਏ ਗਏ ਨਤੀਜਿਆਂ ਤੋਂ ਥੋੜੇ ਵੱਖਰੇ ਹੁੰਦੇ ਹਨ।

ਲਿੰਗ ਸ਼੍ਰੇਣੀਗਤ ਵੇਰੀਏਬਲ ਬਾਰੇ

ਅਰਥਾਤ, ਔਸਤ, ਘੱਟੋ ਘੱਟ ਅਤੇ ਅਧਿਕਤਮ ਲੱਭਣ ਦੀ ਬਜਾਏ, ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਲਾਇਬ੍ਰੇਰੀ ਨੇ ਕਲਾਸਾਂ ਦੀ ਗਿਣਤੀ ਲੱਭੀ। ਕਿਉਂਕਿ Sex - ਇੱਕ ਬਾਈਨਰੀ ਵੇਰੀਏਬਲ, ਇਸਦੇ ਮੁੱਲਾਂ ਨੂੰ ਦੋ ਵਰਗਾਂ ਦੁਆਰਾ ਦਰਸਾਇਆ ਜਾਂਦਾ ਹੈ।

ਜੇਕਰ ਤੁਸੀਂ ਕੋਡ ਦੀ ਜਾਂਚ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ ਜਿਵੇਂ ਕਿ ਮੈਂ ਕਰਦਾ ਹਾਂ, ਤਾਂ ਤੁਹਾਨੂੰ ਇਸ ਵਿੱਚ ਦਿਲਚਸਪੀ ਹੋ ਸਕਦੀ ਹੈ ਕਿ ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਲਾਇਬ੍ਰੇਰੀ ਇਹਨਾਂ ਮੈਟ੍ਰਿਕਸ ਦੀ ਗਣਨਾ ਕਿਵੇਂ ਕਰਦੀ ਹੈ। ਲਾਇਬ੍ਰੇਰੀ ਕੋਡ ਖੁੱਲ੍ਹਾ ਹੈ ਅਤੇ GitHub 'ਤੇ ਉਪਲਬਧ ਹੈ, ਇਸ ਬਾਰੇ ਪਤਾ ਲਗਾਉਣਾ ਇੰਨਾ ਮੁਸ਼ਕਲ ਨਹੀਂ ਹੈ। ਕਿਉਂਕਿ ਮੈਂ ਆਪਣੇ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਬਲੈਕ ਬਾਕਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਇੱਕ ਵੱਡਾ ਪ੍ਰਸ਼ੰਸਕ ਨਹੀਂ ਹਾਂ, ਮੈਂ ਲਾਇਬ੍ਰੇਰੀ ਦੇ ਸਰੋਤ ਕੋਡ 'ਤੇ ਇੱਕ ਨਜ਼ਰ ਮਾਰੀ। ਉਦਾਹਰਨ ਲਈ, ਸੰਖਿਆਤਮਕ ਵੇਰੀਏਬਲਾਂ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਦੀ ਵਿਧੀ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ, ਜਿਸ ਨੂੰ ਫੰਕਸ਼ਨ ਦੁਆਰਾ ਦਰਸਾਇਆ ਗਿਆ ਹੈ describe_numeric_1d:

def describe_numeric_1d(series, **kwargs):
    """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).
    Also create histograms (mini an full) of its distribution.
    Parameters
    ----------
    series : Series
        The variable to describe.
    Returns
    -------
    Series
        The description of the variable as a Series with index being stats keys.
    """
    # Format a number as a percentage. For example 0.25 will be turned to 25%.
    _percentile_format = "{:.0%}"
    stats = dict()
    stats['type'] = base.TYPE_NUM
    stats['mean'] = series.mean()
    stats['std'] = series.std()
    stats['variance'] = series.var()
    stats['min'] = series.min()
    stats['max'] = series.max()
    stats['range'] = stats['max'] - stats['min']
    # To avoid to compute it several times
    _series_no_na = series.dropna()
    for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):
        # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098
        stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)
    stats['iqr'] = stats['75%'] - stats['25%']
    stats['kurtosis'] = series.kurt()
    stats['skewness'] = series.skew()
    stats['sum'] = series.sum()
    stats['mad'] = series.mad()
    stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN
    stats['n_zeros'] = (len(series) - np.count_nonzero(series))
    stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)
    # Histograms
    stats['histogram'] = histogram(series, **kwargs)
    stats['mini_histogram'] = mini_histogram(series, **kwargs)
    return pd.Series(stats, name=series.name)

ਹਾਲਾਂਕਿ ਕੋਡ ਦਾ ਇਹ ਟੁਕੜਾ ਕਾਫ਼ੀ ਵੱਡਾ ਅਤੇ ਗੁੰਝਲਦਾਰ ਲੱਗ ਸਕਦਾ ਹੈ, ਇਹ ਅਸਲ ਵਿੱਚ ਸਮਝਣਾ ਬਹੁਤ ਸੌਖਾ ਹੈ। ਬਿੰਦੂ ਇਹ ਹੈ ਕਿ ਲਾਇਬ੍ਰੇਰੀ ਦੇ ਸਰੋਤ ਕੋਡ ਵਿੱਚ ਇੱਕ ਫੰਕਸ਼ਨ ਹੁੰਦਾ ਹੈ ਜੋ ਵੇਰੀਏਬਲ ਦੀਆਂ ਕਿਸਮਾਂ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ। ਜੇਕਰ ਇਹ ਪਤਾ ਚਲਦਾ ਹੈ ਕਿ ਲਾਇਬ੍ਰੇਰੀ ਨੂੰ ਇੱਕ ਸੰਖਿਆਤਮਕ ਵੇਰੀਏਬਲ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ ਹੈ, ਤਾਂ ਉਪਰੋਕਤ ਫੰਕਸ਼ਨ ਉਹ ਮੈਟ੍ਰਿਕਸ ਲੱਭੇਗਾ ਜੋ ਅਸੀਂ ਦੇਖ ਰਹੇ ਸੀ। ਇਹ ਫੰਕਸ਼ਨ ਕਿਸਮ ਦੀਆਂ ਵਸਤੂਆਂ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਸਟੈਂਡਰਡ ਪਾਂਡਾ ਓਪਰੇਸ਼ਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ Series, ਜਿਵੇਂ series.mean(). ਗਣਨਾ ਦੇ ਨਤੀਜੇ ਇੱਕ ਸ਼ਬਦਕੋਸ਼ ਵਿੱਚ ਸਟੋਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ stats. ਹਿਸਟੋਗ੍ਰਾਮ ਫੰਕਸ਼ਨ ਦੇ ਅਨੁਕੂਲਿਤ ਸੰਸਕਰਣ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤਿਆਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ matplotlib.pyplot.hist. ਅਨੁਕੂਲਨ ਦਾ ਉਦੇਸ਼ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਹੈ ਕਿ ਫੰਕਸ਼ਨ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ ਡੇਟਾ ਸੈੱਟਾਂ ਨਾਲ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ।

ਸਬੰਧ ਸੂਚਕਾਂ ਅਤੇ ਨਮੂਨਾ ਡੇਟਾ ਦਾ ਅਧਿਐਨ ਕੀਤਾ ਗਿਆ

ਵੇਰੀਏਬਲਾਂ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਨਤੀਜਿਆਂ ਤੋਂ ਬਾਅਦ, ਪੈਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ, ਕੋਰਲੇਸ਼ਨ ਸੈਕਸ਼ਨ ਵਿੱਚ, ਪੀਅਰਸਨ ਅਤੇ ਸਪੀਅਰਮੈਨ ਸਹਿ-ਸੰਬੰਧ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰੇਗਾ।

ਪੀਅਰਸਨ ਸਬੰਧ ਮੈਟ੍ਰਿਕਸ

ਜੇ ਜਰੂਰੀ ਹੋਵੇ, ਤਾਂ ਤੁਸੀਂ, ਕੋਡ ਦੀ ਲਾਈਨ ਵਿੱਚ ਜੋ ਰਿਪੋਰਟ ਦੀ ਉਤਪਤੀ ਨੂੰ ਚਾਲੂ ਕਰਦਾ ਹੈ, ਸਬੰਧਾਂ ਦੀ ਗਣਨਾ ਕਰਨ ਵੇਲੇ ਵਰਤੇ ਗਏ ਥ੍ਰੈਸ਼ਹੋਲਡ ਮੁੱਲਾਂ ਦੇ ਸੂਚਕਾਂ ਨੂੰ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ। ਅਜਿਹਾ ਕਰਨ ਨਾਲ, ਤੁਸੀਂ ਨਿਰਧਾਰਿਤ ਕਰ ਸਕਦੇ ਹੋ ਕਿ ਤੁਹਾਡੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਸਬੰਧਾਂ ਦੀ ਕਿਹੜੀ ਤਾਕਤ ਮਹੱਤਵਪੂਰਨ ਮੰਨੀ ਜਾਂਦੀ ਹੈ।

ਅੰਤ ਵਿੱਚ, ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਰਿਪੋਰਟ, ਨਮੂਨਾ ਭਾਗ ਵਿੱਚ, ਇੱਕ ਉਦਾਹਰਨ ਵਜੋਂ, ਡੇਟਾ ਸੈੱਟ ਦੀ ਸ਼ੁਰੂਆਤ ਤੋਂ ਲਏ ਗਏ ਡੇਟਾ ਦਾ ਇੱਕ ਟੁਕੜਾ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਦੀ ਹੈ। ਇਹ ਪਹੁੰਚ ਕੋਝਾ ਹੈਰਾਨੀ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦੀ ਹੈ, ਕਿਉਂਕਿ ਪਹਿਲੇ ਕੁਝ ਨਿਰੀਖਣ ਇੱਕ ਨਮੂਨੇ ਨੂੰ ਦਰਸਾ ਸਕਦੇ ਹਨ ਜੋ ਪੂਰੇ ਡੇਟਾ ਸੈੱਟ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਨਹੀਂ ਦਰਸਾਉਂਦਾ ਹੈ।

ਅਧਿਐਨ ਅਧੀਨ ਨਮੂਨਾ ਡੇਟਾ ਵਾਲਾ ਭਾਗ

ਨਤੀਜੇ ਵਜੋਂ, ਮੈਂ ਇਸ ਆਖਰੀ ਭਾਗ ਵੱਲ ਧਿਆਨ ਦੇਣ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਨਹੀਂ ਕਰਦਾ/ਕਰਦੀ ਹਾਂ। ਇਸ ਦੀ ਬਜਾਏ, ਕਮਾਂਡ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਬਿਹਤਰ ਹੈ df.sample(5), ਜੋ ਕਿ ਡਾਟਾ ਸੈੱਟ ਤੋਂ ਬੇਤਰਤੀਬੇ 5 ਨਿਰੀਖਣਾਂ ਦੀ ਚੋਣ ਕਰੇਗਾ।

ਨਤੀਜੇ

ਸੰਖੇਪ ਕਰਨ ਲਈ, ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਲਾਇਬ੍ਰੇਰੀ ਵਿਸ਼ਲੇਸ਼ਕ ਨੂੰ ਕੁਝ ਉਪਯੋਗੀ ਸਮਰੱਥਾਵਾਂ ਦਿੰਦੀ ਹੈ ਜੋ ਉਹਨਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ ਕੰਮ ਆਉਣਗੀਆਂ ਜਿੱਥੇ ਤੁਹਾਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਡੇਟਾ ਦਾ ਇੱਕ ਮੋਟਾ ਵਿਚਾਰ ਪ੍ਰਾਪਤ ਕਰਨ ਜਾਂ ਕਿਸੇ ਨੂੰ ਖੁਫੀਆ ਵਿਸ਼ਲੇਸ਼ਣ ਰਿਪੋਰਟ ਦੇਣ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ। ਉਸੇ ਸਮੇਂ, ਡੇਟਾ ਦੇ ਨਾਲ ਅਸਲ ਕੰਮ, ਇਸ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ, ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਪਾਂਡਾ-ਪ੍ਰੋਫਾਈਲਿੰਗ ਦੀ ਵਰਤੋਂ ਕੀਤੇ ਬਿਨਾਂ, ਦਸਤੀ.

ਜੇ ਤੁਸੀਂ ਇਹ ਦੇਖਣਾ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਇੱਕ ਜੁਪੀਟਰ ਨੋਟਬੁੱਕ ਵਿੱਚ ਸਾਰੇ ਖੁਫੀਆ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਿਹੋ ਜਿਹਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਇਸ 'ਤੇ ਇੱਕ ਨਜ਼ਰ ਮਾਰੋ ਇਹ ਮੇਰਾ ਪ੍ਰੋਜੈਕਟ nbviewer ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬਣਾਇਆ ਗਿਆ ਹੈ. ਅਤੇ ਵਿੱਚ ਇਹ ਤੁਸੀਂ GitHub ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ ਅਨੁਸਾਰੀ ਕੋਡ ਲੱਭ ਸਕਦੇ ਹੋ।

ਪਿਆਰੇ ਪਾਠਕ! ਤੁਸੀਂ ਨਵੇਂ ਡੇਟਾ ਸੈੱਟਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਿੱਥੋਂ ਸ਼ੁਰੂ ਕਰਦੇ ਹੋ?

ਸਰੋਤ: www.habr.com