ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੇ ਨੋਟਸ: ਡੇਟਾ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ ਦੀ ਇੱਕ ਵਿਅਕਤੀਗਤ ਸਮੀਖਿਆ

ਮੈਂ ਤੁਹਾਨੂੰ ਨਿੱਜੀ ਅਨੁਭਵ ਤੋਂ ਦੱਸ ਰਿਹਾ ਹਾਂ ਕਿ ਕਿੱਥੇ ਅਤੇ ਕਦੋਂ ਲਾਭਦਾਇਕ ਸੀ। ਇਹ ਸੰਖੇਪ ਜਾਣਕਾਰੀ ਅਤੇ ਥੀਸਿਸ ਹੈ, ਤਾਂ ਜੋ ਇਹ ਸਪੱਸ਼ਟ ਹੋਵੇ ਕਿ ਤੁਸੀਂ ਅੱਗੇ ਕੀ ਅਤੇ ਕਿੱਥੇ ਖੋਦ ਸਕਦੇ ਹੋ - ਪਰ ਇੱਥੇ ਮੇਰੇ ਕੋਲ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਵਿਅਕਤੀਗਤ ਵਿਅਕਤੀਗਤ ਅਨੁਭਵ ਹੈ, ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਸਭ ਕੁਝ ਤੁਹਾਡੇ ਲਈ ਬਿਲਕੁਲ ਵੱਖਰਾ ਹੋਵੇ।

ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ ਨੂੰ ਜਾਣਨਾ ਅਤੇ ਵਰਤਣ ਦੇ ਯੋਗ ਹੋਣਾ ਮਹੱਤਵਪੂਰਨ ਕਿਉਂ ਹੈ? ਇਸਦੇ ਮੂਲ ਰੂਪ ਵਿੱਚ, ਡੇਟਾ ਸਾਇੰਸ ਵਿੱਚ ਕੰਮ ਦੇ ਕਈ ਮਹੱਤਵਪੂਰਨ ਪੜਾਅ ਹਨ, ਅਤੇ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਅਤੇ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ (ਇਸ ਤੋਂ ਬਿਨਾਂ, ਯਕੀਨਨ ਕੁਝ ਵੀ ਕੰਮ ਨਹੀਂ ਕਰੇਗਾ!) ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਨਾ ਜਾਂ ਐਕਸਟਰੈਕਟ ਕਰਨਾ ਹੈ। ਅਕਸਰ, ਡੇਟਾ ਕਿਸੇ ਨਾ ਕਿਸੇ ਰੂਪ ਵਿੱਚ ਕਿਤੇ ਬੈਠਾ ਹੁੰਦਾ ਹੈ ਅਤੇ ਉਥੋਂ "ਮੁੜ ਪ੍ਰਾਪਤ" ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। 

ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ ਤੁਹਾਨੂੰ ਇਹ ਬਹੁਤ ਹੀ ਡੇਟਾ ਐਕਸਟਰੈਕਟ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀਆਂ ਹਨ! ਅਤੇ ਅੱਜ ਮੈਂ ਤੁਹਾਨੂੰ ਉਹਨਾਂ ਪ੍ਰਸ਼ਨ ਭਾਸ਼ਾਵਾਂ ਬਾਰੇ ਦੱਸਾਂਗਾ ਜੋ ਮੇਰੇ ਲਈ ਲਾਭਦਾਇਕ ਹਨ ਅਤੇ ਮੈਂ ਤੁਹਾਨੂੰ ਦੱਸਾਂਗਾ ਅਤੇ ਤੁਹਾਨੂੰ ਦਿਖਾਵਾਂਗਾ ਕਿ ਕਿੱਥੇ ਅਤੇ ਕਿਵੇਂ ਬਿਲਕੁਲ - ਅਧਿਐਨ ਕਰਨ ਦੀ ਕਿਉਂ ਲੋੜ ਹੈ।

ਡੇਟਾ ਪੁੱਛਗਿੱਛ ਕਿਸਮਾਂ ਦੇ ਤਿੰਨ ਮੁੱਖ ਬਲਾਕ ਹੋਣਗੇ, ਜਿਨ੍ਹਾਂ ਬਾਰੇ ਅਸੀਂ ਇਸ ਲੇਖ ਵਿੱਚ ਚਰਚਾ ਕਰਾਂਗੇ:

• "ਸਟੈਂਡਰਡ" ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ ਉਹ ਹਨ ਜੋ ਆਮ ਤੌਰ 'ਤੇ ਕਿਸੇ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ ਬਾਰੇ ਗੱਲ ਕਰਨ ਵੇਲੇ ਸਮਝੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਜਿਵੇਂ ਕਿ ਰਿਲੇਸ਼ਨਲ ਅਲਜਬਰਾ ਜਾਂ SQL।
• ਸਕ੍ਰਿਪਟਿੰਗ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ: ਉਦਾਹਰਨ ਲਈ, ਪਾਈਥਨ ਚੀਜ਼ਾਂ ਪਾਂਡਾ, ਨੰਪੀ ਜਾਂ ਸ਼ੈੱਲ ਸਕ੍ਰਿਪਟਿੰਗ।
• ਗਿਆਨ ਗ੍ਰਾਫ ਅਤੇ ਗ੍ਰਾਫ ਡੇਟਾਬੇਸ ਲਈ ਭਾਸ਼ਾਵਾਂ ਦੀ ਪੁੱਛਗਿੱਛ ਕਰੋ।

ਇੱਥੇ ਲਿਖੀ ਗਈ ਹਰ ਚੀਜ਼ ਸਿਰਫ਼ ਇੱਕ ਨਿੱਜੀ ਅਨੁਭਵ ਹੈ, ਜੋ ਉਪਯੋਗੀ ਸੀ, ਸਥਿਤੀਆਂ ਦੇ ਵਰਣਨ ਦੇ ਨਾਲ ਅਤੇ "ਇਸਦੀ ਲੋੜ ਕਿਉਂ ਸੀ" - ਹਰ ਕੋਈ ਇਸ ਗੱਲ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਸਕਦਾ ਹੈ ਕਿ ਸਮਾਨ ਸਥਿਤੀਆਂ ਤੁਹਾਡੇ ਰਾਹ ਕਿਵੇਂ ਆ ਸਕਦੀਆਂ ਹਨ ਅਤੇ ਇਹਨਾਂ ਭਾਸ਼ਾਵਾਂ ਨੂੰ ਸਮਝ ਕੇ ਉਹਨਾਂ ਲਈ ਪਹਿਲਾਂ ਤੋਂ ਤਿਆਰੀ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਸਕਦਾ ਹੈ। ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਤੁਹਾਨੂੰ ਕਿਸੇ ਪ੍ਰੋਜੈਕਟ 'ਤੇ (ਤੁਰੰਤ) ਅਰਜ਼ੀ ਦੇਣ ਜਾਂ ਕਿਸੇ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਪਹੁੰਚਣ ਤੋਂ ਪਹਿਲਾਂ ਜਿੱਥੇ ਉਹਨਾਂ ਦੀ ਲੋੜ ਹੋਵੇ।

"ਮਿਆਰੀ" ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ

ਮਿਆਰੀ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ ਬਿਲਕੁਲ ਇਸ ਅਰਥ ਵਿੱਚ ਹੁੰਦੀਆਂ ਹਨ ਕਿ ਜਦੋਂ ਅਸੀਂ ਸਵਾਲਾਂ ਬਾਰੇ ਗੱਲ ਕਰਦੇ ਹਾਂ ਤਾਂ ਅਸੀਂ ਆਮ ਤੌਰ 'ਤੇ ਉਹਨਾਂ ਬਾਰੇ ਸੋਚਦੇ ਹਾਂ।

ਰਿਲੇਸ਼ਨਲ ਅਲਜਬਰਾ

ਅੱਜ ਰਿਲੇਸ਼ਨਲ ਅਲਜਬਰੇ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ? ਸਵਾਲ ਦੀਆਂ ਭਾਸ਼ਾਵਾਂ ਨੂੰ ਇੱਕ ਖਾਸ ਤਰੀਕੇ ਨਾਲ ਢਾਂਚਾ ਕਿਉਂ ਬਣਾਇਆ ਗਿਆ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਸੁਚੇਤ ਰੂਪ ਵਿੱਚ ਵਰਤਣ ਦੀ ਚੰਗੀ ਸਮਝ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਉਹਨਾਂ ਦੇ ਅੰਤਰੀਵ ਮੂਲ ਨੂੰ ਸਮਝਣ ਦੀ ਲੋੜ ਹੈ।

ਰਿਲੇਸ਼ਨਲ ਅਲਜਬਰਾ ਕੀ ਹੈ?

ਰਸਮੀ ਪਰਿਭਾਸ਼ਾ ਇਸ ਪ੍ਰਕਾਰ ਹੈ: ਰਿਲੇਸ਼ਨਲ ਅਲਜਬਰਾ ਇੱਕ ਰਿਲੇਸ਼ਨਲ ਡੇਟਾ ਮਾਡਲ ਵਿੱਚ ਸਬੰਧਾਂ ਉੱਤੇ ਸੰਚਾਲਨ ਦੀ ਇੱਕ ਬੰਦ ਪ੍ਰਣਾਲੀ ਹੈ। ਇਸਨੂੰ ਥੋੜਾ ਹੋਰ ਮਨੁੱਖੀ ਤੌਰ 'ਤੇ ਰੱਖਣ ਲਈ, ਇਹ ਟੇਬਲਾਂ 'ਤੇ ਕਾਰਵਾਈਆਂ ਦੀ ਇੱਕ ਪ੍ਰਣਾਲੀ ਹੈ ਜਿਵੇਂ ਕਿ ਨਤੀਜਾ ਹਮੇਸ਼ਾਂ ਇੱਕ ਸਾਰਣੀ ਹੁੰਦਾ ਹੈ.

ਵਿੱਚ ਸਾਰੇ ਰਿਲੇਸ਼ਨਲ ਓਪਰੇਸ਼ਨ ਦੇਖੋ ਇਹ ਹਾਬਰ ਤੋਂ ਲੇਖ - ਇੱਥੇ ਅਸੀਂ ਵਰਣਨ ਕਰਦੇ ਹਾਂ ਕਿ ਤੁਹਾਨੂੰ ਇਹ ਜਾਣਨ ਦੀ ਜ਼ਰੂਰਤ ਕਿਉਂ ਹੈ ਅਤੇ ਇਹ ਕਿੱਥੇ ਕੰਮ ਆਉਂਦਾ ਹੈ।

ਕਿਉਂ?

ਇਹ ਸਮਝਣਾ ਸ਼ੁਰੂ ਕਰਨਾ ਕਿ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ ਕੀ ਹਨ ਅਤੇ ਖਾਸ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਸਮੀਕਰਨਾਂ ਦੇ ਪਿੱਛੇ ਕਿਹੜੀਆਂ ਕਾਰਵਾਈਆਂ ਹਨ ਅਕਸਰ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਕੀ ਕੰਮ ਕਰਦਾ ਹੈ ਅਤੇ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ ਦੀ ਡੂੰਘੀ ਸਮਝ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਤੋਂ ਲਿਆ ਗਿਆ ਇਹ ਲੇਖ। ਇੱਕ ਓਪਰੇਸ਼ਨ ਦੀ ਇੱਕ ਉਦਾਹਰਨ: ਜੁੜੋ, ਜੋ ਟੇਬਲ ਨੂੰ ਜੋੜਦਾ ਹੈ।

ਅਧਿਐਨ ਲਈ ਸਮੱਗਰੀ:

ਸਟੈਨਫੋਰਡ ਤੋਂ ਵਧੀਆ ਸ਼ੁਰੂਆਤੀ ਕੋਰਸ. ਆਮ ਤੌਰ 'ਤੇ, ਰਿਲੇਸ਼ਨਲ ਅਲਜਬਰੇ ਅਤੇ ਥਿਊਰੀ 'ਤੇ ਬਹੁਤ ਸਾਰੀਆਂ ਸਮੱਗਰੀਆਂ ਹਨ - ਕੋਰਸੇਰਾ, ਉਦਾਸੀਟੀ। ਔਨਲਾਈਨ ਸਮੱਗਰੀ ਦੀ ਇੱਕ ਵੱਡੀ ਮਾਤਰਾ ਵੀ ਹੈ, ਚੰਗੀ ਸਮੇਤ ਅਕਾਦਮਿਕ ਕੋਰਸ. ਮੇਰੀ ਨਿੱਜੀ ਸਲਾਹ: ਤੁਹਾਨੂੰ ਰਿਲੇਸ਼ਨਲ ਅਲਜਬਰੇ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਮਝਣ ਦੀ ਲੋੜ ਹੈ - ਇਹ ਮੂਲ ਗੱਲਾਂ ਦਾ ਆਧਾਰ ਹੈ।

SQL

ਤੋਂ ਲਿਆ ਗਿਆ ਇਹ ਲੇਖ.

SQL ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਰਿਲੇਸ਼ਨਲ ਅਲਜਬਰੇ ਦਾ ਇੱਕ ਲਾਗੂਕਰਨ ਹੈ - ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਚੇਤਾਵਨੀ ਦੇ ਨਾਲ, SQL ਘੋਸ਼ਣਾਤਮਕ ਹੈ! ਭਾਵ, ਜਦੋਂ ਰਿਲੇਸ਼ਨਲ ਅਲਜਬਰੇ ਦੀ ਭਾਸ਼ਾ ਵਿੱਚ ਇੱਕ ਸਵਾਲ ਲਿਖਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਅਸਲ ਵਿੱਚ ਇਹ ਕਹਿੰਦੇ ਹੋ ਕਿ ਕਿਵੇਂ ਗਣਨਾ ਕਰਨੀ ਹੈ - ਪਰ SQL ਦੇ ਨਾਲ, ਤੁਸੀਂ ਨਿਸ਼ਚਿਤ ਕਰਦੇ ਹੋ ਕਿ ਤੁਸੀਂ ਕੀ ਕੱਢਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਅਤੇ ਫਿਰ DBMS ਪਹਿਲਾਂ ਹੀ ਰਿਲੇਸ਼ਨਲ ਅਲਜਬਰੇ ਦੀ ਭਾਸ਼ਾ ਵਿੱਚ (ਪ੍ਰਭਾਵੀ) ਸਮੀਕਰਨ ਤਿਆਰ ਕਰਦਾ ਹੈ ( ਉਹਨਾਂ ਦੀ ਬਰਾਬਰੀ ਸਾਡੇ ਲਈ ਜਾਣੀ ਜਾਂਦੀ ਹੈ ਕੋਡ ਦਾ ਸਿਧਾਂਤ).

ਤੋਂ ਲਿਆ ਗਿਆ ਇਹ ਲੇਖ.

ਕਿਉਂ?

ਰਿਲੇਸ਼ਨਲ ਡੀਬੀਐਮਐਸ: ਓਰੇਕਲ, ਪੋਸਟਗ੍ਰੇਸ, SQL ਸਰਵਰ, ਆਦਿ ਅਜੇ ਵੀ ਲਗਭਗ ਹਰ ਜਗ੍ਹਾ ਹਨ ਅਤੇ ਇੱਥੇ ਇੱਕ ਅਵਿਸ਼ਵਾਸ਼ਯੋਗ ਤੌਰ 'ਤੇ ਉੱਚ ਸੰਭਾਵਨਾ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਉਹਨਾਂ ਨਾਲ ਗੱਲਬਾਤ ਕਰਨੀ ਪਵੇਗੀ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਜਾਂ ਤਾਂ SQL (ਜੋ ਕਿ ਬਹੁਤ ਸੰਭਾਵਨਾ ਹੈ) ਨੂੰ ਪੜ੍ਹਨਾ ਹੋਵੇਗਾ ਜਾਂ ਇਸਨੂੰ ਲਿਖਣਾ ਹੋਵੇਗਾ ( ਅਸੰਭਵ ਵੀ ਨਹੀਂ).

ਕੀ ਪੜ੍ਹਨਾ ਅਤੇ ਪੜ੍ਹਨਾ ਹੈ

ਉਪਰੋਕਤ ਸਮਾਨ ਲਿੰਕਾਂ ਦੇ ਅਨੁਸਾਰ (ਸੰਬੰਧਕ ਅਲਜਬਰੇ ਬਾਰੇ), ਇੱਥੇ ਸਮੱਗਰੀ ਦੀ ਇੱਕ ਅਦੁੱਤੀ ਮਾਤਰਾ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ਇਹ.

ਤਰੀਕੇ ਨਾਲ, NoSQL ਕੀ ਹੈ?

"ਇਹ ਇੱਕ ਵਾਰ ਫਿਰ ਜ਼ੋਰ ਦੇਣ ਯੋਗ ਹੈ ਕਿ "NoSQL" ਸ਼ਬਦ ਦਾ ਇੱਕ ਬਿਲਕੁਲ ਸਵੈ-ਚਾਲਤ ਮੂਲ ਹੈ ਅਤੇ ਇਸਦੇ ਪਿੱਛੇ ਕੋਈ ਆਮ ਤੌਰ 'ਤੇ ਸਵੀਕਾਰ ਕੀਤੀ ਪਰਿਭਾਸ਼ਾ ਜਾਂ ਵਿਗਿਆਨਕ ਸੰਸਥਾ ਨਹੀਂ ਹੈ।" ਅਨੁਸਾਰੀ ਲੇਖ Habr 'ਤੇ.

ਵਾਸਤਵ ਵਿੱਚ, ਲੋਕਾਂ ਨੇ ਮਹਿਸੂਸ ਕੀਤਾ ਕਿ ਬਹੁਤ ਸਾਰੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਇੱਕ ਪੂਰੇ ਰਿਲੇਸ਼ਨਲ ਮਾਡਲ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ, ਖਾਸ ਤੌਰ 'ਤੇ ਉਹਨਾਂ ਲਈ ਜਿੱਥੇ, ਉਦਾਹਰਨ ਲਈ, ਕਾਰਗੁਜ਼ਾਰੀ ਨਾਜ਼ੁਕ ਹੁੰਦੀ ਹੈ ਅਤੇ ਇੱਕਤਰਤਾ ਦੇ ਨਾਲ ਕੁਝ ਸਧਾਰਨ ਸਵਾਲਾਂ ਦਾ ਪ੍ਰਭਾਵ ਹੁੰਦਾ ਹੈ - ਜਿੱਥੇ ਮੈਟ੍ਰਿਕਸ ਦੀ ਤੇਜ਼ੀ ਨਾਲ ਗਣਨਾ ਕਰਨਾ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਲਿਖਣਾ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦਾ ਹੈ। ਡੇਟਾਬੇਸ, ਅਤੇ ਜ਼ਿਆਦਾਤਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਰਿਲੇਸ਼ਨਲ ਹਨ ਨਾ ਸਿਰਫ ਬੇਲੋੜੀ, ਬਲਕਿ ਨੁਕਸਾਨਦੇਹ ਵੀ - ਕਿਸੇ ਚੀਜ਼ ਨੂੰ ਆਮ ਕਿਉਂ ਕਰੀਏ ਜੇਕਰ ਇਹ ਸਾਡੇ ਲਈ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਚੀਜ਼ (ਕਿਸੇ ਖਾਸ ਕੰਮ ਲਈ) - ਉਤਪਾਦਕਤਾ ਨੂੰ ਵਿਗਾੜ ਦੇਵੇਗੀ?

ਨਾਲ ਹੀ, ਕਲਾਸੀਕਲ ਰਿਲੇਸ਼ਨਲ ਮਾਡਲ ਦੇ ਸਥਿਰ ਗਣਿਤਿਕ ਸਕੀਮਾਂ ਦੀ ਬਜਾਏ ਲਚਕਦਾਰ ਸਕੀਮਾਂ ਦੀ ਅਕਸਰ ਲੋੜ ਹੁੰਦੀ ਹੈ - ਅਤੇ ਇਹ ਐਪਲੀਕੇਸ਼ਨ ਵਿਕਾਸ ਨੂੰ ਅਵਿਸ਼ਵਾਸ਼ਯੋਗ ਤੌਰ 'ਤੇ ਸਰਲ ਬਣਾਉਂਦਾ ਹੈ ਜਦੋਂ ਸਿਸਟਮ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਅਤੇ ਤੇਜ਼ੀ ਨਾਲ ਕੰਮ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰਨਾ, ਨਤੀਜਿਆਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨਾ - ਜਾਂ ਸਕੀਮਾ ਅਤੇ ਸਟੋਰ ਕੀਤੇ ਡੇਟਾ ਦੀਆਂ ਕਿਸਮਾਂ। ਇੰਨੇ ਮਹੱਤਵਪੂਰਨ ਨਹੀਂ ਹਨ।

ਉਦਾਹਰਨ ਲਈ, ਅਸੀਂ ਇੱਕ ਮਾਹਰ ਸਿਸਟਮ ਬਣਾ ਰਹੇ ਹਾਂ ਅਤੇ ਕੁਝ ਮੈਟਾ ਜਾਣਕਾਰੀ ਦੇ ਨਾਲ ਇੱਕ ਖਾਸ ਡੋਮੇਨ 'ਤੇ ਜਾਣਕਾਰੀ ਨੂੰ ਸਟੋਰ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ - ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਅਸੀਂ ਸਾਰੇ ਖੇਤਰਾਂ ਨੂੰ ਨਹੀਂ ਜਾਣਦੇ ਹਾਂ ਅਤੇ ਹਰੇਕ ਰਿਕਾਰਡ ਲਈ JSON ਨੂੰ ਸਟੋਰ ਕਰਦੇ ਹਾਂ - ਇਹ ਸਾਨੂੰ ਡੇਟਾ ਨੂੰ ਵਧਾਉਣ ਲਈ ਇੱਕ ਬਹੁਤ ਹੀ ਲਚਕਦਾਰ ਵਾਤਾਵਰਣ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਮਾਡਲ ਅਤੇ ਤੇਜ਼ੀ ਨਾਲ ਦੁਹਰਾਉਣਾ - ਇਸ ਲਈ ਇਸ ਸਥਿਤੀ ਵਿੱਚ, NoSQL ਹੋਰ ਵੀ ਤਰਜੀਹੀ ਅਤੇ ਵਧੇਰੇ ਪੜ੍ਹਨਯੋਗ ਹੋਵੇਗਾ। ਉਦਾਹਰਨ ਐਂਟਰੀ (ਮੇਰੇ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਤੋਂ ਜਿੱਥੇ NoSQL ਸਹੀ ਸੀ ਜਿੱਥੇ ਇਸਦੀ ਲੋੜ ਸੀ)।

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

ਤੁਸੀਂ ਹੋਰ ਪੜ੍ਹ ਸਕਦੇ ਹੋ ਇੱਥੇ NoSQL ਬਾਰੇ.

ਕੀ ਪੜ੍ਹਨਾ ਹੈ?

ਇੱਥੇ, ਇਸ ਦੀ ਬਜਾਏ, ਤੁਹਾਨੂੰ ਸਿਰਫ਼ ਆਪਣੇ ਕੰਮ ਦਾ ਚੰਗੀ ਤਰ੍ਹਾਂ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਇਸ ਵਿੱਚ ਕਿਹੜੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ ਅਤੇ ਕਿਹੜੇ NoSQL ਸਿਸਟਮ ਉਪਲਬਧ ਹਨ ਜੋ ਇਸ ਵਰਣਨ ਦੇ ਅਨੁਕੂਲ ਹੋਣਗੇ - ਅਤੇ ਫਿਰ ਇਸ ਸਿਸਟਮ ਦਾ ਅਧਿਐਨ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰੋ।

ਸਕ੍ਰਿਪਟਿੰਗ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ

ਪਹਿਲਾਂ, ਅਜਿਹਾ ਲਗਦਾ ਹੈ, ਆਮ ਤੌਰ 'ਤੇ ਪਾਈਥਨ ਦਾ ਇਸ ਨਾਲ ਕੀ ਲੈਣਾ-ਦੇਣਾ ਹੈ - ਇਹ ਇੱਕ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾ ਹੈ, ਅਤੇ ਸਵਾਲਾਂ ਬਾਰੇ ਨਹੀਂ।

• ਪਾਂਡਾ ਅਸਲ ਵਿੱਚ ਡੇਟਾ ਸਾਇੰਸ ਦਾ ਇੱਕ ਸਵਿਸ ਆਰਮੀ ਚਾਕੂ ਹੈ; ਇਸ ਵਿੱਚ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਪਰਿਵਰਤਨ, ਇਕੱਤਰੀਕਰਨ, ਆਦਿ ਵਾਪਰਦਾ ਹੈ।
• Numpy - ਵੈਕਟਰ ਗਣਨਾਵਾਂ, ਮੈਟ੍ਰਿਕਸ ਅਤੇ ਲੀਨੀਅਰ ਅਲਜਬਰਾ ਉੱਥੇ ਹਨ।
• Scipy - ਇਸ ਪੈਕੇਜ ਵਿੱਚ ਬਹੁਤ ਸਾਰਾ ਗਣਿਤ ਹੈ, ਖਾਸ ਕਰਕੇ ਅੰਕੜੇ।
• ਜੁਪੀਟਰ ਲੈਬ - ਬਹੁਤ ਸਾਰੇ ਖੋਜੀ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਲੈਪਟਾਪਾਂ ਵਿੱਚ ਚੰਗੀ ਤਰ੍ਹਾਂ ਫਿੱਟ ਬੈਠਦੇ ਹਨ - ਜਾਣਨਾ ਲਾਭਦਾਇਕ ਹੈ।
• ਬੇਨਤੀਆਂ - ਨੈੱਟਵਰਕ ਨਾਲ ਕੰਮ ਕਰਨਾ।
• ਪਾਈਸਪਾਰਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਵਿੱਚ ਬਹੁਤ ਮਸ਼ਹੂਰ ਹੈ, ਜ਼ਿਆਦਾਤਰ ਸੰਭਾਵਨਾ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਇਸ ਜਾਂ ਸਪਾਰਕ ਨਾਲ ਗੱਲਬਾਤ ਕਰਨੀ ਪਵੇਗੀ, ਬਸ ਉਹਨਾਂ ਦੀ ਪ੍ਰਸਿੱਧੀ ਦੇ ਕਾਰਨ.
• * ਸੇਲੇਨਿਅਮ - ਸਾਈਟਾਂ ਅਤੇ ਸਰੋਤਾਂ ਤੋਂ ਡੇਟਾ ਇਕੱਠਾ ਕਰਨ ਲਈ ਬਹੁਤ ਉਪਯੋਗੀ ਹੈ, ਕਈ ਵਾਰ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਨ ਦਾ ਕੋਈ ਹੋਰ ਤਰੀਕਾ ਨਹੀਂ ਹੁੰਦਾ ਹੈ।

ਮੇਰੀ ਮੁੱਖ ਸਲਾਹ: Python ਸਿੱਖੋ!

ਪਾਂਡਾ

ਆਉ ਇੱਕ ਉਦਾਹਰਣ ਦੇ ਤੌਰ ਤੇ ਹੇਠਾਂ ਦਿੱਤੇ ਕੋਡ ਨੂੰ ਲੈਂਦੇ ਹਾਂ:

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

ਅਸਲ ਵਿੱਚ, ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਕੋਡ ਕਲਾਸਿਕ SQL ਪੈਟਰਨ ਵਿੱਚ ਫਿੱਟ ਹੁੰਦਾ ਹੈ।

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

ਪਰ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸਾ ਇਹ ਹੈ ਕਿ ਇਹ ਕੋਡ ਸਕ੍ਰਿਪਟ ਅਤੇ ਪਾਈਪਲਾਈਨ ਦਾ ਹਿੱਸਾ ਹੈ; ਅਸਲ ਵਿੱਚ, ਅਸੀਂ ਪਾਈਥਨ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਸਵਾਲਾਂ ਨੂੰ ਏਮਬੈਡ ਕਰ ਰਹੇ ਹਾਂ. ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਪ੍ਰਸ਼ਨ ਭਾਸ਼ਾ ਸਾਡੇ ਕੋਲ ਲਾਇਬ੍ਰੇਰੀਆਂ ਜਿਵੇਂ ਕਿ ਪਾਂਡਾ ਜਾਂ ਪਾਈਸਪਾਰਕ ਤੋਂ ਆਉਂਦੀ ਹੈ।

ਆਮ ਤੌਰ 'ਤੇ, pySpark ਵਿੱਚ ਅਸੀਂ ਇਸ ਭਾਵਨਾ ਵਿੱਚ ਇੱਕ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ ਦੁਆਰਾ ਡੇਟਾ ਪਰਿਵਰਤਨ ਦੀ ਇੱਕ ਸਮਾਨ ਕਿਸਮ ਨੂੰ ਦੇਖਦੇ ਹਾਂ:

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

ਕਿੱਥੇ ਅਤੇ ਕੀ ਪੜ੍ਹਨਾ ਹੈ

ਆਮ ਤੌਰ 'ਤੇ ਪਾਈਥਨ 'ਤੇ ਕੋਈ ਸਮੱਸਿਆ ਨਹੀ ਅਧਿਐਨ ਕਰਨ ਲਈ ਸਮੱਗਰੀ ਲੱਭੋ. ਔਨਲਾਈਨ ਟਿਊਟੋਰਿਅਲ ਦੀ ਇੱਕ ਵੱਡੀ ਗਿਣਤੀ ਹੈ ਪੰਡਾਸ, pySpark ਅਤੇ ਕੋਰਸ ਚਾਲੂ ਹਨ ਸਪਾਰਕ (ਅਤੇ ਆਪਣੇ ਆਪ ਵੀ DS). ਕੁੱਲ ਮਿਲਾ ਕੇ, ਇੱਥੇ ਸਮੱਗਰੀ ਗੂਗਲਿੰਗ ਲਈ ਬਹੁਤ ਵਧੀਆ ਹੈ, ਅਤੇ ਜੇ ਮੈਨੂੰ ਫੋਕਸ ਕਰਨ ਲਈ ਇੱਕ ਪੈਕੇਜ ਚੁਣਨਾ ਪਿਆ, ਤਾਂ ਇਹ ਪਾਂਡਾ ਹੋਵੇਗਾ, ਬੇਸ਼ਕ. DS+Python ਸਮੱਗਰੀਆਂ ਦੇ ਸੁਮੇਲ ਬਾਰੇ ਵੀ ਬਹੁਤ ਬਹੁਤ.

ਇੱਕ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ ਵਜੋਂ ਸ਼ੈੱਲ

ਬਹੁਤ ਸਾਰੇ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰੋਜੈਕਟ ਜਿਨ੍ਹਾਂ ਨਾਲ ਮੈਂ ਕੰਮ ਕੀਤਾ ਹੈ, ਅਸਲ ਵਿੱਚ, ਸ਼ੈੱਲ ਸਕ੍ਰਿਪਟਾਂ ਹਨ ਜੋ ਪਾਈਥਨ, ਜਾਵਾ, ਅਤੇ ਸ਼ੈੱਲ ਕਮਾਂਡਾਂ ਵਿੱਚ ਕੋਡ ਨੂੰ ਕਾਲ ਕਰਦੀਆਂ ਹਨ। ਇਸ ਲਈ, ਆਮ ਤੌਰ 'ਤੇ, ਤੁਸੀਂ bash/zsh/etc ਵਿੱਚ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਕਿਸੇ ਕਿਸਮ ਦੀ ਉੱਚ-ਪੱਧਰੀ ਪੁੱਛਗਿੱਛ ਦੇ ਰੂਪ ਵਿੱਚ ਵਿਚਾਰ ਸਕਦੇ ਹੋ (ਤੁਸੀਂ ਬੇਸ਼ੱਕ, ਉੱਥੇ ਸਮੱਗਰੀ ਲੂਪ ਕਰ ਸਕਦੇ ਹੋ, ਪਰ ਇਹ ਸ਼ੈੱਲ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ DS ਕੋਡ ਲਈ ਆਮ ਨਹੀਂ ਹੈ), ਆਓ ਦਿੰਦੇ ਹਾਂ ਇੱਕ ਸਧਾਰਨ ਉਦਾਹਰਣ - ਮੈਨੂੰ ਵਿਕੀਡਾਟਾ ਦੀ ਇੱਕ QID ਮੈਪਿੰਗ ਅਤੇ ਰੂਸੀ ਅਤੇ ਅੰਗਰੇਜ਼ੀ ਵਿਕੀ ਦੇ ਪੂਰੇ ਲਿੰਕ ਕਰਨ ਦੀ ਲੋੜ ਸੀ, ਇਸਦੇ ਲਈ ਮੈਂ ਬੈਸ਼ ਵਿੱਚ ਕਮਾਂਡਾਂ ਤੋਂ ਇੱਕ ਸਧਾਰਨ ਬੇਨਤੀ ਲਿਖੀ ਅਤੇ ਆਉਟਪੁੱਟ ਲਈ ਮੈਂ ਪਾਈਥਨ ਵਿੱਚ ਇੱਕ ਸਧਾਰਨ ਸਕ੍ਰਿਪਟ ਲਿਖੀ, ਜੋ ਮੈਂ ਇਸ ਤਰ੍ਹਾਂ ਇਕੱਠੇ ਰੱਖੋ:

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

ਜਿੱਥੇ

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' 

ਇਹ, ਅਸਲ ਵਿੱਚ, ਪੂਰੀ ਪਾਈਪਲਾਈਨ ਸੀ ਜਿਸਨੇ ਲੋੜੀਂਦੀ ਮੈਪਿੰਗ ਬਣਾਈ ਸੀ; ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ, ਹਰ ਚੀਜ਼ ਸਟ੍ਰੀਮ ਮੋਡ ਵਿੱਚ ਕੰਮ ਕਰਦੀ ਹੈ:

• pv ਫਾਈਲਪਾਥ - ਫਾਈਲ ਆਕਾਰ ਦੇ ਅਧਾਰ ਤੇ ਇੱਕ ਪ੍ਰਗਤੀ ਪੱਟੀ ਦਿੰਦਾ ਹੈ ਅਤੇ ਇਸਦੀ ਸਮੱਗਰੀ ਨੂੰ ਅੱਗੇ ਪਾਸ ਕਰਦਾ ਹੈ
• unpigz -c ਨੇ ਆਰਕਾਈਵ ਦਾ ਹਿੱਸਾ ਪੜ੍ਹਿਆ ਅਤੇ jq ਨੂੰ ਦਿੱਤਾ
• ਕੁੰਜੀ ਦੇ ਨਾਲ jq - ਸਟ੍ਰੀਮ ਨੇ ਤੁਰੰਤ ਨਤੀਜਾ ਪੇਸ਼ ਕੀਤਾ ਅਤੇ ਇਸਨੂੰ ਪਾਇਥਨ ਵਿੱਚ ਪੋਸਟਪ੍ਰੋਸੈਸਰ (ਪਹਿਲੀ ਉਦਾਹਰਣ ਵਾਂਗ) ਨੂੰ ਪਾਸ ਕੀਤਾ
• ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ, ਪੋਸਟਪ੍ਰੋਸੈਸਰ ਇੱਕ ਸਧਾਰਨ ਸਟੇਟ ਮਸ਼ੀਨ ਸੀ ਜੋ ਆਉਟਪੁੱਟ ਨੂੰ ਫਾਰਮੈਟ ਕਰਦੀ ਸੀ 

ਕੁੱਲ ਮਿਲਾ ਕੇ, ਇੱਕ ਗੁੰਝਲਦਾਰ ਪਾਈਪਲਾਈਨ ਵੱਡੇ ਡੇਟਾ (0.5TB) 'ਤੇ ਪ੍ਰਵਾਹ ਮੋਡ ਵਿੱਚ ਕੰਮ ਕਰ ਰਹੀ ਹੈ, ਮਹੱਤਵਪੂਰਨ ਸਰੋਤਾਂ ਤੋਂ ਬਿਨਾਂ ਅਤੇ ਇੱਕ ਸਧਾਰਨ ਪਾਈਪਲਾਈਨ ਅਤੇ ਕੁਝ ਸਾਧਨਾਂ ਤੋਂ ਬਣੀ ਹੈ।

ਇੱਕ ਹੋਰ ਮਹੱਤਵਪੂਰਨ ਸੁਝਾਅ: ਟਰਮੀਨਲ ਵਿੱਚ ਵਧੀਆ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਕੰਮ ਕਰਨ ਦੇ ਯੋਗ ਬਣੋ ਅਤੇ bash/zsh/etc ਲਿਖੋ।

ਇਹ ਕਿੱਥੇ ਲਾਭਦਾਇਕ ਹੋਵੇਗਾ? ਹਾਂ, ਲਗਭਗ ਹਰ ਜਗ੍ਹਾ - ਦੁਬਾਰਾ, ਇੰਟਰਨੈਟ ਤੇ ਅਧਿਐਨ ਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰੀਆਂ ਸਮੱਗਰੀਆਂ ਹਨ. ਖਾਸ ਤੌਰ 'ਤੇ, ਇੱਥੇ ਇਹ ਮੇਰਾ ਪਿਛਲਾ ਲੇਖ।

ਆਰ ਸਕ੍ਰਿਪਟਿੰਗ

ਦੁਬਾਰਾ ਫਿਰ, ਪਾਠਕ ਕਹਿ ਸਕਦਾ ਹੈ - ਠੀਕ ਹੈ, ਇਹ ਇੱਕ ਪੂਰੀ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾ ਹੈ! ਅਤੇ ਬੇਸ਼ੱਕ, ਉਹ ਸਹੀ ਹੋਵੇਗਾ. ਹਾਲਾਂਕਿ, ਮੈਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਅਜਿਹੇ ਸੰਦਰਭ ਵਿੱਚ ਆਰ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈਂਦਾ ਹੈ ਕਿ, ਅਸਲ ਵਿੱਚ, ਇਹ ਇੱਕ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ ਦੇ ਸਮਾਨ ਸੀ.

ਆਰ ਸਟੈਟਿਕ ਕੰਪਿਊਟਿੰਗ ਅਤੇ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਲਈ ਇੱਕ ਅੰਕੜਾ ਕੰਪਿਊਟਿੰਗ ਵਾਤਾਵਰਣ ਅਤੇ ਭਾਸ਼ਾ ਹੈ (ਦੇ ਅਨੁਸਾਰ ਇਹ).

ਲਿਆ ਇੱਥੋਂ. ਤਰੀਕੇ ਨਾਲ, ਮੈਂ ਇਸਦੀ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹਾਂ, ਚੰਗੀ ਸਮੱਗਰੀ.

ਇੱਕ ਡਾਟਾ ਵਿਗਿਆਨੀ ਨੂੰ R ਨੂੰ ਜਾਣਨ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ? ਘੱਟੋ ਘੱਟ, ਕਿਉਂਕਿ ਇੱਥੇ ਗੈਰ-ਆਈਟੀ ਲੋਕਾਂ ਦੀ ਇੱਕ ਵੱਡੀ ਪਰਤ ਹੈ ਜੋ ਆਰ ਵਿੱਚ ਡੇਟਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦੇ ਹਨ। ਮੈਂ ਇਸਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਸਥਾਨਾਂ ਵਿੱਚ ਦੇਖਿਆ:

• ਫਾਰਮਾਸਿਊਟੀਕਲ ਸੈਕਟਰ.
• ਜੀਵ ਵਿਗਿਆਨੀ।
• ਵਿੱਤੀ ਖੇਤਰ.
• ਇੱਕ ਸ਼ੁੱਧ ਗਣਿਤ ਦੀ ਸਿੱਖਿਆ ਵਾਲੇ ਲੋਕ ਜੋ ਅੰਕੜਿਆਂ ਨਾਲ ਨਜਿੱਠਦੇ ਹਨ।
• ਵਿਸ਼ੇਸ਼ ਅੰਕੜਾ ਮਾਡਲ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲ (ਜੋ ਅਕਸਰ ਲੇਖਕ ਦੇ ਸੰਸਕਰਣ ਵਿੱਚ ਇੱਕ ਆਰ ਪੈਕੇਜ ਦੇ ਰੂਪ ਵਿੱਚ ਲੱਭੇ ਜਾ ਸਕਦੇ ਹਨ)।

ਇਹ ਅਸਲ ਵਿੱਚ ਇੱਕ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ ਕਿਉਂ ਹੈ? ਜਿਸ ਰੂਪ ਵਿੱਚ ਇਹ ਅਕਸਰ ਪਾਇਆ ਜਾਂਦਾ ਹੈ, ਇਹ ਅਸਲ ਵਿੱਚ ਇੱਕ ਮਾਡਲ ਬਣਾਉਣ ਦੀ ਬੇਨਤੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਪੜ੍ਹਨਾ ਅਤੇ ਪੁੱਛਗਿੱਛ (ਮਾਡਲ) ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਫਿਕਸ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ, ਅਤੇ ਨਾਲ ਹੀ ggplot2 ਵਰਗੇ ਪੈਕੇਜਾਂ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਵਿਜ਼ੂਅਲ ਕਰਨਾ - ਇਹ ਪ੍ਰਸ਼ਨ ਲਿਖਣ ਦਾ ਇੱਕ ਰੂਪ ਵੀ ਹੈ। .

ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਲਈ ਉਦਾਹਰਨ ਸਵਾਲ

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

ਆਮ ਤੌਰ 'ਤੇ, R ਤੋਂ ਬਹੁਤ ਸਾਰੇ ਵਿਚਾਰ python ਪੈਕੇਜਾਂ ਵਿੱਚ ਮਾਈਗਰੇਟ ਹੋ ਗਏ ਹਨ ਜਿਵੇਂ ਕਿ ਪੈਂਡਾ, numpy ਜਾਂ scipy, ਜਿਵੇਂ ਕਿ ਡੇਟਾਫ੍ਰੇਮ ਅਤੇ ਡੇਟਾ ਵੈਕਟੋਰਾਈਜ਼ੇਸ਼ਨ - ਇਸ ਲਈ ਆਮ ਤੌਰ 'ਤੇ R ਵਿੱਚ ਬਹੁਤ ਸਾਰੀਆਂ ਚੀਜ਼ਾਂ ਤੁਹਾਡੇ ਲਈ ਜਾਣੂ ਅਤੇ ਸੁਵਿਧਾਜਨਕ ਲੱਗਣਗੀਆਂ।

ਅਧਿਐਨ ਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰੇ ਸਰੋਤ ਹਨ, ਉਦਾਹਰਨ ਲਈ, ਇਹ.

ਗਿਆਨ ਗ੍ਰਾਫ਼

ਇੱਥੇ ਮੇਰੇ ਕੋਲ ਇੱਕ ਥੋੜ੍ਹਾ ਅਸਾਧਾਰਨ ਅਨੁਭਵ ਹੈ, ਕਿਉਂਕਿ ਮੈਨੂੰ ਅਕਸਰ ਗਿਆਨ ਗ੍ਰਾਫਾਂ ਅਤੇ ਗ੍ਰਾਫਾਂ ਲਈ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ ਨਾਲ ਕੰਮ ਕਰਨਾ ਪੈਂਦਾ ਹੈ। ਇਸ ਲਈ, ਅਸੀਂ ਥੋੜ੍ਹੇ ਸਮੇਂ ਲਈ ਮੂਲ ਗੱਲਾਂ 'ਤੇ ਜਾਵਾਂਗੇ, ਕਿਉਂਕਿ ਇਹ ਹਿੱਸਾ ਥੋੜਾ ਹੋਰ ਵਿਦੇਸ਼ੀ ਹੈ.

ਕਲਾਸੀਕਲ ਰਿਲੇਸ਼ਨਲ ਡੇਟਾਬੇਸ ਵਿੱਚ ਸਾਡੇ ਕੋਲ ਇੱਕ ਨਿਸ਼ਚਿਤ ਸਕੀਮਾ ਹੈ, ਪਰ ਇੱਥੇ ਸਕੀਮਾ ਲਚਕਦਾਰ ਹੈ, ਹਰ ਇੱਕ ਅਨੁਮਾਨ ਅਸਲ ਵਿੱਚ ਇੱਕ "ਕਾਲਮ" ਹੈ ਅਤੇ ਹੋਰ ਵੀ।

ਕਲਪਨਾ ਕਰੋ ਕਿ ਤੁਸੀਂ ਇੱਕ ਵਿਅਕਤੀ ਨੂੰ ਮਾਡਲਿੰਗ ਕਰ ਰਹੇ ਸੀ ਅਤੇ ਮੁੱਖ ਚੀਜ਼ਾਂ ਦਾ ਵਰਣਨ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਉਦਾਹਰਨ ਲਈ, ਆਓ ਇੱਕ ਖਾਸ ਵਿਅਕਤੀ, ਡਗਲਸ ਐਡਮਜ਼ ਨੂੰ ਲੈ ਕੇ, ਅਤੇ ਇਸ ਵਰਣਨ ਨੂੰ ਇੱਕ ਆਧਾਰ ਵਜੋਂ ਵਰਤੋ।

www.wikidata.org/wiki/Q42

ਜੇਕਰ ਅਸੀਂ ਇੱਕ ਰਿਲੇਸ਼ਨਲ ਡੇਟਾਬੇਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਸਾਨੂੰ ਬਹੁਤ ਸਾਰੇ ਕਾਲਮਾਂ ਦੇ ਨਾਲ ਇੱਕ ਵਿਸ਼ਾਲ ਸਾਰਣੀ ਜਾਂ ਟੇਬਲ ਬਣਾਉਣੇ ਪੈਣਗੇ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ NULL ਹੋਣਗੇ ਜਾਂ ਕੁਝ ਡਿਫੌਲਟ ਗਲਤ ਮੁੱਲ ਨਾਲ ਭਰੇ ਹੋਣਗੇ, ਉਦਾਹਰਣ ਵਜੋਂ, ਇਹ ਸੰਭਾਵਨਾ ਨਹੀਂ ਹੈ ਕਿ ਸਾਡੇ ਵਿੱਚੋਂ ਬਹੁਤ ਸਾਰੇ ਕੋਲ ਇੱਕ ਕੋਰੀਅਨ ਨੈਸ਼ਨਲ ਲਾਇਬ੍ਰੇਰੀ ਵਿੱਚ ਐਂਟਰੀ - ਬੇਸ਼ੱਕ, ਅਸੀਂ ਉਹਨਾਂ ਨੂੰ ਵੱਖਰੇ ਟੇਬਲ ਵਿੱਚ ਰੱਖ ਸਕਦੇ ਹਾਂ, ਪਰ ਇਹ ਅੰਤ ਵਿੱਚ ਇੱਕ ਸਥਿਰ ਰਿਲੇਸ਼ਨਲ ਇੱਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਭਵਿੱਖਬਾਣੀ ਦੇ ਨਾਲ ਇੱਕ ਲਚਕਦਾਰ ਲਾਜ਼ੀਕਲ ਸਰਕਟ ਦਾ ਮਾਡਲ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਹੋਵੇਗੀ।

ਇਸ ਲਈ ਕਲਪਨਾ ਕਰੋ ਕਿ ਸਾਰਾ ਡੇਟਾ ਇੱਕ ਗ੍ਰਾਫ ਦੇ ਰੂਪ ਵਿੱਚ ਜਾਂ ਬਾਈਨਰੀ ਅਤੇ ਯੂਨਰੀ ਬੂਲੀਅਨ ਸਮੀਕਰਨਾਂ ਵਜੋਂ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਤੁਸੀਂ ਇਸ ਦਾ ਸਾਹਮਣਾ ਵੀ ਕਿੱਥੇ ਕਰ ਸਕਦੇ ਹੋ? ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਨਾਲ ਕੰਮ ਕਰਨਾ ਡਾਟਾ ਵਿਕੀ, ਅਤੇ ਕਿਸੇ ਵੀ ਗ੍ਰਾਫ ਡੇਟਾਬੇਸ ਜਾਂ ਜੁੜੇ ਡੇਟਾ ਦੇ ਨਾਲ।

ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਮੁੱਖ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ ਹਨ ਜੋ ਮੈਂ ਵਰਤੀਆਂ ਹਨ ਅਤੇ ਉਹਨਾਂ ਨਾਲ ਕੰਮ ਕੀਤਾ ਹੈ।

ਸਪਾਰਕਿਊਲ

ਵਿਕਿ:
SPARQL (ਆਵਰਤੀ ਸੰਖੇਪ ਤੱਕ Eng. SPARQL ਪ੍ਰੋਟੋਕੋਲ ਅਤੇ RDF ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ) - ਡਾਟਾ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ, ਮਾਡਲ ਦੁਆਰਾ ਦਰਸਾਇਆ ਗਿਆ ਹੈ RDFਅਤੇ ਪ੍ਰੋਟੋਕੋਲ ਇਹਨਾਂ ਬੇਨਤੀਆਂ ਨੂੰ ਪ੍ਰਸਾਰਿਤ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਦਾ ਜਵਾਬ ਦੇਣ ਲਈ। SPARQL ਇੱਕ ਸਿਫ਼ਾਰਿਸ਼ ਹੈ W3C ਕੰਸੋਰਟੀਅਮ ਅਤੇ ਤਕਨੀਕਾਂ ਵਿੱਚੋਂ ਇੱਕ ਅਰਥਵਾਦੀ ਵੈੱਬ.

ਪਰ ਅਸਲ ਵਿੱਚ ਇਹ ਲਾਜ਼ੀਕਲ ਯੂਨਰੀ ਅਤੇ ਬਾਈਨਰੀ ਪੂਰਵ ਅਨੁਮਾਨਾਂ ਲਈ ਇੱਕ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ ਹੈ। ਤੁਸੀਂ ਸਿਰਫ਼ ਸ਼ਰਤ ਦੇ ਤੌਰ 'ਤੇ ਦੱਸ ਰਹੇ ਹੋ ਕਿ ਬੁਲੀਅਨ ਸਮੀਕਰਨ ਵਿੱਚ ਕੀ ਫਿਕਸ ਹੈ ਅਤੇ ਕੀ ਨਹੀਂ (ਬਹੁਤ ਸਰਲ)।

RDF (ਸਰੋਤ ਵਰਣਨ ਫਰੇਮਵਰਕ) ਅਧਾਰ ਖੁਦ, ਜਿਸ 'ਤੇ SPARQL ਸਵਾਲਾਂ ਨੂੰ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ, ਇੱਕ ਤੀਹਰਾ ਹੈ object, predicate, subject - ਅਤੇ ਪੁੱਛਗਿੱਛ ਇਸ ਭਾਵਨਾ ਵਿੱਚ ਨਿਰਧਾਰਤ ਪਾਬੰਦੀਆਂ ਦੇ ਅਨੁਸਾਰ ਲੋੜੀਂਦੇ ਤਿੰਨ ਗੁਣਾਂ ਦੀ ਚੋਣ ਕਰਦੀ ਹੈ: ਇੱਕ X ਲੱਭੋ ਜਿਵੇਂ ਕਿ p_55(X, q_33) ਸੱਚ ਹੈ - ਜਿੱਥੇ, ਬੇਸ਼ਕ, p_55 ID 55 ਨਾਲ ਕਿਸੇ ਕਿਸਮ ਦਾ ਸਬੰਧ ਹੈ, ਅਤੇ q_33 ਹੈ ID 33 ਵਾਲੀ ਇੱਕ ਵਸਤੂ (ਇੱਥੇ ਅਤੇ ਪੂਰੀ ਕਹਾਣੀ, ਦੁਬਾਰਾ ਹਰ ਕਿਸਮ ਦੇ ਵੇਰਵਿਆਂ ਨੂੰ ਛੱਡ ਕੇ)।

ਡਾਟਾ ਪੇਸ਼ਕਾਰੀ ਦੀ ਉਦਾਹਰਨ:

ਇੱਥੇ ਦੇਸ਼ਾਂ ਦੇ ਨਾਲ ਤਸਵੀਰਾਂ ਅਤੇ ਉਦਾਹਰਣ ਇੱਥੋਂ.

ਮੁੱਢਲੀ ਪੁੱਛਗਿੱਛ ਦੀ ਉਦਾਹਰਨ

ਵਾਸਤਵ ਵਿੱਚ, ਅਸੀਂ ?ਕੰਟਰੀ ਵੇਰੀਏਬਲ ਦਾ ਮੁੱਲ ਇਸ ਤਰ੍ਹਾਂ ਲੱਭਣਾ ਚਾਹੁੰਦੇ ਹਾਂ ਕਿ ਪ੍ਰੈਡੀਕੇਟ ਲਈ
member_of, ਇਹ ਸੱਚ ਹੈ ਕਿ member_of(?country,q458) ਅਤੇ q458 ਯੂਰਪੀਅਨ ਯੂਨੀਅਨ ਦੀ ID ਹੈ।

ਪਾਈਥਨ ਇੰਜਣ ਦੇ ਅੰਦਰ ਇੱਕ ਅਸਲੀ SPARQL ਪੁੱਛਗਿੱਛ ਦੀ ਇੱਕ ਉਦਾਹਰਨ:

ਆਮ ਤੌਰ 'ਤੇ, ਮੈਨੂੰ ਇਸ ਨੂੰ ਲਿਖਣ ਦੀ ਬਜਾਏ SPARQL ਨੂੰ ਪੜ੍ਹਨਾ ਪਿਆ ਹੈ - ਉਸ ਸਥਿਤੀ ਵਿੱਚ, ਇਹ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਭਾਸ਼ਾ ਨੂੰ ਸਮਝਣ ਲਈ ਘੱਟੋ ਘੱਟ ਇੱਕ ਬੁਨਿਆਦੀ ਪੱਧਰ 'ਤੇ ਇਹ ਸਮਝਣ ਲਈ ਇੱਕ ਉਪਯੋਗੀ ਹੁਨਰ ਹੋਵੇਗਾ ਕਿ ਡੇਟਾ ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ. 

ਔਨਲਾਈਨ ਅਧਿਐਨ ਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰੀ ਸਮੱਗਰੀ ਹੈ: ਉਦਾਹਰਨ ਲਈ, ਇੱਥੇ ਇਹ и ਇਹ. ਮੈਂ ਆਮ ਤੌਰ 'ਤੇ ਖਾਸ ਡਿਜ਼ਾਈਨ ਅਤੇ ਉਦਾਹਰਣਾਂ ਨੂੰ ਗੂਗਲ ਕਰਦਾ ਹਾਂ ਅਤੇ ਇਹ ਹੁਣ ਲਈ ਕਾਫ਼ੀ ਹੈ.

ਲਾਜ਼ੀਕਲ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾਵਾਂ

ਤੁਸੀਂ ਮੇਰੇ ਲੇਖ ਵਿਚ ਇਸ ਵਿਸ਼ੇ 'ਤੇ ਹੋਰ ਪੜ੍ਹ ਸਕਦੇ ਹੋ ਇੱਥੇ. ਅਤੇ ਇੱਥੇ, ਅਸੀਂ ਸਿਰਫ ਸੰਖੇਪ ਵਿੱਚ ਜਾਂਚ ਕਰਾਂਗੇ ਕਿ ਸਵਾਲਾਂ ਨੂੰ ਲਿਖਣ ਲਈ ਲਾਜ਼ੀਕਲ ਭਾਸ਼ਾਵਾਂ ਕਿਉਂ ਢੁਕਵੀਆਂ ਹਨ। ਮੂਲ ਰੂਪ ਵਿੱਚ, RDF ਫਾਰਮ p(X) ਅਤੇ h(X,Y) ਦੇ ਲਾਜ਼ੀਕਲ ਕਥਨਾਂ ਦਾ ਇੱਕ ਸਮੂਹ ਹੈ, ਅਤੇ ਇੱਕ ਲਾਜ਼ੀਕਲ ਪੁੱਛਗਿੱਛ ਦਾ ਹੇਠ ਲਿਖਿਆ ਰੂਪ ਹੈ:

output(X) :- country(X), member_of(X,“EU”).

ਇੱਥੇ ਅਸੀਂ ਇੱਕ ਨਵਾਂ ਪ੍ਰੀਡੀਕੇਟ ਆਉਟਪੁੱਟ/1 (/1 ਦਾ ਮਤਲਬ ਅਨਰੀ) ਬਣਾਉਣ ਬਾਰੇ ਗੱਲ ਕਰ ਰਹੇ ਹਾਂ, ਬਸ਼ਰਤੇ X ਲਈ ਇਹ ਸਹੀ ਹੋਵੇ ਕਿ ਦੇਸ਼(X) - ਭਾਵ, X ਇੱਕ ਦੇਸ਼ ਹੈ ਅਤੇ ਮੈਂਬਰ_of(X,"EU") ਵੀ ਹੈ।

ਭਾਵ, ਇਸ ਕੇਸ ਵਿੱਚ, ਡੇਟਾ ਅਤੇ ਨਿਯਮ ਦੋਵੇਂ ਇੱਕੋ ਤਰੀਕੇ ਨਾਲ ਪੇਸ਼ ਕੀਤੇ ਗਏ ਹਨ, ਜੋ ਸਾਨੂੰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਬਹੁਤ ਆਸਾਨੀ ਨਾਲ ਅਤੇ ਚੰਗੀ ਤਰ੍ਹਾਂ ਮਾਡਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ.

ਤੁਸੀਂ ਇੰਡਸਟਰੀ ਵਿੱਚ ਕਿੱਥੇ ਮਿਲੇ ਸੀ?: ਇੱਕ ਕੰਪਨੀ ਦੇ ਨਾਲ ਇੱਕ ਪੂਰਾ ਵੱਡਾ ਪ੍ਰੋਜੈਕਟ ਜੋ ਅਜਿਹੀ ਭਾਸ਼ਾ ਵਿੱਚ ਪ੍ਰਸ਼ਨ ਲਿਖਦਾ ਹੈ, ਅਤੇ ਨਾਲ ਹੀ ਸਿਸਟਮ ਦੇ ਮੂਲ ਵਿੱਚ ਮੌਜੂਦਾ ਪ੍ਰੋਜੈਕਟ 'ਤੇ - ਅਜਿਹਾ ਲਗਦਾ ਹੈ ਕਿ ਇਹ ਇੱਕ ਬਹੁਤ ਹੀ ਵਿਦੇਸ਼ੀ ਚੀਜ਼ ਹੈ, ਪਰ ਕਈ ਵਾਰ ਅਜਿਹਾ ਹੁੰਦਾ ਹੈ।

ਇੱਕ ਲਾਜ਼ੀਕਲ ਭਾਸ਼ਾ ਪ੍ਰੋਸੈਸਿੰਗ ਵਿਕੀਡਾਟਾ ਵਿੱਚ ਇੱਕ ਕੋਡ ਦੇ ਟੁਕੜੇ ਦੀ ਇੱਕ ਉਦਾਹਰਨ:

ਸਮੱਗਰੀ: ਮੈਂ ਇੱਥੇ ਆਧੁਨਿਕ ਲਾਜ਼ੀਕਲ ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ ਭਾਸ਼ਾ ਦੇ ਜਵਾਬ ਸੈੱਟ ਪ੍ਰੋਗਰਾਮਿੰਗ ਦੇ ਕੁਝ ਲਿੰਕ ਦੇਵਾਂਗਾ - ਮੈਂ ਇਸਦਾ ਅਧਿਐਨ ਕਰਨ ਦੀ ਸਿਫ਼ਾਰਿਸ਼ ਕਰਦਾ ਹਾਂ:

• http://peace.eas.asu.edu/aaai12tutorial/asp-tutorial-aaai.pdf
• http://ceur-ws.org/Vol-1145/tutorial1.pdf
• https://www.youtube.com/watch?v=gVQ0bP8zyHw
• https://www.youtube.com/watch?v=kdcd7Je2glc
• https://potassco.org/book/
• http://potassco.sourceforge.net/teaching.html
• https://www.cs.uni-potsdam.de/~torsten/Potassco/Tutorials/fmcad12.pdf

ਸਰੋਤ: www.habr.com