ਓਪਨਵੀਨੋ ਹੈਕਾਥਨ: ਰਾਸਬੇਰੀ ਪਾਈ 'ਤੇ ਆਵਾਜ਼ ਅਤੇ ਭਾਵਨਾਵਾਂ ਨੂੰ ਪਛਾਣਨਾ

30 ਨਵੰਬਰ - ਨਿਜ਼ਨੀ ਨੋਵਗੋਰੋਡ ਵਿੱਚ 1 ਦਸੰਬਰ ਨੂੰ ਆਯੋਜਿਤ ਕੀਤਾ ਗਿਆ ਸੀ ਓਪਨਵੀਨੋ ਹੈਕਾਥਨ. ਭਾਗੀਦਾਰਾਂ ਨੂੰ ਇੰਟੇਲ ਓਪਨਵੀਨੋ ਟੂਲਕਿੱਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਉਤਪਾਦ ਹੱਲ ਦਾ ਇੱਕ ਪ੍ਰੋਟੋਟਾਈਪ ਬਣਾਉਣ ਲਈ ਕਿਹਾ ਗਿਆ ਸੀ। ਆਯੋਜਕਾਂ ਨੇ ਲਗਭਗ ਵਿਸ਼ਿਆਂ ਦੀ ਇੱਕ ਸੂਚੀ ਪ੍ਰਸਤਾਵਿਤ ਕੀਤੀ ਜੋ ਇੱਕ ਕਾਰਜ ਦੀ ਚੋਣ ਕਰਦੇ ਸਮੇਂ ਦੁਆਰਾ ਮਾਰਗਦਰਸ਼ਨ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ, ਪਰ ਅੰਤਮ ਫੈਸਲਾ ਟੀਮਾਂ ਦੇ ਕੋਲ ਰਿਹਾ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਉਨ੍ਹਾਂ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕੀਤਾ ਗਿਆ ਜੋ ਉਤਪਾਦ ਵਿੱਚ ਸ਼ਾਮਲ ਨਹੀਂ ਹਨ।

ਇਸ ਲੇਖ ਵਿਚ ਅਸੀਂ ਤੁਹਾਨੂੰ ਦੱਸਾਂਗੇ ਕਿ ਅਸੀਂ ਉਤਪਾਦ ਦਾ ਆਪਣਾ ਪ੍ਰੋਟੋਟਾਈਪ ਕਿਵੇਂ ਬਣਾਇਆ, ਜਿਸ ਨਾਲ ਅਸੀਂ ਆਖਰਕਾਰ ਪਹਿਲਾ ਸਥਾਨ ਪ੍ਰਾਪਤ ਕੀਤਾ।

ਹੈਕਾਥਨ ਵਿੱਚ 10 ਤੋਂ ਵੱਧ ਟੀਮਾਂ ਨੇ ਭਾਗ ਲਿਆ। ਇਹ ਚੰਗੀ ਗੱਲ ਹੈ ਕਿ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੁਝ ਦੂਜੇ ਖੇਤਰਾਂ ਤੋਂ ਆਏ ਹਨ। ਹੈਕਾਥਨ ਦਾ ਸਥਾਨ "ਪੋਚੈਨ 'ਤੇ ਕ੍ਰੇਮਲਿਨਸਕੀ" ਕੰਪਲੈਕਸ ਸੀ, ਜਿੱਥੇ ਨਿਜ਼ਨੀ ਨੋਵਗੋਰੋਡ ਦੀਆਂ ਪ੍ਰਾਚੀਨ ਤਸਵੀਰਾਂ ਇੱਕ ਦਲ ਦੇ ਅੰਦਰ ਲਟਕਾਈਆਂ ਗਈਆਂ ਸਨ! (ਮੈਂ ਤੁਹਾਨੂੰ ਯਾਦ ਦਿਵਾਉਂਦਾ ਹਾਂ ਕਿ ਇਸ ਸਮੇਂ ਇੰਟੇਲ ਦਾ ਕੇਂਦਰੀ ਦਫਤਰ ਨਿਜ਼ਨੀ ਨੋਵਗੋਰੋਡ ਵਿੱਚ ਸਥਿਤ ਹੈ)। ਭਾਗੀਦਾਰਾਂ ਨੂੰ ਕੋਡ ਲਿਖਣ ਲਈ 26 ਘੰਟੇ ਦਿੱਤੇ ਗਏ ਸਨ, ਅਤੇ ਅੰਤ ਵਿੱਚ ਉਹਨਾਂ ਨੂੰ ਆਪਣਾ ਹੱਲ ਪੇਸ਼ ਕਰਨਾ ਸੀ। ਇੱਕ ਵੱਖਰਾ ਫਾਇਦਾ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਇੱਕ ਡੈਮੋ ਸੈਸ਼ਨ ਦੀ ਮੌਜੂਦਗੀ ਸੀ ਕਿ ਯੋਜਨਾਬੱਧ ਹਰ ਚੀਜ਼ ਨੂੰ ਅਸਲ ਵਿੱਚ ਲਾਗੂ ਕੀਤਾ ਗਿਆ ਸੀ ਅਤੇ ਪੇਸ਼ਕਾਰੀ ਵਿੱਚ ਵਿਚਾਰ ਨਹੀਂ ਰਹੇ. ਵਪਾਰ, ਸਨੈਕਸ, ਭੋਜਨ, ਸਭ ਕੁਝ ਉੱਥੇ ਵੀ ਸੀ!

ਇਸ ਤੋਂ ਇਲਾਵਾ, Intel ਨੇ ਵਿਕਲਪਿਕ ਤੌਰ 'ਤੇ ਕੈਮਰੇ, Raspberry PI, Neural Compute Stick 2 ਪ੍ਰਦਾਨ ਕੀਤੇ ਹਨ।

ਕਾਰਜ ਚੋਣ

ਇੱਕ ਫ੍ਰੀ-ਫਾਰਮ ਹੈਕਾਥਨ ਦੀ ਤਿਆਰੀ ਕਰਨ ਦੇ ਸਭ ਤੋਂ ਮੁਸ਼ਕਲ ਹਿੱਸਿਆਂ ਵਿੱਚੋਂ ਇੱਕ ਇੱਕ ਚੁਣੌਤੀ ਚੁਣਨਾ ਹੈ। ਅਸੀਂ ਤੁਰੰਤ ਕੁਝ ਅਜਿਹਾ ਲਿਆਉਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਜੋ ਅਜੇ ਉਤਪਾਦ ਵਿੱਚ ਨਹੀਂ ਸੀ, ਕਿਉਂਕਿ ਘੋਸ਼ਣਾ ਵਿੱਚ ਕਿਹਾ ਗਿਆ ਹੈ ਕਿ ਇਹ ਬਹੁਤ ਸਵਾਗਤਯੋਗ ਹੈ।

ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕੀਤਾ ਮਾਡਲਾਂ, ਜੋ ਕਿ ਮੌਜੂਦਾ ਰੀਲੀਜ਼ ਵਿੱਚ ਉਤਪਾਦ ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤੇ ਗਏ ਹਨ, ਅਸੀਂ ਇਸ ਸਿੱਟੇ 'ਤੇ ਪਹੁੰਚਦੇ ਹਾਂ ਕਿ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ ਕੰਪਿਊਟਰ ਵਿਜ਼ਨ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਦੇ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਕੰਪਿਊਟਰ ਵਿਜ਼ਨ ਦੇ ਖੇਤਰ ਵਿਚ ਅਜਿਹੀ ਸਮੱਸਿਆ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਬਹੁਤ ਮੁਸ਼ਕਲ ਹੈ ਜਿਸ ਨੂੰ ਓਪਨਵੀਨੋ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਹੱਲ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ, ਅਤੇ ਭਾਵੇਂ ਕਿਸੇ ਦੀ ਖੋਜ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ, ਜਨਤਕ ਡੋਮੇਨ ਵਿਚ ਪ੍ਰੀ-ਟ੍ਰੇਂਡ ਮਾਡਲਾਂ ਨੂੰ ਲੱਭਣਾ ਮੁਸ਼ਕਲ ਹੈ। ਅਸੀਂ ਇੱਕ ਹੋਰ ਦਿਸ਼ਾ ਵਿੱਚ ਖੋਦਣ ਦਾ ਫੈਸਲਾ ਕਰਦੇ ਹਾਂ - ਸਪੀਚ ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਵੱਲ। ਆਉ ਭਾਸ਼ਣ ਤੋਂ ਭਾਵਨਾਵਾਂ ਨੂੰ ਪਛਾਣਨ ਦੇ ਇੱਕ ਦਿਲਚਸਪ ਕੰਮ ਤੇ ਵਿਚਾਰ ਕਰੀਏ. ਇਹ ਕਿਹਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਓਪਨਵੀਨੋ ਕੋਲ ਪਹਿਲਾਂ ਹੀ ਇੱਕ ਮਾਡਲ ਹੈ ਜੋ ਇੱਕ ਵਿਅਕਤੀ ਦੀਆਂ ਭਾਵਨਾਵਾਂ ਨੂੰ ਉਸਦੇ ਚਿਹਰੇ ਦੇ ਅਧਾਰ ਤੇ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ, ਪਰ:

• ਸਿਧਾਂਤ ਵਿੱਚ, ਇੱਕ ਸੰਯੁਕਤ ਐਲਗੋਰਿਦਮ ਬਣਾਉਣਾ ਸੰਭਵ ਹੈ ਜੋ ਆਵਾਜ਼ ਅਤੇ ਚਿੱਤਰ ਦੋਵਾਂ 'ਤੇ ਕੰਮ ਕਰੇਗਾ, ਜਿਸ ਨਾਲ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਵਾਧਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।
• ਕੈਮਰਿਆਂ ਵਿੱਚ ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਤੰਗ ਦੇਖਣ ਵਾਲਾ ਕੋਣ ਹੁੰਦਾ ਹੈ; ਇੱਕ ਵੱਡੇ ਖੇਤਰ ਨੂੰ ਕਵਰ ਕਰਨ ਲਈ ਇੱਕ ਤੋਂ ਵੱਧ ਕੈਮਰੇ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ; ਆਵਾਜ਼ ਦੀ ਅਜਿਹੀ ਕੋਈ ਸੀਮਾ ਨਹੀਂ ਹੁੰਦੀ ਹੈ।

ਆਉ ਵਿਚਾਰ ਨੂੰ ਵਿਕਸਿਤ ਕਰੀਏ: ਆਉ ਪ੍ਰਚੂਨ ਹਿੱਸੇ ਲਈ ਇੱਕ ਅਧਾਰ ਵਜੋਂ ਵਿਚਾਰ ਕਰੀਏ। ਤੁਸੀਂ ਸਟੋਰ ਚੈੱਕਆਉਟ 'ਤੇ ਗਾਹਕ ਦੀ ਸੰਤੁਸ਼ਟੀ ਨੂੰ ਮਾਪ ਸਕਦੇ ਹੋ। ਜੇ ਗਾਹਕਾਂ ਵਿੱਚੋਂ ਇੱਕ ਸੇਵਾ ਤੋਂ ਅਸੰਤੁਸ਼ਟ ਹੈ ਅਤੇ ਆਪਣੀ ਆਵਾਜ਼ ਵਧਾਉਣਾ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਤੁਰੰਤ ਮਦਦ ਲਈ ਪ੍ਰਬੰਧਕ ਨੂੰ ਕਾਲ ਕਰ ਸਕਦੇ ਹੋ।
ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਸਾਨੂੰ ਮਨੁੱਖੀ ਆਵਾਜ਼ ਦੀ ਪਛਾਣ ਜੋੜਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ, ਇਹ ਸਾਨੂੰ ਸਟੋਰ ਕਰਮਚਾਰੀਆਂ ਨੂੰ ਗਾਹਕਾਂ ਤੋਂ ਵੱਖ ਕਰਨ ਅਤੇ ਹਰੇਕ ਵਿਅਕਤੀ ਲਈ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਦਾਨ ਕਰਨ ਦੀ ਆਗਿਆ ਦੇਵੇਗਾ। ਖੈਰ, ਇਸ ਤੋਂ ਇਲਾਵਾ, ਸਟੋਰ ਦੇ ਕਰਮਚਾਰੀਆਂ ਦੇ ਵਿਵਹਾਰ ਦਾ ਖੁਦ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ ਸੰਭਵ ਹੋਵੇਗਾ, ਟੀਮ ਵਿਚ ਮਾਹੌਲ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ, ਚੰਗਾ ਲੱਗਦਾ ਹੈ!

ਅਸੀਂ ਆਪਣੇ ਹੱਲ ਲਈ ਲੋੜਾਂ ਤਿਆਰ ਕਰਦੇ ਹਾਂ:

• ਟੀਚੇ ਦਾ ਜੰਤਰ ਦਾ ਛੋਟਾ ਆਕਾਰ
• ਰੀਅਲ ਟਾਈਮ ਓਪਰੇਸ਼ਨ
• ਘੱਟ ਕੀਮਤ
• ਆਸਾਨ ਮਾਪਯੋਗਤਾ

ਨਤੀਜੇ ਵਜੋਂ, ਅਸੀਂ Raspberry Pi 3 c ਨੂੰ ਟਾਰਗੇਟ ਡਿਵਾਈਸ ਵਜੋਂ ਚੁਣਦੇ ਹਾਂ Intel NCS 2.

ਇੱਥੇ NCS ਦੀ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਨੋਟ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ - ਇਹ ਮਿਆਰੀ CNN ਆਰਕੀਟੈਕਚਰ ਦੇ ਨਾਲ ਸਭ ਤੋਂ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ, ਪਰ ਜੇਕਰ ਤੁਹਾਨੂੰ ਇਸ 'ਤੇ ਕਸਟਮ ਲੇਅਰਾਂ ਦੇ ਨਾਲ ਇੱਕ ਮਾਡਲ ਚਲਾਉਣ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਘੱਟ-ਪੱਧਰ ਦੇ ਅਨੁਕੂਲਨ ਦੀ ਉਮੀਦ ਕਰੋ.

ਇੱਥੇ ਸਿਰਫ਼ ਇੱਕ ਛੋਟੀ ਜਿਹੀ ਚੀਜ਼ ਹੈ: ਤੁਹਾਨੂੰ ਇੱਕ ਮਾਈਕ੍ਰੋਫ਼ੋਨ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਇੱਕ ਨਿਯਮਤ USB ਮਾਈਕ੍ਰੋਫ਼ੋਨ ਅਜਿਹਾ ਕਰੇਗਾ, ਪਰ ਇਹ RPI ਦੇ ਨਾਲ ਵਧੀਆ ਨਹੀਂ ਲੱਗੇਗਾ। ਪਰ ਇੱਥੇ ਵੀ ਹੱਲ ਸ਼ਾਬਦਿਕ ਤੌਰ 'ਤੇ "ਨੇੜੇ ਹੀ ਪਿਆ ਹੈ." ਵੌਇਸ ਰਿਕਾਰਡ ਕਰਨ ਲਈ, ਅਸੀਂ ਕਿੱਟ ਤੋਂ ਵੌਇਸ ਬੋਨਟ ਬੋਰਡ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕਰਦੇ ਹਾਂ Google AIY ਵੌਇਸ ਕਿੱਟ, ਜਿਸ 'ਤੇ ਇੱਕ ਵਾਇਰਡ ਸਟੀਰੀਓ ਮਾਈਕ੍ਰੋਫੋਨ ਹੈ।

ਤੋਂ Raspbian ਡਾਊਨਲੋਡ ਕਰੋ AIY ਪ੍ਰੋਜੈਕਟ ਰਿਪੋਜ਼ਟਰੀ ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਫਲੈਸ਼ ਡਰਾਈਵ ਤੇ ਅੱਪਲੋਡ ਕਰੋ, ਜਾਂਚ ਕਰੋ ਕਿ ਮਾਈਕ੍ਰੋਫੋਨ ਹੇਠ ਦਿੱਤੀ ਕਮਾਂਡ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੰਮ ਕਰਦਾ ਹੈ (ਇਹ 5 ਸਕਿੰਟ ਲੰਬਾ ਆਡੀਓ ਰਿਕਾਰਡ ਕਰੇਗਾ ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਫਾਈਲ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕਰੇਗਾ):

arecord -d 5 -r 16000 test.wav

ਮੈਨੂੰ ਤੁਰੰਤ ਧਿਆਨ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਮਾਈਕ੍ਰੋਫੋਨ ਬਹੁਤ ਸੰਵੇਦਨਸ਼ੀਲ ਹੈ ਅਤੇ ਰੌਲਾ ਚੰਗੀ ਤਰ੍ਹਾਂ ਚੁੱਕਦਾ ਹੈ। ਇਸ ਨੂੰ ਠੀਕ ਕਰਨ ਲਈ, ਆਓ ਅਲਸਾਮਿਕਸਰ 'ਤੇ ਚੱਲੀਏ, ਕੈਪਚਰ ਡਿਵਾਈਸਾਂ ਦੀ ਚੋਣ ਕਰੀਏ ਅਤੇ ਇਨਪੁਟ ਸਿਗਨਲ ਪੱਧਰ ਨੂੰ 50-60% ਤੱਕ ਘਟਾਓ।

ਅਸੀਂ ਇੱਕ ਫਾਈਲ ਨਾਲ ਸਰੀਰ ਨੂੰ ਸੰਸ਼ੋਧਿਤ ਕਰਦੇ ਹਾਂ ਅਤੇ ਹਰ ਚੀਜ਼ ਫਿੱਟ ਹੋ ਜਾਂਦੀ ਹੈ, ਤੁਸੀਂ ਇਸਨੂੰ ਇੱਕ ਲਿਡ ਨਾਲ ਬੰਦ ਵੀ ਕਰ ਸਕਦੇ ਹੋ

ਇੱਕ ਸੂਚਕ ਬਟਨ ਸ਼ਾਮਲ ਕਰਨਾ

AIY ਵੌਇਸ ਕਿੱਟ ਨੂੰ ਵੱਖ ਕਰਦੇ ਹੋਏ, ਸਾਨੂੰ ਯਾਦ ਹੈ ਕਿ ਇੱਥੇ ਇੱਕ RGB ਬਟਨ ਹੈ, ਜਿਸਦੀ ਬੈਕਲਾਈਟ ਨੂੰ ਸੌਫਟਵੇਅਰ ਦੁਆਰਾ ਨਿਯੰਤਰਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਅਸੀਂ "Google AIY Led" ਦੀ ਖੋਜ ਕਰਦੇ ਹਾਂ ਅਤੇ ਦਸਤਾਵੇਜ਼ ਲੱਭਦੇ ਹਾਂ: https://aiyprojects.readthedocs.io/en/latest/aiy.leds.html
ਕਿਉਂ ਨਾ ਇਸ ਬਟਨ ਦੀ ਵਰਤੋਂ ਮਾਨਤਾ ਪ੍ਰਾਪਤ ਭਾਵਨਾ ਨੂੰ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਨ ਲਈ ਕਰੋ, ਸਾਡੇ ਕੋਲ ਸਿਰਫ 7 ਕਲਾਸਾਂ ਹਨ, ਅਤੇ ਬਟਨ ਦੇ 8 ਰੰਗ ਹਨ, ਬਸ ਕਾਫ਼ੀ!

ਅਸੀਂ GPIO ਰਾਹੀਂ ਵੌਇਸ ਬੋਨਟ ਨਾਲ ਬਟਨ ਨੂੰ ਕਨੈਕਟ ਕਰਦੇ ਹਾਂ, ਲੋੜੀਂਦੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਨੂੰ ਲੋਡ ਕਰਦੇ ਹਾਂ (ਉਹ ਪਹਿਲਾਂ ਹੀ AIY ਪ੍ਰੋਜੈਕਟਾਂ ਤੋਂ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਕਿੱਟ ਵਿੱਚ ਸਥਾਪਿਤ ਹਨ)

from aiy.leds import Leds, Color
from aiy.leds import RgbLeds

ਆਉ ਇੱਕ ਡਿਕਟ ਤਿਆਰ ਕਰੀਏ ਜਿਸ ਵਿੱਚ ਹਰੇਕ ਭਾਵਨਾ ਦਾ ਇੱਕ ਆਰਜੀਬੀ ਟੂਪਲ ਦੇ ਰੂਪ ਵਿੱਚ ਇੱਕ ਅਨੁਸਾਰੀ ਰੰਗ ਹੋਵੇਗਾ ਅਤੇ ਕਲਾਸ aiy.leds.Leds ਦੀ ਇੱਕ ਵਸਤੂ ਹੋਵੇਗੀ, ਜਿਸ ਦੁਆਰਾ ਅਸੀਂ ਰੰਗ ਨੂੰ ਅਪਡੇਟ ਕਰਾਂਗੇ:

led_dict = {'neutral': (255, 255, 255), 'happy': (0, 255, 0), 'sad': (0, 255, 255), 'angry': (255, 0, 0), 'fearful': (0, 0, 0), 'disgusted':  (255, 0, 255), 'surprised':  (255, 255, 0)} 
leds = Leds()

ਅਤੇ ਅੰਤ ਵਿੱਚ, ਇੱਕ ਭਾਵਨਾ ਦੀ ਹਰੇਕ ਨਵੀਂ ਭਵਿੱਖਬਾਣੀ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਬਟਨ ਦੇ ਰੰਗ ਨੂੰ ਇਸਦੇ ਅਨੁਸਾਰ (ਕੁੰਜੀ ਦੁਆਰਾ) ਅਪਡੇਟ ਕਰਾਂਗੇ.

leds.update(Leds.rgb_on(led_dict.get(classes[prediction])))

ਬਟਨ, ਸਾੜ!

ਆਵਾਜ਼ ਨਾਲ ਕੰਮ ਕਰਨਾ

ਅਸੀਂ ਮਾਈਕ੍ਰੋਫੋਨ ਤੋਂ ਸਟ੍ਰੀਮ ਨੂੰ ਕੈਪਚਰ ਕਰਨ ਲਈ ਪਾਈਡਿਓ ਦੀ ਵਰਤੋਂ ਕਰਾਂਗੇ ਅਤੇ ਰੌਲਾ ਫਿਲਟਰ ਕਰਨ ਅਤੇ ਆਵਾਜ਼ ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ webrtcvad ਦੀ ਵਰਤੋਂ ਕਰਾਂਗੇ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ ਇੱਕ ਕਤਾਰ ਬਣਾਵਾਂਗੇ ਜਿਸ ਵਿੱਚ ਅਸੀਂ ਅਸਿੰਕਰੋਨਸ ਤੌਰ 'ਤੇ ਆਵਾਜ਼ ਦੇ ਅੰਸ਼ਾਂ ਨੂੰ ਜੋੜ ਅਤੇ ਹਟਾਵਾਂਗੇ।

ਕਿਉਂਕਿ webrtcvad ਦੀ ਸਪਲਾਈ ਕੀਤੇ ਟੁਕੜੇ ਦੇ ਆਕਾਰ 'ਤੇ ਇੱਕ ਸੀਮਾ ਹੈ - ਇਹ 10/20/30ms ਦੇ ਬਰਾਬਰ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਭਾਵਨਾਵਾਂ ਨੂੰ ਪਛਾਣਨ ਲਈ ਮਾਡਲ ਦੀ ਸਿਖਲਾਈ (ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਬਾਅਦ ਵਿੱਚ ਸਿੱਖਾਂਗੇ) ਇੱਕ 48kHz ਡੇਟਾਸੈਟ 'ਤੇ ਕੀਤੀ ਗਈ ਸੀ, ਅਸੀਂ ਕਰਾਂਗੇ ਆਕਾਰ 48000×20ms/1000×1(ਮੋਨੋ)=960 ਬਾਈਟਸ ਦੇ ਹਿੱਸੇ ਕੈਪਚਰ ਕਰੋ। Webrtcvad ਇਹਨਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਹਿੱਸੇ ਲਈ True/False ਵਾਪਸ ਕਰੇਗਾ, ਜੋ ਕਿ ਹਿੱਸੇ ਵਿੱਚ ਵੋਟ ਦੀ ਮੌਜੂਦਗੀ ਜਾਂ ਗੈਰਹਾਜ਼ਰੀ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ।

ਆਓ ਹੇਠਾਂ ਦਿੱਤੇ ਤਰਕ ਨੂੰ ਲਾਗੂ ਕਰੀਏ:

• ਅਸੀਂ ਉਹਨਾਂ ਟੁਕੜਿਆਂ ਨੂੰ ਸੂਚੀ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਾਂਗੇ ਜਿੱਥੇ ਵੋਟ ਹੈ; ਜੇਕਰ ਕੋਈ ਵੋਟ ਨਹੀਂ ਹੈ, ਤਾਂ ਅਸੀਂ ਖਾਲੀ ਟੁਕੜਿਆਂ ਦੇ ਕਾਊਂਟਰ ਨੂੰ ਵਧਾਵਾਂਗੇ।
• ਜੇਕਰ ਖਾਲੀ ਟੁਕੜਿਆਂ ਦਾ ਕਾਊਂਟਰ >=30 (600 ms) ਹੈ, ਤਾਂ ਅਸੀਂ ਇਕੱਠੇ ਕੀਤੇ ਭਾਗਾਂ ਦੀ ਸੂਚੀ ਦੇ ਆਕਾਰ ਨੂੰ ਦੇਖਦੇ ਹਾਂ; ਜੇਕਰ ਇਹ >250 ਹੈ, ਤਾਂ ਅਸੀਂ ਇਸਨੂੰ ਕਤਾਰ ਵਿੱਚ ਜੋੜਦੇ ਹਾਂ; ਜੇਕਰ ਨਹੀਂ, ਤਾਂ ਅਸੀਂ ਲੰਬਾਈ ਨੂੰ ਮੰਨਦੇ ਹਾਂ ਦਾ ਰਿਕਾਰਡ ਸਪੀਕਰ ਦੀ ਪਛਾਣ ਕਰਨ ਲਈ ਇਸ ਨੂੰ ਮਾਡਲ ਨੂੰ ਫੀਡ ਕਰਨ ਲਈ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ।
• ਜੇਕਰ ਖਾਲੀ ਟੁਕੜਿਆਂ ਦਾ ਕਾਊਂਟਰ ਅਜੇ ਵੀ <30 ਹੈ, ਅਤੇ ਇਕੱਤਰ ਕੀਤੇ ਭਾਗਾਂ ਦੀ ਸੂਚੀ ਦਾ ਆਕਾਰ 300 ਤੋਂ ਵੱਧ ਹੈ, ਤਾਂ ਅਸੀਂ ਵਧੇਰੇ ਸਹੀ ਪੂਰਵ ਅਨੁਮਾਨ ਲਈ ਕਤਾਰ ਵਿੱਚ ਟੁਕੜੇ ਨੂੰ ਜੋੜਾਂਗੇ। (ਕਿਉਂਕਿ ਭਾਵਨਾਵਾਂ ਸਮੇਂ ਦੇ ਨਾਲ ਬਦਲਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ)

 def to_queue(frames):
    d = np.frombuffer(b''.join(frames), dtype=np.int16)
    return d

framesQueue = queue.Queue()
def framesThreadBody():
    CHUNK = 960
    FORMAT = pyaudio.paInt16
    CHANNELS = 1
    RATE = 48000

    p = pyaudio.PyAudio()
    vad = webrtcvad.Vad()
    vad.set_mode(2)
    stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)
    false_counter = 0
    audio_frame = []
    while process:
        data = stream.read(CHUNK)
        if not vad.is_speech(data, RATE):
            false_counter += 1
            if false_counter >= 30:
                if len(audio_frame) > 250:              
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []
                    false_counter = 0

        if vad.is_speech(data, RATE):
            false_counter = 0
            audio_frame.append(data)
            if len(audio_frame) > 300:                
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []

ਇਹ ਜਨਤਕ ਡੋਮੇਨ ਵਿੱਚ ਪੂਰਵ-ਸਿਖਿਅਤ ਮਾਡਲਾਂ ਦੀ ਖੋਜ ਕਰਨ ਦਾ ਸਮਾਂ ਹੈ, github, Google ਤੇ ਜਾਓ, ਪਰ ਯਾਦ ਰੱਖੋ ਕਿ ਸਾਡੇ ਕੋਲ ਵਰਤੇ ਗਏ ਆਰਕੀਟੈਕਚਰ 'ਤੇ ਇੱਕ ਸੀਮਾ ਹੈ. ਇਹ ਇੱਕ ਬਹੁਤ ਮੁਸ਼ਕਲ ਹਿੱਸਾ ਹੈ, ਕਿਉਂਕਿ ਤੁਹਾਨੂੰ ਆਪਣੇ ਇਨਪੁਟ ਡੇਟਾ 'ਤੇ ਮਾਡਲਾਂ ਦੀ ਜਾਂਚ ਕਰਨੀ ਪੈਂਦੀ ਹੈ, ਅਤੇ ਇਸ ਤੋਂ ਇਲਾਵਾ, ਉਹਨਾਂ ਨੂੰ ਓਪਨਵੀਨੋ ਦੇ ਅੰਦਰੂਨੀ ਫਾਰਮੈਟ - IR (ਇੰਟਰਮੀਡੀਏਟ ਪ੍ਰਤੀਨਿਧਤਾ) ਵਿੱਚ ਬਦਲਣਾ ਹੈ। ਅਸੀਂ ਗਿਥਬ ਤੋਂ ਲਗਭਗ 5-7 ਵੱਖ-ਵੱਖ ਹੱਲਾਂ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ, ਅਤੇ ਜੇ ਭਾਵਨਾਵਾਂ ਨੂੰ ਪਛਾਣਨ ਲਈ ਮਾਡਲ ਤੁਰੰਤ ਕੰਮ ਕਰਦਾ ਹੈ, ਤਾਂ ਆਵਾਜ਼ ਦੀ ਪਛਾਣ ਦੇ ਨਾਲ ਸਾਨੂੰ ਲੰਮਾ ਸਮਾਂ ਉਡੀਕ ਕਰਨੀ ਪਵੇਗੀ - ਉਹ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਆਰਕੀਟੈਕਚਰ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ.

ਅਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਤ ਕਰਦੇ ਹਾਂ:

• ਆਵਾਜ਼ ਤੋਂ ਭਾਵਨਾਵਾਂ - https://github.com/alexmuhr/Voice_Emotion
  ਇਹ ਨਿਮਨਲਿਖਤ ਸਿਧਾਂਤ ਦੇ ਅਨੁਸਾਰ ਕੰਮ ਕਰਦਾ ਹੈ: ਆਡੀਓ ਨੂੰ ਇੱਕ ਖਾਸ ਆਕਾਰ ਦੇ ਅੰਸ਼ਾਂ ਵਿੱਚ ਕੱਟਿਆ ਜਾਂਦਾ ਹੈ, ਇਹਨਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਲਈ ਅਸੀਂ ਚੁਣਦੇ ਹਾਂ MFCC ਅਤੇ ਫਿਰ ਉਹਨਾਂ ਨੂੰ CNN ਨੂੰ ਇਨਪੁਟ ਵਜੋਂ ਜਮ੍ਹਾਂ ਕਰੋ
• ਆਵਾਜ਼ ਦੀ ਪਛਾਣ - https://github.com/linhdvu14/vggvox-speaker-identification
  ਇੱਥੇ, MFCC ਦੀ ਬਜਾਏ, ਅਸੀਂ ਇੱਕ ਸਪੈਕਟ੍ਰੋਗ੍ਰਾਮ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਾਂ, FFT ਤੋਂ ਬਾਅਦ ਅਸੀਂ CNN ਨੂੰ ਸਿਗਨਲ ਫੀਡ ਕਰਦੇ ਹਾਂ, ਜਿੱਥੇ ਆਉਟਪੁੱਟ 'ਤੇ ਸਾਨੂੰ ਆਵਾਜ਼ ਦੀ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਮਿਲਦੀ ਹੈ।

ਅੱਗੇ ਅਸੀਂ ਸਿਧਾਂਤ ਨਾਲ ਸ਼ੁਰੂ ਕਰਦੇ ਹੋਏ ਮਾਡਲਾਂ ਨੂੰ ਬਦਲਣ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗੇ। OpenVINO ਵਿੱਚ ਕਈ ਮੋਡੀਊਲ ਸ਼ਾਮਲ ਹਨ:

• ਮਾਡਲ ਚਿੜੀਆਘਰ ਖੋਲ੍ਹੋ, ਉਹ ਮਾਡਲ ਜਿਨ੍ਹਾਂ ਤੋਂ ਤੁਹਾਡੇ ਉਤਪਾਦ ਵਿੱਚ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ
• ਮਾਡਲ ਆਪਟੀਮਜ਼ਰ, ਜਿਸਦਾ ਧੰਨਵਾਦ ਤੁਸੀਂ ਵੱਖ-ਵੱਖ ਫਰੇਮਵਰਕ ਫਾਰਮੈਟਾਂ (ਟੈਨਸਰਫਲੋ, ਓਐਨਐਨਐਕਸ ਆਦਿ) ਤੋਂ ਇੱਕ ਮਾਡਲ ਨੂੰ ਇੰਟਰਮੀਡੀਏਟ ਪ੍ਰਤੀਨਿਧਤਾ ਫਾਰਮੈਟ ਵਿੱਚ ਬਦਲ ਸਕਦੇ ਹੋ, ਜਿਸ ਨਾਲ ਅਸੀਂ ਅੱਗੇ ਕੰਮ ਕਰਾਂਗੇ।
• ਇਨਫਰੈਂਸ ਇੰਜਣ ਤੁਹਾਨੂੰ ਇੰਟੇਲ ਪ੍ਰੋਸੈਸਰਾਂ, ਅਣਗਿਣਤ ਚਿਪਸ ਅਤੇ ਨਿਊਰਲ ਕੰਪਿਊਟ ਸਟਿਕ ਐਕਸਲੇਟਰਾਂ 'ਤੇ IR ਫਾਰਮੈਟ ਵਿੱਚ ਮਾਡਲ ਚਲਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
• ਓਪਨਸੀਵੀ ਦਾ ਸਭ ਤੋਂ ਕੁਸ਼ਲ ਸੰਸਕਰਣ (ਇੰਫਰੈਂਸ ਇੰਜਨ ਸਹਾਇਤਾ ਦੇ ਨਾਲ)
  IR ਫਾਰਮੈਟ ਵਿੱਚ ਹਰੇਕ ਮਾਡਲ ਨੂੰ ਦੋ ਫਾਈਲਾਂ ਦੁਆਰਾ ਦਰਸਾਇਆ ਗਿਆ ਹੈ: .xml ਅਤੇ .bin.
  ਮਾਡਲਾਂ ਨੂੰ ਹੇਠ ਲਿਖੇ ਅਨੁਸਾਰ ਮਾਡਲ ਆਪਟੀਮਾਈਜ਼ਰ ਰਾਹੀਂ IR ਫਾਰਮੈਟ ਵਿੱਚ ਬਦਲਿਆ ਜਾਂਦਾ ਹੈ:

  python /opt/intel/openvino/deployment_tools/model_optimizer/mo_tf.py --input_model speaker.hdf5.pb --data_type=FP16 --input_shape [1,512,1000,1]

  --data_type ਤੁਹਾਨੂੰ ਡਾਟਾ ਫਾਰਮੈਟ ਚੁਣਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜਿਸ ਨਾਲ ਮਾਡਲ ਕੰਮ ਕਰੇਗਾ। FP32, FP16, INT8 ਸਮਰਥਿਤ ਹਨ। ਸਰਵੋਤਮ ਡੇਟਾ ਕਿਸਮ ਦੀ ਚੋਣ ਕਰਨਾ ਇੱਕ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਹੁਲਾਰਾ ਦੇ ਸਕਦਾ ਹੈ।
  --input_shape ਇੰਪੁੱਟ ਡੇਟਾ ਦੇ ਮਾਪ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਇਸ ਨੂੰ ਗਤੀਸ਼ੀਲ ਤੌਰ 'ਤੇ ਬਦਲਣ ਦੀ ਯੋਗਤਾ C++ API ਵਿੱਚ ਮੌਜੂਦ ਜਾਪਦੀ ਹੈ, ਪਰ ਅਸੀਂ ਇਸ ਨੂੰ ਬਹੁਤ ਦੂਰ ਨਹੀਂ ਖੋਦਿਆ ਅਤੇ ਇਸਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਮਾਡਲ ਲਈ ਫਿਕਸ ਕੀਤਾ ਹੈ।
  ਅੱਗੇ, ਆਓ ਪਹਿਲਾਂ ਤੋਂ ਹੀ ਪਰਿਵਰਤਿਤ ਮਾਡਲ ਨੂੰ IR ਫਾਰਮੈਟ ਵਿੱਚ DNN ਮੋਡੀਊਲ ਰਾਹੀਂ OpenCV ਵਿੱਚ ਲੋਡ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੀਏ ਅਤੇ ਇਸਨੂੰ ਅੱਗੇ ਭੇਜੀਏ।

  import cv2 as cv
  emotionsNet = cv.dnn.readNet('emotions_model.bin',
                            'emotions_model.xml')
  emotionsNet.setPreferableTarget(cv.dnn.DNN_TARGET_MYRIAD)

  ਇਸ ਕੇਸ ਵਿੱਚ ਆਖਰੀ ਲਾਈਨ ਤੁਹਾਨੂੰ ਨਿਊਰਲ ਕੰਪਿਊਟ ਸਟਿੱਕ ਲਈ ਗਣਨਾਵਾਂ ਨੂੰ ਰੀਡਾਇਰੈਕਟ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਪ੍ਰੋਸੈਸਰ 'ਤੇ ਮੂਲ ਗਣਨਾਵਾਂ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਪਰ ਰਾਸਬੇਰੀ ਪਾਈ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਇਹ ਕੰਮ ਨਹੀਂ ਕਰੇਗਾ, ਤੁਹਾਨੂੰ ਇੱਕ ਸਟਿੱਕ ਦੀ ਲੋੜ ਪਵੇਗੀ।

  ਅੱਗੇ, ਤਰਕ ਇਸ ਤਰ੍ਹਾਂ ਹੈ: ਅਸੀਂ ਆਪਣੇ ਆਡੀਓ ਨੂੰ ਇੱਕ ਖਾਸ ਆਕਾਰ ਦੀਆਂ ਵਿੰਡੋਜ਼ ਵਿੱਚ ਵੰਡਦੇ ਹਾਂ (ਸਾਡੇ ਲਈ ਇਹ 0.4 s ਹੈ), ਅਸੀਂ ਇਹਨਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਵਿੰਡੋ ਨੂੰ MFCC ਵਿੱਚ ਬਦਲਦੇ ਹਾਂ, ਜਿਸਨੂੰ ਅਸੀਂ ਫਿਰ ਗਰਿੱਡ ਵਿੱਚ ਫੀਡ ਕਰਦੇ ਹਾਂ:

  emotionsNet.setInput(MFCC_from_window)
  result = emotionsNet.forward()

  ਅੱਗੇ, ਆਓ ਸਾਰੀਆਂ ਵਿੰਡੋਜ਼ ਲਈ ਸਭ ਤੋਂ ਆਮ ਕਲਾਸ ਲੈਂਦੇ ਹਾਂ। ਇੱਕ ਸਧਾਰਨ ਹੱਲ ਹੈ, ਪਰ ਇੱਕ ਹੈਕਾਥਨ ਲਈ ਤੁਹਾਨੂੰ ਕੋਈ ਬਹੁਤ ਜ਼ਿਆਦਾ ਬੇਤੁਕੀ ਚੀਜ਼ ਨਾਲ ਆਉਣ ਦੀ ਜ਼ਰੂਰਤ ਨਹੀਂ ਹੈ, ਕੇਵਲ ਤਾਂ ਹੀ ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਸਮਾਂ ਹੋਵੇ। ਸਾਡੇ ਕੋਲ ਅਜੇ ਵੀ ਬਹੁਤ ਸਾਰਾ ਕੰਮ ਹੈ, ਇਸ ਲਈ ਆਓ ਅੱਗੇ ਵਧੀਏ - ਅਸੀਂ ਆਵਾਜ਼ ਦੀ ਪਛਾਣ ਨਾਲ ਨਜਿੱਠਾਂਗੇ। ਕਿਸੇ ਕਿਸਮ ਦਾ ਡੇਟਾਬੇਸ ਬਣਾਉਣਾ ਜ਼ਰੂਰੀ ਹੈ ਜਿਸ ਵਿੱਚ ਪਹਿਲਾਂ ਤੋਂ ਰਿਕਾਰਡ ਕੀਤੀਆਂ ਆਵਾਜ਼ਾਂ ਦੇ ਸਪੈਕਟਰੋਗ੍ਰਾਮ ਸਟੋਰ ਕੀਤੇ ਜਾਣਗੇ। ਕਿਉਂਕਿ ਥੋੜਾ ਸਮਾਂ ਬਚਿਆ ਹੈ, ਇਸ ਲਈ ਅਸੀਂ ਇਸ ਮੁੱਦੇ ਨੂੰ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਹੱਲ ਕਰਾਂਗੇ।

  ਅਰਥਾਤ, ਅਸੀਂ ਇੱਕ ਵੌਇਸ ਐਕਸਪਰਟ ਨੂੰ ਰਿਕਾਰਡ ਕਰਨ ਲਈ ਇੱਕ ਸਕ੍ਰਿਪਟ ਬਣਾਉਂਦੇ ਹਾਂ (ਇਹ ਉੱਪਰ ਦੱਸੇ ਅਨੁਸਾਰ ਹੀ ਕੰਮ ਕਰਦਾ ਹੈ, ਸਿਰਫ ਕੀਬੋਰਡ ਤੋਂ ਰੁਕਾਵਟ ਹੋਣ 'ਤੇ ਇਹ ਆਵਾਜ਼ ਨੂੰ ਇੱਕ ਫਾਈਲ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕਰੇਗਾ)।

  ਆਓ ਕੋਸ਼ਿਸ਼ ਕਰੀਏ:

  python3 voice_db/record_voice.py test.wav

  ਅਸੀਂ ਕਈ ਲੋਕਾਂ ਦੀਆਂ ਆਵਾਜ਼ਾਂ ਰਿਕਾਰਡ ਕਰਦੇ ਹਾਂ (ਸਾਡੇ ਕੇਸ ਵਿੱਚ, ਟੀਮ ਦੇ ਤਿੰਨ ਮੈਂਬਰ)
  ਅੱਗੇ, ਹਰੇਕ ਰਿਕਾਰਡ ਕੀਤੀ ਆਵਾਜ਼ ਲਈ ਅਸੀਂ ਇੱਕ ਤੇਜ਼ ਫੋਰੀਅਰ ਟ੍ਰਾਂਸਫਾਰਮ ਕਰਦੇ ਹਾਂ, ਇੱਕ ਸਪੈਕਟਰੋਗ੍ਰਾਮ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਾਂ ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਨਮਪੀ ਐਰੇ (.npy) ਦੇ ਰੂਪ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕਰਦੇ ਹਾਂ:

  for file in glob.glob("voice_db/*.wav"):
          spec = get_fft_spectrum(file)
          np.save(file[:-4] + '.npy', spec)

  ਫਾਈਲ ਵਿੱਚ ਹੋਰ ਵੇਰਵੇ create_base.py
  ਨਤੀਜੇ ਵਜੋਂ, ਜਦੋਂ ਅਸੀਂ ਮੁੱਖ ਸਕ੍ਰਿਪਟ ਚਲਾਉਂਦੇ ਹਾਂ, ਤਾਂ ਅਸੀਂ ਸ਼ੁਰੂ ਵਿੱਚ ਇਹਨਾਂ ਸਪੈਕਟਰੋਗ੍ਰਾਮਾਂ ਤੋਂ ਏਮਬੈਡਿੰਗ ਪ੍ਰਾਪਤ ਕਰਾਂਗੇ:

  for file in glob.glob("voice_db/*.npy"):
      spec = np.load(file)
      spec = spec.astype('float32')
      spec_reshaped = spec.reshape(1, 1, spec.shape[0], spec.shape[1])
      srNet.setInput(spec_reshaped)
      pred = srNet.forward()
      emb = np.squeeze(pred)

  ਧੁਨੀ ਵਾਲੇ ਹਿੱਸੇ ਤੋਂ ਏਮਬੈਡਿੰਗ ਪ੍ਰਾਪਤ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਡੇਟਾਬੇਸ ਦੀਆਂ ਸਾਰੀਆਂ ਆਵਾਜ਼ਾਂ (ਜਿੰਨੀ ਛੋਟੀ, ਜ਼ਿਆਦਾ ਸੰਭਾਵਨਾ ਹੈ) ਨੂੰ ਬੀਤਣ ਤੋਂ ਕੋਸਾਈਨ ਦੂਰੀ ਲੈ ਕੇ ਇਹ ਨਿਰਧਾਰਤ ਕਰਨ ਦੇ ਯੋਗ ਹੋਵਾਂਗੇ ਕਿ ਇਹ ਕਿਸ ਨਾਲ ਸਬੰਧਤ ਹੈ - ਡੈਮੋ ਲਈ ਅਸੀਂ ਥ੍ਰੈਸ਼ਹੋਲਡ ਸੈੱਟ ਕਰਦੇ ਹਾਂ 0.3 ਤੱਕ):

          dist_list = cdist(emb, enroll_embs, metric="cosine")
          distances = pd.DataFrame(dist_list, columns = df.speaker)

  ਅੰਤ ਵਿੱਚ, ਮੈਂ ਇਹ ਨੋਟ ਕਰਨਾ ਚਾਹਾਂਗਾ ਕਿ ਅਨੁਮਾਨ ਦੀ ਗਤੀ ਤੇਜ਼ ਸੀ ਅਤੇ ਇਸਨੇ 1-2 ਹੋਰ ਮਾਡਲਾਂ ਨੂੰ ਜੋੜਨਾ ਸੰਭਵ ਬਣਾਇਆ (ਇੱਕ ਨਮੂਨੇ ਲਈ 7 ਸਕਿੰਟ ਲੰਬੇ ਇਸ ਨੂੰ ਅਨੁਮਾਨ ਲਈ 2.5 ਲੱਗ ਗਿਆ)। ਸਾਡੇ ਕੋਲ ਹੁਣ ਨਵੇਂ ਮਾਡਲਾਂ ਨੂੰ ਜੋੜਨ ਦਾ ਸਮਾਂ ਨਹੀਂ ਸੀ ਅਤੇ ਵੈੱਬ ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਪ੍ਰੋਟੋਟਾਈਪ ਲਿਖਣ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕੀਤਾ ਗਿਆ ਸੀ।

  ਵੈੱਬ ਐਪਲੀਕੇਸ਼ਨ

  ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਨੁਕਤਾ: ਅਸੀਂ ਘਰ ਤੋਂ ਆਪਣੇ ਨਾਲ ਇੱਕ ਰਾਊਟਰ ਲੈ ਕੇ ਜਾਂਦੇ ਹਾਂ ਅਤੇ ਆਪਣਾ ਸਥਾਨਕ ਨੈਟਵਰਕ ਸੈਟ ਅਪ ਕਰਦੇ ਹਾਂ, ਇਹ ਡਿਵਾਈਸ ਅਤੇ ਲੈਪਟਾਪਾਂ ਨੂੰ ਨੈਟਵਰਕ ਤੇ ਕਨੈਕਟ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।

  ਬੈਕਐਂਡ ਸਾਹਮਣੇ ਅਤੇ ਰਾਸਬੇਰੀ ਪਾਈ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਅੰਤ-ਤੋਂ-ਅੰਤ ਸੁਨੇਹਾ ਚੈਨਲ ਹੈ, ਜੋ ਵੈਬਸਾਕੇਟ ਤਕਨਾਲੋਜੀ (http ਓਵਰ tcp ਪ੍ਰੋਟੋਕੋਲ) 'ਤੇ ਅਧਾਰਤ ਹੈ।

  ਪਹਿਲਾ ਪੜਾਅ ਰਸਬੇਰੀ ਤੋਂ ਪ੍ਰੋਸੈਸਡ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰਨਾ ਹੈ, ਯਾਨੀ ਜੇਸਨ ਵਿੱਚ ਪੈਕ ਕੀਤੇ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਵਾਲੇ, ਜੋ ਉਹਨਾਂ ਦੀ ਯਾਤਰਾ ਦੇ ਅੱਧੇ ਰਸਤੇ ਵਿੱਚ ਡੇਟਾਬੇਸ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕੀਤੇ ਜਾਂਦੇ ਹਨ ਤਾਂ ਜੋ ਮਿਆਦ ਲਈ ਉਪਭੋਗਤਾ ਦੇ ਭਾਵਨਾਤਮਕ ਪਿਛੋਕੜ ਬਾਰੇ ਅੰਕੜੇ ਤਿਆਰ ਕੀਤੇ ਜਾ ਸਕਣ। ਇਹ ਪੈਕੇਟ ਫਿਰ ਫਰੰਟਐਂਡ 'ਤੇ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ, ਜੋ ਗਾਹਕੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਅਤੇ ਵੈਬਸਾਕੇਟ ਐਂਡਪੁਆਇੰਟ ਤੋਂ ਪੈਕੇਟ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ। ਪੂਰਾ ਬੈਕਐਂਡ ਮਕੈਨਿਜ਼ਮ ਗੋਲੰਗ ਭਾਸ਼ਾ ਵਿੱਚ ਬਣਾਇਆ ਗਿਆ ਹੈ; ਇਹ ਇਸ ਲਈ ਚੁਣਿਆ ਗਿਆ ਸੀ ਕਿਉਂਕਿ ਇਹ ਅਸਿੰਕਰੋਨਸ ਕਾਰਜਾਂ ਲਈ ਢੁਕਵਾਂ ਹੈ, ਜੋ ਕਿ ਗੂਰੂਟੀਨ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸੰਭਾਲਦੇ ਹਨ।
  ਅੰਤਮ ਬਿੰਦੂ ਤੱਕ ਪਹੁੰਚ ਕਰਦੇ ਸਮੇਂ, ਉਪਭੋਗਤਾ ਰਜਿਸਟਰ ਹੁੰਦਾ ਹੈ ਅਤੇ ਢਾਂਚੇ ਵਿੱਚ ਦਾਖਲ ਹੁੰਦਾ ਹੈ, ਫਿਰ ਉਸਦਾ ਸੁਨੇਹਾ ਪ੍ਰਾਪਤ ਹੁੰਦਾ ਹੈ. ਉਪਭੋਗਤਾ ਅਤੇ ਸੰਦੇਸ਼ ਦੋਵੇਂ ਇੱਕ ਸਾਂਝੇ ਹੱਬ ਵਿੱਚ ਦਾਖਲ ਹੁੰਦੇ ਹਨ, ਜਿੱਥੋਂ ਸੁਨੇਹੇ ਪਹਿਲਾਂ ਹੀ ਅੱਗੇ ਭੇਜੇ ਜਾਂਦੇ ਹਨ (ਸਬਸਕ੍ਰਾਈਬਡ ਫਰੰਟ ਨੂੰ), ਅਤੇ ਜੇਕਰ ਉਪਭੋਗਤਾ ਕਨੈਕਸ਼ਨ ਬੰਦ ਕਰਦਾ ਹੈ (ਰੱਸਬੇਰੀ ਜਾਂ ਫਰੰਟ), ਤਾਂ ਉਸਦੀ ਗਾਹਕੀ ਰੱਦ ਕਰ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਉਸਨੂੰ ਇੱਥੋਂ ਹਟਾ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। ਹੱਬ.

  
  ਅਸੀਂ ਪਿੱਛੇ ਤੋਂ ਕੁਨੈਕਸ਼ਨ ਦੀ ਉਡੀਕ ਕਰ ਰਹੇ ਹਾਂ

  ਫਰੰਟ-ਐਂਡ ਵਿਕਾਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਅਤੇ ਸਰਲ ਬਣਾਉਣ ਲਈ ਰੀਐਕਟ ਲਾਇਬ੍ਰੇਰੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ JavaScript ਵਿੱਚ ਲਿਖਿਆ ਇੱਕ ਵੈਬ ਐਪਲੀਕੇਸ਼ਨ ਹੈ। ਇਸ ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਉਦੇਸ਼ ਬੈਕ-ਐਂਡ ਸਾਈਡ ਅਤੇ ਸਿੱਧੇ ਰਾਸਬੇਰੀ ਪਾਈ 'ਤੇ ਚੱਲ ਰਹੇ ਐਲਗੋਰਿਦਮ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪ੍ਰਾਪਤ ਕੀਤੇ ਡੇਟਾ ਦੀ ਕਲਪਨਾ ਕਰਨਾ ਹੈ। ਪੰਨੇ ਵਿੱਚ ਰੀਐਕਟ-ਰਾਊਟਰ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਲਾਗੂ ਕੀਤੀ ਗਈ ਸੈਕਸ਼ਨਲ ਰੂਟਿੰਗ ਹੈ, ਪਰ ਦਿਲਚਸਪੀ ਦਾ ਮੁੱਖ ਪੰਨਾ ਮੁੱਖ ਪੰਨਾ ਹੈ, ਜਿੱਥੇ WebSocket ਤਕਨਾਲੋਜੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਸਰਵਰ ਤੋਂ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਡੇਟਾ ਦੀ ਇੱਕ ਨਿਰੰਤਰ ਸਟ੍ਰੀਮ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। Raspberry Pi ਇੱਕ ਆਵਾਜ਼ ਦਾ ਪਤਾ ਲਗਾਉਂਦੀ ਹੈ, ਇਹ ਨਿਰਧਾਰਤ ਕਰਦੀ ਹੈ ਕਿ ਕੀ ਇਹ ਰਜਿਸਟਰਡ ਡੇਟਾਬੇਸ ਤੋਂ ਕਿਸੇ ਖਾਸ ਵਿਅਕਤੀ ਨਾਲ ਸਬੰਧਤ ਹੈ, ਅਤੇ ਗਾਹਕ ਨੂੰ ਇੱਕ ਸੰਭਾਵਨਾ ਸੂਚੀ ਭੇਜਦੀ ਹੈ। ਕਲਾਇੰਟ ਨਵੀਨਤਮ ਸੰਬੰਧਿਤ ਡੇਟਾ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਉਸ ਵਿਅਕਤੀ ਦਾ ਅਵਤਾਰ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਦਾ ਹੈ ਜਿਸ ਨੇ ਮਾਈਕ੍ਰੋਫੋਨ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਧ ਗੱਲ ਕੀਤੀ ਸੀ, ਅਤੇ ਨਾਲ ਹੀ ਉਹ ਭਾਵਨਾ ਜਿਸ ਨਾਲ ਉਹ ਸ਼ਬਦਾਂ ਦਾ ਉਚਾਰਨ ਕਰਦਾ ਹੈ।

  
  ਅੱਪਡੇਟ ਕੀਤੇ ਪੂਰਵ-ਅਨੁਮਾਨਾਂ ਵਾਲਾ ਹੋਮ ਪੇਜ

  ਸਿੱਟਾ

  ਯੋਜਨਾ ਅਨੁਸਾਰ ਹਰ ਚੀਜ਼ ਨੂੰ ਪੂਰਾ ਕਰਨਾ ਸੰਭਵ ਨਹੀਂ ਸੀ, ਸਾਡੇ ਕੋਲ ਸਮਾਂ ਨਹੀਂ ਸੀ, ਇਸ ਲਈ ਮੁੱਖ ਉਮੀਦ ਡੈਮੋ ਵਿੱਚ ਸੀ, ਕਿ ਸਭ ਕੁਝ ਕੰਮ ਕਰੇਗਾ। ਪੇਸ਼ਕਾਰੀ ਵਿੱਚ ਉਹਨਾਂ ਨੇ ਇਸ ਬਾਰੇ ਗੱਲ ਕੀਤੀ ਕਿ ਸਭ ਕੁਝ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਉਹਨਾਂ ਨੇ ਕਿਹੜੇ ਮਾਡਲ ਲਏ, ਉਹਨਾਂ ਨੂੰ ਕਿਹੜੀਆਂ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ। ਅਗਲਾ ਡੈਮੋ ਹਿੱਸਾ ਸੀ - ਮਾਹਰ ਬੇਤਰਤੀਬੇ ਕ੍ਰਮ ਵਿੱਚ ਕਮਰੇ ਦੇ ਦੁਆਲੇ ਘੁੰਮਦੇ ਸਨ ਅਤੇ ਕਾਰਜਸ਼ੀਲ ਪ੍ਰੋਟੋਟਾਈਪ ਨੂੰ ਵੇਖਣ ਲਈ ਹਰੇਕ ਟੀਮ ਨਾਲ ਸੰਪਰਕ ਕਰਦੇ ਸਨ। ਉਹਨਾਂ ਨੇ ਸਾਨੂੰ ਸਵਾਲ ਵੀ ਪੁੱਛੇ, ਸਾਰਿਆਂ ਨੇ ਆਪਣੇ ਹਿੱਸੇ ਦੇ ਜਵਾਬ ਦਿੱਤੇ, ਉਹਨਾਂ ਨੇ ਵੈੱਬ ਨੂੰ ਲੈਪਟਾਪ 'ਤੇ ਛੱਡ ਦਿੱਤਾ, ਅਤੇ ਸਭ ਕੁਝ ਅਸਲ ਵਿੱਚ ਉਮੀਦ ਅਨੁਸਾਰ ਕੰਮ ਕੀਤਾ।

  ਮੈਨੂੰ ਨੋਟ ਕਰਨ ਦਿਓ ਕਿ ਸਾਡੇ ਹੱਲ ਦੀ ਕੁੱਲ ਲਾਗਤ $150 ਸੀ:

  • ਰਸਬੇਰੀ ਪਾਈ 3 ~ $35
  • Google AIY ਵੌਇਸ ਬੋਨਟ (ਤੁਸੀਂ ਇੱਕ ਰੀਸਪੀਕਰ ਫੀਸ ਲੈ ਸਕਦੇ ਹੋ) ~ 15$
  • Intel NCS 2 ~ 100$

  ਸੁਧਾਰ ਕਿਵੇਂ ਕਰੀਏ:

  • ਕਲਾਇੰਟ ਤੋਂ ਰਜਿਸਟ੍ਰੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰੋ - ਬੇਤਰਤੀਬੇ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤੇ ਟੈਕਸਟ ਨੂੰ ਪੜ੍ਹਨ ਲਈ ਕਹੋ
  • ਕੁਝ ਹੋਰ ਮਾਡਲ ਸ਼ਾਮਲ ਕਰੋ: ਤੁਸੀਂ ਆਵਾਜ਼ ਦੁਆਰਾ ਲਿੰਗ ਅਤੇ ਉਮਰ ਦਾ ਪਤਾ ਲਗਾ ਸਕਦੇ ਹੋ
  • ਇੱਕੋ ਸਮੇਂ ਆਵਾਜ਼ਾਂ ਨੂੰ ਵੱਖ ਕਰੋ (ਡਾਇਰਾਇਜ਼ੇਸ਼ਨ)

  ਭੰਡਾਰ: https://github.com/vladimirwest/OpenEMO

  
  ਅਸੀਂ ਥੱਕ ਗਏ ਪਰ ਖੁਸ਼ ਹਾਂ

  ਅੰਤ ਵਿੱਚ, ਮੈਂ ਪ੍ਰਬੰਧਕਾਂ ਅਤੇ ਭਾਗੀਦਾਰਾਂ ਦਾ ਧੰਨਵਾਦ ਕਰਨਾ ਚਾਹਾਂਗਾ। ਦੂਜੀਆਂ ਟੀਮਾਂ ਦੇ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚੋਂ, ਅਸੀਂ ਨਿੱਜੀ ਤੌਰ 'ਤੇ ਮੁਫਤ ਪਾਰਕਿੰਗ ਸਥਾਨਾਂ ਦੀ ਨਿਗਰਾਨੀ ਲਈ ਹੱਲ ਪਸੰਦ ਕੀਤਾ। ਸਾਡੇ ਲਈ, ਇਹ ਉਤਪਾਦ ਅਤੇ ਵਿਕਾਸ ਵਿੱਚ ਡੁੱਬਣ ਦਾ ਇੱਕ ਬਹੁਤ ਵਧੀਆ ਅਨੁਭਵ ਸੀ। ਮੈਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਏਆਈ ਵਿਸ਼ਿਆਂ ਸਮੇਤ ਖੇਤਰਾਂ ਵਿੱਚ ਵੱਧ ਤੋਂ ਵੱਧ ਦਿਲਚਸਪ ਸਮਾਗਮ ਆਯੋਜਿਤ ਕੀਤੇ ਜਾਣਗੇ।

ਸਰੋਤ: www.habr.com