OpenVINO Hackathon: ການຮັບຮູ້ສຽງ ແລະຄວາມຮູ້ສຶກໃນ ​​Raspberry Pi

ວັນທີ 30 ພະຈິກ - 1 ເດືອນທັນວາໃນ Nizhny Novgorod ໄດ້ຈັດຂຶ້ນ OpenVINO hackathon. ຜູ້ເຂົ້າຮ່ວມໄດ້ຖືກຂໍໃຫ້ສ້າງຕົ້ນແບບຂອງການແກ້ໄຂຜະລິດຕະພັນໂດຍໃຊ້ຊຸດເຄື່ອງມື Intel OpenVINO. ຜູ້ຈັດຕັ້ງໄດ້ສະເຫນີບັນຊີລາຍຊື່ຂອງຫົວຂໍ້ໂດຍປະມານທີ່ສາມາດໄດ້ຮັບການຊີ້ນໍາໃນເວລາເລືອກວຽກ, ແຕ່ການຕັດສິນໃຈສຸດທ້າຍຍັງຄົງຢູ່ກັບທີມງານ. ນອກຈາກນັ້ນ, ການນໍາໃຊ້ແບບຈໍາລອງທີ່ບໍ່ໄດ້ລວມຢູ່ໃນຜະລິດຕະພັນໄດ້ຖືກຊຸກຍູ້.

ໃນບົດຄວາມນີ້ພວກເຮົາຈະບອກທ່ານກ່ຽວກັບວິທີທີ່ພວກເຮົາສ້າງຕົວແບບຂອງຜະລິດຕະພັນຂອງພວກເຮົາ, ເຊິ່ງໃນທີ່ສຸດພວກເຮົາໄດ້ຮັບອັນດັບທໍາອິດ.

ຫຼາຍກວ່າ 10 ທີມເຂົ້າຮ່ວມໃນ hackathon. ມັນດີທີ່ບາງສ່ວນຂອງພວກເຂົາມາຈາກພາກພື້ນອື່ນໆ. ສະຖານທີ່ສໍາລັບ hackathon ແມ່ນ "Kremlinsky on Pochain", ສະລັບສັບຊ້ອນ, ບ່ອນທີ່ຮູບຖ່າຍວັດຖຸບູຮານຂອງ Nizhny Novgorod ໄດ້ຖືກແຂວນໄວ້ພາຍໃນ, ໃນ entourage! (ຂ້າພະເຈົ້າຂໍເຕືອນທ່ານວ່າໃນເວລານີ້ຫ້ອງການສູນກາງຂອງ Intel ຕັ້ງຢູ່ໃນ Nizhny Novgorod). ຜູ້ເຂົ້າຮ່ວມໄດ້ຮັບເວລາ 26 ຊົ່ວໂມງເພື່ອຂຽນລະຫັດ, ແລະໃນທີ່ສຸດພວກເຂົາຕ້ອງນໍາສະເຫນີການແກ້ໄຂຂອງພວກເຂົາ. ປະໂຫຍດທີ່ແຍກຕ່າງຫາກແມ່ນການມີກອງປະຊຸມສາທິດເພື່ອໃຫ້ແນ່ໃຈວ່າທຸກຢ່າງທີ່ວາງແຜນໄວ້ໄດ້ຖືກປະຕິບັດຢ່າງແທ້ຈິງແລະບໍ່ຍັງຄົງເປັນແນວຄວາມຄິດໃນການນໍາສະເຫນີ. ສິນຄ້າ, ອາຫານຫວ່າງ, ອາຫານ, ທຸກຢ່າງກໍ່ມີຄືກັນ!

ນອກຈາກນັ້ນ, Intel ກໍ່ໄດ້ໃຫ້ກ້ອງຖ່າຍຮູບທາງເລືອກ, Raspberry PI, Neural Compute Stick 2.

ການເລືອກໜ້າວຽກ

ຫນຶ່ງໃນພາກສ່ວນທີ່ມີຄວາມຫຍຸ້ງຍາກທີ່ສຸດຂອງການກະກຽມສໍາລັບການ hackathon ຮູບແບບຟຣີແມ່ນການເລືອກສິ່ງທ້າທາຍ. ພວກເຮົາຕັດສິນໃຈທັນທີທັນໃດທີ່ຈະມາເຖິງກັບບາງສິ່ງບາງຢ່າງທີ່ຍັງບໍ່ທັນມີຢູ່ໃນຜະລິດຕະພັນ, ນັບຕັ້ງແຕ່ການປະກາດກ່າວວ່ານີ້ແມ່ນຍິນດີຕ້ອນຮັບຢ່າງສູງ.

ມີການວິເຄາະ ແບບຈໍາລອງ, ເຊິ່ງລວມຢູ່ໃນຜະລິດຕະພັນໃນການປ່ອຍປະຈຸບັນ, ພວກເຮົາມາສະຫລຸບວ່າສ່ວນໃຫຍ່ຂອງພວກເຂົາແກ້ໄຂບັນຫາການເບິ່ງເຫັນຄອມພິວເຕີຕ່າງໆ. ຍິ່ງໄປກວ່ານັ້ນ, ມັນເປັນການຍາກຫຼາຍທີ່ຈະມາກັບບັນຫາໃນພາກສະຫນາມຂອງວິໄສທັດຄອມພິວເຕີທີ່ບໍ່ສາມາດແກ້ໄຂໄດ້ໂດຍໃຊ້ OpenVINO, ແລະເຖິງແມ່ນວ່າສາມາດປະດິດໄດ້, ມັນເປັນການຍາກທີ່ຈະຊອກຫາແບບຈໍາລອງທາງສ່ວນຫນ້າຂອງການຝຶກອົບຮົມໃນສາທາລະນະ. ພວກເຮົາຕັດສິນໃຈຂຸດຄົ້ນໃນທິດທາງອື່ນ - ໄປສູ່ການປຸງແຕ່ງຄໍາເວົ້າແລະການວິເຄາະ. ຂໍ​ໃຫ້​ພິຈາລະນາ​ວຽກ​ທີ່​ໜ້າ​ສົນ​ໃຈ​ໃນ​ການ​ຮັບ​ຮູ້​ອາລົມ​ຈາກ​ຄຳ​ເວົ້າ. ມັນຕ້ອງເວົ້າວ່າ OpenVINO ມີຕົວແບບທີ່ກໍານົດຄວາມຮູ້ສຶກຂອງບຸກຄົນໂດຍອີງໃສ່ໃບຫນ້າຂອງເຂົາເຈົ້າ, ແຕ່:

• ໃນທາງທິດສະດີ, ມັນເປັນໄປໄດ້ທີ່ຈະສ້າງ algorithm ປະສົມປະສານທີ່ຈະເຮັດວຽກທັງສຽງແລະຮູບພາບ, ເຊິ່ງຄວນຈະເພີ່ມຄວາມຖືກຕ້ອງ.
• ກ້ອງຖ່າຍຮູບປົກກະຕິແລ້ວມີມຸມເບິ່ງແຄບ; ຕ້ອງມີກ້ອງຖ່າຍຮູບຫຼາຍກວ່າຫນຶ່ງເພື່ອກວມເອົາພື້ນທີ່ຂະຫນາດໃຫຍ່; ສຽງບໍ່ມີຂໍ້ຈໍາກັດດັ່ງກ່າວ.

ໃຫ້ພວກເຮົາພັດທະນາແນວຄວາມຄິດ: ໃຫ້ພວກເຮົາເອົາແນວຄວາມຄິດສໍາລັບພາກສ່ວນຂາຍຍ່ອຍເປັນພື້ນຖານ. ທ່ານສາມາດວັດແທກຄວາມພໍໃຈຂອງລູກຄ້າຢູ່ທີ່ຮ້ານຈ່າຍເງິນ. ຖ້າລູກຄ້າຄົນຫນຶ່ງບໍ່ພໍໃຈກັບການບໍລິການແລະເລີ່ມເພີ່ມສຽງຂອງພວກເຂົາ, ທ່ານສາມາດໂທຫາຜູ້ເບິ່ງແຍງລະບົບເພື່ອຂໍຄວາມຊ່ວຍເຫຼືອທັນທີ.
ໃນກໍລະນີນີ້, ພວກເຮົາຈໍາເປັນຕ້ອງເພີ່ມການຮັບຮູ້ສຽງຂອງມະນຸດ, ນີ້ຈະຊ່ວຍໃຫ້ພວກເຮົາຈໍາແນກພະນັກງານຮ້ານຈາກລູກຄ້າແລະສະຫນອງການວິເຄາະສໍາລັບແຕ່ລະຄົນ. ນອກຈາກນີ້, ຍັງສາມາດວິເຄາະພຶດຕິກໍາຂອງພະນັກງານຮ້ານເອງ, ປະເມີນບັນຍາກາດໃນທີມງານ, ສຽງດີ!

ພວກເຮົາສ້າງຄວາມຕ້ອງການສໍາລັບການແກ້ໄຂຂອງພວກເຮົາ:

• ຂະຫນາດນ້ອຍຂອງອຸປະກອນເປົ້າຫມາຍດັ່ງກ່າວ
• ການ​ດໍາ​ເນີນ​ງານ​ທີ່​ໃຊ້​ເວ​ລາ​ທີ່​ແທ້​ຈິງ​
• ລາ​ຄາ​ຕ​່​ໍ​າ
• ການ​ຂະ​ຫຍາຍ​ຕົວ​ງ່າຍ​ດາຍ​

ດັ່ງນັ້ນ, ພວກເຮົາເລືອກ Raspberry Pi 3 c ເປັນອຸປະກອນເປົ້າຫມາຍດັ່ງກ່າວ Intel NCS 2.

ໃນທີ່ນີ້ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະສັງເກດລັກສະນະທີ່ສໍາຄັນຫນຶ່ງຂອງ NCS - ມັນເຮັດວຽກທີ່ດີທີ່ສຸດກັບສະຖາປັດຕະຍະກໍາ CNN ມາດຕະຖານ, ແຕ່ຖ້າທ່ານຕ້ອງການໃຊ້ຕົວແບບທີ່ມີຊັ້ນທີ່ກໍາຫນົດເອງ, ຫຼັງຈາກນັ້ນຄາດຫວັງວ່າການເພີ່ມປະສິດທິພາບໃນລະດັບຕ່ໍາ.

ມີພຽງແຕ່ສິ່ງເລັກນ້ອຍທີ່ຕ້ອງເຮັດ: ທ່ານຈໍາເປັນຕ້ອງໄດ້ໄມໂຄໂຟນ. ໄມໂຄຣໂຟນ USB ປົກກະຕິຈະເຮັດໄດ້, ແຕ່ມັນຈະເບິ່ງບໍ່ດີຮ່ວມກັບ RPI. ແຕ່ເຖິງແມ່ນວ່າການແກ້ໄຂຢູ່ທີ່ນີ້ "ຢູ່ໃກ້ຄຽງ." ເພື່ອບັນທຶກສຽງ, ພວກເຮົາຕັດສິນໃຈໃຊ້ກະດານ Voice Bonnet ຈາກຊຸດ ຊຸດສຽງ Google AIY, ເຊິ່ງມີໄມໂຄຣໂຟນສະເຕີຣິໂອແບບມີສາຍ.

ດາວໂຫລດ Raspbian ຈາກ ໂຄງການ AIY repository ແລະອັບໂຫລດມັນໃສ່ flash drive, ທົດສອບວ່າໄມໂຄໂຟນເຮັດວຽກໂດຍໃຊ້ຄໍາສັ່ງຕໍ່ໄປນີ້ (ມັນຈະບັນທຶກສຽງຍາວ 5 ວິນາທີແລະບັນທຶກມັນໄວ້ໃນໄຟລ໌):

arecord -d 5 -r 16000 test.wav

ຂ້ອຍຄວນສັງເກດທັນທີວ່າໄມໂຄຣໂຟນມີຄວາມອ່ອນໄຫວຫຼາຍ ແລະເກັບສຽງລົບກວນໄດ້ດີ. ເພື່ອແກ້ໄຂນີ້, ໃຫ້ໄປທີ່ alsamixer, ເລືອກອຸປະກອນ Capture ແລະຫຼຸດລົງລະດັບສັນຍານເຂົ້າເປັນ 50-60%.

ພວກເຮົາດັດແປງຮ່າງກາຍດ້ວຍໄຟລ໌ແລະທຸກສິ່ງທຸກຢ່າງເຫມາະ, ທ່ານສາມາດປິດມັນດ້ວຍຝາປິດ

ເພີ່ມປຸ່ມຕົວຊີ້ວັດ

ໃນຂະນະທີ່ເອົາຊຸດສຽງ AIY ອອກຈາກກັນ, ພວກເຮົາຈື່ໄດ້ວ່າມີປຸ່ມ RGB, ເຊິ່ງສາມາດຄວບຄຸມໄດ້ໂດຍຊອບແວ. ພວກເຮົາຊອກຫາ “Google AIY Led” ແລະຊອກຫາເອກະສານ: https://aiyprojects.readthedocs.io/en/latest/aiy.leds.html
ເປັນຫຍັງບໍ່ໃຊ້ປຸ່ມນີ້ເພື່ອສະແດງຄວາມຮູ້ສຶກທີ່ຮັບຮູ້, ພວກເຮົາມີພຽງແຕ່ 7 ຊັ້ນ, ແລະປຸ່ມມີ 8 ສີ, ພຽງພໍ!

ພວກເຮົາເຊື່ອມຕໍ່ປຸ່ມຜ່ານ GPIO ກັບ Voice Bonnet, ໂຫຼດຫ້ອງສະຫມຸດທີ່ຈໍາເປັນ (ພວກມັນໄດ້ຖືກຕິດຕັ້ງຢູ່ໃນຊຸດການແຈກຢາຍຈາກໂຄງການ AIY ແລ້ວ)

from aiy.leds import Leds, Color
from aiy.leds import RgbLeds

ໃຫ້ສ້າງ dict ທີ່ແຕ່ລະອາລົມຈະມີສີທີ່ສອດຄ້ອງກັນໃນຮູບແບບຂອງ RGB Tuple ແລະວັດຖຸຂອງ class aiy.leds.Leds, ໂດຍຜ່ານນັ້ນພວກເຮົາຈະປັບປຸງສີ:

led_dict = {'neutral': (255, 255, 255), 'happy': (0, 255, 0), 'sad': (0, 255, 255), 'angry': (255, 0, 0), 'fearful': (0, 0, 0), 'disgusted':  (255, 0, 255), 'surprised':  (255, 255, 0)} 
leds = Leds()

ແລະສຸດທ້າຍ, ຫຼັງຈາກແຕ່ລະການຄາດຄະເນໃຫມ່ຂອງຄວາມຮູ້ສຶກ, ພວກເຮົາຈະປັບປຸງສີຂອງປຸ່ມທີ່ສອດຄ່ອງກັບມັນ (ໂດຍທີ່ສໍາຄັນ).

leds.update(Leds.rgb_on(led_dict.get(classes[prediction])))

ປຸ່ມ, ໄຫມ້!

ເຮັດວຽກກັບສຽງ

ພວກເຮົາຈະໃຊ້ pyaudio ເພື່ອບັນທຶກກະແສຈາກໄມໂຄຣໂຟນ ແລະ webrtcvad ເພື່ອກັ່ນຕອງສຽງລົບກວນ ແລະກວດຫາສຽງ. ນອກຈາກນັ້ນ, ພວກເຮົາຈະສ້າງຄິວທີ່ພວກເຮົາຈະເພີ່ມ ແລະລຶບຂໍ້ຄວາມສຽງອອກແບບບໍ່ກົງກັນ.

ເນື່ອງຈາກ webrtcvad ມີຂໍ້ຈໍາກັດກ່ຽວກັບຂະຫນາດຂອງຊິ້ນສ່ວນທີ່ສະຫນອງ - ມັນຕ້ອງເທົ່າກັບ 10/20/30ms, ແລະການຝຶກອົບຮົມຂອງຕົວແບບສໍາລັບການຮັບຮູ້ຄວາມຮູ້ສຶກ (ດັ່ງທີ່ພວກເຮົາຈະຮຽນຮູ້ຕໍ່ມາ) ໄດ້ດໍາເນີນຢູ່ໃນຊຸດຂໍ້ມູນ 48kHz, ພວກເຮົາຈະ ບັນທຶກຊິ້ນສ່ວນຂະໜາດ 48000×20ms/1000×1(ໂມໂນ)=960 bytes. Webrtcvad ຈະສົ່ງຄືນ True/False ສໍາລັບແຕ່ລະ chunks ເຫຼົ່ານີ້, ເຊິ່ງສອດຄ່ອງກັບການມີຫຼືບໍ່ມີຄະແນນສຽງໃນ chunk.

ໃຫ້ເຮົາປະຕິບັດເຫດຜົນຕໍ່ໄປນີ້:

• ພວກ​ເຮົາ​ຈະ​ເພີ່ມ​ໃນ​ບັນ​ຊີ​ລາຍ​ຊື່ chunks ທີ່​ມີ​ການ​ລົງ​ຄະ​ແນນ​ສຽງ; ຖ້າ​ຫາກ​ວ່າ​ບໍ່​ມີ​ການ​ລົງ​ຄະ​ແນນ​ສຽງ, ພວກ​ເຮົາ​ຈະ​ເພີ່ມ​ການ​ນັບ​ຂອງ chunks ເປົ່າ.
• ຖ້າຕົວນັບຂອງ chunks ຫວ່າງເປົ່າແມ່ນ >=30 (600 ms), ຫຼັງຈາກນັ້ນພວກເຮົາເບິ່ງຂະຫນາດຂອງບັນຊີລາຍຊື່ຂອງ chunks ສະສົມ; ຖ້າຫາກວ່າມັນແມ່ນ> 250, ຫຼັງຈາກນັ້ນພວກເຮົາເພີ່ມມັນເຂົ້າໄປໃນແຖວ; ຖ້າບໍ່ແມ່ນ, ພວກເຮົາພິຈາລະນາວ່າຄວາມຍາວ. ຂອງບັນທຶກບໍ່ພຽງພໍທີ່ຈະໃຫ້ມັນເຂົ້າໄປໃນຕົວແບບເພື່ອກໍານົດລໍາໂພງ.
• ຖ້າຕົວນັບຂອງຊິ້ນສ່ວນເປົ່າແມ່ນຍັງ <30, ແລະຂະໜາດຂອງລາຍການຂອງຊິ້ນທີ່ສະສົມເກີນ 300, ພວກເຮົາຈະເພີ່ມຊິ້ນສ່ວນໃສ່ແຖວເພື່ອການຄາດເດົາທີ່ຖືກຕ້ອງກວ່າ. (ເນື່ອງ​ຈາກ​ວ່າ​ອາ​ລົມ​ມັກ​ຈະ​ມີ​ການ​ປ່ຽນ​ແປງ​ໃນ​ໄລ​ຍະ​ເວ​ລາ​)

 def to_queue(frames):
    d = np.frombuffer(b''.join(frames), dtype=np.int16)
    return d

framesQueue = queue.Queue()
def framesThreadBody():
    CHUNK = 960
    FORMAT = pyaudio.paInt16
    CHANNELS = 1
    RATE = 48000

    p = pyaudio.PyAudio()
    vad = webrtcvad.Vad()
    vad.set_mode(2)
    stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)
    false_counter = 0
    audio_frame = []
    while process:
        data = stream.read(CHUNK)
        if not vad.is_speech(data, RATE):
            false_counter += 1
            if false_counter >= 30:
                if len(audio_frame) > 250:              
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []
                    false_counter = 0

        if vad.is_speech(data, RATE):
            false_counter = 0
            audio_frame.append(data)
            if len(audio_frame) > 300:                
                    framesQueue.put(to_queue(audio_frame,timestamp_start))
                    audio_frame = []

ມັນເປັນເວລາທີ່ຈະຊອກຫາແບບຈໍາລອງທາງສ່ວນຫນ້າຂອງການຝຶກອົບຮົມໃນສາທາລະນະ, ໄປຫາ github, Google, ແຕ່ຈື່ໄວ້ວ່າພວກເຮົາມີຂໍ້ຈໍາກັດກ່ຽວກັບສະຖາປັດຕະຍະກໍາທີ່ໃຊ້. ນີ້ແມ່ນສ່ວນຫນຶ່ງທີ່ມີຄວາມຫຍຸ້ງຍາກຫຼາຍ, ເພາະວ່າທ່ານຕ້ອງທົດສອບແບບຈໍາລອງໃນຂໍ້ມູນການປ້ອນຂໍ້ມູນຂອງທ່ານ, ແລະນອກຈາກນັ້ນ, ປ່ຽນເປັນຮູບແບບພາຍໃນຂອງ OpenVINO - IR (Intermediate Representation). ພວກເຮົາໄດ້ພະຍາຍາມປະມານ 5-7 ວິທີແກ້ໄຂທີ່ແຕກຕ່າງກັນຈາກ github, ແລະຖ້າຕົວແບບສໍາລັບການຮັບຮູ້ຄວາມຮູ້ສຶກເຮັດວຽກທັນທີ, ຫຼັງຈາກນັ້ນດ້ວຍການຮັບຮູ້ສຽງພວກເຮົາຕ້ອງລໍຖ້າດົນກວ່າ - ພວກເຂົາໃຊ້ສະຖາປັດຕະຍະກໍາທີ່ສັບສົນຫຼາຍ.

ພວກເຮົາສຸມໃສ່ສິ່ງຕໍ່ໄປນີ້:

• ຄວາມຮູ້ສຶກຈາກສຽງ - https://github.com/alexmuhr/Voice_Emotion
  ມັນເຮັດວຽກຕາມຫຼັກການດັ່ງຕໍ່ໄປນີ້: ສຽງຖືກຕັດເຂົ້າໄປໃນ passages ຂອງຂະຫນາດທີ່ແນ່ນອນ, ສໍາລັບແຕ່ລະ passages ເຫຼົ່ານີ້ພວກເຮົາເລືອກ MFCC ແລະຫຼັງຈາກນັ້ນສົ່ງໃຫ້ເຂົາເຈົ້າເປັນການປ້ອນກັບ CNN
• ການ​ຮັບ​ຮູ້​ສຽງ - https://github.com/linhdvu14/vggvox-speaker-identification
  ທີ່ນີ້, ແທນທີ່ຈະເປັນ MFCC, ພວກເຮົາເຮັດວຽກກັບ spectrogram, ຫຼັງຈາກ FFT ພວກເຮົາອາຫານສັນຍານກັບ CNN, ບ່ອນທີ່ຜົນຜະລິດພວກເຮົາໄດ້ຮັບການເປັນຕົວແທນ vector ຂອງສຽງ.

ຕໍ່ໄປພວກເຮົາຈະສົນທະນາກ່ຽວກັບການແປງຕົວແບບ, ເລີ່ມຕົ້ນດ້ວຍທິດສະດີ. OpenVINO ປະກອບມີຫຼາຍໂມດູນ:

• Open Model Zoo, ແບບຈໍາລອງທີ່ສາມາດນໍາໃຊ້ແລະລວມຢູ່ໃນຜະລິດຕະພັນຂອງທ່ານ
• Model Optimzer, ຂອບໃຈທີ່ທ່ານສາມາດປ່ຽນຕົວແບບຈາກຮູບແບບກອບຕ່າງໆ (Tensorflow, ONNX ແລະອື່ນໆ) ເຂົ້າໄປໃນຮູບແບບການເປັນຕົວແທນລະດັບປານກາງ, ເຊິ່ງພວກເຮົາຈະເຮັດວຽກຕື່ມອີກ.
• Inference Engine ຊ່ວຍໃຫ້ທ່ານສາມາດເອີ້ນໃຊ້ແບບຈໍາລອງໃນຮູບແບບ IR ໃນໂປເຊດເຊີ Intel, ຊິບ Myriad ແລະ Neural Compute Stick accelerators
• ລຸ້ນ OpenCV ທີ່​ມີ​ປະ​ສິດ​ທິ​ພາບ​ທີ່​ສຸດ (ມີ​ສະ​ຫນັບ​ສະ​ຫນູນ Inference Engine​)
  ແຕ່ລະຮູບແບບໃນຮູບແບບ IR ຖືກອະທິບາຍໂດຍສອງໄຟລ໌: .xml ແລະ .bin.
  ໂມເດວຖືກປ່ຽນເປັນຮູບແບບ IR ຜ່ານ Model Optimizer ດັ່ງຕໍ່ໄປນີ້:

  python /opt/intel/openvino/deployment_tools/model_optimizer/mo_tf.py --input_model speaker.hdf5.pb --data_type=FP16 --input_shape [1,512,1000,1]

  --data_type ອະນຸຍາດໃຫ້ທ່ານເລືອກຮູບແບບຂໍ້ມູນທີ່ຮູບແບບຈະເຮັດວຽກ. FP32, FP16, INT8 ໄດ້ຮັບການສະຫນັບສະຫນູນ. ການເລືອກປະເພດຂໍ້ມູນທີ່ດີທີ່ສຸດສາມາດເພີ່ມປະສິດທິພາບທີ່ດີໄດ້.
  --input_shape ຊີ້ບອກຂະໜາດຂອງຂໍ້ມູນການປ້ອນຂໍ້ມູນ. ຄວາມສາມາດໃນການປ່ຽນແປງແບບເຄື່ອນໄຫວເບິ່ງຄືວ່າມີຢູ່ໃນ C ++ API, ແຕ່ພວກເຮົາບໍ່ໄດ້ຂຸດຄົ້ນມັນໄກແລະພຽງແຕ່ແກ້ໄຂມັນສໍາລັບຫນຶ່ງໃນຕົວແບບ.
  ຕໍ່ໄປ, ໃຫ້ພະຍາຍາມໂຫລດຮູບແບບທີ່ປ່ຽນແລ້ວໃນຮູບແບບ IR ຜ່ານໂມດູນ DNN ເຂົ້າໄປໃນ OpenCV ແລະສົ່ງຕໍ່ມັນ.

  import cv2 as cv
  emotionsNet = cv.dnn.readNet('emotions_model.bin',
                            'emotions_model.xml')
  emotionsNet.setPreferableTarget(cv.dnn.DNN_TARGET_MYRIAD)

  ເສັ້ນສຸດທ້າຍໃນກໍລະນີນີ້ຊ່ວຍໃຫ້ທ່ານສາມາດປ່ຽນເສັ້ນທາງການຄິດໄລ່ໄປຫາ Neural Compute Stick, ການຄິດໄລ່ພື້ນຖານແມ່ນດໍາເນີນຢູ່ໃນໂປເຊດເຊີ, ແຕ່ໃນກໍລະນີຂອງ Raspberry Pi ນີ້ຈະບໍ່ເຮັດວຽກ, ທ່ານຈະຕ້ອງໃຊ້ໄມ້.

  ຕໍ່ໄປ, ເຫດຜົນແມ່ນດັ່ງນີ້: ພວກເຮົາແບ່ງສຽງຂອງພວກເຮົາເຂົ້າໄປໃນປ່ອງຢ້ຽມທີ່ມີຂະຫນາດທີ່ແນ່ນອນ (ສໍາລັບພວກເຮົາມັນແມ່ນ 0.4 s), ພວກເຮົາປ່ຽນແຕ່ລະປ່ອງຢ້ຽມເຫຼົ່ານີ້ເຂົ້າໄປໃນ MFCC, ເຊິ່ງພວກເຮົາສົ່ງກັບຕາຂ່າຍໄຟຟ້າ:

  emotionsNet.setInput(MFCC_from_window)
  result = emotionsNet.forward()

  ຕໍ່ໄປ, ໃຫ້ເອົາຫ້ອງຮຽນທົ່ວໄປທີ່ສຸດສໍາລັບປ່ອງຢ້ຽມທັງຫມົດ. ການແກ້ໄຂງ່າຍໆ, ແຕ່ສໍາລັບ hackathon ທ່ານບໍ່ຈໍາເປັນຕ້ອງມີບາງສິ່ງບາງຢ່າງທີ່ບໍ່ຫນ້າເຊື່ອເກີນໄປ, ພຽງແຕ່ຖ້າທ່ານມີເວລາ. ພວກເຮົາຍັງມີວຽກຫຼາຍຢ່າງທີ່ຕ້ອງເຮັດ, ສະນັ້ນໃຫ້ກ້າວຕໍ່ໄປ - ພວກເຮົາຈະຈັດການກັບການຮັບຮູ້ສຽງ. ມັນເປັນສິ່ງຈໍາເປັນທີ່ຈະສ້າງບາງປະເພດຂອງຖານຂໍ້ມູນທີ່ spectrograms ຂອງສຽງທີ່ບັນທຶກໄວ້ກ່ອນຈະຖືກເກັບໄວ້. ເນື່ອງຈາກມີເວລາເຫຼືອໜ້ອຍ, ພວກເຮົາຈະແກ້ໄຂບັນຫານີ້ໃຫ້ດີທີ່ສຸດ.

  ຄື, ພວກເຮົາສ້າງ script ສໍາລັບການບັນທຶກສຽງ excerpt (ມັນເຮັດວຽກໃນລັກສະນະດຽວກັນກັບອະທິບາຍຂ້າງເທິງນີ້, ພຽງແຕ່ໃນເວລາທີ່ interrupted ຈາກແປ້ນພິມມັນຈະບັນທຶກສຽງເປັນໄຟລ໌).

  ມາລອງເບິ່ງ:

  python3 voice_db/record_voice.py test.wav

  ພວກເຮົາບັນທຶກສຽງຂອງຫຼາຍໆຄົນ (ໃນກໍລະນີຂອງພວກເຮົາ, ສະມາຊິກສາມຄົນ)
  ຕໍ່ໄປ, ສໍາລັບແຕ່ລະສຽງທີ່ບັນທຶກໄວ້, ພວກເຮົາປະຕິບັດການຫັນປ່ຽນສີ່ຢ່າງໄວ, ໄດ້ຮັບ spectrogram ແລະບັນທຶກມັນເປັນ array numpy (.npy):

  for file in glob.glob("voice_db/*.wav"):
          spec = get_fft_spectrum(file)
          np.save(file[:-4] + '.npy', spec)

  ລາຍລະອຽດເພີ່ມເຕີມຢູ່ໃນໄຟລ໌ create_base.py
  ດັ່ງນັ້ນ, ເມື່ອພວກເຮົາດໍາເນີນການ script ຕົ້ນຕໍ, ພວກເຮົາຈະໄດ້ຮັບການຝັງຈາກ spectrograms ເຫຼົ່ານີ້ໃນຕອນເລີ່ມຕົ້ນ:

  for file in glob.glob("voice_db/*.npy"):
      spec = np.load(file)
      spec = spec.astype('float32')
      spec_reshaped = spec.reshape(1, 1, spec.shape[0], spec.shape[1])
      srNet.setInput(spec_reshaped)
      pred = srNet.forward()
      emb = np.squeeze(pred)

  ຫຼັງຈາກໄດ້ຮັບການຝັງຈາກພາກສ່ວນທີ່ມີສຽງ, ພວກເຮົາຈະສາມາດກໍານົດວ່າມັນເປັນຂອງໃຜໂດຍການເອົາໄລຍະຫ່າງຂອງ cosine ຈາກ passage ໄປຫາສຽງທັງຫມົດໃນຖານຂໍ້ມູນ (ນ້ອຍກວ່າ, ມີໂອກາດຫຼາຍ) - ສໍາລັບ demo ພວກເຮົາກໍານົດຂອບເຂດ. ເຖິງ 0.3):

          dist_list = cdist(emb, enroll_embs, metric="cosine")
          distances = pd.DataFrame(dist_list, columns = df.speaker)

  ໃນທີ່ສຸດ, ຂ້າພະເຈົ້າຢາກສັງເກດວ່າຄວາມໄວ inference ແມ່ນໄວແລະເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະເພີ່ມ 1-2 ແບບເພີ່ມເຕີມ (ສໍາລັບຕົວຢ່າງ 7 ວິນາທີມັນໃຊ້ເວລາ 2.5 ສໍາລັບ inference). ພວກເຮົາບໍ່ມີເວລາທີ່ຈະເພີ່ມຮູບແບບໃຫມ່ແລະສຸມໃສ່ການຂຽນຕົ້ນແບບຂອງຄໍາຮ້ອງສະຫມັກເວັບໄຊຕ໌.

  ຄໍາຮ້ອງສະຫມັກເວັບໄຊຕ໌

  ຈຸດສໍາຄັນ: ພວກເຮົາເອົາ router ກັບພວກເຮົາຈາກເຮືອນແລະຕັ້ງເຄືອຂ່າຍທ້ອງຖິ່ນຂອງພວກເຮົາ, ມັນຊ່ວຍເຊື່ອມຕໍ່ອຸປະກອນແລະຄອມພິວເຕີຜ່ານເຄືອຂ່າຍ.

  backend ແມ່ນຊ່ອງທາງຂໍ້ຄວາມໃນຕອນທ້າຍລະຫວ່າງທາງຫນ້າແລະ Raspberry Pi, ອີງໃສ່ເທກໂນໂລຍີ websocket (http over tcp protocol).

  ຂັ້ນຕອນທໍາອິດແມ່ນໄດ້ຮັບຂໍ້ມູນການປຸງແຕ່ງຈາກ raspberry, ນັ້ນແມ່ນ, ຜູ້ຄາດຄະເນບັນຈຸຢູ່ໃນ json, ເຊິ່ງຖືກບັນທຶກໄວ້ໃນຖານຂໍ້ມູນເຄິ່ງຫນຶ່ງຂອງການເດີນທາງຂອງພວກເຂົາເພື່ອໃຫ້ສະຖິຕິສາມາດສ້າງກ່ຽວກັບພື້ນຖານຄວາມຮູ້ສຶກຂອງຜູ້ໃຊ້ໃນໄລຍະເວລາ. packet ນີ້ຖືກສົ່ງໄປຫາ frontend, ເຊິ່ງໃຊ້ການສະຫມັກແລະຮັບແພັກເກັດຈາກຈຸດສິ້ນສຸດຂອງ websocket. ກົນໄກ backend ທັງຫມົດແມ່ນຖືກສ້າງຂຶ້ນໃນພາສາ golang; ມັນຖືກເລືອກເພາະວ່າມັນເຫມາະສົມກັບວຽກງານທີ່ບໍ່ສອດຄ່ອງກັນ, ເຊິ່ງ goroutines ຈັດການໄດ້ດີ.
  ເມື່ອເຂົ້າເຖິງຈຸດສິ້ນສຸດ, ຜູ້ໃຊ້ໄດ້ລົງທະບຽນແລະເຂົ້າໄປໃນໂຄງສ້າງ, ຫຼັງຈາກນັ້ນຂໍ້ຄວາມຂອງລາວໄດ້ຮັບ. ທັງຜູ້ໃຊ້ແລະຂໍ້ຄວາມຖືກເຂົ້າໄປໃນສູນກາງທົ່ວໄປ, ຈາກຂໍ້ຄວາມທີ່ຖືກສົ່ງຕໍ່ໄປແລ້ວ (ໄປຫາຫນ້າທີ່ຖືກຈອງ), ແລະຖ້າຜູ້ໃຊ້ປິດການເຊື່ອມຕໍ່ (raspberry ຫຼືຫນ້າ), ຫຼັງຈາກນັ້ນ, ການສະໝັກໃຊ້ຂອງລາວຖືກຍົກເລີກ ແລະລາວຖືກໂຍກຍ້າຍອອກຈາກ ສູນກາງ.

  
  ພວກເຮົາກໍາລັງລໍຖ້າການເຊື່ອມຕໍ່ຈາກດ້ານຫລັງ

  Front-end ແມ່ນແອັບພລິເຄຊັນເວັບທີ່ຂຽນໃນ JavaScript ໂດຍໃຊ້ React Library ເພື່ອເພີ່ມຄວາມໄວ ແລະເຮັດໃຫ້ຂະບວນການພັດທະນາງ່າຍຂຶ້ນ. ຈຸດ​ປະ​ສົງ​ຂອງ​ຄໍາ​ຮ້ອງ​ສະ​ຫມັກ​ນີ້​ແມ່ນ​ເພື່ອ​ສະ​ແດງ​ໃຫ້​ເຫັນ​ຂໍ້​ມູນ​ທີ່​ໄດ້​ຮັບ​ໂດຍ​ນໍາ​ໃຊ້​ວິ​ທີ​ການ​ທີ່​ແລ່ນ​ຢູ່​ດ້ານ​ຫຼັງ​ຂອງ​ທ່ານ​ແລະ​ໂດຍ​ກົງ​ກ່ຽວ​ກັບ Raspberry Pi​. ຫນ້າມີເສັ້ນທາງພາກປະຕິບັດທີ່ປະຕິບັດໂດຍໃຊ້ react-router, ແຕ່ຫນ້າທີ່ຫນ້າສົນໃຈແມ່ນຫນ້າຫລັກ, ບ່ອນທີ່ການຖ່າຍທອດຂໍ້ມູນຢ່າງຕໍ່ເນື່ອງແມ່ນໄດ້ຮັບໃນເວລາທີ່ແທ້ຈິງຈາກເຄື່ອງແມ່ຂ່າຍໂດຍໃຊ້ເທກໂນໂລຍີ WebSocket. Raspberry Pi ກວດພົບສຽງ, ກໍານົດວ່າມັນເປັນຂອງບຸກຄົນສະເພາະຈາກຖານຂໍ້ມູນທີ່ລົງທະບຽນ, ແລະສົ່ງລາຍຊື່ຄວາມເປັນໄປໄດ້ໃຫ້ກັບລູກຄ້າ. ລູກຄ້າສະແດງຂໍ້ມູນທີ່ກ່ຽວຂ້ອງຫຼ້າສຸດ, ສະແດງຮູບແທນຕົວຂອງບຸກຄົນທີ່ມັກຈະເວົ້າເຂົ້າໄປໃນໄມໂຄຣໂຟນ, ເຊັ່ນດຽວກັນກັບຄວາມຮູ້ສຶກທີ່ລາວອອກສຽງຄໍາສັບຕ່າງໆ.

  
  ຫນ້າທໍາອິດທີ່ມີການຄາດຄະເນການປັບປຸງ

  ສະຫລຸບ

  ມັນເປັນໄປບໍ່ໄດ້ທີ່ຈະສໍາເລັດທຸກຢ່າງຕາມແຜນການ, ພວກເຮົາພຽງແຕ່ບໍ່ມີເວລາ, ດັ່ງນັ້ນຄວາມຫວັງຕົ້ນຕໍແມ່ນຢູ່ໃນຕົວຢ່າງ, ທຸກສິ່ງທຸກຢ່າງຈະເຮັດວຽກ. ໃນການນໍາສະເຫນີພວກເຂົາເຈົ້າໄດ້ສົນທະນາກ່ຽວກັບວິທີການເຮັດວຽກ, ຮູບແບບໃດທີ່ເຂົາເຈົ້າໄດ້, ສິ່ງທີ່ເຂົາເຈົ້າພົບບັນຫາ. ຕໍ່ໄປແມ່ນພາກສ່ວນສາທິດ - ຜູ້ຊ່ຽວຊານຍ່າງໄປທົ່ວຫ້ອງໃນລໍາດັບແບບສຸ່ມແລະເຂົ້າຫາແຕ່ລະທີມເພື່ອເບິ່ງຕົ້ນແບບທີ່ເຮັດວຽກ. ພວກເຂົາເຈົ້າໄດ້ຖາມພວກເຮົາຄໍາຖາມເຊັ່ນດຽວກັນ, ທຸກຄົນຕອບສ່ວນຂອງເຂົາເຈົ້າ, ພວກເຂົາເຈົ້າອອກຈາກເວັບໃນຄອມພິວເຕີໂນດບຸກ, ແລະທຸກສິ່ງທຸກຢ່າງກໍ່ເຮັດວຽກຕາມທີ່ຄາດໄວ້.

  ໃຫ້ຂ້ອຍສັງເກດວ່າຄ່າໃຊ້ຈ່າຍທັງຫມົດຂອງການແກ້ໄຂຂອງພວກເຮົາແມ່ນ $150:

  • Raspberry Pi 3 ~ $35
  • Google AIY Voice Bonnet (ທ່ານສາມາດເອົາຄ່າທໍານຽມຜູ້ເວົ້າໄດ້) ~ 15$
  • Intel NCS 2 ~ 100$

  ວິທີການປັບປຸງ:

  • ໃຊ້ການລົງທະບຽນຈາກລູກຄ້າ - ຂໍໃຫ້ອ່ານຂໍ້ຄວາມທີ່ສ້າງຂຶ້ນແບບສຸ່ມ
  • ເພີ່ມແບບຈໍາລອງອີກສອງສາມແບບ: ທ່ານສາມາດກໍານົດເພດແລະອາຍຸໂດຍສຽງ
  • ແຍກສຽງດັງພ້ອມໆກັນ ( diarization )

  ບ່ອນເກັບມ້ຽນ: https://github.com/vladimirwest/OpenEMO

  
  ເມື່ອຍແຕ່ເຮົາມີຄວາມສຸກ

  ສະຫລຸບແລ້ວ, ຂ້າພະເຈົ້າຂໍກ່າວຂອບໃຈມາຍັງຜູ້ຈັດງານ ແລະ ຜູ້ເຂົ້າຮ່ວມ. ໃນ​ບັນ​ດາ​ໂຄງ​ການ​ຂອງ​ທີມ​ງານ​ອື່ນໆ​, ພວກ​ເຮົາ​ສ່ວນ​ບຸກ​ຄົນ​ມັກ​ການ​ແກ້​ໄຂ​ສໍາ​ລັບ​ການ​ຕິດ​ຕາມ​ສະ​ຖານ​ທີ່​ບ່ອນ​ຈອດ​ລົດ​ຟຣີ​. ສໍາລັບພວກເຮົາ, ມັນເປັນປະສົບການທີ່ເຢັນສະບາຍຂອງການຝັງຢູ່ໃນຜະລິດຕະພັນແລະການພັດທະນາ. ຂ້າພະເຈົ້າຫວັງວ່າຈະມີກິດຈະກໍາທີ່ຫນ້າສົນໃຈຫຼາຍຂື້ນຢູ່ໃນພາກພື້ນ, ລວມທັງໃນຫົວຂໍ້ AI.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com