SIP telefon STM32F7-Discovery'l

Tere kõigile.

Mõnda aega tagasi kirjutasime me kuidas me suudame käivitada SIP telefoni STM32F4-Discovery'l 1 MB ROM-i ja 192 KB RAM-iga, mis põhineb Embox. Tuleb öelda, et see versioon oli minimaalne ja ühendas kaks telefoni otse ilma serverita ning hääl edastati vaid ühes suunas. Seega otsustasime käivitada täielikuma telefoni, kus kõned toimuvad serveri kaudu, hääl edastatakse mõlemas suunas, kuid samas hoida mälu võimalikult väikese suurusega.

Telefonile otsustati valida rakendus simple_pjsua , mis kuulub PJSIP raamatukogusse. See on minimaalne rakendus, mis oskab registreerida end serveris, vastu võtta ja helistada. Allpool anname kohe ülevaate, kuidas seda STM32F7-Discovery'l käivitada.

Kuidas käivitada

1. Konfigureerime Emboxi

   make confload-platform/pjsip/stm32f7cube

2. Failis conf/mods.config seadistame vajaliku SIP kontode.

   
   include platform.pjsip.cmd.simple_pjsua_imported(
       sip_domain="server", 
       sip_user="username",
       sip_passwd="password")
   

   kus server — see on SIP server (näiteks sip.linphone.org), username ja parool — kasutajanimi ja parool konto jaoks.

3. Kogume Emboxi käsuga tee. Juhend tarkvara laadimiseks on meil olemas wiki ja artiklis.
4. Käivitage Emboxi konsoolis käsk “simple_pjsua_imported”

   
   00:00:12.870    pjsua_acc.c  ....SIP väljuv staatus konto 0 jaoks ei ole aktiivne
   00:00:12.884    pjsua_acc.c  ....sip:alexk2222@sip.linphone.org: registreerimine õnnestus, staatus=200 (registreerimine õnnestus
   00:00:12.911    pjsua_acc.c  ....Hoidmisajastuse taimer käivitati konto 0 jaoks, sihtkoht:91.121.209.194:5060, intervall:15s
   

5. Lõpuks jääb ainult väljastada kõlarid või kõrvaklapid heliväljundisse ning rääkida kahe väikese MEMS mikrofoniga ekraani kõrval. Helistame linuks soovitusel rakenduse simple_pjsua, pjsua kaudu. Või võite kasutada midagi muud, näiteks linphone.

Kõik see on kirjeldatud meie wiki.

Kuidas me siia jõudsime

Nii et esmalt seisis küsimus riistvara platvormi valikust. Kuna oli selge, et STM32F4-Discovery ei sobi mälumahu tõttu, valiti STM32F7-Discovery. Sellel on 1 MB välk ja 256 KB RAM-i (+ 64 KB eraldi kiiret mälu, mida me samuti kasutame). See ei ole ka palju serveri kaudu helistamiseks, kuid otsustasime proovida.

Otsustasime jagada ülesande tinglikult mitmeks etapiks:

• PJSIP käivitamine QEMU-s. See oli mugav silumiseks, lisaks oli meil seal juba AC97 kodeki tugi.
• Häälte salvestamine ja kordamine QEMU-s ja STM32-l.
• Rakenduse edastamine simple_pjsua PJSIP kokku pannud. See võimaldab registreeruda SIP serveris ja helistada.
• Koosta oma server Asterisk baasil ja testige sellel, seejärel proovige väliseid, nagu sip.linphone.org.

Hääl Emboxis töötab Portaudio kaudu, mida kasutatakse ka PISIPis. QEMU-s ilmusid esimesed probleemid – 44100 Hz WAV-failid mängisid hästi, aga 8000 Hz puhul läks midagi valesti. Selgus, et probleem oli sageduse seadistustes – vaikimisi oli riistvaras 44100, ja me ei saanud seda programmiga muuta.

Siin on võib-olla mõistlik natuke selgitada, kuidas üldse helide esitamine toimub. Helikaardile saab seadistada teatud näitaja mälu tükile, millest tuleb esitada või salvestada eelnevalt seadistatud sagedusel. Kui puhver saab otsa, genereeritakse katkestus ja täitmine jätkub järgmise puhvri juurest. Asi on selles, et neid puhvrit tuleb eelnevalt täita, kuni eelmine toitmine kestab. Selle probleemiga kohtume hiljem STM32F7-l.

Seejärel rentisime serveri ja seadistasime sellele Asteriski. Kuna tuli palju siluda, ja rääkimine mikrofonis ei olnud just meeldiv, tuli teha automaatne esitamine ja salvestamine. Selle jaoks patšisime simple_pjsua nii, et saaksime faile heliseadmete asemel esitada. PJSIP-is on see üsna lihtne, kuna neil on olemas port, mis võib olla nii seade kui ka fail. Ja neid porte saab paindlikult ühendada teiste portidega. Koodi saab vaadata meie pjsip hoidlad. Lõpptulemusena oli skeem järgmine. Asteriski serveris tõin sisse kaks kontot – ühele Linuxile ja ühele Emboxile. Seejärel, Emboxis käitatakse käsku simple_pjsua_imported, Embox registreerib end serveris, pärast mida helistame Linuxist Emboxile. Ühenduse loomise hetkel kontrollime Asteriski serveris, et kõik ühendused on loodud ja mõne aja pärast peaksime Emboxis kuulma häält Linuxist, samal ajal kui Linuxisse salvestame faili, mis mängib Emboxist.

Pärast seda, kui see QEMU-s tööle hakkas, liikusime STM32F7-Discovery portimise juurde. Esimene probleem – ei mahtunud 1 MB ROM-i ilma kompilatsiooni optimeerimiseta "-Os" pildi suuruse tõttu. Seetõttu lülitasime "-Os" sisse. Edasi, patšiga lülitasime välja C++ toe, kuna seda vajame ainult pjsua jaoks, kuid kasutame simple_pjsua-d.

Pärast seda, kui mahtusime simple_pjsua, otsustasime, et nüüd on võimalus see käivitada. Kuid kõigepealt pidime aru saama hääle salvestamisest ja esitamisest. Küsimus – kuhu salvestada? Valisime välise mälu – SDRAM (128 MB). Võite proovida seda ise:

Loob loob stereo WAV sagedusega 16000 Hz ja kestusega 10 sekundit:

record -r 16000 -c 2 -d 10000 -m C0000000

Mängime:

play -m C0000000

Siin tekkis kaks probleemi. Esiteks koodekiga - kasutatakse WM8994, kus on selline mõisted nagu slot, ja neid slotte on neli. Nii et vaikimisi, kui seda ei seadista, toimub audio esitamine kõigis neljas slotis. Seega sagedusel 16000 Hz saime 8000 Hz, ja 8000 Hz jaoks ei töötanud esitamine üldse. Kui valiti ainult slottide 0 ja 2, töötas see nagu vaja. Teiseks probleemiks oli audio liides STM32Cube'is, kus audio väljund töötab SAI (Serial Audio Interface) kaudu sünkroonselt audio sisendiga (ma ei süvenenud detailidesse, kuid tundub, et nad jagavad ühist kella ja audio väljundi initsialiseerimisel seondub see kuidagi audio sisendi juurde). Seega ei saa neid eraldi käivitada, seega tegime järgmist - audio sisend ja audio väljund töötavad alati (sealhulgas genereeritakse katkestusi). Kuid kui süsteemis ei esitata midagi, siis anname audio väljundile lihtsalt tühja puhvri, ja kui esitamine käivitub, hakkame seda ausalt täitma.

Seejärel seisisime silmitsi probleemiga, et heli salvestamisel oli hääl väga vaikne. See juhtub seetõttu, et MEMS mikrofonid STM32F7-Discovery'l töötavad kuidagi halvasti sagedustel, mis on madalamad kui 16000 Hz. Seega seadistame sageduse 16000 Hz, isegi kui tuleb 8000 Hz. Selleks tuli tõsi küll lisada programmi konversioon ühte sagedust teise.

Järgmiseks tuli suurendada virna suurust, mis asub RAM-is. Meie arvutuste kohaselt nõudis pjsip umbes 190 KB, kuid meil jäi alles vaid umbes 100 KB. Siin tuli natuke välist mälu kaasata - SDRAM (umbes 128 KB).

Kõikide nende paranduste järel nägin esimesi pakette Linuxi ja Emboxi vahel ning kuulsin heli! Kuid heli oli kohutav, kaugel sellest, mis oli QEMU-s, ei saanud midagi aru. Siis mõtlesime, mis võib olla probleem. Silumisprotsess näitas, et Embox ei suuda lihtsalt audio puhvereid täita/loosida. Kui pjsip töötleb ühte raami, toimus 2 katkestust puhverite töötlemise lõpetamiseks, mis on liiga palju. Esmaseks mõtteks kiiruskasvuks oli kompilaatori optimeerimine, kuid see oli PJSIP-is juba sisse lülitatud. Teiseks - riistvaraline ujuvpunktsioon, millest rääkisime. artiklis. Kuid praktika näitas, et FPU ei toonud olulist kiirusetõusu. Järgmine samm oli voogude prioriteetide seadmine. Emboxis on erinevad planeerimisstrateegiad, ja ma valisin selle, mis toetab prioriteete ning seadistasin audio voogudele maksimaalse prioriteedi. See ei aidanud samuti.

Järgmiseks oli mõte, et töötame välisse mälu ja oleks hea need struktuurid sinna üle viia, millega sageli manipuleeritakse. Tehtud oli eelanalüüs selle kohta, millal ja mille jaoks simple_pjsua mälu eraldatakse. Selgus, et 190 Kb-st eraldatakse esimesed 90 Kb sisemisteks vajadusteks PJSIP ja nende poole pöördumine ei toimu väga sageli. Seejärel, sissetuleva kõne ajal, kutsutakse funktsioon pjsua_call_answer, kus seejärel eraldatakse puhvrisid tööks sissetulevate ja väljuvate raamidega. See oli veel umbes 100 Kb. Ja tegime järgnevalt. Enne kõnet paigutame andmed välisse mällu. Niipea, kui kõne algab, asendame kohe kühvel teise — RAMis. Nii et kõik “kuumad” andmed viidi kiiremisse ja ettearvamatumasse mällu.

Kokkuvõttes võimaldas see kõik käivitada simple_pjsua ja helistada oma serveri kaudu. Seejärel ka läbi teiste serverite, nagu sip.linphone.org.

Järeldused

Kokkuvõttes õnnestus simple_pjsua edastada häält mõlemas suunas serveri kaudu. Probleemi lisakulu 128 Kb SDRAM-i lahendamiseks võiksime kasutada veidi võimsamat Cortex-M7 (näiteks STM32F769NI 512 Kb RAM-iga), kuid samas pole me veel kaotanud lootust mahtuda ka 256 Kb 🙂 Ootame, et keegi võiks huvi tunda, ja veel parem — proovida. Kõik lähtekoodid, nagu tavaliselt, on meie hoidlad.

Allikas: habr.com