טלפון SIP על STM32F7-Discovery

שלום לכולם.

לפני זמן מה אנחנו писали על האופן שבו הצלחנו להשיק טלפון SIP על STM32F4-Discovery עם 1 MB ROM ו-192 KB RAM) מבוסס על אמבוקס. כאן יש לומר שגרסה זו הייתה מינימלית וחיברה שני טלפונים ישירות ללא שרת ועם שידור קולי בכיוון אחד בלבד. לכן, החלטנו להשיק טלפון שלם יותר עם שיחה דרך השרת, שידור קולי לשני הכיוונים, אך יחד עם זאת לשמור על גודל הזיכרון הקטן ביותר האפשרי.

לטלפון הוחלט לבחור באפליקציה simple_pjsua כחלק מספריית PJSIP. מדובר באפליקציה מינימלית שיכולה להירשם בשרת, לקבל ולענות לשיחות. להלן מיד אתן תיאור כיצד להפעיל אותו על STM32F7-Discovery.

איך להשיק

1. הגדרת אימבוקס

   make confload-platform/pjsip/stm32f7cube

2. הגדר את חשבון SIP הנדרש בקובץ conf/mods.config.

   
   include platform.pjsip.cmd.simple_pjsua_imported(
       sip_domain="server", 
       sip_user="username",
       sip_passwd="password")
   

   איפה שרת הוא שרת SIP (לדוגמה, sip.linphone.org), שם משתמש и סיסמא - שם משתמש וסיסמה לחשבון.

3. הרכבת אמבוקס כצוות לעשות. לגבי קושחת הלוח שיש לנו ויקי ו - статье.
4. הפעל את הפקודה "simple_pjsua_imported" במסוף ה-Embox

   
   00:00:12.870    pjsua_acc.c  ....SIP outbound status for acc 0 is not active
   00:00:12.884    pjsua_acc.c  ....sip:[email protected]: registration success, status=200 (Registration succes
   00:00:12.911    pjsua_acc.c  ....Keep-alive timer started for acc 0, destination:91.121.209.194:5060, interval:15s
   

5. לבסוף, נותר להכניס רמקולים או אוזניות ליציאת האודיו, ולדבר לתוך שני מיקרופונים קטנים של MEMS ליד התצוגה. אנו מתקשרים מ-Linux דרך האפליקציה simple_pjsua, pjsua. ובכן, או שאתה יכול להשתמש בכל סוג אחר של linphone.

כל זה מתואר אצלנו ויקי.

איך הגענו לשם

אז, בתחילה עלתה השאלה לגבי בחירת פלטפורמת חומרה. מכיוון שהיה ברור ש-STM32F4-Discovery לא יתאים מהזיכרון, נבחר STM32F7-Discovery. יש לה כונן הבזק של 1 MB ו-256 KB של זיכרון RAM (+ 64 זיכרון מהיר מיוחד, שגם בו נשתמש). גם לא הרבה לשיחות דרך השרת, אבל החלטנו לנסות להשתלב.

בתנאי לעצמם, המשימה חולקה למספר שלבים:

• הפעלת PJSIP על QEMU. זה היה נוח לאיפוי באגים, בנוסף כבר הייתה לנו תמיכה ב-Codec AC97 שם.
• הקלטת קול והשמעה ב-QEMU וב-STM32.
• העברת אפליקציה simple_pjsua מ-PJSIP. זה מאפשר לך להירשם בשרת SIP ולבצע שיחות.
• פרוס שרת משלך מבוסס כוכביות ובדוק עליו, ולאחר מכן נסה שרתים חיצוניים כגון sip.linphone.org

סאונד ב-Embox עובד דרך Portaudio, המשמש גם ב-PISIP. הבעיות הראשונות הופיעו ב-QEMU - WAV שיחק טוב ב-44100 הרץ, אבל ב-8000 משהו בבירור השתבש. התברר שזה עניין של הגדרת התדר - כברירת מחדל זה היה 44100 בציוד, וזה לא השתנה מבחינה תוכנית.

כאן, אולי, כדאי להסביר מעט איך הסאונד מושמע באופן כללי. ניתן להגדיר את כרטיס הקול למצביע על פיסת זיכרון שממנו תרצו לנגן או להקליט בתדר קבוע מראש. לאחר שהמאגר מסתיים, נוצרת פסיקה והביצוע ממשיך עם המאגר הבא. העובדה היא שצריך למלא את המאגרים האלה מראש בזמן שהקודם מנוגן. אנו נתמודד עם בעיה זו בהמשך ב- STM32F7.

לאחר מכן, שכרנו שרת ופרסנו עליו כוכבית. מכיוון שהיה צורך לבצע ניפוי באגים הרבה, אבל לא רציתי לדבר הרבה לתוך המיקרופון, היה צורך לבצע השמעה והקלטה אוטומטית. כדי לעשות זאת, תיקנו את simple_pjsua כך שתוכל להחליק קבצים במקום התקני שמע. ב-PJSIP, זה נעשה בצורה פשוטה למדי, מכיוון שיש להם מושג של יציאה, שיכולה להיות התקן או קובץ. ויציאות אלו יכולות להיות מחוברות בצורה גמישה ליציאות אחרות. אתה יכול לראות את הקוד ב-pjsip שלנו מאגרים. כתוצאה מכך, התוכנית הייתה כדלקמן. בשרת הכוכבית פתחתי שני חשבונות - ללינוקס ולאמבוקס. לאחר מכן, הפקודה מבוצעת ב-Embox simple_pjsua_imported, אמבוקס נרשם בשרת, ולאחר מכן אנו קוראים לאמבוקס מ-Linux. ברגע החיבור אנחנו בודקים בשרת Asterisk שהחיבור נוצר ולאחר זמן מה אמורים לשמוע צליל מ-Linux ב-Embox, וב-Linux שומרים את הקובץ שמופעל מ-Embox.

לאחר שזה עבד על QEMU, עברנו למעבר ל- STM32F7-Discovery. הבעיה הראשונה היא שהם לא נכנסו ל-1 MB של ROM ללא אופטימיזציית המהדר המאופשרת "-Os" לגודל התמונה. לכן כללנו "-Os". יתר על כן, התיקון השבית את התמיכה ב-C++, כך שהוא נחוץ רק עבור pjsua, ואנחנו משתמשים ב- simple_pjsua.

לאחר שהונח simple_pjsua, החליט שעכשיו יש הזדמנות להשיק אותו. אבל קודם היה צורך להתמודד עם ההקלטה וההשמעה של הקול. השאלה היא איפה לכתוב? בחרנו בזיכרון חיצוני - SDRAM (128 מגה-בייט). אתה יכול לנסות את זה בעצמך:

יוצר WAV סטריאו בתדר של 16000 הרץ ומשך זמן של 10 שניות:

record -r 16000 -c 2 -d 10000 -m C0000000

אנחנו מפסידים:

play -m C0000000

יש כאן שתי בעיות. הראשון עם ה-codec - WM8994 משמש, ויש לו דבר כזה כמו חריץ, ויש 4 מהחריצים האלה. אז, כברירת מחדל, אם זה לא מוגדר, אז בעת הפעלת אודיו, השמעה מתרחשת בכל ארבעת המשבצות . לכן, בתדר של 16000 הרץ קיבלנו 8000 הרץ, אבל עבור 8000 הרץ ההשמעה פשוט לא עבדה. כאשר נבחרו רק משבצות 0 ו-2, זה עבד כמו שצריך. בעיה נוספת הייתה ממשק האודיו ב-STM32Cube, בו פלט האודיו עובד דרך SAI (Serial Audio Interface) באופן סינכרוני עם כניסת האודיו (לא הבנתי את הפרטים, אבל מסתבר שהם חולקים שעון משותף וכאשר ה- פלט אודיו מאותחל, אודיו מחובר איכשהו לכניסה אליו). כלומר, לא ניתן להפעיל אותם בנפרד, אז עשינו את הפעולות הבאות - כניסת האודיו ופלט האודיו תמיד עובדים (כולל נוצרות פסיקות). אבל כששום דבר לא מושמע במערכת, אז אנחנו פשוט מחליקים מאגר ריק לתוך פלט האודיו, וכשההשמעה מתחילה, אנחנו באמת מתחילים למלא אותו.

יתר על כן, נתקלנו בעובדה שהסאונד במהלך הקלטת הקול היה שקט מאוד. זה נובע מהעובדה שמיקרופונים של MEMS ב- STM32F7-Discovery איכשהו לא עובדים טוב בתדרים מתחת ל-16000 הרץ. לכן, אנחנו מגדירים 16000 הרץ, גם אם מגיע 8000 הרץ. לשם כך, עם זאת, היה צורך להוסיף המרת תוכנה של תדר אחד לאחר.

לאחר מכן, הייתי צריך להגדיל את גודל הערימה, שנמצאת ב-RAM. לפי החישובים שלנו, pjsip דרש כ-190 KB, ונשארו לנו רק כ-100 KB. כאן הייתי צריך להשתמש בזיכרון חיצוני כלשהו - SDRAM (בערך 128 KB).

אחרי כל העריכות האלה, ראיתי את החבילות הראשונות בין לינוקס לאמבוקס, ושמעתי את הסאונד! אבל הסאונד היה נורא, בכלל לא כמו ב-QEMU, אי אפשר היה לזהות כלום. ואז חשבנו מה יכול להיות העניין. איתור באגים הראה של-Embox פשוט אין זמן למלא / לפרוק מאגרי אודיו. בזמן ש-pjsip עיבד מסגרת אחת, הספיקו להתרחש 2 פסיקות לגבי השלמת עיבוד המאגר, וזה יותר מדי. המחשבה הראשונה למהירות הייתה אופטימיזציה של מהדר, אבל היא כבר נכללה ב-PJSIP. השני הוא נקודה צפה בחומרה, דיברנו עליה ב статье. אבל כפי שהראה בפועל, FPU לא נתן עלייה משמעותית במהירות. השלב הבא היה לתעדף שרשורים. לאמבוקס יש אסטרטגיות תזמון שונות, ואני כללתי אחת שתומכת בסדרי עדיפויות ומגדירה את זרמי האודיו בעדיפות הגבוהה ביותר. גם זה לא עזר.

הרעיון הבא היה שאנחנו עובדים עם זיכרון חיצוני וזה יהיה נחמד להעביר לשם מבנים שניגשים אליהם לעתים קרובות ביותר. עשיתי ניתוח ראשוני של מתי ותחת מה simple_pjsua מקצה זיכרון. התברר שמתוך 190 Kb, ה-90 Kb הראשונים מוקצים לצרכים פנימיים של PJSIP ואין גישה אליהם לעיתים קרובות. יתרה מכך, במהלך שיחה נכנסת, נקראת הפונקציה pjsua_call_answer, שבה מוקצים אז מאגרים לעבודה עם מסגרות נכנסות ויוצאות. זה עדיין היה בערך 100 Kb. ואז עשינו את הדבר הבא. עד לרגע השיחה, אנו שמים את הנתונים בזיכרון חיצוני. מיד עם השיחה, אנו מיד מחליפים את הערימה באחר - ב-RAM. לפיכך, כל הנתונים ה"חמים" הועברו לזיכרון מהיר יותר וצפוי יותר.

כתוצאה מכך, כל זה יחד איפשר את ההשקה simple_pjsua ולהתקשר דרך השרת שלך. ואז דרך שרתים אחרים כגון sip.linphone.org.

ממצאים

כתוצאה מכך, ניתן היה להשיק simple_pjsua עם שידור קולי לשני הכיוונים דרך השרת. ניתן לפתור את הבעיה עם הוצאה נוספת של 128 KB של SDRAM על ידי שימוש ב-Cortex-M7 קצת יותר חזק (לדוגמה, STM32F769NI עם 512 KB של זיכרון RAM), אך יחד עם זאת, עדיין לא ויתרנו על התקווה להיכנס ל-256 KB 🙂 נשמח אם מישהו מעוניין, או יותר טוב, נסה זאת. כל המקורות, כרגיל, נמצאים אצלנו מאגרים.

מקור: www.habr.com