אני מהמפתחים של מערכת ההפעלה אמבוקס, ובמאמר זה אדבר על איך הצלחתי להריץ את OpenCV על לוח STM32746G.

אם אתה מקליד משהו כמו "OpenCV על לוח STM32" במנוע חיפוש, אתה יכול למצוא לא מעט אנשים שמעוניינים להשתמש בספרייה הזו על לוחות STM32 או מיקרו-בקרים אחרים.
יש כמה סרטונים שלפי השם אמורים להדגים את מה שצריך, אבל בדרך כלל (בכל הסרטונים שראיתי) בלוח STM32, רק התמונה התקבלה מהמצלמה והתוצאה הוצגה על המסך, ועיבוד התמונה עצמו נעשה על מחשב רגיל, או על לוחות חזקים יותר (למשל, Raspberry Pi).

למה זה קשה?

הפופולריות של שאילתות החיפוש מוסברת בכך ש-OpenCV היא ספריית הראייה הממוחשבת הפופולרית ביותר, מה שאומר שיותר מפתחים מכירים אותה, והיכולת להריץ קוד מוכן לשולחן העבודה על מיקרו-בקר מפשטת מאוד את תהליך הפיתוח. אבל למה עדיין אין מתכונים מוכנים פופולריים לפתרון בעיה זו?

הבעיה של שימוש ב-OpenCV על צעיפים קטנים קשורה לשתי תכונות:

• אם תרכיב את הספרייה אפילו עם סט מינימלי של מודולים, היא פשוט לא תתאים לזיכרון הפלאש של אותו STM32F7Discovery (אפילו בלי לקחת בחשבון את מערכת ההפעלה) בגלל קוד גדול מאוד (מספר מגה-בייט של הוראות)
• הספרייה עצמה כתובה ב-C++, כלומר
  • צריך תמיכה עבור זמן ריצה חיובי (חריגים וכו')
  • תמיכה קטנה ב-LibC/Posix, שנמצאת בדרך כלל במערכת ההפעלה למערכות משובצות - אתה צריך ספריית פלוס סטנדרטית וספריית תבניות STL סטנדרטית (וקטור וכו')

העברה לאימבוקס

כרגיל, לפני העברת תוכנות כלשהן למערכת ההפעלה, מומלץ לנסות לבנות אותה בצורה שבה התכוונו אותה המפתחים. במקרה שלנו, אין בעיות עם זה - את קוד המקור ניתן למצוא ב github, הספרייה בנויה תחת GNU/Linux עם ה-cmeke הרגיל.

החדשות הטובות הן שניתן לבנות את OpenCV כספרייה סטטית מהקופסה, מה שמקל על ההעברה. אנחנו אוספים ספרייה עם תצורה סטנדרטית ורואים כמה מקום הם תופסים. כל מודול נאסף בספרייה נפרדת.

> size lib/*so --totals
   text    data     bss     dec     hex filename
1945822   15431     960 1962213  1df0e5 lib/libopencv_calib3d.so
17081885     170312   25640 17277837    107a38d lib/libopencv_core.so
10928229     137640   20192 11086061     a928ed lib/libopencv_dnn.so
 842311   25680    1968  869959   d4647 lib/libopencv_features2d.so
 423660    8552     184  432396   6990c lib/libopencv_flann.so
8034733   54872    1416 8091021  7b758d lib/libopencv_gapi.so
  90741    3452     304   94497   17121 lib/libopencv_highgui.so
6338414   53152     968 6392534  618ad6 lib/libopencv_imgcodecs.so
21323564     155912  652056 22131532    151b34c lib/libopencv_imgproc.so
 724323   12176     376  736875   b3e6b lib/libopencv_ml.so
 429036    6864     464  436364   6a88c lib/libopencv_objdetect.so
6866973   50176    1064 6918213  699045 lib/libopencv_photo.so
 698531   13640     160  712331   ade8b lib/libopencv_stitching.so
 466295    6688     168  473151   7383f lib/libopencv_video.so
 315858    6972   11576  334406   51a46 lib/libopencv_videoio.so
76510375     721519  717496 77949390    4a569ce (TOTALS)

כפי שניתן לראות מהשורה האחרונה, .bss ו-.data לא תופסים הרבה מקום, אבל הקוד הוא יותר מ-70 MiB. ברור שאם זה מקושר סטטית לאפליקציה ספציפית, הקוד יפחת.

בואו ננסה לזרוק כמה שיותר מודולים כדי שתרכיב דוגמה מינימלית (אשר, למשל, פשוט תוציא את גרסת ה-OpenCV), אז נראה cmake .. -LA ולכבות באפשרויות את כל מה שנכבה.

        -DBUILD_opencv_java_bindings_generator=OFF 
        -DBUILD_opencv_stitching=OFF 
        -DWITH_PROTOBUF=OFF 
        -DWITH_PTHREADS_PF=OFF 
        -DWITH_QUIRC=OFF 
        -DWITH_TIFF=OFF 
        -DWITH_V4L=OFF 
        -DWITH_VTK=OFF 
        -DWITH_WEBP=OFF 
        <...>

> size lib/libopencv_core.a --totals
   text    data     bss     dec     hex filename
3317069   36425   17987 3371481  3371d9 (TOTALS)

מצד אחד, זה רק מודול אחד של הספרייה, מצד שני, זה ללא אופטימיזציה של מהדר לגודל הקוד (-Os). ~3 MiB של קוד זה עדיין די הרבה, אבל כבר נותן תקווה להצלחה.

הפעל באמולטור

הרבה יותר קל לנפות באגים באמולטור, אז תחילה ודא שהספרייה עובדת על qemu. כפלטפורמה מדומה, בחרתי באינטגרטור / CP, בגלל ראשית, זה גם ARM, ושנית, Embox תומך בפלט גרפי עבור פלטפורמה זו.

לאמבוקס יש מנגנון לבניית ספריות חיצוניות, באמצעותו אנו מוסיפים את OpenCV כמודול (מעבירים את כל אותן האפשרויות ל-build ה"מינימלי" בצורה של ספריות סטטיות), לאחר מכן אני מוסיף אפליקציה פשוטה שנראית כך:

version.cpp:

#include <stdio.h>
#include <opencv2/core/utility.hpp>

int main() {
    printf("OpenCV: %s", cv::getBuildInformation().c_str());

    return 0;
}

אנחנו מרכיבים את המערכת, מפעילים אותה - אנחנו מקבלים את התפוקה הצפויה.

root@embox:/#opencv_version                                                     
OpenCV: 
General configuration for OpenCV 4.0.1 =====================================
  Version control:               bd6927bdf-dirty

  Platform:
    Timestamp:                   2019-06-21T10:02:18Z
    Host:                        Linux 5.1.7-arch1-1-ARCH x86_64
    Target:                      Generic arm-unknown-none
    CMake:                       3.14.5
    CMake generator:             Unix Makefiles
    CMake build tool:            /usr/bin/make
    Configuration:               Debug

  CPU/HW features:
    Baseline:
      requested:                 DETECT
      disabled:                  VFPV3 NEON

  C/C++:
    Built as dynamic libs?:      NO
< Дальше идут прочие параметры сборки -- с какими флагами компилировалось,
  какие модули OpenCV включены в сборку и т.п.>

השלב הבא הוא להפעיל דוגמה כלשהי, רצוי אחת מהסטנדרטיות שמציעים המפתחים עצמם. באתר שלך. אני בחרתי גבול גלאי גבול.

היה צורך לשכתב מעט את הדוגמה כדי להציג את התמונה עם התוצאה ישירות במאגר המסגרת. הייתי צריך לעשות את זה, כי. פוּנקצִיָה imshow() יכול לצייר תמונות דרך ממשקי QT, GTK ו-Windows, אשר, כמובן, בהחלט לא יהיו בתצורה של STM32. למעשה, ניתן להריץ QT גם על STM32F7Discovery, אך על כך נדון במאמר אחר 🙂

לאחר בירור קצר באיזה פורמט מאוחסנת תוצאת גלאי הקצוות, נקבל תמונה.

תמונה מקורית

תוצאה

פועל על STM32F7Discovery

ב-32F746GDISCOVERY ישנם מספר קטעי זיכרון חומרה שאנו יכולים להשתמש בהם בדרך זו או אחרת

1. זיכרון RAM של 320KiB
2. פלאש 1MiB לתמונה
3. 8MiB SDRAM
4. 16MiB QSPI NAND פלאש
5. חריץ לכרטיס microSD

ניתן להשתמש בכרטיס SD לאחסון תמונות, אך בהקשר של הפעלת דוגמה מינימלית, זה לא מאוד שימושי.
לתצוגה רזולוציה של 480×272, מה שאומר שזיכרון ה-framebuffer יהיה 522 בתים בעומק של 240 ביטים, כלומר. זה יותר מגודל זיכרון RAM, כך שה-framebuffer וה-heap (שידרשו, כולל עבור OpenCV, כדי לאחסן נתונים עבור תמונות ומבני עזר) ימוקמו ב-SDRAM, כל השאר (זיכרון עבור ערימות וצרכי ​​מערכת אחרים ) יעבור ל-RAM.

אם ניקח את התצורה המינימלית עבור STM32F7Discovery (נזרוק את כל הרשת, את כל הפקודות, נהפוך ערימות קטנות ככל האפשר וכו') ונוסיף שם OpenCV עם דוגמאות, הזיכרון הנדרש יהיה כדלקמן:

   text    data     bss     dec     hex filename
2876890  459208  312736 3648834  37ad42 build/base/bin/embox

למי שלא ממש בקיא באיזה קטעים הולכים לאן, אסביר: ב .text и .rodata הוראות וקבועים (באופן גס, נתונים לקריאה בלבד) טמונים .data הנתונים ניתנים לשינוי, .bss ישנם משתנים "בטלים", אשר, בכל זאת, צריכים מקום (סעיף זה "יעבור" ל-RAM).

החדשות הטובות הן .data/.bss צריך להתאים, אבל עם .text הבעיה היא שיש רק 1MiB של זיכרון לתמונה. ניתן לזרוק החוצה .text את התמונה מהדוגמה וקראו אותה, למשל, מכרטיס ה-SD לזיכרון בעת ​​ההפעלה, אבל fruits.png שוקל כ-330KiB, כך שזה לא יפתור את הבעיה: רוב .text מורכב מקוד OpenCV.

בגדול, נשאר רק דבר אחד - טעינת חלק מהקוד על מבזק QSPI (יש לו אופן פעולה מיוחד למיפוי זיכרון לאפיק המערכת, כך שהמעבד יוכל לגשת ישירות לנתונים הללו). במקרה זה, מתעוררת בעיה: ראשית, הזיכרון של כונן הבזק QSPI אינו זמין מיד לאחר אתחול המכשיר (עליך לאתחל בנפרד את המצב ממופה זיכרון), ושנית, אינך יכול "להבזק" את הזיכרון הזה עם טוען אתחול מוכר.

כתוצאה מכך, הוחלט לקשר את כל הקוד ב-QSPI, ולהבזק אותו עם טוען בכתב עצמי שיקבל את הבינארי הנדרש באמצעות TFTP.

תוצאה

הרעיון להעביר את הספרייה הזו לאמבוקס הופיע לפני כשנה, אבל שוב ושוב הוא נדחה מסיבות שונות. אחד מהם הוא תמיכה ב-libstdc++ ובספריית התבניות הסטנדרטית. הבעיה של תמיכה ב-C++ ב-Embox היא מעבר לתחום המאמר הזה, אז כאן אני רק אגיד שהצלחנו להשיג את התמיכה הזו בכמות הנכונה כדי שהספרייה הזו תעבוד 🙂

בסופו של דבר, הבעיות הללו התגברו (לפחות מספיק כדי שהדוגמה של OpenCV תעבוד), והדוגמה רצה. לוקח ללוח 40 שניות ארוכות לחפש גבולות באמצעות מסנן Canny. זה כמובן ארוך מדי (יש שיקולים איך לייעל את העניין הזה, אפשר יהיה לכתוב על זה מאמר נפרד במקרה של הצלחה).

עם זאת, מטרת הביניים הייתה ליצור אב טיפוס שיראה את האפשרות הבסיסית של הפעלת OpenCV על STM32, בהתאמה, מטרה זו הושגה, הידד!

tl;dr: הוראות שלב אחר שלב

0: הורד מקורות אמבוקס, כמו זה:

    git clone https://github.com/embox/embox && cd ./embox

1: נתחיל בהרכבת אתחול ש"יבזק" כונן הבזק QSPI.

    make confload-arm/stm32f7cube

עכשיו אתה צריך להגדיר את הרשת, כי. נעלה את התמונה דרך TFTP. כדי להגדיר את כתובות ה-IP של הלוח והמארח, עליך לערוך את ה-conf/rootfs/network.

דוגמה לתצורה:

iface eth0 inet static
    address 192.168.2.2
    netmask 255.255.255.0
    gateway 192.168.2.1
    hwaddress aa:bb:cc:dd:ee:02

gateway - כתובת מארח מהמקום שבו התמונה תיטען, address - כתובת המועצה.

לאחר מכן, אנו אוספים את טוען האתחול:

    make

2: הטעינה הרגילה של מאתחול האתחול (סליחה על משחק המילים) על הלוח - אין כאן שום דבר ספציפי, אתה צריך לעשות את זה כמו עבור כל יישום אחר עבור STM32F7Discovery. אם אתה לא יודע איך לעשות את זה, אתה יכול לקרוא על זה כאן.
3: קומפילציה של תמונה עם תצורה עבור OpenCV.

    make confload-platform/opencv/stm32f7discovery
    make

4: חלץ מקטעי ELF שיכתבו ל-QSPI ל-qspi.bin

    arm-none-eabi-objcopy -O binary build/base/bin/embox build/base/bin/qspi.bin 
        --only-section=.text --only-section=.rodata 
        --only-section='.ARM.ex*' 
        --only-section=.data

יש סקריפט בספריית conf שעושה את זה, אז אתה יכול להפעיל אותו

    ./conf/qspi_objcopy.sh # Нужный бинарник -- build/base/bin/qspi.bin

5: באמצעות tftp, הורד את qspi.bin.bin לכונן הבזק של QSPI. במארח, כדי לעשות זאת, העתק את qspi.bin לתיקיית השורש של שרת tftp (בדרך כלל /srv/tftp/ או /var/lib/tftpboot/; חבילות עבור השרת המתאים זמינות ברוב ההפצות הפופולריות, הנקראות בדרך כלל tftpd או tftp-hpa, לפעמים אתה צריך לעשות systemctl start tftpd.service להתחיל).

    # вариант для tftpd
    sudo cp build/base/bin/qspi.bin /srv/tftp
    # вариант для tftp-hpa
    sudo cp build/base/bin/qspi.bin /var/lib/tftpboot

ב-Embox (כלומר במטען האתחול), עליך לבצע את הפקודה הבאה (אנו מניחים שלשרת יש את הכתובת 192.168.2.1):

    embox> qspi_loader qspi.bin 192.168.2.1

6: עם פקודה goto אתה צריך "לקפוץ" לזיכרון QSPI. המיקום הספציפי ישתנה בהתאם לאופן שבו התמונה מקושרת, אתה יכול לראות כתובת זו עם הפקודה mem 0x90000000 (כתובת ההתחלה מתאימה למילה השנייה של 32 סיביות של התמונה); תצטרך גם לסמן את הערימה -s, כתובת המחסנית היא 0x90000000, לדוגמה:

    embox>mem 0x90000000
    0x90000000:     0x20023200  0x9000c27f  0x9000c275  0x9000c275
                      ↑           ↑
              это адрес    это  адрес 
                стэка        первой
                           инструкции

    embox>goto -i 0x9000c27f -s 0x20023200 # Флаг -i нужен чтобы запретить прерывания во время инициализации системы

    < Начиная отсюда будет вывод не загрузчика, а образа с OpenCV >

7: השקה

    embox> edges 20

ותיהנו מחיפוש הגבול של 40 שניות 🙂

אם משהו משתבש - כתוב בעיה ב המאגר שלנו, או לרשימת התפוצה [מוגן בדוא"ל], או בתגובה כאן.

מקור: www.habr.com