Аз съм един от разработчиците на операционната система Embox, и в тази статия ще говоря за това как успях да стартирам OpenCV на платката STM32746G.

Ако въведете нещо като „OpenCV на платка STM32“ в търсачката, можете да намерите доста хора, които се интересуват от използването на тази библиотека на платки STM32 или други микроконтролери.
Има няколко видеоклипа, които, съдейки по името, трябва да демонстрират какво е необходимо, но обикновено (във всички видеоклипове, които видях) на платката STM32 само изображението беше получено от камерата и резултатът беше показан на екрана, а самата обработка на изображения се извършваше или на обикновен компютър, или на по-мощни платки (например Raspberry Pi).

Защо е трудно?

Популярността на заявките за търсене се обяснява с факта, че OpenCV е най-популярната библиотека за компютърно зрение, което означава, че повече разработчици са запознати с нея, а възможността за стартиране на десктоп код на микроконтролер значително опростява процеса на разработка. Но защо все още няма популярни готови рецепти за решаване на този проблем?

Проблемът с използването на OpenCV върху малки шалове е свързан с две функции:

• Ако компилирате библиотеката дори с минимален набор от модули, тя просто няма да се побере във флаш паметта на същия STM32F7Discovery (дори без да вземете предвид операционната система) поради много голям код (няколко мегабайта инструкции)
• Самата библиотека е написана на C++, което означава
  • Нуждаете се от поддръжка за положително изпълнение (изключения и т.н.)
  • Малка поддръжка за LibC/Posix, която обикновено се намира в ОС за вградени системи - имате нужда от стандартна плюс библиотека и стандартна STL шаблонна библиотека (вектор и т.н.)

Пренасяне към Embox

Както обикновено, преди да пренесете каквито и да е програми към операционната система, добра идея е да опитате да я изградите във формата, в която разработчиците са я предвидили. В нашия случай няма проблеми с това - изходният код може да бъде намерен на githabe, библиотеката е изградена под GNU/Linux с обичайния cmake.

Добрата новина е, че OpenCV може да бъде изграден като статична библиотека от кутията, което прави пренасянето по-лесно. Събираме библиотека със стандартна конфигурация и виждаме колко място заемат. Всеки модул се събира в отделна библиотека.

> size lib/*so --totals
   text    data     bss     dec     hex filename
1945822   15431     960 1962213  1df0e5 lib/libopencv_calib3d.so
17081885     170312   25640 17277837    107a38d lib/libopencv_core.so
10928229     137640   20192 11086061     a928ed lib/libopencv_dnn.so
 842311   25680    1968  869959   d4647 lib/libopencv_features2d.so
 423660    8552     184  432396   6990c lib/libopencv_flann.so
8034733   54872    1416 8091021  7b758d lib/libopencv_gapi.so
  90741    3452     304   94497   17121 lib/libopencv_highgui.so
6338414   53152     968 6392534  618ad6 lib/libopencv_imgcodecs.so
21323564     155912  652056 22131532    151b34c lib/libopencv_imgproc.so
 724323   12176     376  736875   b3e6b lib/libopencv_ml.so
 429036    6864     464  436364   6a88c lib/libopencv_objdetect.so
6866973   50176    1064 6918213  699045 lib/libopencv_photo.so
 698531   13640     160  712331   ade8b lib/libopencv_stitching.so
 466295    6688     168  473151   7383f lib/libopencv_video.so
 315858    6972   11576  334406   51a46 lib/libopencv_videoio.so
76510375     721519  717496 77949390    4a569ce (TOTALS)

Както можете да видите от последния ред, .bss и .data не заемат много място, но кодът е повече от 70 MiB. Ясно е, че ако това е статично свързано с конкретно приложение, кодът ще стане по-малък.

Нека се опитаме да изхвърлим възможно най-много модули, така че да се сглоби минимален пример (който например просто ще изведе версията на OpenCV), така че изглеждаме cmake .. -LA и изключете в опциите всичко, което се изключва.

        -DBUILD_opencv_java_bindings_generator=OFF 
        -DBUILD_opencv_stitching=OFF 
        -DWITH_PROTOBUF=OFF 
        -DWITH_PTHREADS_PF=OFF 
        -DWITH_QUIRC=OFF 
        -DWITH_TIFF=OFF 
        -DWITH_V4L=OFF 
        -DWITH_VTK=OFF 
        -DWITH_WEBP=OFF 
        <...>

> size lib/libopencv_core.a --totals
   text    data     bss     dec     hex filename
3317069   36425   17987 3371481  3371d9 (TOTALS)

От една страна, това е само един модул от библиотеката, от друга страна, това е без оптимизация на компилатора за размера на кода (-Os). ~3 MiB код все още е доста, но вече дава надежда за успех.

Стартирайте в емулатора

Много по-лесно е да се отстраняват грешки в емулатора, така че първо се уверете, че библиотеката работи на qemu. Като емулирана платформа избрах Integrator / CP, т.к първо, той също е ARM, и второ, Embox поддържа графичен изход за тази платформа.

Embox има механизъм за изграждане на външни библиотеки, като го използваме, добавяме OpenCV като модул (предавайки всички същите опции за "минималната" компилация под формата на статични библиотеки), след което добавям просто приложение, което изглежда така:

version.cpp:

#include <stdio.h>
#include <opencv2/core/utility.hpp>

int main() {
    printf("OpenCV: %s", cv::getBuildInformation().c_str());

    return 0;
}

Сглобяваме системата, стартираме я - получаваме очаквания резултат.

root@embox:/#opencv_version                                                     
OpenCV: 
General configuration for OpenCV 4.0.1 =====================================
  Version control:               bd6927bdf-dirty

  Platform:
    Timestamp:                   2019-06-21T10:02:18Z
    Host:                        Linux 5.1.7-arch1-1-ARCH x86_64
    Target:                      Generic arm-unknown-none
    CMake:                       3.14.5
    CMake generator:             Unix Makefiles
    CMake build tool:            /usr/bin/make
    Configuration:               Debug

  CPU/HW features:
    Baseline:
      requested:                 DETECT
      disabled:                  VFPV3 NEON

  C/C++:
    Built as dynamic libs?:      NO
< Дальше идут прочие параметры сборки -- с какими флагами компилировалось,
  какие модули OpenCV включены в сборку и т.п.>

Следващата стъпка е да стартирате някакъв пример, за предпочитане един от стандартните, предлагани от самите разработчици. на вашия сайт. аз избирам граничен детектор canny.

Примерът трябваше да бъде леко пренаписан, за да се покаже изображението с резултата директно в буфера на рамката. Трябваше да направя това, защото. функция imshow() може да рисува изображения чрез интерфейсите QT, GTK и Windows, които, разбира се, определено няма да присъстват в конфигурацията за STM32. Всъщност QT може да се изпълнява и на STM32F7Discovery, но това ще бъде обсъдено в друга статия 🙂

След кратко уточнение в какъв формат се съхранява резултата от ръбовия детектор, получаваме изображение.

оригинална снимка

Резултат

Работи на STM32F7Discovery

На 32F746GDISCOVERY има няколко секции с хардуерна памет, които можем да използваме по един или друг начин

1. 320KiB RAM
2. 1MiB флаш за изображение
3. 8MiB SDRAM
4. 16MiB QSPI NAND флаш
5. слот за microSD карта

SD карта може да се използва за съхраняване на изображения, но в контекста на изпълнение на минимален пример това не е много полезно.
Дисплеят е с резолюция 480×272, което означава, че паметта на фреймбуфера ще бъде 522 240 байта при дълбочина 32 бита, т.е. това е повече от размера на RAM, така че буферът на кадрите и купчината (които ще бъдат необходими, включително за OpenCV, за съхраняване на данни за изображения и спомагателни структури) ще бъдат разположени в SDRAM, всичко останало (памет за стекове и други системни нужди ) ще отиде в RAM .

Ако вземем минималната конфигурация за STM32F7Discovery (изхвърлим цялата мрежа, всички команди, направим стекове възможно най-малки и т.н.) и добавим OpenCV с примери там, необходимата памет ще бъде както следва:

   text    data     bss     dec     hex filename
2876890  459208  312736 3648834  37ad42 build/base/bin/embox

За тези, които не са много запознати кои раздели къде отиват, ще обясня: в .text и .rodata инструкции и константи (грубо казано, данни само за четене) се намират в .data данните са променливи, .bss има "нулирани" променливи, които въпреки това се нуждаят от място (този раздел ще "отиде" в RAM).

Добрата новина е, че .data/.bss трябва да пасне, но с .text проблемът е, че има само 1MiB памет за изображението. Може да се изхвърли .text картината от примера и я прочетете, например, от SD картата в паметта при стартиране, но fruits.png тежи около 330KiB, така че това няма да реши проблема: повечето .text се състои от OpenCV кода.

Като цяло остава само едно нещо - зареждане на част от кода върху QSPI флаш (той има специален режим на работа за картографиране на паметта към системната шина, така че процесорът да има директен достъп до тези данни). В този случай възниква проблем: първо, паметта на QSPI флаш устройство не е налична веднага след рестартиране на устройството (трябва отделно да инициализирате режима на карта на паметта), и второ, не можете да „флашнете“ тази памет с познат буутлоудър.

В резултат на това беше решено да се свърже целият код в QSPI и да се флашне със самостоятелно написан товарач, който ще получи необходимия двоичен файл чрез TFTP.

Резултат

Идеята тази библиотека да се пренесе към Embox се появи преди около година, но отново и отново беше отлагана поради различни причини. Една от тях е поддръжката на libstdc++ и стандартната библиотека с шаблони. Проблемът с поддръжката на C++ в Embox е извън обхвата на тази статия, така че тук ще кажа само, че успяхме да постигнем тази поддръжка в точното количество, за да работи тази библиотека 🙂

В крайна сметка тези проблеми бяха преодолени (поне достатъчно, за да работи примерът с OpenCV) и примерът се запълни. Отнема 40 дълги секунди на дъската да търси граници с помощта на филтъра Canny. Това, разбира се, е твърде дълго (има съображения как да се оптимизира този въпрос, ще бъде възможно да се напише отделна статия за това в случай на успех).

Междинната цел обаче беше да се създаде прототип, който ще покаже фундаменталната възможност за стартиране на OpenCV на STM32, съответно тази цел беше постигната, ура!

tl;dr: инструкции стъпка по стъпка

0: Изтеглете източници на Embox, като това:

    git clone https://github.com/embox/embox && cd ./embox

1: Нека започнем с асемблирането на буутлоудър, който ще "флашва" QSPI флаш устройство.

    make confload-arm/stm32f7cube

Сега трябва да конфигурирате мрежата, защото. Ще качим изображението чрез TFTP. За да зададете IP адресите на дъската и хоста, трябва да редактирате conf/rootfs/network.

Пример за конфигурация:

iface eth0 inet static
    address 192.168.2.2
    netmask 255.255.255.0
    gateway 192.168.2.1
    hwaddress aa:bb:cc:dd:ee:02

gateway - хост адрес, от който ще се зареди изображението, address - адрес на дъската.

След това събираме буутлоудъра:

    make

2: Обичайното зареждане на буутлоудъра (съжалявам за играта на думи) на дъската - тук няма нищо специфично, трябва да го направите като всяко друго приложение за STM32F7Discovery. Ако не знаете как да го направите, можете да прочетете за това тук.
3: Компилиране на изображение с конфигурация за OpenCV.

    make confload-platform/opencv/stm32f7discovery
    make

4: Извлечение от ELF секции, които да бъдат записани в QSPI към qspi.bin

    arm-none-eabi-objcopy -O binary build/base/bin/embox build/base/bin/qspi.bin 
        --only-section=.text --only-section=.rodata 
        --only-section='.ARM.ex*' 
        --only-section=.data

В директорията conf има скрипт, който прави това, така че можете да го стартирате

    ./conf/qspi_objcopy.sh # Нужный бинарник -- build/base/bin/qspi.bin

5: Използвайки tftp, изтеглете qspi.bin.bin на QSPI флаш устройство. На хоста, за да направите това, копирайте qspi.bin в основната папка на tftp сървъра (обикновено /srv/tftp/ или /var/lib/tftpboot/; пакетите за съответния сървър са налични в повечето популярни дистрибуции, обикновено наречени tftpd или tftp-hpa, понякога трябва да направите systemctl start tftpd.service да започна).

    # вариант для tftpd
    sudo cp build/base/bin/qspi.bin /srv/tftp
    # вариант для tftp-hpa
    sudo cp build/base/bin/qspi.bin /var/lib/tftpboot

В Embox (т.е. в буутлоудъра) трябва да изпълните следната команда (приемаме, че сървърът има адрес 192.168.2.1):

    embox> qspi_loader qspi.bin 192.168.2.1

6: С команда goto трябва да "скочите" в паметта на QSPI. Конкретното местоположение ще варира в зависимост от това как е свързано изображението, можете да видите този адрес с командата mem 0x90000000 (началният адрес се вписва във втората 32-битова дума на изображението); ще трябва също да маркирате стека -s, адресът на стека е 0x90000000, пример:

    embox>mem 0x90000000
    0x90000000:     0x20023200  0x9000c27f  0x9000c275  0x9000c275
                      ↑           ↑
              это адрес    это  адрес 
                стэка        первой
                           инструкции

    embox>goto -i 0x9000c27f -s 0x20023200 # Флаг -i нужен чтобы запретить прерывания во время инициализации системы

    < Начиная отсюда будет вывод не загрузчика, а образа с OpenCV >

7: Стартиране

    embox> edges 20

и се насладете на 40-секундното търсене на границата 🙂

Ако нещо се обърка - напишете проблем нашето хранилище, или към пощенския списък [имейл защитен], или в коментар тук.

Източник: www.habr.com