나는 운영 체제 개발자 중 한 명입니다. 엠박스, 이 기사에서는 STM32746G 보드에서 OpenCV를 실행하는 방법에 대해 설명합니다.

"STM32 보드의 OpenCV"와 같은 것을 검색 엔진에 입력하면 STM32 보드 또는 다른 마이크로 컨트롤러에서 이 라이브러리를 사용하는 데 관심이 있는 사람들을 꽤 ​​많이 찾을 수 있습니다.
이름으로 판단하면 무엇이 필요한지 시연해야 하는 동영상이 여럿 있는데, 보통 (제가 본 모든 동영상에서) STM32 보드에서는 카메라에서 이미지만 받아 화면에 그 결과를 보여줬고, 이미지 처리 자체는 일반 컴퓨터 또는 더 강력한 보드(예: Raspberry Pi)에서 수행되었습니다.

왜 어려운가요?

검색 쿼리의 인기는 OpenCV가 가장 인기 있는 컴퓨터 비전 라이브러리라는 사실로 설명됩니다. 즉, 더 많은 개발자가 OpenCV에 익숙하고 마이크로 컨트롤러에서 데스크톱 준비 코드를 실행할 수 있는 기능이 개발 프로세스를 크게 단순화합니다. 그러나이 문제를 해결하기 위해 인기있는 기성품 레시피가 아직없는 이유는 무엇입니까?

작은 shawls에서 OpenCV를 사용하는 문제는 두 가지 기능과 관련이 있습니다.

• 최소한의 모듈 세트로도 라이브러리를 컴파일하면 매우 큰 코드(수 메가바이트 명령)로 인해 동일한 STM32F7Discovery(OS를 고려하지 않아도)의 플래시 메모리에 맞지 않습니다.
• 라이브러리 자체는 C++로 작성되었습니다.
  • 포지티브 런타임 지원 필요(예외 등)
  • 일반적으로 임베디드 시스템용 OS에서 발견되는 LibC/Posix에 대한 지원이 거의 없습니다. 표준 플러스 라이브러리와 표준 STL 템플릿 라이브러리(벡터 등)가 필요합니다.

Embox로 포팅

여느 때처럼 프로그램을 운영 체제에 포팅하기 전에 개발자가 의도한 형태로 빌드해 보는 것이 좋습니다. 우리의 경우에는 문제가 없습니다. 소스 코드는 다음에서 찾을 수 있습니다. 기타베, 라이브러리는 일반적인 cmake를 사용하여 GNU/Linux에서 빌드됩니다.

좋은 소식은 OpenCV를 기본적으로 정적 라이브러리로 구축할 수 있어 포팅이 더 쉽다는 것입니다. 표준 구성으로 라이브러리를 수집하고 얼마나 많은 공간을 차지하는지 확인합니다. 각 모듈은 별도의 라이브러리에 수집됩니다.

> size lib/*so --totals
   text    data     bss     dec     hex filename
1945822   15431     960 1962213  1df0e5 lib/libopencv_calib3d.so
17081885     170312   25640 17277837    107a38d lib/libopencv_core.so
10928229     137640   20192 11086061     a928ed lib/libopencv_dnn.so
 842311   25680    1968  869959   d4647 lib/libopencv_features2d.so
 423660    8552     184  432396   6990c lib/libopencv_flann.so
8034733   54872    1416 8091021  7b758d lib/libopencv_gapi.so
  90741    3452     304   94497   17121 lib/libopencv_highgui.so
6338414   53152     968 6392534  618ad6 lib/libopencv_imgcodecs.so
21323564     155912  652056 22131532    151b34c lib/libopencv_imgproc.so
 724323   12176     376  736875   b3e6b lib/libopencv_ml.so
 429036    6864     464  436364   6a88c lib/libopencv_objdetect.so
6866973   50176    1064 6918213  699045 lib/libopencv_photo.so
 698531   13640     160  712331   ade8b lib/libopencv_stitching.so
 466295    6688     168  473151   7383f lib/libopencv_video.so
 315858    6972   11576  334406   51a46 lib/libopencv_videoio.so
76510375     721519  717496 77949390    4a569ce (TOTALS)

마지막 줄에서 알 수 있듯이 .bss 및 .data는 많은 공간을 차지하지 않지만 코드는 70MiB 이상입니다. 이것이 특정 응용 프로그램에 정적으로 연결되면 코드가 줄어들 것임이 분명합니다.

최소한의 예제가 조립되도록 가능한 한 많은 모듈을 버리도록 노력합시다(예를 들어 단순히 OpenCV 버전을 출력함). cmake .. -LA 옵션에서 꺼지는 모든 것을 끕니다.

        -DBUILD_opencv_java_bindings_generator=OFF 
        -DBUILD_opencv_stitching=OFF 
        -DWITH_PROTOBUF=OFF 
        -DWITH_PTHREADS_PF=OFF 
        -DWITH_QUIRC=OFF 
        -DWITH_TIFF=OFF 
        -DWITH_V4L=OFF 
        -DWITH_VTK=OFF 
        -DWITH_WEBP=OFF 
        <...>

> size lib/libopencv_core.a --totals
   text    data     bss     dec     hex filename
3317069   36425   17987 3371481  3371d9 (TOTALS)

한편으로 이것은 라이브러리의 한 모듈일 뿐이며 다른 한편으로는 코드 크기에 대한 컴파일러 최적화가 없습니다(-Os). ~3MiB의 코드는 여전히 꽤 많지만 이미 성공에 대한 희망을 줍니다.

에뮬레이터에서 실행

에뮬레이터에서 디버그하는 것이 훨씬 쉽기 때문에 먼저 라이브러리가 qemu에서 작동하는지 확인하십시오. 에뮬레이트된 플랫폼으로 저는 Integrator/CP를 선택했습니다. 첫째, ARM이기도 하며, 둘째, Embox는 이 플랫폼에 대한 그래픽 출력을 지원합니다.

Embox에는 외부 라이브러리를 빌드하기 위한 메커니즘이 있습니다. 이를 사용하여 OpenCV를 모듈로 추가하고(정적 라이브러리의 형태로 "최소" 빌드에 대해 동일한 옵션을 모두 전달) 다음과 같은 간단한 애플리케이션을 추가합니다.

version.cpp:

#include <stdio.h>
#include <opencv2/core/utility.hpp>

int main() {
    printf("OpenCV: %s", cv::getBuildInformation().c_str());

    return 0;
}

우리는 시스템을 조립하고 실행합니다. 예상되는 결과를 얻습니다.

root@embox:/#opencv_version                                                     
OpenCV: 
General configuration for OpenCV 4.0.1 =====================================
  Version control:               bd6927bdf-dirty

  Platform:
    Timestamp:                   2019-06-21T10:02:18Z
    Host:                        Linux 5.1.7-arch1-1-ARCH x86_64
    Target:                      Generic arm-unknown-none
    CMake:                       3.14.5
    CMake generator:             Unix Makefiles
    CMake build tool:            /usr/bin/make
    Configuration:               Debug

  CPU/HW features:
    Baseline:
      requested:                 DETECT
      disabled:                  VFPV3 NEON

  C/C++:
    Built as dynamic libs?:      NO
< Дальше идут прочие параметры сборки -- с какими флагами компилировалось,
  какие модули OpenCV включены в сборку и т.п.>

다음 단계는 개발자가 직접 제공하는 표준 예제 중 하나를 실행하는 것입니다. 귀하의 사이트에서. 나는 선택했다 국경 탐지기 캐니.

프레임 버퍼에 직접 결과가 있는 이미지를 표시하려면 예제를 약간 다시 작성해야 했습니다. 나는 이것을해야했다. 왜냐하면. 기능 imshow() QT, GTK 및 Windows 인터페이스를 통해 이미지를 그릴 수 있습니다. 물론 STM32의 구성에는 포함되지 않습니다. 실제로 QT는 STM32F7Discovery에서도 실행할 수 있지만 이에 대해서는 다른 기사에서 논의됩니다 🙂

에지 검출기의 결과가 저장되는 형식에 대해 간단히 설명한 후 이미지를 얻습니다.

원본 사진

결과

STM32F7Discovery에서 실행

32F746GDISCOVERY에는 어떤 식으로든 사용할 수 있는 여러 하드웨어 메모리 섹션이 있습니다.

1. 320KiB RAM
2. 이미지용 1MiB 플래시
3. 8MiB SDRAM
4. 16MiB QSPI 낸드 플래시
5. microSD 카드 슬롯

SD 카드는 이미지를 저장하는 데 사용할 수 있지만 최소한의 예제를 실행하는 맥락에서 이것은 그다지 유용하지 않습니다.
디스플레이의 해상도는 480×272이며, 이는 프레임 버퍼 메모리가 522비트 깊이에서 240바이트가 됨을 의미합니다. 이것은 RAM의 크기보다 크기 때문에 프레임 버퍼와 힙(OpenCV를 포함하여 이미지 및 보조 구조용 데이터를 저장하는 데 필요함)은 SDRAM에 위치하며, 다른 모든 것(스택용 메모리 및 기타 시스템 요구 사항) ) RAM으로 이동합니다.

STM32F7Discovery에 대한 최소 구성(전체 네트워크, 모든 명령을 버리고 스택을 가능한 한 작게 만드는 등)을 취하고 거기에 예제와 함께 OpenCV를 추가하면 필요한 메모리는 다음과 같습니다.

   text    data     bss     dec     hex filename
2876890  459208  312736 3648834  37ad42 build/base/bin/embox

어느 섹션이 어디로 가는지 잘 모르는 분들을 위해 다음과 같이 설명하겠습니다. .text и .rodata 명령 및 상수(대략적으로 말하면 읽기 전용 데이터)는 다음 위치에 있습니다. .data 데이터는 가변적이며, .bss 그럼에도 불구하고 장소가 필요한 "nulled"변수가 있습니다 (이 섹션은 RAM으로 "이동"합니다).

좋은 소식은 .data/.bss 맞아야 하지만 .text 문제는 이미지용 메모리가 1MiB밖에 없다는 것입니다. 버릴 수 있음 .text 예를 들어 시작 시 SD 카드에서 메모리로 예제의 그림을 읽어오지만 fruits.png의 무게는 약 330KiB이므로 문제가 해결되지 않습니다. 대부분 .text OpenCV 코드로 구성되어 있습니다.

대체로 코드의 일부를 QSPI 플래시에 로드하는 일만 남았습니다(프로세서가 이 데이터에 직접 액세스할 수 있도록 메모리를 시스템 버스에 매핑하는 특수 작업 모드가 있음). 이 경우 문제가 발생합니다. 첫째, 장치를 재부팅한 직후 QSPI 플래시 드라이브의 메모리를 사용할 수 없으며(메모리 매핑 모드를 별도로 초기화해야 함) 둘째, 이 메모리를 다음과 같이 "플래시"할 수 없습니다. 친숙한 부트로더.

결과적으로 QSPI의 모든 코드를 연결하고 TFTP를 통해 필요한 바이너리를 수신하는 자체 작성 로더로 플래시하기로 결정했습니다.

결과

이 라이브러리를 Embox로 포팅하려는 아이디어는 약 XNUMX년 전에 나타났지만 여러 가지 이유로 계속해서 연기되었습니다. 그중 하나는 libstdc++ 및 표준 템플릿 라이브러리에 대한 지원입니다. Embox의 C++ 지원 문제는 이 기사의 범위를 벗어나므로 여기서는 이 라이브러리가 작동하는 데 적절한 양으로 이 지원을 달성했다고만 말할 것입니다 🙂

결국 이러한 문제는 극복되었고(최소한 OpenCV 예제가 작동하기에 충분함) 예제가 실행되었습니다. 보드가 Canny 필터를 사용하여 경계를 검색하는 데 40초가 걸립니다. 물론 이것은 너무 깁니다 (이 문제를 최적화하는 방법에 대한 고려 사항이 있으며 성공할 경우 이에 대한 별도의 기사를 작성할 수 있습니다).

그러나 중간 목표는 각각 STM32에서 OpenCV를 실행할 수 있는 근본적인 가능성을 보여줄 프로토타입을 만드는 것이었고, 이 목표는 달성되었습니다. 만세!

tl;dr: 단계별 지침

0: 다음과 같이 Embox 소스를 다운로드합니다.

    git clone https://github.com/embox/embox && cd ./embox

1: QSPI 플래시 드라이브를 "플래시"할 부트로더를 조립하는 것으로 시작하겠습니다.

    make confload-arm/stm32f7cube

이제 네트워크를 구성해야 합니다. TFTP를 통해 이미지를 업로드합니다. 보드 및 호스트 IP 주소를 설정하려면 conf/rootfs/network를 편집해야 합니다.

구성 예 :

iface eth0 inet static
    address 192.168.2.2
    netmask 255.255.255.0
    gateway 192.168.2.1
    hwaddress aa:bb:cc:dd:ee:02

gateway - 이미지가 로드될 호스트 주소, address - 이사회 주소.

그런 다음 부트로더를 수집합니다.

    make

2: 보드에서 부트로더의 일반적인 로딩(말장난 죄송합니다) - 여기에는 특별한 것이 없으며 STM32F7Discovery에 대한 다른 애플리케이션과 마찬가지로 수행해야 합니다. 방법을 모르시면 읽어보시면 됩니다 여기에.
3: OpenCV용 구성으로 이미지 컴파일.

    make confload-platform/opencv/stm32f7discovery
    make

4: QSPI에 쓸 ELF 섹션에서 qspi.bin으로 추출

    arm-none-eabi-objcopy -O binary build/base/bin/embox build/base/bin/qspi.bin 
        --only-section=.text --only-section=.rodata 
        --only-section='.ARM.ex*' 
        --only-section=.data

conf 디렉토리에 이 작업을 수행하는 스크립트가 있으므로 실행할 수 있습니다.

    ./conf/qspi_objcopy.sh # Нужный бинарник -- build/base/bin/qspi.bin

5: tftp를 사용하여 qspi.bin.bin을 QSPI 플래시 드라이브로 다운로드합니다. 호스트에서 이를 수행하려면 qspi.bin을 tftp 서버의 루트 폴더(보통 /srv/tftp/ 또는 /var/lib/tftpboot/; 해당 서버용 패키지는 일반적으로 tftpd 또는 tftp-hpa, 때때로 해야 할 일 systemctl start tftpd.service 시작한다).

    # вариант для tftpd
    sudo cp build/base/bin/qspi.bin /srv/tftp
    # вариант для tftp-hpa
    sudo cp build/base/bin/qspi.bin /var/lib/tftpboot

Embox(즉, 부트로더)에서 다음 명령을 실행해야 합니다(서버 주소가 192.168.2.1이라고 가정).

    embox> qspi_loader qspi.bin 192.168.2.1

6: 명령으로 goto QSPI 메모리로 "점프"해야 합니다. 특정 위치는 이미지가 연결된 방식에 따라 다르며 명령으로 이 주소를 볼 수 있습니다. mem 0x90000000 (시작 주소는 이미지의 두 번째 32비트 워드에 맞습니다.) 또한 스택에 플래그를 지정해야 합니다. -s, 스택 주소는 0x90000000에 있습니다. 예:

    embox>mem 0x90000000
    0x90000000:     0x20023200  0x9000c27f  0x9000c275  0x9000c275
                      ↑           ↑
              это адрес    это  адрес 
                стэка        первой
                           инструкции

    embox>goto -i 0x9000c27f -s 0x20023200 # Флаг -i нужен чтобы запретить прерывания во время инициализации системы

    < Начиная отсюда будет вывод не загрузчика, а образа с OpenCV >

7: 발사

    embox> edges 20

40초의 경계 검색을 즐겨보세요 🙂

문제가 발생하면 문제를 작성하십시오. 우리 저장소, 또는 메일링 리스트로 [이메일 보호], 또는 여기 댓글에서.

출처 : habr.com