OpenCV na STM32F7-Discovery

OpenCV na STM32F7-Discovery Ja sam jedan od developera operativnog sistema Embox, i u ovom članku ću govoriti o tome kako sam uspeo da pokrenem OpenCV na STM32746G ploči.

Ako u pretraživač upišete nešto poput 'OpenCV on STM32 board', možete pronaći prilično mnogo onih koji su zainteresovani za korišćenje ove biblioteke na STM32 pločama ili drugim mikrokontrolerima.
Postoji nekoliko videa koji bi, sudeći po naslovu, trebali da prikazuju ono što je potrebno, ali obično (u svim video zapisima koje sam video) na STM32 ploči se samo dobija slika sa kamere i prikazuje rezultat na ekranu, dok se sama obrada slike vrši ili na običnom računaru, ili na jačim pločama (npr. Raspberry Pi).

Zašto je to teško?

Popularnost pretraživačkih upita objašnjava se time što je OpenCV najpopularnija biblioteka za računarsku viziju, što znači da je više developera upoznato s njom, a mogućnost pokretanja gotovog koda za desktop na mikrokontroleru značajno olakšava proces razvoja. Ali zašto još uvek nema nekih popularnih gotovih rešenja za ovaj problem?

Problem korišćenja OpenCV-a na malim pločama povezan je sa dva svojstva:

  • Ako se biblioteka kompajlira čak i sa minimalnim setom modula, u Flash memoriju iste STM32F7Discovery jednostavno ne staje (čak i bez obzira na OS) zbog veoma velikog koda (nekoliko megabajta instrukcija)
  • Sama biblioteka je napisana u C++, što znači
    • Potrebna je podrška za C++ runtime (izuzeci itd.)
    • Nedovoljna podrška za LibC/Posix, koji se obično nalaze u OS-ima za ugrađene sisteme — potrebna je standardna biblioteka za C++ i standardna biblioteka šablona STL (vector itd.)

Portiranje na Embox

Kao i obično, pre portiranja bilo kojih programa u operativni sistem, dobro je pokušati skupiti ga u obliku u kojem su ga zamislili developeri. U našem slučaju, problemi s tim se ne javljaju — izvorni kod se može pronaći na GitHub-u, biblioteka se sastavlja pod GNU/Linux koristeći standardni cmake.

Od dobrih vesti — OpenCV se može sastaviti kao statička biblioteka, što olakšava portiranje. Skupljamo biblioteku sa standardnom konfiguracijom i gledamo koliko mesta zauzima. Svaki modul se sastavlja u posebnu biblioteku.

> size lib/*so --totals
   text    data     bss     dec     hex filename
1945822   15431     960 1962213  1df0e5 lib/libopencv_calib3d.so
17081885     170312   25640 17277837    107a38d lib/libopencv_core.so
10928229     137640   20192 11086061     a928ed lib/libopencv_dnn.so
 842311   25680    1968  869959   d4647 lib/libopencv_features2d.so
 423660    8552     184  432396   6990c lib/libopencv_flann.so
8034733   54872    1416 8091021  7b758d lib/libopencv_gapi.so
  90741    3452     304   94497   17121 lib/libopencv_highgui.so
6338414   53152     968 6392534  618ad6 lib/libopencv_imgcodecs.so
21323564     155912  652056 22131532    151b34c lib/libopencv_imgproc.so
 724323   12176     376  736875   b3e6b lib/libopencv_ml.so
 429036    6864     464  436364   6a88c lib/libopencv_objdetect.so
6866973   50176    1064 6918213  699045 lib/libopencv_photo.so
 698531   13640     160  712331   ade8b lib/libopencv_stitching.so
 466295    6688     168  473151   7383f lib/libopencv_video.so
 315858    6972   11576  334406   51a46 lib/libopencv_videoio.so
76510375     721519  717496 77949390    4a569ce (TOTALS)

Kao što se može vidjeti iz posljednje linije, .bss i .data ne zauzimaju previše prostora, ali kod je veći od 70 MiB. Jasno je da, ako se to statički linkuje s određenom aplikacijom, veličina koda će se smanjiti.

Pokušat ćemo izbaciti koliko god je moguće više modula kako bismo sastavili minimalni primjer (koji, na primjer, jednostavno prikazuje verziju OpenCV-a), pa gledamo cmake .. -LA i isključujemo u opcijama sve što se može isključiti.

        -DBUILD_opencv_java_bindings_generator=OFF 
        -DBUILD_opencv_stitching=OFF 
        -DWITH_PROTOBUF=OFF 
        -DWITH_PTHREADS_PF=OFF 
        -DWITH_QUIRC=OFF 
        -DWITH_TIFF=OFF 
        -DWITH_V4L=OFF 
        -DWITH_VTK=OFF 
        -DWITH_WEBP=OFF

> size lib/libopencv_core.a --totals
   text    data     bss     dec     hex filename
3317069   36425   17987 3371481  3371d9 (TOTALS)

S jedne strane, ovo je samo jedan modul biblioteke, a s druge strane, to je bez optimizacije kompajlera po veličini koda (-Os). ~3 MiB koda — to je još uvijek dovoljno, ali već daje nadu za uspjeh.

Pokretanje u emulatoru

U emulatoru je daleko lakše debagovati, stoga se prvo uvjeravamo da biblioteka radi na qemu. Kao emulatornu platformu izabrao sam Integrator/CP, jer, prvo, to je također ARM, a drugo, Embox podržava ispis grafike za ovu platformu.

U Emboxu postoji mehanizam za izgradnju vanjskih biblioteka, pomoću njega dodajem OpenCV kao modul (prenoseći sve iste opcije za 'minimalnu' izgradnju u obliku statičnih biblioteka), nakon toga dodajem najjednostavniju aplikaciju koja izgleda ovako:

version.cpp:

#include 
#include 

int main() {
    printf("OpenCV: %s", cv::getBuildInformation().c_str());

    return 0;
}

Sastavljamo sustav, pokrećemo — dobijamo očekivani izlaz.

root@embox:\/ #opencv_version                                                     
OpenCV: 
Opća konfiguracija za OpenCV 4.0.1 =====================================
  Kontrola verzije:               bd6927bdf-dirty

  Platforma:
    Vremenska oznaka:                   2019-06-21T10:02:18Z
    Host:                        Linux 5.1.7-arch1-1-ARCH x86_64
    Cilj:                      Generički arm-unknown-none
    CMake:                       3.14.5
    CMake generator:             Unix Makefiles
    CMake alat gradnje:            \/usr\/bin\/make
    Konfiguracija:               Debug

  CPU\/HW karakteristike:
    Osnova:
      zatraženo:                 DETECT
      onemogućeno:                  VFPV3 NEON

  C\/C++:
    Izgrađeno kao dinamičke biblioteke?:      NE
< Dalje idu ostali parametri gradnje -- s kojim se flagovima kompajlirao,
  koje su OpenCV module uključeni u gradnju itd.>

Sljedeći korak — pokrenuti neki primjer, najbolje neki standardni od onih koje sami programeri nude na svom sajtu. Izabrao sam detektor ivica Keni.

Primjer je trebalo malo prepraviti kako bi izravno prikazivao sliku s rezultatom u okviru bafera. Moralo se to napraviti jer funkcija imshow() može prikazivati slike putem QT, GTK i Windows sučelja, kojih, naravno, u konfiguraciji za STM32 sigurno neće biti. U stvari, QT se također može pokrenuti na STM32F7Discovery, ali o tome će biti riječi u drugom članku 🙂

Nakon kratkog istraživanja u kojem formatu se sprema rezultat rada detektora ivica, dobijamo sliku.

OpenCV na STM32F7-Discovery

Originalna slika

OpenCV na STM32F7-Discovery

Rezultat

Pokretanje na STM32F7Discovery

Na 32F746GDISCOVERY postoji nekoliko hardverskih podjela memorije koje možemo na ovaj ili onaj način koristiti

  1. 320KiB RAM-a
  2. 1MiB flash memorije za sliku
  3. 8MiB SDRAM-a
  4. 16MiB QSPI NAND-flash
  5. Uključenje za microSD karticu

SD karticu je moguće koristiti za skladištenje slika, ali u kontekstu pokretanja minimalnog primjera to nije baš korisno.
Ekran ima razlučivost 480×272, što znači da će memorija za okvirni bafer iznositi 522 240 bajtova pri dubini od 32 bita, tj. to je više od veličine RAM-a, tako da ćemo okvirni bafer i hrpu (koja će biti potrebna, uključujući OpenCV, za skladištenje podataka za slike i pomoćne strukture) smjestiti u SDRAM, dok će sve drugo (memorija za stekove i druge sistemske potrebe) ići u RAM.

Ako uzmemo minimalnu konfiguraciju za STM32F7Discovery (izbacimo cijelu mrežu, sve naredbe, smanjimo stekove koliko god je to moguće itd.) i dodamo OpenCV s primjerima, potrebna memorija će biti sljedeća:

   text    data     bss     dec     hex filename
2876890  459208  312736 3648834  37ad42 build\/base\/bin\/embox

Za one koji nisu baš upoznati s tim u koje se sekcije što smještati, objasnit ću: u .text i .rodata se nalaze upute i konstante (grubo rečeno, readonly-podaci), u .data se nalaze promjenjivi podaci, u .bss se nalaze "nulte" varijable kojima, unatoč tome, treba prostor (ova sekcija će "otići" u RAM).

Dobra vijest je da .data/.bss moraju se smjestiti, a s .text problem je - pod sliku ima samo 1MiB memorije. Može se izbaciti iz .text primjera slika i čitati je, na primjer, s SD kartice u memoriju pri pokretanju, ali fruits.png teži otprilike 330KiB, tako da to ne rješava problem: veći dio .text se sastoji upravo iz OpenCV koda.

U suštini, ostaje samo jedno - učitavanje dijela koda na QSPI-flash (ima poseban način rada za mapiranje memorije na sistemsku sabirnicu, tako da procesor može izravno pristupiti tim podacima). Međutim, postoji problem: prvo, QSPI-flash memorija nije dostupna odmah nakon ponovnog pokretanja uređaja (potrebno je posebno inicijalizirati memory-mapped način), drugo, ne možemo "prošiti" tu memoriju uobičajenim bootloaderom.

Na kraju je odlučeno da se sav kod linka u QSPI, a da se profil iskaže vlastitim bootloaderom koji će dobiti potrebni binarni datoteku putem TFTP-a.

Rezultat

Ideja o portiranju ove biblioteke na Embox pojavila se još prije otprilike godine, ali je iz raznih razloga odgađana. Jedan od razloga je podrška za libstdc++ i standardnu biblioteku predložaka. Problem podrške za C++ u Emboxu izlazi iz okvira ovog članka, pa ću ovdje samo reći da smo uspjeli postići ovu podršku u potrebnoj mjeri za rad ove biblioteke 🙂

Na kraju su ti problemi prevaziđeni (barem u dovoljnoj mjeri za rad OpenCV primjera), i primjer je pokrenut. 40 dugih sekundi ploča traži granice filtrima Canny. To je, naravno, predugo (postoji ideja kako to optimizirati, o tome bi se mogla napisati posebna metoda u slučaju uspjeha).

OpenCV na STM32F7-Discovery

Ipak, međufazni cilj bio je izraditi prototip koji će pokazati načelnu mogućnost pokretanja OpenCV-a na STM32, prema tome, taj cilj je postignut, u hurra!

tl;dr: korak-po-korak upute

0: Preuzmi izvore Embox-a, na primjer ovako:

    git clone https://github.com/embox/embox && cd ./embox

1: Počnimo s izradom bootloadera koji će "prošiti" QSPI-flash.

    make confload-arm/stm32f7cube

Sada je potrebno postaviti mrežu, jer ćemo učitati sliku preko TFTP-a. Da bismo postavili IP adrese ploče i hosta, potrebno je izmijeniti datoteku conf/rootfs/network.

Primer konfiguracije:

iface eth0 inet static
    address 192.168.2.2
    netmask 255.255.255.0
    gateway 192.168.2.1
    hwaddress aa:bb:cc:dd:ee:02

gateway — adresa hosta s kojeg će se učitati slika, address — adresa ploče.

Nakon toga pripremamo bootloader:

    make

2: Uobičajeno učitavanje bootloader-a (izvinite zbog igre riječi) na ploču — ovdje nema ništa specifično, potrebno je učiniti to kao za svaku drugu aplikaciju za STM32F7Discovery. Ako ne znate kako to učiniti, možete pročitati o tome ovde.
3: Kompilacija slike s konfiguracijom za OpenCV.

    make confload-platform/opencv/stm32f7discovery
    make

4: Ekstrakcija iz ELF sekcija koje treba zapisati u QSPI, u qspi.bin

    arm-none-eabi-objcopy -O binary build/base/bin/embox build/base/bin/qspi.bin 
        --only-section=.text --only-section=.rodata 
        --only-section='.ARM.ex*' 
        --only-section=.data

U direktoriju conf se nalazi skripta koja to radi, tako da je možete pokrenuti

    ./conf/qspi_objcopy.sh # Potreban binarni fajl -- build/base/bin/qspi.bin

5: Pomoću tftp-a učitavamo qspi.bin na QSPI-flash. Na hostu je potrebno kopirati qspi.bin u glavni direktorij tftp-servera (obično je to /srv/tftp/ ili /var/lib/tftpboot/; paketi za odgovarajući server su u većini popularnih distribucija, obično se nazivaju tftpd ili tftp-hpa, ponekad je potrebno pokrenuti systemctl start tftpd.service za pokretanje).

    # вариант для tftpd
    sudo cp build/base/bin/qspi.bin /srv/tftp
    # вариант для tftp-hpa
    sudo cp build/base/bin/qspi.bin /var/lib/tftpboot

Na Embox-u (tj. u bootloaderu) potrebno je izvršiti sljedeću komandu (pretpostavljamo da server ima adresu 192.168.2.1):

    embox> qspi_loader qspi.bin 192.168.2.1

6: Pomoću komande goto treba "skočiti" u QSPI memoriju. Specificna lokacija će varirati u zavisnosti od toga kako je slika povezana, taj adres možete vidjeti komandom mem 0x90000000 (adresa starta se nalazi u drugom 32-bitnom riječi slike); također će biti potrebno postaviti stek sa flagom -s, adresa steka je na adresi 0x90000000, primjer:

    embox>mem 0x90000000
    0x90000000:     0x20023200  0x9000c27f  0x9000c275  0x9000c275
                      ↑           ↑
              to je adresa    to je  adresa 
                steka        prve
                           instrukcije

    embox>goto -i 0x9000c27f -s 0x20023200 # Flag -i je potreban za onemogućavanje prekida tokom inicijalizacije sistema

7: Pokrećemo

    embox> edges 20

i uživamo u 40-sekundnom pretraživanju granica 🙂

Ako nešto pođe po zlu — pišite issue u našem repozitoriju, ili na mailing listu embox-devel@googlegroups.com, ili u komentarima ovdje.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster