Ja sam jedan od developera operativnog sistema , i u ovom članku ću govoriti o tome kako sam uspeo da pokrenem OpenCV na STM32746G ploči.
Ako u pretraživač upišete nešto poput 'OpenCV on STM32 board', možete pronaći prilično mnogo onih koji su zainteresovani za korišćenje ove biblioteke na STM32 pločama ili drugim mikrokontrolerima.
Postoji nekoliko videa koji bi, sudeći po naslovu, trebali da prikazuju ono što je potrebno, ali obično (u svim video zapisima koje sam video) na STM32 ploči se samo dobija slika sa kamere i prikazuje rezultat na ekranu, dok se sama obrada slike vrši ili na običnom računaru, ili na jačim pločama (npr. Raspberry Pi).
Zašto je to teško?
Popularnost pretraživačkih upita objašnjava se time što je OpenCV najpopularnija biblioteka za računarsku viziju, što znači da je više developera upoznato s njom, a mogućnost pokretanja gotovog koda za desktop na mikrokontroleru značajno olakšava proces razvoja. Ali zašto još uvek nema nekih popularnih gotovih rešenja za ovaj problem?
Problem korišćenja OpenCV-a na malim pločama povezan je sa dva svojstva:
- Ako se biblioteka kompajlira čak i sa minimalnim setom modula, u Flash memoriju iste STM32F7Discovery jednostavno ne staje (čak i bez obzira na OS) zbog veoma velikog koda (nekoliko megabajta instrukcija)
- Sama biblioteka je napisana u C++, što znači
- Potrebna je podrška za C++ runtime (izuzeci itd.)
- Nedovoljna podrška za LibC/Posix, koji se obično nalaze u OS-ima za ugrađene sisteme — potrebna je standardna biblioteka za C++ i standardna biblioteka šablona STL (vector itd.)
Portiranje na Embox
Kao i obično, pre portiranja bilo kojih programa u operativni sistem, dobro je pokušati skupiti ga u obliku u kojem su ga zamislili developeri. U našem slučaju, problemi s tim se ne javljaju — izvorni kod se može pronaći na , biblioteka se sastavlja pod GNU/Linux koristeći standardni cmake.
Od dobrih vesti — OpenCV se može sastaviti kao statička biblioteka, što olakšava portiranje. Skupljamo biblioteku sa standardnom konfiguracijom i gledamo koliko mesta zauzima. Svaki modul se sastavlja u posebnu biblioteku.
> size lib/*so --totals
text data bss dec hex filename
1945822 15431 960 1962213 1df0e5 lib/libopencv_calib3d.so
17081885 170312 25640 17277837 107a38d lib/libopencv_core.so
10928229 137640 20192 11086061 a928ed lib/libopencv_dnn.so
842311 25680 1968 869959 d4647 lib/libopencv_features2d.so
423660 8552 184 432396 6990c lib/libopencv_flann.so
8034733 54872 1416 8091021 7b758d lib/libopencv_gapi.so
90741 3452 304 94497 17121 lib/libopencv_highgui.so
6338414 53152 968 6392534 618ad6 lib/libopencv_imgcodecs.so
21323564 155912 652056 22131532 151b34c lib/libopencv_imgproc.so
724323 12176 376 736875 b3e6b lib/libopencv_ml.so
429036 6864 464 436364 6a88c lib/libopencv_objdetect.so
6866973 50176 1064 6918213 699045 lib/libopencv_photo.so
698531 13640 160 712331 ade8b lib/libopencv_stitching.so
466295 6688 168 473151 7383f lib/libopencv_video.so
315858 6972 11576 334406 51a46 lib/libopencv_videoio.so
76510375 721519 717496 77949390 4a569ce (TOTALS)Kao što se može vidjeti iz posljednje linije, .bss i .data ne zauzimaju previše prostora, ali kod je veći od 70 MiB. Jasno je da, ako se to statički linkuje s određenom aplikacijom, veličina koda će se smanjiti.
Pokušat ćemo izbaciti koliko god je moguće više modula kako bismo sastavili minimalni primjer (koji, na primjer, jednostavno prikazuje verziju OpenCV-a), pa gledamo cmake .. -LA i isključujemo u opcijama sve što se može isključiti.
-DBUILD_opencv_java_bindings_generator=OFF
-DBUILD_opencv_stitching=OFF
-DWITH_PROTOBUF=OFF
-DWITH_PTHREADS_PF=OFF
-DWITH_QUIRC=OFF
-DWITH_TIFF=OFF
-DWITH_V4L=OFF
-DWITH_VTK=OFF
-DWITH_WEBP=OFF> size lib/libopencv_core.a --totals
text data bss dec hex filename
3317069 36425 17987 3371481 3371d9 (TOTALS)S jedne strane, ovo je samo jedan modul biblioteke, a s druge strane, to je bez optimizacije kompajlera po veličini koda (-Os). ~3 MiB koda — to je još uvijek dovoljno, ali već daje nadu za uspjeh.
Pokretanje u emulatoru
U emulatoru je daleko lakše debagovati, stoga se prvo uvjeravamo da biblioteka radi na qemu. Kao emulatornu platformu izabrao sam Integrator/CP, jer, prvo, to je također ARM, a drugo, Embox podržava ispis grafike za ovu platformu.
U Emboxu postoji mehanizam za izgradnju vanjskih biblioteka, pomoću njega dodajem OpenCV kao modul (prenoseći sve iste opcije za 'minimalnu' izgradnju u obliku statičnih biblioteka), nakon toga dodajem najjednostavniju aplikaciju koja izgleda ovako:
version.cpp:
#include
#include
int main() {
printf("OpenCV: %s", cv::getBuildInformation().c_str());
return 0;
}Sastavljamo sustav, pokrećemo — dobijamo očekivani izlaz.
root@embox:\/ #opencv_version
OpenCV:
Opća konfiguracija za OpenCV 4.0.1 =====================================
Kontrola verzije: bd6927bdf-dirty
Platforma:
Vremenska oznaka: 2019-06-21T10:02:18Z
Host: Linux 5.1.7-arch1-1-ARCH x86_64
Cilj: Generički arm-unknown-none
CMake: 3.14.5
CMake generator: Unix Makefiles
CMake alat gradnje: \/usr\/bin\/make
Konfiguracija: Debug
CPU\/HW karakteristike:
Osnova:
zatraženo: DETECT
onemogućeno: VFPV3 NEON
C\/C++:
Izgrađeno kao dinamičke biblioteke?: NE
< Dalje idu ostali parametri gradnje -- s kojim se flagovima kompajlirao,
koje su OpenCV module uključeni u gradnju itd.>Sljedeći korak — pokrenuti neki primjer, najbolje neki standardni od onih koje sami programeri nude . Izabrao sam .
Primjer je trebalo malo prepraviti kako bi izravno prikazivao sliku s rezultatom u okviru bafera. Moralo se to napraviti jer funkcija imshow() može prikazivati slike putem QT, GTK i Windows sučelja, kojih, naravno, u konfiguraciji za STM32 sigurno neće biti. U stvari, QT se također može pokrenuti na STM32F7Discovery, ali o tome će biti riječi u drugom članku 🙂
Nakon kratkog istraživanja u kojem formatu se sprema rezultat rada detektora ivica, dobijamo sliku.

Originalna slika

Rezultat
Pokretanje na STM32F7Discovery
Na 32F746GDISCOVERY postoji nekoliko hardverskih podjela memorije koje možemo na ovaj ili onaj način koristiti
- 320KiB RAM-a
- 1MiB flash memorije za sliku
- 8MiB SDRAM-a
- 16MiB QSPI NAND-flash
- Uključenje za microSD karticu
SD karticu je moguće koristiti za skladištenje slika, ali u kontekstu pokretanja minimalnog primjera to nije baš korisno.
Ekran ima razlučivost 480×272, što znači da će memorija za okvirni bafer iznositi 522 240 bajtova pri dubini od 32 bita, tj. to je više od veličine RAM-a, tako da ćemo okvirni bafer i hrpu (koja će biti potrebna, uključujući OpenCV, za skladištenje podataka za slike i pomoćne strukture) smjestiti u SDRAM, dok će sve drugo (memorija za stekove i druge sistemske potrebe) ići u RAM.
Ako uzmemo minimalnu konfiguraciju za STM32F7Discovery (izbacimo cijelu mrežu, sve naredbe, smanjimo stekove koliko god je to moguće itd.) i dodamo OpenCV s primjerima, potrebna memorija će biti sljedeća:
text data bss dec hex filename
2876890 459208 312736 3648834 37ad42 build\/base\/bin\/emboxZa one koji nisu baš upoznati s tim u koje se sekcije što smještati, objasnit ću: u .text i .rodata se nalaze upute i konstante (grubo rečeno, readonly-podaci), u .data se nalaze promjenjivi podaci, u .bss se nalaze "nulte" varijable kojima, unatoč tome, treba prostor (ova sekcija će "otići" u RAM).
Dobra vijest je da .data/.bss moraju se smjestiti, a s .text problem je - pod sliku ima samo 1MiB memorije. Može se izbaciti iz .text primjera slika i čitati je, na primjer, s SD kartice u memoriju pri pokretanju, ali fruits.png teži otprilike 330KiB, tako da to ne rješava problem: veći dio .text se sastoji upravo iz OpenCV koda.
U suštini, ostaje samo jedno - učitavanje dijela koda na QSPI-flash (ima poseban način rada za mapiranje memorije na sistemsku sabirnicu, tako da procesor može izravno pristupiti tim podacima). Međutim, postoji problem: prvo, QSPI-flash memorija nije dostupna odmah nakon ponovnog pokretanja uređaja (potrebno je posebno inicijalizirati memory-mapped način), drugo, ne možemo "prošiti" tu memoriju uobičajenim bootloaderom.
Na kraju je odlučeno da se sav kod linka u QSPI, a da se profil iskaže vlastitim bootloaderom koji će dobiti potrebni binarni datoteku putem TFTP-a.
Rezultat
Ideja o portiranju ove biblioteke na Embox pojavila se još prije otprilike godine, ali je iz raznih razloga odgađana. Jedan od razloga je podrška za libstdc++ i standardnu biblioteku predložaka. Problem podrške za C++ u Emboxu izlazi iz okvira ovog članka, pa ću ovdje samo reći da smo uspjeli postići ovu podršku u potrebnoj mjeri za rad ove biblioteke 🙂
Na kraju su ti problemi prevaziđeni (barem u dovoljnoj mjeri za rad OpenCV primjera), i primjer je pokrenut. 40 dugih sekundi ploča traži granice filtrima Canny. To je, naravno, predugo (postoji ideja kako to optimizirati, o tome bi se mogla napisati posebna metoda u slučaju uspjeha).

Ipak, međufazni cilj bio je izraditi prototip koji će pokazati načelnu mogućnost pokretanja OpenCV-a na STM32, prema tome, taj cilj je postignut, u hurra!
tl;dr: korak-po-korak upute
0: Preuzmi izvore Embox-a, na primjer ovako:
git clone https://github.com/embox/embox && cd ./embox1: Počnimo s izradom bootloadera koji će "prošiti" QSPI-flash.
make confload-arm/stm32f7cubeSada je potrebno postaviti mrežu, jer ćemo učitati sliku preko TFTP-a. Da bismo postavili IP adrese ploče i hosta, potrebno je izmijeniti datoteku conf/rootfs/network.
Primer konfiguracije:
iface eth0 inet static
address 192.168.2.2
netmask 255.255.255.0
gateway 192.168.2.1
hwaddress aa:bb:cc:dd:ee:02gateway — adresa hosta s kojeg će se učitati slika, address — adresa ploče.
Nakon toga pripremamo bootloader:
make2: Uobičajeno učitavanje bootloader-a (izvinite zbog igre riječi) na ploču — ovdje nema ništa specifično, potrebno je učiniti to kao za svaku drugu aplikaciju za STM32F7Discovery. Ako ne znate kako to učiniti, možete pročitati o tome .
3: Kompilacija slike s konfiguracijom za OpenCV.
make confload-platform/opencv/stm32f7discovery
make4: Ekstrakcija iz ELF sekcija koje treba zapisati u QSPI, u qspi.bin
arm-none-eabi-objcopy -O binary build/base/bin/embox build/base/bin/qspi.bin
--only-section=.text --only-section=.rodata
--only-section='.ARM.ex*'
--only-section=.dataU direktoriju conf se nalazi skripta koja to radi, tako da je možete pokrenuti
./conf/qspi_objcopy.sh # Potreban binarni fajl -- build/base/bin/qspi.bin5: Pomoću tftp-a učitavamo qspi.bin na QSPI-flash. Na hostu je potrebno kopirati qspi.bin u glavni direktorij tftp-servera (obično je to /srv/tftp/ ili /var/lib/tftpboot/; paketi za odgovarajući server su u većini popularnih distribucija, obično se nazivaju tftpd ili tftp-hpa, ponekad je potrebno pokrenuti systemctl start tftpd.service za pokretanje).
# вариант для tftpd
sudo cp build/base/bin/qspi.bin /srv/tftp
# вариант для tftp-hpa
sudo cp build/base/bin/qspi.bin /var/lib/tftpbootNa Embox-u (tj. u bootloaderu) potrebno je izvršiti sljedeću komandu (pretpostavljamo da server ima adresu 192.168.2.1):
embox> qspi_loader qspi.bin 192.168.2.16: Pomoću komande goto treba "skočiti" u QSPI memoriju. Specificna lokacija će varirati u zavisnosti od toga kako je slika povezana, taj adres možete vidjeti komandom mem 0x90000000 (adresa starta se nalazi u drugom 32-bitnom riječi slike); također će biti potrebno postaviti stek sa flagom -s, adresa steka je na adresi 0x90000000, primjer:
embox>mem 0x90000000
0x90000000: 0x20023200 0x9000c27f 0x9000c275 0x9000c275
↑ ↑
to je adresa to je adresa
steka prve
instrukcije
embox>goto -i 0x9000c27f -s 0x20023200 # Flag -i je potreban za onemogućavanje prekida tokom inicijalizacije sistema7: Pokrećemo
embox> edges 20i uživamo u 40-sekundnom pretraživanju granica 🙂
Ako nešto pođe po zlu — pišite issue u , ili na mailing listu embox-devel@googlegroups.com, ili u komentarima ovdje.
Izvor: habr.com
