მე ვარ ოპერაციული სისტემის ერთ-ერთი შემქმნელი Emboxდა ამ სტატიაში ვისაუბრებ იმაზე, თუ როგორ მოვახერხე OpenCV-ის გაშვება STM32746G დაფაზე.

თუ საძიებო სისტემაში აკრიფებთ რაღაცას „OpenCV STM32 დაფაზე“, შეგიძლიათ იპოვოთ საკმაოდ ბევრი ადამიანი, ვინც დაინტერესებულია ამ ბიბლიოთეკის გამოყენებით STM32 დაფებზე ან სხვა მიკროკონტროლერებზე.
არის რამდენიმე ვიდეო, რომელიც, სახელწოდებით ვიმსჯელებთ, უნდა აჩვენოს რა არის საჭირო, მაგრამ ჩვეულებრივ (ყველა ვიდეოში, რომელიც მე ვნახე) STM32 დაფაზე, კამერიდან მხოლოდ გამოსახულება მიიღეს და შედეგი ეკრანზე ჩანდა, და თავად სურათის დამუშავება ხდებოდა ან ჩვეულებრივ კომპიუტერზე, ან უფრო მძლავრ დაფებზე (მაგალითად, Raspberry Pi).

რატომ არის ძნელი?

საძიებო მოთხოვნების პოპულარობა აიხსნება იმით, რომ OpenCV არის ყველაზე პოპულარული კომპიუტერული ხედვის ბიბლიოთეკა, რაც იმას ნიშნავს, რომ უფრო მეტი დეველოპერი იცნობს მას და დესკტოპისთვის მზა კოდის მიკროკონტროლერზე გაშვების შესაძლებლობა მნიშვნელოვნად ამარტივებს განვითარების პროცესს. მაგრამ რატომ ჯერ კიდევ არ არსებობს პოპულარული მზა რეცეპტები ამ პრობლემის გადასაჭრელად?

პატარა შარვლებზე OpenCV-ის გამოყენების პრობლემა დაკავშირებულია ორ მახასიათებელთან:

• თუ ბიბლიოთეკას შეადგენთ თუნდაც მოდულების მინიმალური ნაკრებით, ის უბრალოდ არ ჯდება იგივე STM32F7Discovery-ის ფლეშ მეხსიერებაში (თუნდაც OS-ის გათვალისწინების გარეშე) ძალიან დიდი კოდის გამო (რამდენიმე მეგაბაიტი ინსტრუქცია)
• თავად ბიბლიოთეკა დაწერილია C++-ში, რაც ნიშნავს
  • გვჭირდება მხარდაჭერა პოზიტიური მუშაობისთვის (გამონაკლისები და ა.შ.)
  • LibC/Posix-ის მცირე მხარდაჭერა, რომელიც ჩვეულებრივ გვხვდება OS-ში ჩაშენებული სისტემებისთვის - გჭირდებათ სტანდარტული პლუს ბიბლიოთეკა და სტანდარტული STL შაბლონის ბიბლიოთეკა (ვექტორი და ა.შ.)

პორტირება Embox-ში

ჩვეულებისამებრ, რაიმე პროგრამის ოპერაციულ სისტემაში პორტირებამდე, კარგი იდეაა, რომ სცადოთ მისი აშენება იმ ფორმით, რომელშიც დეველოპერებმა განიზრახეს. ჩვენს შემთხვევაში, ამაში არანაირი პრობლემა არ არის - წყაროს კოდი შეგიძლიათ ნახოთ github, ბიბლიოთეკა აგებულია GNU/Linux-ის ქვეშ ჩვეულებრივი cmake-ით.

კარგი ამბავი ის არის, რომ OpenCV შეიძლება შეიქმნას როგორც სტატიკური ბიბლიოთეკა, რაც აადვილებს პორტირებას. ჩვენ ვაგროვებთ ბიბლიოთეკას სტანდარტული კონფიგურაციით და ვნახავთ, რამდენ ადგილს იკავებს ისინი. თითოეული მოდული გროვდება ცალკე ბიბლიოთეკაში.

> size lib/*so --totals
   text    data     bss     dec     hex filename
1945822   15431     960 1962213  1df0e5 lib/libopencv_calib3d.so
17081885     170312   25640 17277837    107a38d lib/libopencv_core.so
10928229     137640   20192 11086061     a928ed lib/libopencv_dnn.so
 842311   25680    1968  869959   d4647 lib/libopencv_features2d.so
 423660    8552     184  432396   6990c lib/libopencv_flann.so
8034733   54872    1416 8091021  7b758d lib/libopencv_gapi.so
  90741    3452     304   94497   17121 lib/libopencv_highgui.so
6338414   53152     968 6392534  618ad6 lib/libopencv_imgcodecs.so
21323564     155912  652056 22131532    151b34c lib/libopencv_imgproc.so
 724323   12176     376  736875   b3e6b lib/libopencv_ml.so
 429036    6864     464  436364   6a88c lib/libopencv_objdetect.so
6866973   50176    1064 6918213  699045 lib/libopencv_photo.so
 698531   13640     160  712331   ade8b lib/libopencv_stitching.so
 466295    6688     168  473151   7383f lib/libopencv_video.so
 315858    6972   11576  334406   51a46 lib/libopencv_videoio.so
76510375     721519  717496 77949390    4a569ce (TOTALS)

როგორც ბოლო სტრიქონიდან ხედავთ, .bss და .data დიდ ადგილს არ იკავებს, მაგრამ კოდი 70 მიბაიტზე მეტია. ნათელია, რომ თუ ეს სტატიკურად არის დაკავშირებული კონკრეტულ აპლიკაციასთან, კოდი გახდება ნაკლები.

შევეცადოთ რაც შეიძლება მეტი მოდული გადავაგდოთ ისე, რომ მინიმალური მაგალითი აწყობილი იყოს (რომელიც, მაგალითად, უბრალოდ გამოვა OpenCV ვერსია), ასე რომ, ჩვენ ვუყურებთ cmake .. -LA და ოფციებში გამორთე ყველაფერი რაც გამორთულია.

        -DBUILD_opencv_java_bindings_generator=OFF 
        -DBUILD_opencv_stitching=OFF 
        -DWITH_PROTOBUF=OFF 
        -DWITH_PTHREADS_PF=OFF 
        -DWITH_QUIRC=OFF 
        -DWITH_TIFF=OFF 
        -DWITH_V4L=OFF 
        -DWITH_VTK=OFF 
        -DWITH_WEBP=OFF 
        <...>

> size lib/libopencv_core.a --totals
   text    data     bss     dec     hex filename
3317069   36425   17987 3371481  3371d9 (TOTALS)

ერთის მხრივ, ეს არის ბიბლიოთეკის მხოლოდ ერთი მოდული, მეორეს მხრივ, ეს არის კოდის ზომის კომპილერის ოპტიმიზაციის გარეშე (-Os). ~3 მიბაიტი კოდი ჯერ კიდევ საკმაოდ ბევრია, მაგრამ უკვე იძლევა წარმატების იმედს.

გაუშვით ემულატორში

ემულატორზე გამართვა ბევრად უფრო ადვილია, ამიტომ ჯერ დარწმუნდით, რომ ბიბლიოთეკა მუშაობს qemu-ზე. როგორც ემულირებული პლატფორმა, მე ავირჩიე ინტეგრატორი / CP, რადგან ჯერ ერთი, ის ასევე არის ARM და მეორეც, Embox მხარს უჭერს ამ პლატფორმის გრაფიკულ გამომავალს.

Embox-ს აქვს გარე ბიბლიოთეკების აგების მექანიზმი, რომლის გამოყენებით ჩვენ ვამატებთ OpenCV-ს მოდულად (გადის ყველა იგივე ვარიანტს "მინიმალური" კონსტრუქციისთვის სტატიკური ბიბლიოთეკების სახით), ამის შემდეგ ვამატებ მარტივ აპლიკაციას, რომელიც ასე გამოიყურება:

version.cpp:

#include <stdio.h>
#include <opencv2/core/utility.hpp>

int main() {
    printf("OpenCV: %s", cv::getBuildInformation().c_str());

    return 0;
}

ჩვენ ვაწყობთ სისტემას, ვაწარმოებთ მას - ვიღებთ მოსალოდნელ გამომავალს.

root@embox:/#opencv_version                                                     
OpenCV: 
General configuration for OpenCV 4.0.1 =====================================
  Version control:               bd6927bdf-dirty

  Platform:
    Timestamp:                   2019-06-21T10:02:18Z
    Host:                        Linux 5.1.7-arch1-1-ARCH x86_64
    Target:                      Generic arm-unknown-none
    CMake:                       3.14.5
    CMake generator:             Unix Makefiles
    CMake build tool:            /usr/bin/make
    Configuration:               Debug

  CPU/HW features:
    Baseline:
      requested:                 DETECT
      disabled:                  VFPV3 NEON

  C/C++:
    Built as dynamic libs?:      NO
< Дальше идут прочие параметры сборки -- с какими флагами компилировалось,
  какие модули OpenCV включены в сборку и т.п.>

შემდეგი ნაბიჯი არის რამდენიმე მაგალითის გაშვება, სასურველია ერთ-ერთი სტანდარტული, რომელიც შემოთავაზებულია თავად დეველოპერების მიერ. თქვენს საიტზე. მე ვირჩევ სასაზღვრო დეტექტორი.

მაგალითი ოდნავ გადაწერილი იყო, რომ გამოსახულება გამოეჩინა შედეგი პირდაპირ ჩარჩო ბუფერში. ეს უნდა გამეკეთებინა, რადგან. ფუნქცია imshow() შეუძლია სურათების დახატვა QT, GTK და Windows ინტერფეისებით, რაც, რა თქმა უნდა, ნამდვილად არ იქნება STM32-ის კონფიგურაციაში. სინამდვილეში, QT ასევე შეიძლება გაშვებული იყოს STM32F7Discovery-ზე, მაგრამ ეს სხვა სტატიაში იქნება განხილული 🙂

მოკლე დაზუსტების შემდეგ, თუ რომელ ფორმატშია შენახული კიდეების დეტექტორის შედეგი, ვიღებთ სურათს.

ორიგინალური სურათი

შედეგი

მუშაობს STM32F7Discovery-ზე

32F746GDISCOVERY-ზე არის რამდენიმე ტექნიკის მეხსიერების განყოფილება, რომლებიც შეგვიძლია გამოვიყენოთ ამა თუ იმ გზით

1. 320 KiB ოპერატიული მეხსიერება
2. 1 MiB ფლეშ სურათისთვის
3. 8 MiB SDRAM
4. 16 MiB QSPI NAND Flash
5. microSD ბარათის სლოტი

SD ბარათის გამოყენება შესაძლებელია სურათების შესანახად, მაგრამ მინიმალური მაგალითის გაშვების კონტექსტში ეს არ არის ძალიან სასარგებლო.
დისპლეის გარჩევადობაა 480×272, რაც ნიშნავს, რომ ფრეიმბუფერული მეხსიერება იქნება 522 240 ბაიტი 32 ბიტის სიღრმეზე, ე.ი. ეს აღემატება RAM-ის ზომას, ამიტომ ფრეიმბუფერი და გროვა (რომელიც საჭირო იქნება, მათ შორის OpenCV-სთვის, სურათების და დამხმარე სტრუქტურების მონაცემების შესანახად) განთავსდება SDRAM-ში, ყველაფერი დანარჩენი (მეხსიერება სტეკებისთვის და სისტემის სხვა საჭიროებებისთვის). ) გადავა RAM-ში.

თუ ავიღებთ STM32F7Discovery-ის მინიმალურ კონფიგურაციას (გავაგდოთ მთელი ქსელი, ყველა ბრძანება, დავხატოთ სტეკები რაც შეიძლება და ა.შ.) და დავამატოთ OpenCV მაგალითებით, საჭირო მეხსიერება იქნება შემდეგი:

   text    data     bss     dec     hex filename
2876890  459208  312736 3648834  37ad42 build/base/bin/embox

მათთვის, ვინც კარგად არ იცნობს, რომელი განყოფილებები სად მიდის, ავუხსნი: in .text и .rodata ინსტრუქციები და მუდმივები (უხეშად რომ ვთქვათ, მხოლოდ წაკითხვის მონაცემები) დევს .data მონაცემები ცვალებადია, .bss არის "გაუქმებული" ცვლადები, რომლებსაც, მიუხედავად ამისა, სჭირდებათ ადგილი (ეს განყოფილება "გადადის" RAM-ში).

კარგი ამბავი ის არის, რომ .data/.bss უნდა მოერგოს, მაგრამ თან .text უბედურება ის არის, რომ გამოსახულების მხოლოდ 1 MiB მეხსიერებაა. შეიძლება გადმოაგდეს .text სურათი მაგალითიდან და წაიკითხეთ, მაგალითად, SD ბარათიდან მეხსიერებაში გაშვებისას, მაგრამ fruits.png იწონის დაახლოებით 330 KiB, ასე რომ ეს პრობლემას არ გადაჭრის: უმეტესობა .text შედგება OpenCV კოდისგან.

ზოგადად, დარჩა მხოლოდ ერთი რამ - კოდის ნაწილის ჩატვირთვა QSPI Flash-ზე (მას აქვს მუშაობის სპეციალური რეჟიმი სისტემის ავტობუსზე მეხსიერების შესატანად, რათა პროცესორს შეეძლოს უშუალოდ ამ მონაცემებზე წვდომა). ამ შემთხვევაში, პრობლემა წარმოიქმნება: ჯერ ერთი, QSPI ფლეშ დრაივის მეხსიერება არ არის ხელმისაწვდომი მოწყობილობის გადატვირთვისთანავე (თქვენ უნდა ცალ-ცალკე დააინსტალიროთ მეხსიერების რუკების რეჟიმი) და მეორეც, თქვენ არ შეგიძლიათ ამ მეხსიერების „გადატვირთვა“ ნაცნობი ჩამტვირთველი.

შედეგად, გადაწყდა QSPI-ში ყველა კოდის დაკავშირება და მისი დაწერილი ჩამტვირთველის გამორთვა, რომელიც მიიღებს საჭირო ორობითს TFTP-ის საშუალებით.

შედეგი

ამ ბიბლიოთეკის Embox-ზე პორტირების იდეა გაჩნდა დაახლოებით ერთი წლის წინ, მაგრამ არაერთხელ გადაიდო სხვადასხვა მიზეზების გამო. ერთ-ერთი მათგანია libstdc++ და სტანდარტული შაბლონების ბიბლიოთეკის მხარდაჭერა. Embox-ში C++-ის მხარდაჭერის პრობლემა სცილდება ამ სტატიის ფარგლებს, ამიტომ აქ მხოლოდ ვიტყვი, რომ ჩვენ მოვახერხეთ ამ მხარდაჭერის მიღწევა იმ რაოდენობით, რომ ამ ბიბლიოთეკამ იმუშაოს 🙂

საბოლოო ჯამში, ეს პრობლემები დაძლეულ იქნა (სულ მცირე საკმარისია OpenCV-ის მაგალითის მუშაობისთვის) და მაგალითი გაიქცა. დაფას სჭირდება 40 გრძელი წამი Canny ფილტრის გამოყენებით საზღვრების მოსაძებნად. ეს, რა თქმა უნდა, ძალიან გრძელია (არსებობს მოსაზრებები, თუ როგორ უნდა მოხდეს ამ საკითხის ოპტიმიზაცია, წარმატების შემთხვევაში შესაძლებელი იქნება ამის შესახებ ცალკე სტატიის დაწერა).

თუმცა, შუალედური მიზანი იყო პროტოტიპის შექმნა, რომელიც აჩვენებს OpenCV-ის STM32-ზე გაშვების ფუნდამენტურ შესაძლებლობას, შესაბამისად, ეს მიზანი მიღწეულია, ჰოო!

tl;dr: ნაბიჯ ნაბიჯ ინსტრუქციები

0: ჩამოტვირთეთ Embox წყაროები, ასე:

    git clone https://github.com/embox/embox && cd ./embox

1: დავიწყოთ ჩამტვირთველის აწყობით, რომელიც QSPI ფლეშ დრაივს „გაბრწყინავს“.

    make confload-arm/stm32f7cube

ახლა თქვენ უნდა დააკონფიგურიროთ ქსელი, რადგან. ჩვენ ავტვირთავთ სურათს TFTP-ის საშუალებით. დაფის და ჰოსტის IP მისამართების დასაყენებლად, თქვენ უნდა შეცვალოთ conf/rootfs/ქსელი.

კონფიგურაციის მაგალითი:

iface eth0 inet static
    address 192.168.2.2
    netmask 255.255.255.0
    gateway 192.168.2.1
    hwaddress aa:bb:cc:dd:ee:02

gateway - ჰოსტის მისამართი, საიდანაც იტვირთება სურათი, address - გამგეობის მისამართი.

ამის შემდეგ, ჩვენ ვაგროვებთ ჩამტვირთველს:

    make

2: ჩამტვირთველის ჩვეულებრივი ჩატვირთვა (ბოდიშს გიხდით სიტყვისთვის) დაფაზე - აქ არაფერია კონკრეტული, თქვენ უნდა გააკეთოთ ეს, როგორც ნებისმიერი სხვა აპლიკაციისთვის STM32F7Discovery. თუ არ იცით როგორ გააკეთოთ ეს, შეგიძლიათ წაიკითხოთ ამის შესახებ აქ.
3: გამოსახულების შედგენა კონფიგურაციით OpenCV-სთვის.

    make confload-platform/opencv/stm32f7discovery
    make

4: ამონაწერი ELF სექციებიდან QSPI-ზე დასაწერად qspi.bin-ზე

    arm-none-eabi-objcopy -O binary build/base/bin/embox build/base/bin/qspi.bin 
        --only-section=.text --only-section=.rodata 
        --only-section='.ARM.ex*' 
        --only-section=.data

არის სკრიპტი conf დირექტორიაში, რომელიც ამას აკეთებს, ასე რომ თქვენ შეგიძლიათ მისი გაშვება

    ./conf/qspi_objcopy.sh # Нужный бинарник -- build/base/bin/qspi.bin

5: tftp-ის გამოყენებით ჩამოტვირთეთ qspi.bin.bin QSPI ფლეშ დრაივში. ჰოსტზე, ამისათვის დააკოპირეთ qspi.bin tftp სერვერის ძირეულ საქაღალდეში (ჩვეულებრივ /srv/tftp/ ან /var/lib/tftpboot/; შესაბამისი სერვერის პაკეტები ხელმისაწვდომია ყველაზე პოპულარულ დისტრიბუციებში, ჩვეულებრივ ე.წ. tftpd ან tftp-hpa, ზოგჯერ თქვენ უნდა გააკეთოთ systemctl start tftpd.service დაწყება).

    # вариант для tftpd
    sudo cp build/base/bin/qspi.bin /srv/tftp
    # вариант для tftp-hpa
    sudo cp build/base/bin/qspi.bin /var/lib/tftpboot

Embox-ზე (ანუ ჩამტვირთველში) თქვენ უნდა შეასრულოთ შემდეგი ბრძანება (ვვარაუდობთ, რომ სერვერს აქვს მისამართი 192.168.2.1):

    embox> qspi_loader qspi.bin 192.168.2.1

6: ბრძანებით goto თქვენ უნდა "გადახტეთ" QSPI მეხსიერებაში. კონკრეტული ადგილმდებარეობა განსხვავდება იმის მიხედვით, თუ როგორ არის დაკავშირებული სურათი, შეგიძლიათ ნახოთ ეს მისამართი ბრძანებით mem 0x90000000 (დასაწყის მისამართი ჯდება გამოსახულების მეორე 32-ბიტიან სიტყვაში); თქვენ ასევე დაგჭირდებათ სტეკის დროშის მონიშვნა -s, სტეკის მისამართი არის 0x90000000, მაგალითად:

    embox>mem 0x90000000
    0x90000000:     0x20023200  0x9000c27f  0x9000c275  0x9000c275
                      ↑           ↑
              это адрес    это  адрес 
                стэка        первой
                           инструкции

    embox>goto -i 0x9000c27f -s 0x20023200 # Флаг -i нужен чтобы запретить прерывания во время инициализации системы

    < Начиная отсюда будет вывод не загрузчика, а образа с OpenCV >

7: გაშვება

    embox> edges 20

და ისიამოვნეთ საზღვრის 40 წამიანი ძიებით 🙂

თუ რამე არასწორედ მოხდება - ჩაწერეთ საკითხი ჩვენი საცავი, ან დაგზავნის სიაში [ელ.ფოსტით დაცულია], ან აქ კომენტარში.

წყარო: www.habr.com