ఆపరేటింగ్ సిస్టమ్ డెవలపర్‌లలో నేను ఒకడిని ఎంబాక్స్, మరియు ఈ వ్యాసంలో నేను STM32746G బోర్డ్‌లో OpenCVని ఎలా అమలు చేయగలిగాను అనే దాని గురించి మాట్లాడతాను.

మీరు శోధన ఇంజిన్‌లో “STM32 బోర్డ్‌లో OpenCV” వంటి వాటిని టైప్ చేస్తే, STM32 బోర్డులు లేదా ఇతర మైక్రోకంట్రోలర్‌లలో ఈ లైబ్రరీని ఉపయోగించడానికి ఆసక్తి ఉన్న చాలా మంది వ్యక్తులను మీరు కనుగొనవచ్చు.
అనేక వీడియోలు ఉన్నాయి, పేరు ద్వారా నిర్ణయించడం, అవసరమైన వాటిని ప్రదర్శించాలి, కానీ సాధారణంగా (నేను చూసిన అన్ని వీడియోలలో) STM32 బోర్డులో, కెమెరా నుండి చిత్రం మాత్రమే స్వీకరించబడింది మరియు ఫలితం తెరపై ప్రదర్శించబడుతుంది, మరియు ఇమేజ్ ప్రాసెసింగ్ సాధారణ కంప్యూటర్‌లో లేదా మరింత శక్తివంతమైన బోర్డులపై (ఉదాహరణకు, రాస్ప్బెర్రీ పై) చేయబడుతుంది.

ఎందుకు కష్టం?

శోధన ప్రశ్నల యొక్క ప్రజాదరణ OpenCV అత్యంత ప్రజాదరణ పొందిన కంప్యూటర్ విజన్ లైబ్రరీ అని వివరించబడింది, అంటే ఎక్కువ మంది డెవలపర్‌లకు దానితో పరిచయం ఉంది మరియు మైక్రోకంట్రోలర్‌లో డెస్క్‌టాప్-రెడీ కోడ్‌ను అమలు చేయగల సామర్థ్యం అభివృద్ధి ప్రక్రియను చాలా సులభతరం చేస్తుంది. కానీ ఈ సమస్యను పరిష్కరించడానికి ఇప్పటికీ ప్రసిద్ధ రెడీమేడ్ వంటకాలు ఎందుకు లేవు?

చిన్న షాల్స్‌పై ఓపెన్‌సివిని ఉపయోగించడంలో సమస్య రెండు లక్షణాలకు సంబంధించినది:

• మీరు లైబ్రరీని కనిష్ట మాడ్యూల్స్‌తో కంపైల్ చేస్తే, చాలా పెద్ద కోడ్ (అనేక మెగాబైట్ల సూచనలు) కారణంగా అదే STM32F7Discovery (OSని పరిగణనలోకి తీసుకోకుండా కూడా) ఫ్లాష్ మెమరీకి సరిపోదు.
• లైబ్రరీ C++లో వ్రాయబడింది, అంటే
  • సానుకూల రన్‌టైమ్‌కు మద్దతు అవసరం (మినహాయింపులు మొదలైనవి)
  • సాధారణంగా పొందుపరిచిన సిస్టమ్‌ల కోసం OSలో కనిపించే LibC/Posix కోసం తక్కువ మద్దతు - మీకు ప్రామాణిక ప్లస్ లైబ్రరీ మరియు ప్రామాణిక STL టెంప్లేట్ లైబ్రరీ (వెక్టర్, మొదలైనవి) అవసరం.

ఎంబాక్స్‌కి పోర్ట్ చేస్తోంది

ఎప్పటిలాగే, ఆపరేటింగ్ సిస్టమ్‌కు ఏదైనా ప్రోగ్రామ్‌లను పోర్ట్ చేసే ముందు, డెవలపర్లు దానిని ఉద్దేశించిన రూపంలో నిర్మించడానికి ప్రయత్నించడం మంచిది. మా విషయంలో, దీనితో ఎటువంటి సమస్యలు లేవు - సోర్స్ కోడ్‌ను కనుగొనవచ్చు గితుబ్, లైబ్రరీ సాధారణ cmake తో GNU/Linux క్రింద నిర్మించబడింది.

శుభవార్త ఏమిటంటే, ఓపెన్‌సివిని పెట్టె వెలుపల స్టాటిక్ లైబ్రరీగా నిర్మించవచ్చు, ఇది పోర్టింగ్‌ను సులభతరం చేస్తుంది. మేము ప్రామాణిక కాన్ఫిగరేషన్‌తో లైబ్రరీని సేకరిస్తాము మరియు అవి ఎంత స్థలాన్ని తీసుకుంటాయో చూస్తాము. ప్రతి మాడ్యూల్ ప్రత్యేక లైబ్రరీలో సేకరించబడుతుంది.

> size lib/*so --totals
   text    data     bss     dec     hex filename
1945822   15431     960 1962213  1df0e5 lib/libopencv_calib3d.so
17081885     170312   25640 17277837    107a38d lib/libopencv_core.so
10928229     137640   20192 11086061     a928ed lib/libopencv_dnn.so
 842311   25680    1968  869959   d4647 lib/libopencv_features2d.so
 423660    8552     184  432396   6990c lib/libopencv_flann.so
8034733   54872    1416 8091021  7b758d lib/libopencv_gapi.so
  90741    3452     304   94497   17121 lib/libopencv_highgui.so
6338414   53152     968 6392534  618ad6 lib/libopencv_imgcodecs.so
21323564     155912  652056 22131532    151b34c lib/libopencv_imgproc.so
 724323   12176     376  736875   b3e6b lib/libopencv_ml.so
 429036    6864     464  436364   6a88c lib/libopencv_objdetect.so
6866973   50176    1064 6918213  699045 lib/libopencv_photo.so
 698531   13640     160  712331   ade8b lib/libopencv_stitching.so
 466295    6688     168  473151   7383f lib/libopencv_video.so
 315858    6972   11576  334406   51a46 lib/libopencv_videoio.so
76510375     721519  717496 77949390    4a569ce (TOTALS)

మీరు చివరి పంక్తి నుండి చూడగలిగినట్లుగా, .bss మరియు .డేటా ఎక్కువ స్థలాన్ని తీసుకోలేదు, కానీ కోడ్ 70 MiB కంటే ఎక్కువ. ఇది నిర్దిష్ట అప్లికేషన్‌కు స్థిరంగా లింక్ చేయబడితే, కోడ్ తక్కువగా మారుతుందని స్పష్టమవుతుంది.

వీలైనన్ని ఎక్కువ మాడ్యూళ్లను విసిరివేయడానికి ప్రయత్నిద్దాం, తద్వారా కనీస ఉదాహరణ సమావేశమవుతుంది (ఉదాహరణకు, ఇది కేవలం OpenCV సంస్కరణను అవుట్పుట్ చేస్తుంది), కాబట్టి మేము చూస్తాము cmake .. -LA మరియు ఆప్షన్‌లలో ఆఫ్ చేసే ప్రతిదాన్ని ఆఫ్ చేయండి.

        -DBUILD_opencv_java_bindings_generator=OFF 
        -DBUILD_opencv_stitching=OFF 
        -DWITH_PROTOBUF=OFF 
        -DWITH_PTHREADS_PF=OFF 
        -DWITH_QUIRC=OFF 
        -DWITH_TIFF=OFF 
        -DWITH_V4L=OFF 
        -DWITH_VTK=OFF 
        -DWITH_WEBP=OFF 
        <...>

> size lib/libopencv_core.a --totals
   text    data     bss     dec     hex filename
3317069   36425   17987 3371481  3371d9 (TOTALS)

ఒక వైపు, ఇది లైబ్రరీ యొక్క ఒక మాడ్యూల్ మాత్రమే, మరోవైపు, ఇది కోడ్ పరిమాణం కోసం కంపైలర్ ఆప్టిమైజేషన్ లేకుండా ఉంది (-Os) ~3 MiB కోడ్ ఇప్పటికీ చాలా ఎక్కువ, కానీ ఇప్పటికే విజయం కోసం ఆశను ఇస్తుంది.

ఎమ్యులేటర్‌లో అమలు చేయండి

ఎమ్యులేటర్‌లో డీబగ్ చేయడం చాలా సులభం, కాబట్టి ముందుగా లైబ్రరీ qemuలో పనిచేస్తుందని నిర్ధారించుకోండి. ఎమ్యులేటెడ్ ప్లాట్‌ఫారమ్‌గా, నేను ఇంటిగ్రేటర్ / సిపిని ఎంచుకున్నాను, ఎందుకంటే ముందుగా, ఇది కూడా ARM, మరియు రెండవది, Embox ఈ ప్లాట్‌ఫారమ్ కోసం గ్రాఫిక్స్ అవుట్‌పుట్‌కు మద్దతు ఇస్తుంది.

ఎంబాక్స్ బాహ్య లైబ్రరీలను నిర్మించడానికి ఒక యంత్రాంగాన్ని కలిగి ఉంది, దానిని ఉపయోగించి మేము OpenCVని మాడ్యూల్‌గా జోడిస్తాము (స్టాటిక్ లైబ్రరీల రూపంలో "కనీస" బిల్డ్ కోసం ఒకే ఎంపికలను పాస్ చేస్తాము), ఆ తర్వాత నేను ఇలా కనిపించే సాధారణ అప్లికేషన్‌ను జోడిస్తాను:

version.cpp:

#include <stdio.h>
#include <opencv2/core/utility.hpp>

int main() {
    printf("OpenCV: %s", cv::getBuildInformation().c_str());

    return 0;
}

మేము సిస్టమ్‌ను సమీకరించాము, దాన్ని అమలు చేస్తాము - మేము ఆశించిన అవుట్‌పుట్‌ను పొందుతాము.

root@embox:/#opencv_version                                                     
OpenCV: 
General configuration for OpenCV 4.0.1 =====================================
  Version control:               bd6927bdf-dirty

  Platform:
    Timestamp:                   2019-06-21T10:02:18Z
    Host:                        Linux 5.1.7-arch1-1-ARCH x86_64
    Target:                      Generic arm-unknown-none
    CMake:                       3.14.5
    CMake generator:             Unix Makefiles
    CMake build tool:            /usr/bin/make
    Configuration:               Debug

  CPU/HW features:
    Baseline:
      requested:                 DETECT
      disabled:                  VFPV3 NEON

  C/C++:
    Built as dynamic libs?:      NO
< Дальше идут прочие параметры сборки -- с какими флагами компилировалось,
  какие модули OpenCV включены в сборку и т.п.>

తదుపరి దశ కొన్ని ఉదాహరణలను అమలు చేయడం, డెవలపర్లు అందించే ప్రామాణిక వాటిలో ఒకటి. మీ సైట్‌లో. నేను ఎంచుకున్నాను సరిహద్దు డిటెక్టర్ కానీ.

ఫ్రేమ్ బఫర్‌లో నేరుగా ఫలితంతో చిత్రాన్ని ప్రదర్శించడానికి ఉదాహరణను కొద్దిగా తిరిగి వ్రాయవలసి ఉంటుంది. నేను దీన్ని చేయాల్సి వచ్చింది, ఎందుకంటే. ఫంక్షన్ imshow() QT, GTK మరియు Windows ఇంటర్‌ఫేస్‌ల ద్వారా చిత్రాలను గీయవచ్చు, ఇది ఖచ్చితంగా STM32 కోసం కాన్ఫిగరేషన్‌లో ఉండదు. నిజానికి, QTని STM32F7Discoveryలో కూడా అమలు చేయవచ్చు, అయితే ఇది మరొక కథనంలో చర్చించబడుతుంది 🙂

ఎడ్జ్ డిటెక్టర్ యొక్క ఫలితం ఏ ఫార్మాట్‌లో నిల్వ చేయబడుతుందో ఒక చిన్న వివరణ తర్వాత, మేము ఒక చిత్రాన్ని పొందుతాము.

అసలు చిత్రం

ఫలితంగా

STM32F7Discoveryలో రన్ అవుతోంది

32F746GDISCOVERYలో అనేక హార్డ్‌వేర్ మెమరీ విభాగాలు ఉన్నాయి, వీటిని మనం ఒక మార్గం లేదా మరొక విధంగా ఉపయోగించవచ్చు.

1. 320KiB ర్యామ్
2. చిత్రం కోసం 1MiB ఫ్లాష్
3. 8MiB SDRAM
4. 16MiB QSPI NAND ఫ్లాష్
5. మైక్రో SD కార్డ్ స్లాట్

చిత్రాలను నిల్వ చేయడానికి SD కార్డ్‌ని ఉపయోగించవచ్చు, కానీ కనీస ఉదాహరణను అమలు చేసే సందర్భంలో, ఇది చాలా ఉపయోగకరంగా ఉండదు.
డిస్ప్లే 480×272 రిజల్యూషన్‌ను కలిగి ఉంది, అంటే ఫ్రేమ్‌బఫర్ మెమరీ 522 బిట్ల లోతులో 240 బైట్‌లుగా ఉంటుంది, అనగా. ఇది RAM పరిమాణం కంటే ఎక్కువ, కాబట్టి ఫ్రేమ్‌బఫర్ మరియు హీప్ (చిత్రాలు మరియు సహాయక నిర్మాణాల కోసం డేటాను నిల్వ చేయడానికి OpenCVతో సహా ఇది అవసరం) SDRAMలో ఉంటుంది, మిగతావన్నీ (స్టాక్‌లు మరియు ఇతర సిస్టమ్ అవసరాల కోసం మెమరీ ) RAMకి వెళ్తుంది.

STM32F7Discovery (మొత్తం నెట్‌వర్క్, అన్ని కమాండ్‌లు, స్టాక్‌లను వీలైనంత చిన్నదిగా చేయండి మొదలైనవి) కోసం మేము కనీస కాన్ఫిగరేషన్‌ను తీసుకుంటే మరియు అక్కడ ఉదాహరణలతో OpenCVని జోడించినట్లయితే, అవసరమైన మెమరీ క్రింది విధంగా ఉంటుంది:

   text    data     bss     dec     hex filename
2876890  459208  312736 3648834  37ad42 build/base/bin/embox

ఏ విభాగాలు ఎక్కడికి వెళ్తాయో అంతగా తెలియని వారికి, నేను వివరిస్తాను: in .text и .rodata సూచనలు మరియు స్థిరాంకాలు (సుమారుగా చెప్పాలంటే, చదవడానికి మాత్రమే డేటా) ఉంటాయి .data డేటా మార్చదగినది, .bss "శూన్య" వేరియబుల్స్ ఉన్నాయి, అయినప్పటికీ, ఒక స్థలం అవసరం (ఈ విభాగం RAMకి "వెళుతుంది").

శుభవార్త ఏమిటంటే .data/.bss సరిపోయే ఉండాలి, కానీ తో .text ఇబ్బంది ఏమిటంటే చిత్రం కోసం కేవలం 1MiB మెమరీ మాత్రమే ఉంది. బయట పడేయవచ్చు .text ఉదాహరణ నుండి చిత్రాన్ని మరియు దానిని చదవండి, ఉదాహరణకు, ప్రారంభంలో SD కార్డ్ నుండి మెమరీలోకి, కానీ fruits.png బరువు 330KiB, కాబట్టి ఇది సమస్యను పరిష్కరించదు: చాలా వరకు .text OpenCV కోడ్‌ను కలిగి ఉంటుంది.

పెద్దగా, ఒక విషయం మాత్రమే మిగిలి ఉంది - QSPI ఫ్లాష్‌లో కోడ్‌లోని కొంత భాగాన్ని లోడ్ చేయడం (సిస్టమ్ బస్‌కు మెమరీని మ్యాపింగ్ చేయడానికి ఇది ప్రత్యేక మోడ్ ఆపరేషన్ మోడ్‌ను కలిగి ఉంది, తద్వారా ప్రాసెసర్ ఈ డేటాను నేరుగా యాక్సెస్ చేయగలదు). ఈ సందర్భంలో, ఒక సమస్య తలెత్తుతుంది: మొదట, పరికరం రీబూట్ అయిన వెంటనే QSPI ఫ్లాష్ డ్రైవ్ యొక్క మెమరీ అందుబాటులో ఉండదు (మీరు మెమరీ-మ్యాప్డ్ మోడ్‌ను విడిగా ప్రారంభించాలి), మరియు రెండవది, మీరు ఈ మెమరీని "ఫ్లాష్" చేయలేరు. తెలిసిన బూట్‌లోడర్.

ఫలితంగా, QSPIలోని అన్ని కోడ్‌లను లింక్ చేయాలని మరియు TFTP ద్వారా అవసరమైన బైనరీని స్వీకరించే స్వీయ-వ్రాతపూర్వక లోడర్‌తో దాన్ని ఫ్లాష్ చేయాలని నిర్ణయించారు.

ఫలితంగా

ఈ లైబ్రరీని ఎంబాక్స్‌కి పోర్ట్ చేయాలనే ఆలోచన ఒక సంవత్సరం క్రితం కనిపించింది, అయితే వివిధ కారణాల వల్ల అది మళ్లీ మళ్లీ వాయిదా పడింది. వాటిలో ఒకటి libstdc++ మరియు ప్రామాణిక టెంప్లేట్ లైబ్రరీకి మద్దతు. Emboxలో C++ మద్దతు సమస్య ఈ కథనం యొక్క పరిధికి మించినది, కాబట్టి ఈ లైబ్రరీ పని చేయడానికి సరైన మొత్తంలో మేము ఈ మద్దతును సాధించగలిగామని మాత్రమే ఇక్కడ నేను చెబుతాను 🙂

చివరికి, ఈ సమస్యలు అధిగమించబడ్డాయి (కనీసం OpenCV ఉదాహరణ పని చేయడానికి సరిపోతుంది), మరియు ఉదాహరణ అమలు చేయబడింది. Canny ఫిల్టర్‌ని ఉపయోగించి సరిహద్దుల కోసం శోధించడానికి బోర్డుకి 40 దీర్ఘ సెకన్ల సమయం పడుతుంది. ఇది చాలా పొడవుగా ఉంది (ఈ విషయాన్ని ఎలా ఆప్టిమైజ్ చేయాలనే దానిపై పరిశీలనలు ఉన్నాయి, విజయవంతమైన సందర్భంలో దీని గురించి ప్రత్యేక కథనాన్ని వ్రాయడం సాధ్యమవుతుంది).

అయితే, ఇంటర్మీడియట్ లక్ష్యం వరుసగా STM32లో OpenCVని అమలు చేసే ప్రాథమిక అవకాశాన్ని చూపే ఒక నమూనాను రూపొందించడం, ఈ లక్ష్యం సాధించబడింది, హుర్రే!

tl;dr: దశల వారీ సూచనలు

0: ఎంబాక్స్ మూలాలను డౌన్‌లోడ్ చేయండి, ఇలా:

    git clone https://github.com/embox/embox && cd ./embox

1: QSPI ఫ్లాష్ డ్రైవ్‌ను "ఫ్లాష్" చేసే బూట్‌లోడర్‌ను అసెంబ్లింగ్ చేయడం ద్వారా ప్రారంభిద్దాం.

    make confload-arm/stm32f7cube

ఇప్పుడు మీరు నెట్వర్క్ను కాన్ఫిగర్ చేయాలి, ఎందుకంటే. మేము TFTP ద్వారా చిత్రాన్ని అప్‌లోడ్ చేస్తాము. బోర్డ్ మరియు హోస్ట్ IP చిరునామాలను సెట్ చేయడానికి, మీరు conf/rootfs/networkని సవరించాలి.

కాన్ఫిగరేషన్ ఉదాహరణ:

iface eth0 inet static
    address 192.168.2.2
    netmask 255.255.255.0
    gateway 192.168.2.1
    hwaddress aa:bb:cc:dd:ee:02

gateway - చిత్రం ఎక్కడ నుండి లోడ్ చేయబడుతుందో హోస్ట్ చిరునామా, address - బోర్డు చిరునామా.

ఆ తరువాత, మేము బూట్‌లోడర్‌ను సేకరిస్తాము:

    make

2: బోర్డ్‌లో బూట్‌లోడర్ యొక్క సాధారణ లోడ్ (పన్ కోసం క్షమించండి) - ఇక్కడ ప్రత్యేకంగా ఏమీ లేదు, మీరు STM32F7Discovery కోసం ఏదైనా ఇతర అప్లికేషన్ కోసం దీన్ని చేయాలి. దీన్ని ఎలా చేయాలో మీకు తెలియకపోతే, మీరు దాని గురించి చదువుకోవచ్చు ఇక్కడ.
3: OpenCV కోసం కాన్ఫిగర్‌తో చిత్రాన్ని కంపైల్ చేయడం.

    make confload-platform/opencv/stm32f7discovery
    make

4: QSPIకి qspi.binకి వ్రాయవలసిన ELF విభాగాల నుండి సంగ్రహించండి

    arm-none-eabi-objcopy -O binary build/base/bin/embox build/base/bin/qspi.bin 
        --only-section=.text --only-section=.rodata 
        --only-section='.ARM.ex*' 
        --only-section=.data

conf డైరెక్టరీలో దీన్ని చేసే స్క్రిప్ట్ ఉంది, కాబట్టి మీరు దీన్ని అమలు చేయవచ్చు

    ./conf/qspi_objcopy.sh # Нужный бинарник -- build/base/bin/qspi.bin

5: tftpని ఉపయోగించి, qspi.bin.binని QSPI ఫ్లాష్ డ్రైవ్‌కి డౌన్‌లోడ్ చేయండి. హోస్ట్‌లో, దీన్ని చేయడానికి, qspi.bin ను tftp సర్వర్ యొక్క రూట్ ఫోల్డర్‌కి కాపీ చేయండి (సాధారణంగా /srv/tftp/ లేదా /var/lib/tftpboot/; సంబంధిత సర్వర్‌కు సంబంధించిన ప్యాకేజీలు అత్యంత ప్రజాదరణ పొందిన పంపిణీలలో అందుబాటులో ఉంటాయి, వీటిని సాధారణంగా అంటారు. tftpd లేదా tftp-hpa, కొన్నిసార్లు మీరు చేయాల్సి ఉంటుంది systemctl start tftpd.service ప్రారంభించడానికి).

    # вариант для tftpd
    sudo cp build/base/bin/qspi.bin /srv/tftp
    # вариант для tftp-hpa
    sudo cp build/base/bin/qspi.bin /var/lib/tftpboot

ఎంబాక్స్‌లో (అనగా బూట్‌లోడర్‌లో), మీరు కింది ఆదేశాన్ని అమలు చేయాలి (సర్వర్ చిరునామా 192.168.2.1ని కలిగి ఉందని మేము అనుకుంటాము):

    embox> qspi_loader qspi.bin 192.168.2.1

6: ఆదేశంతో goto మీరు QSPI మెమరీలోకి "జంప్" చేయాలి. చిత్రం ఎలా లింక్ చేయబడిందనే దానిపై ఆధారపడి నిర్దిష్ట స్థానం మారుతూ ఉంటుంది, మీరు ఆదేశంతో ఈ చిరునామాను చూడవచ్చు mem 0x90000000 (ప్రారంభ చిరునామా చిత్రం యొక్క రెండవ 32-బిట్ పదానికి సరిపోతుంది); మీరు స్టాక్‌ను కూడా ఫ్లాగ్ చేయాలి -s, స్టాక్ చిరునామా 0x90000000 వద్ద ఉంది, ఉదాహరణ:

    embox>mem 0x90000000
    0x90000000:     0x20023200  0x9000c27f  0x9000c275  0x9000c275
                      ↑           ↑
              это адрес    это  адрес 
                стэка        первой
                           инструкции

    embox>goto -i 0x9000c27f -s 0x20023200 # Флаг -i нужен чтобы запретить прерывания во время инициализации системы

    < Начиная отсюда будет вывод не загрузчика, а образа с OpenCV >

7: ప్రారంభించండి

    embox> edges 20

మరియు 40-సెకన్ల సరిహద్దు శోధనను ఆస్వాదించండి 🙂

ఏదైనా తప్పు జరిగితే - సమస్యను వ్రాయండి మా రిపోజిటరీ, లేదా మెయిలింగ్ జాబితాకు [ఇమెయిల్ రక్షించబడింది], లేదా ఇక్కడ ఒక వ్యాఖ్యలో.

మూలం: www.habr.com