હું ઓપરેટિંગ સિસ્ટમના વિકાસકર્તાઓમાંનો એક છું
જો તમે સર્ચ એન્જિનમાં “OpenCV on STM32 બોર્ડ” જેવું કંઈક ટાઇપ કરો છો, તો તમને STM32 બોર્ડ અથવા અન્ય માઇક્રોકન્ટ્રોલર પર આ લાઇબ્રેરીનો ઉપયોગ કરવામાં રુચિ હોય તેવા થોડા લોકો મળી શકે છે.
ત્યાં ઘણી વિડિઓઝ છે જે, નામ દ્વારા અભિપ્રાય આપતા, તે દર્શાવવું જોઈએ કે શું જરૂરી છે, પરંતુ સામાન્ય રીતે (મેં જોયેલા તમામ વિડિઓઝમાં) STM32 બોર્ડ પર, કેમેરામાંથી ફક્ત છબી પ્રાપ્ત થઈ હતી અને પરિણામ સ્ક્રીન પર પ્રદર્શિત થયું હતું, અને ઇમેજ પ્રોસેસિંગ પોતે કાં તો નિયમિત કમ્પ્યુટર પર અથવા વધુ શક્તિશાળી બોર્ડ પર કરવામાં આવ્યું હતું (ઉદાહરણ તરીકે, રાસ્પબેરી પી).
તે શા માટે મુશ્કેલ છે?
શોધ ક્વેરીઝની લોકપ્રિયતા એ હકીકત દ્વારા સમજાવવામાં આવે છે કે OpenCV એ સૌથી લોકપ્રિય કમ્પ્યુટર વિઝન લાઇબ્રેરી છે, જેનો અર્થ છે કે વધુ વિકાસકર્તાઓ તેનાથી પરિચિત છે, અને માઇક્રોકન્ટ્રોલર પર ડેસ્કટોપ-રેડી કોડ ચલાવવાની ક્ષમતા વિકાસ પ્રક્રિયાને મોટા પ્રમાણમાં સરળ બનાવે છે. પરંતુ આ સમસ્યાને હલ કરવા માટે હજી પણ કોઈ લોકપ્રિય તૈયાર વાનગીઓ શા માટે નથી?
નાના શૉલ્સ પર ઓપનસીવીનો ઉપયોગ કરવાની સમસ્યા બે સુવિધાઓથી સંબંધિત છે:
- જો તમે મોડ્યુલોના ન્યૂનતમ સેટ સાથે પણ લાઇબ્રેરીને કમ્પાઇલ કરો છો, તો તે ખૂબ મોટા કોડ (કેટલાક મેગાબાઇટ્સ સૂચનાઓ) ને કારણે સમાન STM32F7Discovery (OS ને ધ્યાનમાં લીધા વિના પણ) ની ફ્લેશ મેમરીમાં ફિટ થશે નહીં.
- પુસ્તકાલય પોતે C++ માં લખાયેલ છે, જેનો અર્થ થાય છે
- સકારાત્મક રનટાઇમ માટે સમર્થનની જરૂર છે (અપવાદો, વગેરે)
- LibC/Posix માટે થોડો સપોર્ટ, જે સામાન્ય રીતે એમ્બેડેડ સિસ્ટમ્સ માટે OS માં જોવા મળે છે - તમારે પ્રમાણભૂત પ્લસ લાઇબ્રેરી અને પ્રમાણભૂત STL ટેમ્પલેટ લાઇબ્રેરી (વેક્ટર, વગેરે)ની જરૂર છે.
Embox પર પોર્ટીંગ
હંમેશની જેમ, કોઈપણ પ્રોગ્રામને ઑપરેટિંગ સિસ્ટમમાં પોર્ટ કરતાં પહેલાં, વિકાસકર્તાઓએ તેને જે સ્વરૂપમાં બનાવ્યું હતું તે સ્વરૂપમાં તેને બનાવવાનો પ્રયાસ કરવો એ સારો વિચાર છે. અમારા કિસ્સામાં, આમાં કોઈ સમસ્યા નથી - સ્રોત કોડ પર મળી શકે છે
સારા સમાચાર એ છે કે OpenCV ને બૉક્સની બહાર સ્થિર લાઇબ્રેરી તરીકે બનાવી શકાય છે, જે પોર્ટિંગને સરળ બનાવે છે. અમે પ્રમાણભૂત રૂપરેખા સાથે લાઇબ્રેરી એકત્રિત કરીએ છીએ અને જુઓ કે તેઓ કેટલી જગ્યા લે છે. દરેક મોડ્યુલ એક અલગ પુસ્તકાલયમાં એકત્રિત કરવામાં આવે છે.
> size lib/*so --totals
text data bss dec hex filename
1945822 15431 960 1962213 1df0e5 lib/libopencv_calib3d.so
17081885 170312 25640 17277837 107a38d lib/libopencv_core.so
10928229 137640 20192 11086061 a928ed lib/libopencv_dnn.so
842311 25680 1968 869959 d4647 lib/libopencv_features2d.so
423660 8552 184 432396 6990c lib/libopencv_flann.so
8034733 54872 1416 8091021 7b758d lib/libopencv_gapi.so
90741 3452 304 94497 17121 lib/libopencv_highgui.so
6338414 53152 968 6392534 618ad6 lib/libopencv_imgcodecs.so
21323564 155912 652056 22131532 151b34c lib/libopencv_imgproc.so
724323 12176 376 736875 b3e6b lib/libopencv_ml.so
429036 6864 464 436364 6a88c lib/libopencv_objdetect.so
6866973 50176 1064 6918213 699045 lib/libopencv_photo.so
698531 13640 160 712331 ade8b lib/libopencv_stitching.so
466295 6688 168 473151 7383f lib/libopencv_video.so
315858 6972 11576 334406 51a46 lib/libopencv_videoio.so
76510375 721519 717496 77949390 4a569ce (TOTALS)
જેમ તમે છેલ્લી લાઇનમાંથી જોઈ શકો છો, .bss અને .ડેટા વધુ જગ્યા લેતા નથી, પરંતુ કોડ 70 MiB કરતા વધુ છે. તે સ્પષ્ટ છે કે જો આ ચોક્કસ એપ્લિકેશન સાથે સ્થિર રીતે જોડાયેલ હોય, તો કોડ ઓછો થઈ જશે.
ચાલો શક્ય તેટલા મોડ્યુલોને ફેંકી દેવાનો પ્રયાસ કરીએ જેથી એક ન્યૂનતમ ઉદાહરણ એસેમ્બલ કરવામાં આવે (જે, ઉદાહરણ તરીકે, ફક્ત OpenCV સંસ્કરણને આઉટપુટ કરશે), તેથી આપણે જોઈએ છીએ cmake .. -LA
અને વિકલ્પોમાં બંધ થાય તે બધું બંધ કરો.
-DBUILD_opencv_java_bindings_generator=OFF
-DBUILD_opencv_stitching=OFF
-DWITH_PROTOBUF=OFF
-DWITH_PTHREADS_PF=OFF
-DWITH_QUIRC=OFF
-DWITH_TIFF=OFF
-DWITH_V4L=OFF
-DWITH_VTK=OFF
-DWITH_WEBP=OFF
<...>
> size lib/libopencv_core.a --totals
text data bss dec hex filename
3317069 36425 17987 3371481 3371d9 (TOTALS)
એક તરફ, આ લાઇબ્રેરીનું માત્ર એક મોડ્યુલ છે, બીજી તરફ, આ કોડ સાઇઝ માટે કમ્પાઇલર ઓપ્ટિમાઇઝેશન વિના છે (-Os
). કોડનો ~3 MiB હજુ પણ ઘણો છે, પરંતુ તે પહેલાથી જ સફળતાની આશા આપે છે.
ઇમ્યુલેટરમાં ચલાવો
ઇમ્યુલેટર પર ડીબગ કરવું ખૂબ સરળ છે, તેથી પહેલા ખાતરી કરો કે લાઇબ્રેરી qemu પર કામ કરે છે. એમ્યુલેટેડ પ્લેટફોર્મ તરીકે, મેં ઇન્ટિગ્રેટર / સીપી પસંદ કર્યું, કારણ કે પ્રથમ, તે ARM પણ છે, અને બીજું, Embox આ પ્લેટફોર્મ માટે ગ્રાફિક્સ આઉટપુટને સપોર્ટ કરે છે.
એમ્બોક્સ પાસે બાહ્ય પુસ્તકાલયો બનાવવા માટેની પદ્ધતિ છે, તેનો ઉપયોગ કરીને અમે ઓપનસીવીને મોડ્યુલ તરીકે ઉમેરીએ છીએ (સ્થિર પુસ્તકાલયોના રૂપમાં "ન્યૂનતમ" બિલ્ડ માટેના તમામ સમાન વિકલ્પો પસાર કરીએ છીએ), તે પછી હું એક સરળ એપ્લિકેશન ઉમેરું છું જે આના જેવું લાગે છે:
version.cpp:
#include <stdio.h>
#include <opencv2/core/utility.hpp>
int main() {
printf("OpenCV: %s", cv::getBuildInformation().c_str());
return 0;
}
અમે સિસ્ટમ એસેમ્બલ કરીએ છીએ, તેને ચલાવીએ છીએ - અમને અપેક્ષિત આઉટપુટ મળે છે.
root@embox:/#opencv_version
OpenCV:
General configuration for OpenCV 4.0.1 =====================================
Version control: bd6927bdf-dirty
Platform:
Timestamp: 2019-06-21T10:02:18Z
Host: Linux 5.1.7-arch1-1-ARCH x86_64
Target: Generic arm-unknown-none
CMake: 3.14.5
CMake generator: Unix Makefiles
CMake build tool: /usr/bin/make
Configuration: Debug
CPU/HW features:
Baseline:
requested: DETECT
disabled: VFPV3 NEON
C/C++:
Built as dynamic libs?: NO
< Дальше идут прочие параметры сборки -- с какими флагами компилировалось,
какие модули OpenCV включены в сборку и т.п.>
આગળનું પગલું એ કેટલાક ઉદાહરણ ચલાવવાનું છે, પ્રાધાન્યમાં વિકાસકર્તાઓ દ્વારા ઓફર કરાયેલ પ્રમાણભૂત પૈકીનું એક.
સીધા ફ્રેમ બફરમાં પરિણામ સાથેની ઇમેજ પ્રદર્શિત કરવા માટે ઉદાહરણને થોડું ફરીથી લખવું પડ્યું. મારે આ કરવું પડ્યું, કારણ કે. કાર્ય imshow()
QT, GTK અને Windows ઈન્ટરફેસ દ્વારા ઈમેજો દોરી શકે છે, જે ચોક્કસપણે STM32 માટે રૂપરેખામાં હશે નહીં. હકીકતમાં, QT STM32F7Discovery પર પણ ચલાવી શકાય છે, પરંતુ આની ચર્ચા બીજા લેખમાં કરવામાં આવશે 🙂
ટૂંકી સ્પષ્ટતા પછી એજ ડિટેક્ટરનું પરિણામ કયા ફોર્મેટમાં સંગ્રહિત છે, અમને એક છબી મળે છે.
મૂળ ચિત્ર
પરિણામ
STM32F7Discovery પર ચાલી રહ્યું છે
32F746GDISCOVERY પર ઘણા હાર્ડવેર મેમરી વિભાગો છે જેનો આપણે એક અથવા બીજી રીતે ઉપયોગ કરી શકીએ છીએ.
- 320KiB રેમ
- છબી માટે 1MiB ફ્લેશ
- 8MiB SDRAM
- 16MiB QSPI NAND ફ્લેશ
- માઇક્રોએસડી કાર્ડ સ્લોટ
SD કાર્ડનો ઉપયોગ ઈમેજો સ્ટોર કરવા માટે થઈ શકે છે, પરંતુ ન્યૂનતમ ઉદાહરણ ચલાવવાના સંદર્ભમાં, આ બહુ ઉપયોગી નથી.
ડિસ્પ્લેનું રિઝોલ્યુશન 480×272 છે, જેનો અર્થ છે કે ફ્રેમબફર મેમરી 522 બિટ્સની ઊંડાઈએ 240 બાઇટ્સ હશે, એટલે કે. આ RAM ના કદ કરતાં વધુ છે, તેથી ફ્રેમબફર અને ઢગલો (જેની જરૂર પડશે, OpenCV સહિત, છબીઓ અને સહાયક માળખાં માટે ડેટા સ્ટોર કરવા માટે) SDRAM માં સ્થિત હશે, બાકીનું બધું (સ્ટેક્સ અને અન્ય સિસ્ટમ જરૂરિયાતો માટેની મેમરી) ) RAM પર જશે.
જો આપણે STM32F7Discovery માટે ન્યૂનતમ રૂપરેખા લઈએ (સમગ્ર નેટવર્ક, તમામ આદેશો, સ્ટેક્સને શક્ય તેટલું નાનું બનાવો વગેરે.) અને ત્યાં ઉદાહરણો સાથે OpenCV ઉમેરીએ, તો જરૂરી મેમરી નીચે મુજબ હશે:
text data bss dec hex filename
2876890 459208 312736 3648834 37ad42 build/base/bin/embox
જેઓ ખૂબ જ પરિચિત નથી કે કયા વિભાગો ક્યાં જાય છે, હું સમજાવીશ: માં .text
и .rodata
સૂચનાઓ અને સ્થિરાંકો (આશરે કહીએ તો, ફક્ત વાંચવા માટેનો ડેટા) આવેલું છે .data
ડેટા પરિવર્તનશીલ છે, .bss
ત્યાં "નલ કરેલ" ચલો છે, જેને, તેમ છતાં, સ્થાનની જરૂર છે (આ વિભાગ RAM પર "જશે").
સારા સમાચાર એ છે કે .data
/.bss
ફિટ જોઈએ, પરંતુ સાથે .text
મુશ્કેલી એ છે કે ઇમેજ માટે માત્ર 1MiB મેમરી છે. બહાર ફેંકી શકાય છે .text
ઉદાહરણમાંથી ચિત્ર લો અને તેને વાંચો, ઉદાહરણ તરીકે, સ્ટાર્ટઅપ વખતે SD કાર્ડમાંથી મેમરીમાં, પરંતુ fruits.png નું વજન લગભગ 330KiB છે, તેથી આ સમસ્યા હલ કરશે નહીં: મોટાભાગના .text
OpenCV કોડનો સમાવેશ કરે છે.
મોટાભાગે, ત્યાં માત્ર એક જ વસ્તુ બાકી છે - કોડનો એક ભાગ QSPI ફ્લેશ પર લોડ કરવો (તે સિસ્ટમ બસમાં મેમરીને મેપ કરવા માટે એક વિશિષ્ટ મોડ ધરાવે છે, જેથી પ્રોસેસર આ ડેટાને સીધો એક્સેસ કરી શકે). આ કિસ્સામાં, એક સમસ્યા ઊભી થાય છે: પ્રથમ, ઉપકરણ રીબૂટ થયા પછી તરત જ QSPI ફ્લેશ ડ્રાઇવની મેમરી ઉપલબ્ધ નથી (તમારે મેમરી-મેપ્ડ મોડને અલગથી પ્રારંભ કરવાની જરૂર છે), અને બીજું, તમે આ મેમરીને "ફ્લેશ" કરી શકતા નથી. એક પરિચિત બુટલોડર.
પરિણામે, QSPI માંના તમામ કોડને લિંક કરવાનો નિર્ણય લેવામાં આવ્યો, અને તેને સ્વ-લેખિત લોડર સાથે ફ્લેશ કરો જે TFTP દ્વારા જરૂરી બાઈનરી પ્રાપ્ત કરશે.
પરિણામ
આ લાઇબ્રેરીને એમ્બોક્સમાં પોર્ટ કરવાનો વિચાર લગભગ એક વર્ષ પહેલાં આવ્યો હતો, પરંતુ વિવિધ કારણોસર તેને વારંવાર મુલતવી રાખવામાં આવ્યો હતો. તેમાંથી એક libstdc++ અને સ્ટાન્ડર્ડ ટેમ્પલેટ લાઇબ્રેરી માટે સપોર્ટ છે. Embox માં C++ સપોર્ટની સમસ્યા આ લેખના અવકાશની બહાર છે, તેથી અહીં હું માત્ર એટલું જ કહીશ કે અમે આ લાઇબ્રેરીને કામ કરવા માટે યોગ્ય માત્રામાં આ સમર્થન હાંસલ કરવામાં વ્યવસ્થાપિત છીએ 🙂
અંતે, આ સમસ્યાઓ દૂર કરવામાં આવી હતી (ઓપનસીવી ઉદાહરણ કામ કરવા માટે ઓછામાં ઓછું પૂરતું હતું), અને ઉદાહરણ ચાલી રહ્યું હતું. કેની ફિલ્ટરનો ઉપયોગ કરીને બોર્ડને સીમાઓ શોધવામાં 40 લાંબી સેકન્ડ લાગે છે. આ, અલબત્ત, ખૂબ લાંબુ છે (આ બાબતને કેવી રીતે ઑપ્ટિમાઇઝ કરવી તે અંગે વિચારણાઓ છે, સફળતાના કિસ્સામાં આ વિશે એક અલગ લેખ લખવાનું શક્ય બનશે).
જો કે, મધ્યવર્તી ધ્યેય એક પ્રોટોટાઇપ બનાવવાનો હતો જે અનુક્રમે STM32 પર OpenCV ચલાવવાની મૂળભૂત સંભાવના દર્શાવે છે, આ ધ્યેય હાંસલ કરવામાં આવ્યો હતો, હુરે!
tl;dr: પગલાવાર સૂચનાઓ
0: Embox સ્ત્રોતો ડાઉનલોડ કરો, જેમ કે:
git clone https://github.com/embox/embox && cd ./embox
1: ચાલો બુટલોડર એસેમ્બલ કરીને શરૂ કરીએ જે QSPI ફ્લેશ ડ્રાઇવને "ફ્લેશ" કરશે.
make confload-arm/stm32f7cube
હવે તમારે નેટવર્કને ગોઠવવાની જરૂર છે, કારણ કે. અમે TFTP દ્વારા છબી અપલોડ કરીશું. બોર્ડ અને હોસ્ટ IP એડ્રેસ સેટ કરવા માટે, તમારે conf/rootfs/network ને સંપાદિત કરવાની જરૂર છે.
રૂપરેખાંકન ઉદાહરણ:
iface eth0 inet static
address 192.168.2.2
netmask 255.255.255.0
gateway 192.168.2.1
hwaddress aa:bb:cc:dd:ee:02
gateway
- હોસ્ટ સરનામું જ્યાંથી છબી લોડ કરવામાં આવશે, address
- બોર્ડનું સરનામું.
તે પછી, અમે બુટલોડર એકત્રિત કરીએ છીએ:
make
2: બોર્ડ પર બૂટલોડરનું સામાન્ય લોડિંગ (શબ્દ માટે માફ કરશો) - અહીં કંઈ ચોક્કસ નથી, તમારે STM32F7Discovery માટેની અન્ય કોઈપણ એપ્લિકેશનની જેમ તે કરવાની જરૂર છે. જો તમને તે કેવી રીતે કરવું તે ખબર નથી, તો તમે તેના વિશે વાંચી શકો છો
3: OpenCV માટે રૂપરેખા સાથે છબીનું સંકલન કરવું.
make confload-platform/opencv/stm32f7discovery
make
4: QSPI ને qspi.bin પર લખવા માટે ELF વિભાગોમાંથી અર્ક
arm-none-eabi-objcopy -O binary build/base/bin/embox build/base/bin/qspi.bin
--only-section=.text --only-section=.rodata
--only-section='.ARM.ex*'
--only-section=.data
conf ડિરેક્ટરીમાં એક સ્ક્રિપ્ટ છે જે આ કરે છે, જેથી તમે તેને ચલાવી શકો
./conf/qspi_objcopy.sh # Нужный бинарник -- build/base/bin/qspi.bin
5: tftp નો ઉપયોગ કરીને, QSPI ફ્લેશ ડ્રાઇવ પર qspi.bin.bin ડાઉનલોડ કરો. હોસ્ટ પર, આ કરવા માટે, tftp સર્વરના રૂટ ફોલ્ડરમાં qspi.bin ની નકલ કરો (સામાન્ય રીતે /srv/tftp/ અથવા /var/lib/tftpboot/; અનુરૂપ સર્વર માટેના પેકેજો મોટા ભાગના લોકપ્રિય વિતરણોમાં ઉપલબ્ધ છે, જેને સામાન્ય રીતે કહેવામાં આવે છે. tftpd અથવા tftp-hpa, ક્યારેક તમારે કરવું પડશે systemctl start tftpd.service
શરૂ કરવા).
# вариант для tftpd
sudo cp build/base/bin/qspi.bin /srv/tftp
# вариант для tftp-hpa
sudo cp build/base/bin/qspi.bin /var/lib/tftpboot
Embox પર (એટલે કે બુટલોડરમાં), તમારે નીચેનો આદેશ ચલાવવાની જરૂર છે (અમે ધારીએ છીએ કે સર્વર પાસે 192.168.2.1 સરનામું છે):
embox> qspi_loader qspi.bin 192.168.2.1
6: આદેશ સાથે goto
તમારે QSPI મેમરીમાં "જમ્પ" કરવાની જરૂર છે. ઇમેજ કેવી રીતે જોડાયેલ છે તેના આધારે ચોક્કસ સ્થાન બદલાશે, તમે આદેશ સાથે આ સરનામું જોઈ શકો છો mem 0x90000000
(પ્રારંભ સરનામું ઇમેજના બીજા 32-બીટ શબ્દમાં બંધબેસે છે); તમારે સ્ટેકને ફ્લેગ કરવાની પણ જરૂર પડશે -s
, સ્ટેક સરનામું 0x90000000 પર છે, ઉદાહરણ:
embox>mem 0x90000000
0x90000000: 0x20023200 0x9000c27f 0x9000c275 0x9000c275
↑ ↑
это адрес это адрес
стэка первой
инструкции
embox>goto -i 0x9000c27f -s 0x20023200 # Флаг -i нужен чтобы запретить прерывания во время инициализации системы
< Начиная отсюда будет вывод не загрузчика, а образа с OpenCV >
7: લોન્ચ
embox> edges 20
અને 40-સેકન્ડની સરહદ શોધનો આનંદ માણો 🙂
જો કંઈક ખોટું થાય છે - એક મુદ્દો લખો
સોર્સ: www.habr.com