Maqola ikki qismdan iborat:
- Tasvirlarda ob'ektni aniqlash va men uchun resurslarga eng tushunarli havolalar bilan tasvir segmentatsiyasi uchun ba'zi tarmoq arxitekturalarining qisqacha tavsifi. Men video tushuntirishlarni tanlashga harakat qildim va eng yaxshisi rus tilida.
- Ikkinchi qism neyron tarmog'i arxitekturasining rivojlanish yo'nalishini tushunishga urinishdir. Va ularga asoslangan texnologiyalar.
1-rasm β Neyron tarmoq arxitekturasini tushunish oson emas
Hammasi Android telefonida obyektlarni tasniflash va aniqlash uchun ikkita demo-ilovani yaratishdan boshlandi:
- , ma'lumotlar serverda qayta ishlanib, telefonga uzatilganda. Uch turdagi ayiqlarning tasvir tasnifi: jigarrang, qora va o'yinchoq.
- ma'lumotlar telefonning o'zida qayta ishlanganida. Uch turdagi ob'ektlarni aniqlash (ob'ektni aniqlash): findiq, anjir va xurmo.
Tasvirni tasniflash, tasvirdagi ob'ektni aniqlash va vazifalari o'rtasida farq bor . Shu sababli, qaysi neyron tarmoq arxitekturasi tasvirlardagi ob'ektlarni aniqlaydi va qaysi biri segmentlarga bo'linishi mumkinligini aniqlash kerak edi. Men uchun manbalarga eng tushunarli havolalar bilan quyidagi arxitektura misollarini topdim:
- R-CNN ga asoslangan bir qator arxitekturalar (Rbilan hududlar Caylanish Nevral Networks xususiyatlari): R-CNN, Fast R-CNN, , . Rasmdagi ob'ektni aniqlash uchun hududiy takliflar tarmog'i (RPN) mexanizmidan foydalangan holda chegara qutilari ajratiladi. Dastlab, RPN o'rniga sekinroq Tanlangan qidiruv mexanizmi ishlatilgan. Keyin tanlangan cheklangan hududlar tasniflash uchun an'anaviy neyron tarmog'ining kirishiga beriladi. R-CNN arxitekturasi cheklangan hududlarda aniq "for" tsikllariga ega, AlexNet ichki tarmog'i orqali jami 2000 tagacha ishlaydi. Aniq "for" tsikllari tasvirni qayta ishlash tezligini sekinlashtiradi. Arxitekturaning har bir yangi versiyasida ichki neyron tarmog'i orqali ishlaydigan aniq halqalar soni kamayadi va tezlikni oshirish va Mask R-CNN da ob'ektni aniqlash vazifasini ob'ekt segmentatsiyasi bilan almashtirish uchun o'nlab boshqa o'zgarishlar kiritiladi.
- (You Only Look Once) mobil qurilmalarda real vaqtda ob'ektlarni taniydigan birinchi neyron tarmoqdir. O'ziga xos xususiyat: ob'ektlarni bir yugurishda farqlash (faqat bir marta ko'rish). Ya'ni, YOLO arxitekturasida aniq "for" tsikllari mavjud emas, shuning uchun tarmoq tez ishlaydi. Misol uchun, bu o'xshashlik: NumPy da matritsalar bilan operatsiyalarni bajarishda aniq "for" tsikllari ham mavjud emas, ular NumPy-da C dasturlash tili orqali arxitekturaning quyi darajalarida amalga oshiriladi.YOLO oldindan belgilangan oynalar panjarasidan foydalanadi. Xuddi shu ob'ektni bir necha marta aniqlanishiga yo'l qo'ymaslik uchun oynani qoplash koeffitsienti (IoU) ishlatiladi. Ichorraha oBer Union). Ushbu arxitektura keng doirada ishlaydi va yuqori : Modelni fotosuratlarga o'rgatish mumkin, ammo qo'lda chizilgan rasmlarda yaxshi ishlaydi.
- (Sg'ov Sissiq MultiBox Detektor) - YOLO arxitekturasining eng muvaffaqiyatli "hack"lari qo'llaniladi (masalan, maksimal bo'lmagan bostirish) va neyron tarmoq tezroq va aniqroq ishlashi uchun yangilari qo'shiladi. Ajralib turadigan xususiyat: tasvir piramidasida berilgan oynalar panjarasidan (standart quti) foydalanib, bir martalik ob'ektlarni farqlash. Tasvir piramidasi ketma-ket konvolyutsiya va birlashtirish operatsiyalari orqali konvolyutsiya tensorlarida kodlangan (maksimal yig'ish operatsiyasi bilan fazoviy o'lcham kamayadi). Shu tarzda, bir tarmoq ishida ham katta, ham kichik ob'ektlar aniqlanadi.
- MobileSSD (ko'chmaNetV2+ SSD) ikkita neyron tarmoq arxitekturasining kombinatsiyasi. Birinchi tarmoq tez ishlaydi va tanib olish aniqligini oshiradi. Dastlab ishlatilgan VGG-2 o'rniga MobileNetV16 ishlatiladi . Ikkinchi SSD tarmog'i tasvirdagi ob'ektlarning joylashishini aniqlaydi.
- - juda kichik, ammo aniq neyron tarmoq. O'z-o'zidan, u ob'ektni aniqlash muammosini hal qilmaydi. Biroq, u turli xil arxitekturalarning kombinatsiyasida ishlatilishi mumkin. Va mobil qurilmalarda ishlatiladi. O'ziga xos xususiyat shundaki, ma'lumotlar birinchi navbatda to'rtta 1 Γ 1 konvolyutsion filtrga siqiladi va keyin to'rtta 1 Γ 1 va to'rtta 3 Γ 3 konvolyutsion filtrga kengaytiriladi. Ma'lumotlarni siqish-kengaytirishning bunday takrorlanishi "Yong'in moduli" deb ataladi.
- (Chuqur konvolyutsion tarmoqlar bilan semantik tasvirni segmentatsiyalash) - tasvirdagi ob'ektlarni segmentatsiyalash. Arxitekturaning o'ziga xos xususiyati kengaygan konvolyutsiya bo'lib, u fazoviy o'lchamlarini saqlaydi. Keyinchalik, segmentatsiyadagi kichik shovqinlarni olib tashlash va segmentlangan tasvir sifatini yaxshilash imkonini beruvchi grafik ehtimollik modeli (shartli tasodifiy maydon) yordamida natijalarni qayta ishlashdan keyingi bosqich. "Grafik ehtimollik modeli" degan dahshatli nomning orqasida besh ballga yaqinlashtirilgan an'anaviy Gauss filtri yashiringan.
- Qurilmani aniqlashga harakat qildim (Yagona zarba qaytadan ishlamoqOb'ekt uchun neyron tarmog'i TheEction), lekin men ko'p narsani tushunmadim.
- Men "diqqat" texnologiyasi qanday ishlashini ham ko'rib chiqdim: , , . "Diqqat" arxitekturasining o'ziga xos xususiyati tasvirdagi diqqatni jalb qiladigan hududlarni avtomatik tanlashdir (RoI, Regionlar of Interest) Diqqat Birligi deb nomlangan neyron tarmoqdan foydalangan holda. Diqqatning kuchayishi hududlari cheklovchi qutilarga o'xshaydi, lekin ulardan farqli o'laroq, ular tasvirda aniqlanmagan va chegaralari loyqa bo'lishi mumkin. Keyinchalik, diqqat markazida bo'lgan hududlardan belgilar (xususiyatlar) ajratiladi, ular arxitektura bilan takrorlanuvchi neyron tarmoqlarga "oziqlanadi". . Takroriy neyron tarmoqlar ketma-ketlikda xususiyatlarning o'zaro bog'liqligini tahlil qilishga qodir. Takroriy neyron tarmoqlar dastlab matnni boshqa tillarga tarjima qilish uchun ishlatilgan, endi esa tarjima qilish uchun ΠΈ .
Ushbu arxitekturalarni o'rganayotganimizda Men hech narsani tushunmasligimni angladim. Va bu mening neyron tarmog'imning diqqat mexanizmi bilan bog'liq muammolari emas. Bu barcha arxitekturalarning yaratilishi qandaydir ulkan xakatonga o'xshaydi, unda mualliflar xakerliklarda raqobatlashadi. Hack - bu qiyin dasturiy ta'minot muammosini tezkor hal qilish. Ya'ni, bu barcha arxitekturalar o'rtasida ko'rinadigan va tushunarli mantiqiy aloqa yo'q. Ularni birlashtiradigan narsa - bu ular bir-biridan qarz oladigan eng muvaffaqiyatli xakerlar to'plami, shuningdek, hamma uchun umumiy. (xatoning orqaga tarqalishi, orqaga tarqalishi). Yo'q ! Nimani o'zgartirish va mavjud yutuqlarni qanday optimallashtirish kerakligi aniq emas.
Buzg'unchilar o'rtasida mantiqiy aloqaning yo'qligi natijasida ularni eslab qolish va amalda qo'llash juda qiyin. Bu parchalangan bilim. Eng yaxshi holatda, bir nechta qiziqarli va kutilmagan daqiqalar esga olinadi, lekin tushunilgan va tushunarsiz narsalarning aksariyati bir necha kun ichida xotiradan yo'qoladi. Agar bir hafta ichida siz hech bo'lmaganda arxitektura nomini eslab qolsangiz yaxshi bo'ladi. Ammo bir necha soat va hatto kunlar ish vaqti maqolalarni o'qish va sharh videolarini tomosha qilish uchun sarflandi!
2-rasm β
Ilmiy maqolalarning aksariyat mualliflari, mening shaxsiy fikrimcha, hatto bu parchalangan bilim ham o'quvchi tomonidan tushunilmasligi uchun hamma narsani qiladilar. Ammo "havodan tashqarida" olingan formulalar bilan o'n qatorli jumlalarda qatnashuvchi iboralar alohida maqola uchun mavzu (muammo) ).
Shu sababli, neyron tarmoqlardan foydalangan holda ma'lumotlarni tizimlashtirish va shu bilan tushunish va yodlash sifatini oshirish zarurati tug'iladi. Shuning uchun sun'iy neyron tarmoqlarning individual texnologiyalari va arxitekturasini tahlil qilishning asosiy mavzusi quyidagi vazifa edi: hammasi qayerga ketayotganini bilib oling, va alohida neyron tarmog'ining qurilmasi emas.
Bularning hammasi qayerga ketyapti? Asosiy natijalar:
- So'nggi ikki yil ichida mashina o'rganish startaplari soni . Mumkin sabab: "neyron tarmoqlar endi yangi narsa emas."
- Har bir inson oddiy muammoni hal qilish uchun ishlaydigan neyron tarmog'ini yaratishi mumkin. Buning uchun "model hayvonot bog'i" dan tayyor modelni oling va neyron tarmoqning oxirgi qatlamini o'rgating () dan tayyor ma'lumotlar bo'yicha yoki bepul .
- Neyron tarmoqlarning yirik ishlab chiqaruvchilari yaratila boshlandi "namunaviy hayvonot bog'lari" (namunaviy hayvonot bog'i). Ulardan foydalanib, siz tezda tijorat ilovasini yaratishingiz mumkin: TensorFlow uchun, PyTorch uchun, Caffe2 uchun, Chainer uchun va .
- Neyron tarmoqlari ishlaydi real vaqt mobil qurilmalarda (real vaqtda). soniyada 10 dan 50 kadrgacha.
- Telefonlarda (TF Lite), brauzerlarda (TF.js) va neyron tarmoqlardan foydalanish (IoT, IInternet of Tilmoqlar). Ayniqsa, neyron tarmoqlarni apparat darajasida qo'llab-quvvatlaydigan telefonlarda (neyron tezlatgichlar).
- "Har bir qurilma, kiyim-kechak va hatto oziq-ovqat ham bo'ladi IP-v6 manzili va bir-biringiz bilan muloqot qiling" - .
- Mashinani o'rganish bo'yicha nashrlar soni o'sishni boshladi 2015 yildan beri (har ikki yilda ikki barobar). Shubhasiz, maqolalarni tahlil qilish uchun bizga neyron tarmoqlar kerak.
- Quyidagi texnologiyalar mashhurlikka erishmoqda:
- PyTorch - mashhurlik tez o'sib bormoqda va TensorFlow-ni ortda qoldirayotganga o'xshaydi.
- Giperparametrlarni avtomatik tanlash AutoML - mashhurlik muammosiz o'sib bormoqda.
- Aniqlikning asta-sekin pasayishi va hisoblash tezligining oshishi: , algoritmlar , noaniq (taxminan) hisob-kitoblar, kvantlash (neyron tarmog'ining og'irliklari butun sonlarga aylantirilganda va kvantlanganda), neyron tezlatgichlar.
- Tarjima ΠΈ .
- yaratilish , endi real vaqtda.
- DL haqida asosiy narsa shundaki, juda ko'p ma'lumotlar mavjud, ammo uni to'plash va etiketlash oson emas. Shuning uchun markirovkani avtomatlashtirish rivojlanmoqda () neyron tarmoqlardan foydalanadigan neyron tarmoqlar uchun.
- Neyron tarmoqlar bilan kompyuter fanlari to'satdan paydo bo'ldi eksperimental fan va o'rnidan turdi .
- IT pullari va neyron tarmoqlarning mashhurligi hisoblash bozor qiymatiga aylanganda bir vaqtning o'zida paydo bo'ldi. Iqtisodiyot oltin va valyuta iqtisodiyotidan o'zgarib bormoqda oltin-valyuta-hisoblash. Mening maqolamga qarang va IT pullarining paydo bo'lishining sababi.
Asta-sekin yangisi paydo bo'ladi (Machine Learning & Deep Learning), bu dasturni o'qitilgan neyron tarmoq modellari to'plami sifatida taqdim etishga asoslangan.
3-rasm - ML/DL yangi dasturlash metodologiyasi sifatida
Biroq, u hech qachon paydo bo'lmagan "neyron tarmoqlar nazariyasi", uning ichida siz tizimli fikr yuritishingiz va ishlashingiz mumkin. Endi "nazariya" deb ataladigan narsa aslida eksperimental, evristik algoritmlardir.
Mening va boshqa manbalarimga havolalar:
- Data Science axborotnomasi. Asosan tasvirni qayta ishlash. Uni olishni istagan har bir kishi elektron pochta xabarini yuborishi kerak (foobar167gmailcom). Materiallar to'planganda men maqolalar va videolarga havolalar yuboraman.
- Umumiy ma'lumotlar Men o'tgan va qaysi biridan o'tishni xohlayman.
- , bu erda siz neyron tarmoqlarni o'rganishni boshlashingiz kerak. Plus broshyura .
- , bu erda har kim o'zi uchun qiziqarli narsalarni topadi.
- Biz ularni juda foydali deb topdik. ilmiy maqolalarni tahlil qilish uchun video kanallar Data Science tomonidan. Toping, ularga obuna bo'ling va hamkasblaringizga va menga ham havolalarni uzating. Misollar:
- aka bosqichma-bosqich ko'rsatmalar va ochiq manba bilan.
E'tiboringiz uchun tashakkur!
Manba: www.habr.com