Невронски мрежи. Каде оди сето ова?

Статијата се состои од два дела:

1. Краток опис на некои мрежни архитектури за откривање објекти во слики и сегментација на слики со најразбирливи врски до ресурси за мене. Се обидов да изберам видео објаснувања и по можност на руски.
2. Вториот дел е обид да се разбере насоката на развој на архитектурите на невронските мрежи. И технологии базирани на нив.

Слика 1 – Разбирањето на архитектурите на невронските мрежи не е лесно

Сè започна со правење две демо апликации за класификација и откривање на објекти на телефон со Android:

• Демо за назад, кога податоците се обработуваат на серверот и се пренесуваат на телефонот. Класификација на слики на три типа мечки: кафеава, црна и кадифена.
• Демо пред крајоткога податоците се обработуваат на самиот телефон. Детекција на предмети (откривање на предмети) од три вида: лешници, смокви и урми.

Постои разлика помеѓу задачите за класификација на слики, откривање на објекти во слика и сегментација на сликата. Затоа, имаше потреба да се открие кои архитектури на невронски мрежи откриваат објекти во сликите и кои од нив можат да се сегментираат. Ги најдов следниве примери на архитектури со најразбирливи врски до ресурси за мене:

• Серија архитектури базирани на R-CNN (Rрегиони со Cонволуција Nеурална Networks карактеристики): R-CNN, Fast R-CNN, Побрз R-CNN, Маска R-CNN. За да се открие објект во слика, полињата за ограничување се доделуваат со помош на механизмот за регионална понуда мрежа (RPN). Првично, наместо RPN се користеше побавниот механизам за селективно пребарување. Потоа избраните ограничени региони се внесуваат на влезот на конвенционалната невронска мрежа за класификација. Архитектурата на R-CNN има експлицитни „за“ циклуси во ограничени региони, вкупно до 2000 вртења низ внатрешната мрежа на AlexNet. Експлицитните циклуси „за“ ја забавуваат брзината на обработка на слики. Бројот на експлицитни јамки што минуваат низ внатрешната невронска мрежа се намалува со секоја нова верзија на архитектурата, а десетици други промени се прават за да се зголеми брзината и да се замени задачата за откривање објекти со сегментација на објекти во Mask R-CNN.
• Yolo (You Only Lисто така, Once) е првата невронска мрежа која препознава објекти во реално време на мобилни уреди. Карактеристична карактеристика: разликување на предмети во едно возење (само погледнете еднаш). Односно, во YOLO архитектурата нема експлицитни „за“ јамки, поради што мрежата работи брзо. На пример, оваа аналогија: во NumPy, при извршување на операции со матрици, исто така нема експлицитни „за“ циклуси, кои во NumPy се имплементирани на пониски нивоа на архитектурата преку програмскиот јазик C. YOLO користи мрежа од предефинирани прозорци. За да се спречи повеќекратно дефинирање на истиот објект, се користи коефициентот на преклопување на прозорецот (IoU). Iраскрсница oвер Uнион). Оваа архитектура работи во широк опсег и има висока робусност: Манекенката може да се обучи на фотографии, но сепак да има добри резултати на рачно нацртани слики.
• SSD (Single Sтопла MultiBox Detector) – се користат најуспешните „хакови“ на архитектурата YOLO (на пример, не-максимално потиснување) и се додаваат нови за да се направи невронската мрежа да работи побрзо и попрецизно. Карактеристична карактеристика: разликување на објекти во едно возење користејќи дадена мрежа на прозорци (стандардно поле) на пирамидата на сликата. Пирамидата на сликата е кодирана во конволуциони тензори преку последователни операции на конволуција и здружување (со операцијата максимално здружување, просторната димензија се намалува). На овој начин, и големите и малите објекти се одредуваат во една мрежа.
• мобилен SSD (МобилниNetV2+ SSD) е комбинација од две архитектури на невронски мрежи. Првата мрежа MobileNetV2 работи брзо и ја зголемува точноста на препознавање. MobileNetV2 се користи наместо VGG-16, кој првично се користеше во оригинална статија. Втората SSD мрежа ја одредува локацијата на објектите на сликата.
• SqueezeNet – многу мала, но точна невронска мрежа. Само по себе, тоа не го решава проблемот со откривање на објекти. Сепак, може да се користи во комбинација на различни архитектури. И се користи во мобилни уреди. Посебната карактеристика е што податоците прво се компресирани во четири конволутивни филтри 1×1, а потоа се прошируваат во четири конволуциони филтри 1×1 и четири 3×3. Една таква повторување на проширувањето на компресија на податоци се нарекува „Модул за пожар“.
• DeepLab (Семантичка сегментација на слика со длабоки конволуциони мрежи) – сегментација на објекти на сликата. Карактеристична карактеристика на архитектурата е проширената конволуција, која ја зачувува просторната резолуција. Потоа следи фаза на пост-обработка на резултатите со помош на графички веројатностичен модел (условно случајно поле), кој ви овозможува да отстраните мал шум во сегментацијата и да го подобрите квалитетот на сегментираната слика. Зад застрашувачкото име „графички веројатност модел“ се крие конвенционален Гаусовиот филтер, кој е приближен на пет точки.
• Се обидов да го дознаам уредот РафинеДет (Еден истрел насочитеНевронска мрежа за објект Детекција), но не разбрав многу.
• Исто така, погледнав како функционира технологијата „внимание“: видео 1, видео 2, видео 3. Карактеристична карактеристика на архитектурата „внимание“ е автоматскиот избор на области на зголемено внимание на сликата (RoI, Regions of Interest) користејќи невронска мрежа наречена Единица за внимание. Регионите на зголемено внимание се слични на кутиите за ограничување, но за разлика од нив, тие не се фиксирани на сликата и може да имаат заматени граници. Потоа, од региони на зголемено внимание, се изолираат знаци (карактеристики), кои се „нахрануваат“ со рекурентни невронски мрежи со архитектури LSDM, GRU или RNN од ванила. Рекурентните невронски мрежи се способни да ја анализираат врската на карактеристиките во низа. Рекурентните невронски мрежи првично беа користени за превод на текст на други јазици, а сега и за превод слики во текст и текст на слика.

Додека ги истражуваме овие архитектури Сфатив дека ништо не разбирам. И не е дека мојата невронска мрежа има проблеми со механизмот за внимание. Создавањето на сите овие архитектури е како некој вид огромен хакатон, каде што авторите се натпреваруваат во хакови. Хак е брзо решение за тежок софтверски проблем. Односно, не постои видлива и разбирлива логичка врска помеѓу сите овие архитектури. Сè што ги обединува е збир од најуспешните хакови што ги позајмуваат еден од друг, плус заеднички за сите операција на конволуција во затворена јамка (грешка задна пропагација, задна пропагација). Бр системско размислување! Не е јасно што да се промени и како да се оптимизираат постоечките достигнувања.

Како резултат на недостатокот на логична врска помеѓу хакерите, тие се исклучително тешки за паметење и примена во пракса. Ова е фрагментирано знаење. Во најдобар случај, се паметат неколку интересни и неочекувани моменти, но поголемиот дел од она што е разбирливо и неразбирливо исчезнува од меморијата за неколку дена. Ќе биде добро ако за една недела се сеќавате барем на името на архитектурата. Но, неколку часа, па дури и денови од работното време беа потрошени за читање написи и гледање видеа со прегледи!

Слика 2 - Зоолошка градина на невронски мрежи

Повеќето автори на научни написи, според мое лично мислење, прават се што е можно за да се осигураат дека дури и ова фрагментирано знаење нема да биде разбрано од читателот. Но, партиципалните фрази во десет реда реченици со формули што се извадени „од воздух“ се тема за посебна статија (проблем објавува или загине).

Поради оваа причина, постои потреба да се систематизираат информациите користејќи невронски мрежи и, на тој начин, да се зголеми квалитетот на разбирање и меморирање. Затоа, главната тема на анализа на поединечни технологии и архитектури на вештачки невронски мрежи беше следнава задача: дознајте каде оди сето тоа, а не уредот на некоја специфична невронска мрежа посебно.

Каде оди сето ова? Главни резултати:

• Број на стартапи за машинско учење во последните две години падна нагло. Можна причина: „невронските мрежи повеќе не се нешто ново“.
• Секој може да создаде работна невронска мрежа за да реши едноставен проблем. За да го направите ова, земете готов модел од „модел зоолошката градина“ и обучете го последниот слој на невронската мрежа (трансфер учење) на готови податоци од Пребарување на збирки на податоци на Google или од 25 илјади Kaggle сетови на податоци во бесплатно облак Jupyter Notebook.
• Почнаа да создаваат големи производители на невронски мрежи „модел на зоолошки градини“ (модел на зоолошка градина). Користејќи ги, можете брзо да креирате комерцијална апликација: TF Hub за TensorFlow, MMDection за PyTorch, Детектрон за Caffe2, синџир-моделзоо за Чејнер и други.
• Неврални мрежи кои работат во вистинско време (во реално време) на мобилни уреди. Од 10 до 50 фрејмови во секунда.
• Употребата на невронски мрежи во телефони (TF Lite), во прелистувачи (TF.js) и во Домашни производи (IoT, Iмрежната мрежа of Tшарки). Особено кај телефоните кои веќе поддржуваат невронски мрежи на хардверско ниво (невронски акцелератори).
• „Секој уред, парче облека, а можеби дури и храна ќе има IP-v6 адреса и да комуницираат едни со други“ - Себастијан Трун.
• Бројот на публикации за машинско учење почна да расте го надминува законот на Мур (удвојување на секои две години) од 2015 година. Очигледно, ни требаат невронски мрежи за анализа на статии.
• Следниве технологии добиваат популарност:
  • PyTorch – популарноста рапидно расте и се чини дека го надминува TensorFlow.
  • Автоматски избор на хиперпараметри Automl - популарноста непречено расте.
  • Постепено намалување на точноста и зголемување на брзината на пресметка: нејасна логика, алгоритми поттикнување, неточни (приближни) пресметки, квантизација (кога тежините на невронската мрежа се претвораат во цели броеви и се квантизираат), нервни акцелератори.
  • Превод слики во текст и текст на слика.
  • создавање 3D објекти од видео, сега во реално време.
  • Главната работа за DL е дека има многу податоци, но собирањето и етикетирањето не е лесно. Затоа, автоматизацијата за обележување се развива (автоматизирана прибелешка) за невронски мрежи кои користат невронски мрежи.
• Со невронски мрежи, компјутерските науки одеднаш станаа експериментална наука и стана криза на репродуктивност.
• ИТ парите и популарноста на невронските мрежи се појавија истовремено кога компјутерите станаа пазарна вредност. Економијата се менува од економија на злато и валута во злато-валута-пресметување. Видете ја мојата статија за економиката и причината за појавата на ИТ парите.

Постепено се појавува нов Методологија на програмирање ML/DL (Machine Learning & Deep Learning), која се заснова на претставување на програмата како збир на обучени модели на невронска мрежа.

Слика 3 – ML/DL како нова методологија за програмирање

Сепак, никогаш не се појави „теорија на невронски мрежи“, во чии рамки можете систематски да размислувате и работите. Она што сега се нарекува „теорија“ е всушност експериментални, хеуристички алгоритми.

Врски до моите и другите ресурси:

• Билтен за наука за податоци. Главно обработка на слики. Секој што сака да го добие нека испрати е-пошта (foobar167gmailcom). Испраќам линкови до статии и видеа како што се акумулира материјалот.
• Општо листа на курсеви и статиишто сум го положил и кој би сакал да го поминам.
• Курсеви и видеа за почетници, каде што треба да започнете да ги проучувате невронските мрежи. Брошура плус „Вовед во машинско учење и вештачки невронски мрежи“.
• Корисни алатки, каде секој ќе најде нешто интересно за себе.
• Ни ги најдовме исклучително корисни. видео канали за анализа на научни статии од Data Science. Најдете, претплатете се на нив и пренесете ги линковите на вашите колеги и на мене исто така. Примери:
  • Две минутни трудови
  • Лаборатории за вештачка интелигенција Хенри
  • Јаник Килчер
  • CodeEmporium
  • Блог Ченгвеи Џанг брат Tony607 со чекор-по-чекор инструкции и отворен код.

Ви благодариме!

Извор: www.habr.com