Неуронске мреже. Где све ово води?

Чланак се састоји из два дела:

1. Кратак опис неких мрежних архитектура за детекцију објеката у сликама и сегментацију слика са мени најразумљивијим везама до ресурса. Покушао сам да изаберем видео објашњења и по могућности на руском.
2. Други део је покушај разумевања правца развоја архитектура неуронских мрежа. И технологије засноване на њима.

Слика 1 – Разумевање архитектуре неуронских мрежа није лако

Све је почело прављењем две демо апликације за класификацију и детекцију објеката на Андроид телефону:

• Бацк-енд демо, када се подаци обрађују на серверу и преносе на телефон. Класификација слика три врсте медведа: браон, црни и плишани.
• Фронт-енд демокада се подаци обрађују на самом телефону. Детекција објеката (детекција објеката) три врсте: лешници, смокве и урме.

Постоји разлика између задатака класификације слике, детекције објеката на слици и сегментација слике. Стога се појавила потреба да се открије које архитектуре неуронских мрежа детектују објекте на сликама, а које могу сегментирати. Нашао сам следеће примере архитектуре са мени најразумљивијим везама до ресурса:

• Серија архитектура заснована на Р-ЦНН (Rрегиони са Cонволутион Nеурал Nкарактеристике мреже): Р-ЦНН, Брзи Р-ЦНН, Бржи Р-ЦНН, Маска Р-ЦНН. Да би се открио објекат на слици, гранични оквири се додељују помоћу механизма мреже предлога региона (РПН). У почетку је коришћен спорији механизам селективног претраживања уместо РПН-а. Затим се одабрани ограничени региони уносе на улаз конвенционалне неуронске мреже ради класификације. Р-ЦНН архитектура има експлицитне „фор“ петље у ограниченим регионима, укупно до 2000 пролаза кроз АлекНет интерну мрежу. Експлицитне „фор“ петље успоравају брзину обраде слике. Број експлицитних петљи које пролазе кроз унутрашњу неуронску мрежу се смањује са сваком новом верзијом архитектуре, а направљене су десетине других промена како би се повећала брзина и заменио задатак детекције објеката сегментацијом објеката у Маск Р-ЦНН.
• ИОЛО (You Oнли Lтакође Oнце) је прва неуронска мрежа која је препознавала објекте у реалном времену на мобилним уређајима. Посебна карактеристика: разликовање објеката у једној вожњи (само једном погледајте). То јест, у ИОЛО архитектури нема експлицитних петљи „за“, због чега мрежа ради брзо. На пример, ова аналогија: у НумПи-у, када се изводе операције са матрицама, такође нема експлицитних „фор“ петљи, које се у НумПи-у имплементирају на нижим нивоима архитектуре преко програмског језика Ц. ИОЛО користи мрежу унапред дефинисаних прозора. Да би се спречило да се исти објекат дефинише више пута, користи се коефицијент преклапања прозора (ИоУ). Iраскрсница oвер Uнион). Ова архитектура функционише у широком опсегу и има висок робусност: Модел се може обучити на фотографијама, али се и даље добро понаша на ручно цртаним сликама.
• ССД (Sингле Sхот МултиБок Dетецтор) – користе се најуспешнији „хакови“ ИОЛО архитектуре (на пример, не-максимална супресија) и додају се нови да би неуронска мрежа радила брже и тачније. Посебност: разликовање објеката у једном покретању помоћу дате мреже прозора (подразумевано поље) на пирамиди слике. Пирамида слике је кодирана у конволуционим тензорима кроз узастопне операције конволуције и удруживања (са операцијом максималног скупљања, просторна димензија се смањује). На овај начин се у једној мрежи одређују и велики и мали објекти.
• МобилеССД (мобилниНетВ2+ ССД) је комбинација две архитектуре неуронских мрежа. Прва мрежа МобилеНетВ2 ради брзо и повећава тачност препознавања. МобилеНетВ2 се користи уместо ВГГ-16, који је првобитно коришћен у оригинални чланак. Друга ССД мрежа одређује локацију објеката на слици.
• СкуеезеНет – веома мала, али прецизна неуронска мрежа. Сам по себи, не решава проблем детекције објеката. Међутим, може се користити у комбинацији различитих архитектура. И користи се у мобилним уређајима. Посебност је да се подаци прво компресују у четири 1×1 конволуциона филтера, а затим проширују у четири 1×1 и четири 3×3 конволуциона филтера. Једна таква итерација компресије-проширења података назива се „Фире Модуле“.
• ДеепЛаб (Семантиц Имаге Сегментатион витх Дееп Цонволутионал Нетс) – сегментација објеката на слици. Карактеристична карактеристика архитектуре је проширена конволуција, која чува просторну резолуцију. Након тога следи фаза накнадне обраде резултата коришћењем графичког вероватносног модела (условно насумично поље), који вам омогућава да уклоните мали шум у сегментацији и побољшате квалитет сегментиране слике. Иза страшног назива „графички вероватноћан модел“ крије се конвенционални Гаусов филтер, који је апроксимиран са пет тачака.
• Покушао сам да схватим уређај РефинеДет (Један погодак прерадитимент Неурал Нетворк фор Објецт Детецтион), али нисам много разумео.
• Такође сам погледао како функционише технологија „пажња“: видео1, видео2, видео3. Карактеристична карактеристика архитектуре „пажње“ је аутоматски одабир области повећане пажње на слици (РоИ, Rегионс of Iинтерес) коришћењем неуронске мреже под називом Аттентион Унит. Региони повећане пажње су слични граничним оквирима, али за разлику од њих, нису фиксирани на слици и могу имати замућене границе. Затим, из региона повећане пажње, изолују се знаци (карактеристике), који се „храњују“ у рекурентне неуронске мреже са архитектуром ЛСДМ, ГРУ или Ванилла РНН. Рекурентне неуронске мреже су у стању да анализирају однос карактеристика у низу. Рекурентне неуронске мреже су у почетку коришћене за превођење текста на друге језике, а сада и за превођење слике у текст и текст у слику.

Док истражујемо ове архитектуре Схватио сам да ништа не разумем. И није да моја неуронска мрежа има проблема са механизмом пажње. Стварање свих ових архитектура је као нека врста огромног хакатона, где се аутори такмиче у хаковима. Хацк је брзо решење за тежак софтверски проблем. Односно, не постоји видљива и разумљива логичка веза између свих ових архитектура. Све што их спаја је скуп најуспешнијих хакова које позајмљују једни од других, плус један заједнички за све операција конволуције затворене петље (повратно ширење грешке, пропагација уназад). Не системско размишљање! Није јасно шта променити и како оптимизовати постојећа достигнућа.

Као резултат недостатка логичке везе између хакова, изузетно их је тешко запамтити и применити у пракси. Ово је фрагментирано знање. У најбољем случају, памти се неколико занимљивих и неочекиваних тренутака, али већина онога што је схваћено и несхватљиво нестаје из сећања у року од неколико дана. Биће добро ако се за недељу дана сетите бар имена архитектуре. Али неколико сати, па чак и дана радног времена потрошено је читајући чланке и гледајући видео снимке!

Слика 2 – Зоолошки врт неуронских мрежа

Већина аутора научних чланака, по мом личном мишљењу, чини све што је могуће да чак и ово фрагментирано знање не буде разумљиво читаоцу. Али партиципалне фразе у десетредним реченицама са формулама које су извучене „из ваздуха” су тема за посебан чланак (проблем објављивати или пропадати).

Из тог разлога постоји потреба да се информације систематизују коришћењем неуронских мрежа и на тај начин повећају квалитет разумевања и памћења. Стога је главна тема анализе појединачних технологија и архитектура вештачких неуронских мрежа био следећи задатак: сазнати куда све то иде, а не уређај било које специфичне неуронске мреже посебно.

Где све ово води? Главни резултати:

• Број покретања машинског учења у последње две године нагло пао. Могући разлог: „неуронске мреже више нису нешто ново.
• Свако може да направи функционалну неуронску мрежу да реши једноставан проблем. Да бисте то урадили, узмите готов модел из „моделног зоолошког врта“ и обучите последњи слој неуронске мреже (трансфер учење) на готове податке из Гоогле претрага скупова података или од 25 хиљада Каггле скупова података у слободном цлоуд Јупитер Нотебоок.
• Почели су да стварају велики произвођачи неуронских мрежа "моделни зоолошки вртови" (узорни зоолошки врт). Користећи их можете брзо креирати комерцијалну апликацију: ТФ Хуб за ТенсорФлов, ММДетецтион за ПиТорцх, Детектрон за Цаффе2, цхаинер-моделзоо за Цхаинера и други.
• Неуронске мреже које раде у реалном времену (у реалном времену) на мобилним уређајима. Од 10 до 50 кадрова у секунди.
• Употреба неуронских мрежа у телефонима (ТФ Лите), у претраживачима (ТФ.јс) и у покућство (ИоТ, Iнтернет of Tшарке). Нарочито у телефонима који већ подржавају неуронске мреже на хардверском нивоу (неурални акцелератори).
• „Сваки уређај, одевни предмет, а можда чак и храна ће имати ИП-в6 адреса и комуницирају једни са другима" - Себастиан Тхрун.
• Број публикација о машинском учењу је почео да расте превазилази Муров закон (удвостручавање сваке две године) од 2015. Очигледно, потребне су нам неуронске мреже за анализу чланака.
• Следеће технологије постају све популарније:
  • ПиТорцх – популарност брзо расте и чини се да престиже ТенсорФлов.
  • Аутоматски избор хиперпараметара АутоМЛ – популарност глатко расте.
  • Постепено смањење тачности и повећање брзине израчунавања: Чудна логика, алгоритми боостинг, нетачна (приближна) израчунавања, квантизација (када се тежине неуронске мреже конвертују у целе бројеве и квантују), неуронски акцелератори.
  • Превод слике у текст и текст у слику.
  • стварање XNUMXД објекти из видеа, сада у реалном времену.
  • Главна ствар код ДЛ је да има много података, али њихово прикупљање и етикетирање није лако. Због тога се развија аутоматизација означавања (аутоматизовано означавање) за неуронске мреже које користе неуронске мреже.
• Са неуронским мрежама, рачунарство је одједном постало експериментална наука и настао криза репродуктивности.
• ИТ новац и популарност неуронских мрежа појавили су се истовремено када је рачунарство постало тржишна вредност. Економија се мења од економије злата и валуте у злато-валуте-рачуна. Погледајте мој чланак о еконофизике и разлог за појаву ИТ новца.

Постепено се појављује нови Методологија МЛ/ДЛ програмирања (Мацхине Леарнинг & Дееп Леарнинг), који се заснива на представљању програма као скупа обучених модела неуронске мреже.

Слика 3 – МЛ/ДЛ као нова методологија програмирања

Међутим, никада се није појавио "теорија неуронских мрежа", у оквиру које можете систематски размишљати и радити. Оно што се сада назива „теоријом“ заправо су експериментални, хеуристички алгоритми.

Везе ка мојим и другим ресурсима:

• Дата Сциенце Невслеттер. Углавном обрада слика. Свако ко жели да га прими треба да пошаље е-маил (фообар167<гаф-гаф>гмаил<дот>цом). Шаљем везе до чланака и видео записа како се материјал акумулира.
• Општи списак курсева и чланакакоје сам прошао и који бих волео да прођем.
• Курсеви и видео снимци за почетнике, где би требало да почнете да проучавате неуронске мреже. Плус брошура „Увод у машинско учење и вештачке неуронске мреже“.
• Корисни алати, где ће свако пронаћи нешто занимљиво за себе.
• Сматрали смо их изузетно корисним. видео канали за анализу научних чланака би Дата Сциенце. Пронађите, претплатите се на њих и пренесите везе својим колегама и мени. Примери:
  • Двоминутни радови
  • Хенри АИ Лабс
  • Ианниц Килцхер
  • ЦодеЕмпориум
  • Блог Цхенгвеи Зханг брате ТониКСНУМКС са упутствима корак по корак и отвореним кодом.

Спасибо за внимание!

Извор: ввв.хабр.цом