Нейросети. Къде отива всичко това

Статия се състои от две части:

1. Кратко описание на някои архитектури на мрежи за откриване на обекти в изображения и сегментация на изображения с най-разбираемите за мен линкове към ресурси. Опитах се да избера видеообяснения, и по възможност на руски език.
2. Втората част се състои в опит да осъзнаем напредъка в развитието на архитектурите на невронните мрежи. И технологиите на тяхна база.

Рисунок 1 – Разбирането на архитектурите на невронните мрежи не е лесно

Всичко започна с това, че направих две демонстрационни приложения за класификация и откриване на обекти на телефон Android:

• Back-end demo, когато данните се обработват на сървъра и се предават на телефона. Класификация на изображения (image classification) на три типа мечки: кафява, черна и плюшена.
• Front-end demo, когато данните се обработват на самия телефон. Откриване на обекти (object detection) на три типа: лешник, смокиня и фурма.

Има разлика между задачите по класификация на изображения, откриване на обекти в изображение и сегментация на изображения. Затова се появи необходимостта да разберем, кои архитектури на невронни мрежи откриват обекти в изображения и кои могат да сегментират. Намерих следните примери за архитектури с най-разбираемите за мен линкове към ресурси:

• Серия архитектури, базирани на R-CNN (Regions with Convolution Neural Networks features): R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN. За откриване на обект в изображение чрез механизма Region Proposal Network (RPN) се определят ограничени региони (bounding boxes). Първоначално вместо RPN се използваше по-бавен механизъм Selective Search. След това, определените ограничени региони се подават на входа на обикновена невронна мрежа за класификация. В архитектурата на R-CNN има явни цикли "for" за итерациите по ограничените региони, общо до 2000 прогонявания през вътрешната мрежа AlexNet. Поради явните цикли "for" се забавя скоростта на обработка на изображенията. Броят на явните цикли, прогоняванията през вътрешната невронна мрежа, намалява с всяка нова версия на архитектурата, а също така се провеждат десетки други изменения за увеличаване на скоростта и за замяна на задачата за откриване на обекти със сегментация на обектите в Mask R-CNN.
• YOLO (You Only Look OYOLO) – първата невронна мрежа, която разпознава обекти в реално време на мобилни устройства. Отличителна черта: различаване на обекти с един проход (достатъчно е да се погледне веднъж). Тоест в архитектурата на YOLO не съществуват явни цикли „for“, поради което мрежата работи бързо. Например, аналогия: в NumPy при операциите с матрици също няма явни цикли „for“, които в NumPy се реализират на по-ниски нива на архитектурата чрез езика за програмиране C. YOLO използва мрежа от предварително зададени прозорци. За да не се определя един и същ обект многократно, се използва коефициент на припокриване на прозорците (IoU, Iпресечна точка oсъюз). Тази архитектура работи в широк диапазон и притежава висока Uробастност : моделът може да бъде обучен на снимки, но работи добре и на нарисувани картини.Единичен
• SSD (SMultiBox Sдетектор) – използват се най-успешните „хаки“ на архитектурата YOLO (например, некратко максимално потискане) и се добавят нови, за да работи невронната мрежа по-бързо и точно. Отличителна черта: различаване на обекти с един проход с помощта на зададена мрежа от прозорци (default box) на пирамидата с изображения. Пирамидата с изображения е кодирана в свързани тензори при последователни операции на свързване и пулинг (при операция max-pooling пространствената размерност намалява). Така се определят както големи, така и малки обекти с един проход на мрежата. DMobileSSD (
• NetV2 +Mobile) – комбинация от две архитектури на невронни мрежи. Първата мрежа SSDMobileNetV2 работи бързо и увеличава точността на разпознаването. MobileNetV2 се прилага вместо VGG-16, която първоначално беше използвана в . Втората мрежа SSD определя местоположението на обектите в изображението. оригиналната статия,SqueezeNet
• – много малка, но точна невронна мрежа. Сама по себе си не решава задачата за откриване на обекти. Въпреки това може да се използва в комбинация с различни архитектури. И може да се използва в мобилни устройства. Отличителна черта е, че първо данните се компресират до четири 1×1 свързващи филтри, а след това се разширяват до четири 1×1 и четири 3×3 свързващи филтри. Една такава итерация на компресия-разширение на данните се нарича „Fire Module“. DeepLab
• DeepLab (Семантична сегментация на изображения с дълбоки свивателни мрежи) – сегментация на обекти в изображението. Отличителна черта на архитектурата е разредената (dilated convolution) свивка, която запазва пространствения резолюция. Следват етапи на постобработка на резултатите с използването на графичен вероятностен модел (conditional random field), което позволява да се премахнат малки шумове в сегментацията и да се подобри качеството на сегментираното изображение. Зад страховитото наименование „графичен вероятностен модел“ се крие обикновен Гаусов филтър, който е апроксимиран по пет точки.
• Опитах се да разбера устройството RefineDet (Еднократна свивка Refineментална невронна мрежа за обект Детекция), но не разбрах много.
• Също така погледнах как работи технологията за внимание (attention): видео1, видео2, видео3. Отличителна черта на архитектурата „внимание“ е автоматичното идентифициране на региони с повишено внимание в изображението (RoI, Regions of Interest) с помощта на невронна мрежа, наречена Attention Unit. Регионите с повишено внимание наподобяват ограничени области (bounding boxes), но за разлика от тях не са фиксирани в изображението и могат да имат размити граници. След това от регионите с повишено внимание се извлекат признаци (фичи), които се подхранват на рекуррентни невронни мрежи с архитектури LSDM, GRU или Vanilla RNN. Рекуррентните невронни мрежи умеят да анализират взаимоотношението на признаците в последователност. Рекуррентните невронни мрежи първоначално се прилагаха за превод на текст на други езици, а сега и за превод от изображение в текст и от текст в изображение.

Когато проучвах тези архитектури разбрах, че не разбирам нищо.. И не става въпрос за това, че моята невронна мрежа има проблеми с механизма на внимание. Създаването на всичките тези архитектури изглежда като някакъв огромен хакатон, където авторите съревнуват в хацовете. Хак (hack) – бързо решение на труден софтуерен проблем. Тоест между всичките тези архитектури няма видима и разбираема логическа връзка. Всичко, което ги свързва – е набор от най-успешните хаковe, които те заимстват един от друг, плюс обща за всички операция свивка с обратна връзка (обратна пропаганда на грешката, backpropagation). Няма системно мислене! Не е ясно какво да се променя и как да се оптимизират съществуващите постижения.

В резултат на липсата на логическа връзка между хаковете, те са изключително трудни за запомняне и прилагане на практика. Това са фрагментирани знания. В най-добрия случай се запомнят няколко интересни и изненадващи момента, но повечето от разбраното и неразбраното изчезват от паметта само след няколко дни. Ще бъде добре, ако след седмица се припомни поне името на архитектурата. А нали за четене на статии и преглед на обзорни видеа са били похарчени няколко часа и дори дни работно време!

Фигура 2 – Зоопарк на невропредавателни мрежи

Повечето автори на научни статии, по моето лично мнение, правят всичко възможно, за да дори и тези фрагментирани знания не бъдат разбрани от читателя. Но деепричастните обороти в десет редови изречения с формули, взети «от тавана» – това е тема за отделна статия (проблем publish or perish).

Поради тази причина се появи необходимост от систематизиране на информацията за невропредавателните мрежи и по този начин да се увеличи качеството на разбирането и запомнянето. Следователно основната тема на разглеждането на отделни технологии и архитектури на изкуствени невропредавателни мрежи стана следната задача: да разберем накъде всичко това върви, а не устройството на някоя конкретна невропредавателна мрежа поотделно.

Накъде всичко това върви. Основни резултати:

• Броят на стартъпите в областта на машинното обучение през последните две години рязко намаля. Възможна причина: «невропредавателните мрежи престанаха да бъдат нещо ново».
• Всеки може да създаде работеща невропредавателна мрежа за решаване на проста задача. За това ще вземе готова модел от «зоопарка на моделите» (model zoo) и ще обучи последния слой на невропредавателната мрежа (transfer learning) на готови данни от Google Dataset Search или от 25 хиляди датасета от Kaggle в безплатно облако Jupyter Notebook.
• Големи производители на невропредавателни мрежи започнаха да създават «зоопарки на модели» (model zoo). С помощта им може бързо да се направи търговско приложение: TF Hub за TensorFlow, MMDetection за PyTorch, Detectron за Caffe2, chainer-modelzoo за Chainer и други.
• Невропредавателни мрежи, работещи в реално време на мобилни устройства. От 10 до 50 кадъра в секунда.
• Приложение на невропредавателни мрежи в телефоните (TF Lite), в браузърите (TF.js) и в бита (IoT, Iинтернет of Tна нещата). Особено в телефоните, които вече поддържат невропредавателни мрежи на ниво «хардуер» (нейроакселератори).
• «Всяко устройство, облекло и, възможно, дори храна ще имат IP-v6 адрес и ще комуникират помежду си» – Себастиян Трун.
• Растежът на публикациите по машинно обучение започна да надвишава закона на Мур (удвояване на всеки две години) от 2015 година. Очевидно са необходими невронни мрежи за анализ на статии.
• Набират популярност следните технологии:
  • PyTorch – популярността нараства стремително и, изглежда, изпреварва TensorFlow.
  • Автоматично подбиране на хиперпараметри AutoML – популярността нараства плавно.
  • Постепенно намаляване на точността и увеличение на скоростта на изчисленията: нечетка логика, алгоритми на бустинга, неточни (приблизителни) изчисления, квантоване (когато теглата на невронната мрежа се превеждат в цели числа и се квантизират), невронни ускорители.
  • Превод от изображение в текст и от текст в изображение.
  • Създаване тривиални обекти по видео, вече в реално време.
  • Основното в DL – това е много данни, но тяхното събиране и етикетиране не е лесно. Затова се развива автоматизация на етикетирането (automated annotation) за невронни мрежи с помощта на невронни мрежи.
• С невронните мрежи компютърните науки внезапно станаха експериментална наука и се появи криза на репродуктивността..
• ИТ парите и популярността на невронните мрежи възникнаха едновременно, когато изчисленията станаха пазарна стойност. Икономиката от златно-валутна се превръща в златно-валутно-изчислителна.. Вижте моята статия по еконофизика и причината за появата на ИТ парите.

Постепенно се появява нова методология на програмирането ML/DL (Machine Learning & Deep Learning), която се базира на представянето на програмата като съвкупност от обучени невронни мрежови модели.

Фигура 3 – ML/DL като нова методология на програмирането

Обаче така и не се появи «теория на невронните мрежи», в рамките на която можем да мислим и работим системно. Това, което в момента се нарича «теория», всъщност са експериментални, хевристични алгоритми.

Линкове към моите и не само ресурси:

• Абонамент за новини по Data Science. Основно относно обработка на изображения. Който иска да получава, нека изпрати имейл (foobar167<кавга>gmail<точка>com). Линкове към статии и видеа разпращам по мярка натрупване на материал.
• Общ списък с курсове и статии, които преминах и които искам да премина.
• Курсове и видеа за начинаещи, с които си струва да се започне изучаването на невронни мрежи. Допълнително брошура «Въведение в машинното обучение и изкуствени невронни мрежи».
• Полезни инструменти, където всеки може да намери нещо интересно за себе си.
• Изключително полезни се оказаха видеоканалите за анализ на научни статии в сферата на Data Science. Откривайте, абонирайте се за тях и споделяйте линкове с колегите си и с мен също. Примери:
  • Two Minute Papers
  • Henry AI Labs
  • Yannic Kilcher
  • CodeEmporium
  • Блогът на Chengwei Zhang или Tony607 с инструкции стъпка по стъпка и отворен код.

Благодаря за вниманието!

Източник: habr.com