Невронни мрежи. Къде отива всичко това?

Статия се състои от две части:

1. Кратко описание на някои архитектури на мрежи за откриване на обекти в изображения и сегментация на изображения с най-разбираемите за мен линкове към ресурси. Опитах се да избера видео обяснения и желателно на руски език.
2. Втората част е опит за осъзнаване на посоката на развитие на архитектурите на невронните мрежи. И технологиите, основани на тях.

Рисунок 1 – Разбирането на архитектурите на невронни мрежи не е лесно.

Всичко започна с това, че направих две демонстрационни приложения за класификация и откриване на обекти на телефон с Android:

• Back-end demo, когато данните се обработват на сървъра и се предават на телефона. Класификация на изображения (image classification) на три типа мечки: кафява, черна и плюшена.
• Front-end demo, когато данните се обработват на самия телефон. Откриване на обекти (object detection) на три типа: лешник, смокиня и фурма.

Има разлика между задачите за класификация на изображения, откриване на обекти в изображения и сегментация на изображения. Затова възникна необходимостта да разберем, кои архитектури на невронни мрежи откриват обекти в изображения и кои могат да сегментират. Намерих следните примери за архитектури с най-разбираемите за мен линкове към ресурси:

• Серия архитектури на базата на R-CNN (Rегионите с Cконволюционни Nневронни Nмрежи функции): R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN. За откритие на обект в изображение чрез механизма Region Proposal Network (RPN) се определят ограничени области (bounding boxes). Първоначално вместо RPN се използваше по-бавният механизъм Selective Search. След това определените ограничени области се подават на входа на обикновена невронна мрежа за класификация. В архитектурата R-CNN има явни цикли „for“ за обхождане на ограничените области, общо до 2000 прогонки през вътрешната мрежа AlexNet. Поради явните цикли „for“ се забавя скоростта на обработка на изображенията. Броят на явните цикли, прогонките през вътрешната невронна мрежа, намалява с всяка нова версия на архитектурата, а също така се правят десетина други промени за увеличаване на скоростта и за замяна на задачата за откритие на обекти със сегментация на обектите в Mask R-CNN.
• YOLO (Yможе Oда Lвижда OYOLO) – първата невронна мрежа, която разпознава обекти в реално време на мобилни устройства. Отличителна характеристика: разпознаване на обекти с едно преминаване (достатъчно е да се погледне веднъж). В архитектурата на YOLO няма явни цикли "for", което позволява на мрежата да работи бързо. Например, аналогията с NumPy: при операции с матрици също няма явни цикли "for", тъй като те са реализирани на по-ниски нива на архитектурата чрез езика за програмиране C. YOLO използва мрежа от предварително зададени прозорци. За да се предотврати многократното разпознаване на един и същ обект, се използва коефициент на припокриване на прозорците (IoU, Iintersection oover Uunion). Тази архитектура работи в широк диапазон и има висока робастност: моделът може да бъде обучен на снимки, но също така работи добре върху нарисувани картини.
• SSD (SSingle SShot MultiBox DDetector) – използва най-успешните "трикове" на архитектурата YOLO (например, non-maximum suppression) и добавя нови, за да работи невронната мрежа по-бързо и по-точно. Отличителна характеристика: разпознаване на обекти с едно преминаване, използвайки зададена мрежа от прозорци (default box) върху пирамида от изображения. Пирамида от изображенията е кодирана в свиващи тензори, чрез последователни операции на свиване и пуллинг (при операция max-pooling пространствената размерност намалява). По този начин се определят както големи, така и малки обекти с едно преминаване на мрежата.
• MobileSSD (MobileNetV2 + SSD) – комбинация от две архитектури на невронни мрежи. Първата мрежа MobileNetV2 работи бързо и увеличава точността на разпознаване. MobileNetV2 се използва вместо VGG-16, който първоначално е използван в оригиналната статия. Втората мрежа SSD определя местоположението на обектите в изображението.
• SqueezeNet – много малка, но точна невронна мрежа. Сама по себе си не решава задачата за разпознаване на обекти. Въпреки това може да се използва в комбинация с различни архитектури. И да се използва в мобилни устройства. Отличителна характеристика е, че първо данните се компресират до четири 1×1 свиващи филтри, а след това се разширяват до четири 1×1 и четири 3×3 свиващи филтри. Една такава итерация на компресия-разширение на данните се нарича "Fire Module."
• DeepLab (Семантична сегментация на изображението с дълбоки конволюционни мрежи) – сегментация на обекти в изображение. Отличителната черта на архитектурата е разредената (dilated convolution) конволюция, която запазва пространственото разрешение. Следва етап на постобработка на резултатите с помощта на графичен вероятностен модел (conditional random field), който позволява да се премахнат малки шумове в сегментацията и да се подобри качеството на сегментираното изображение. Под внушителното име „графичен вероятностен модел“ се крие обикновен Гаусов филтър, който е апроксимирал с пет точки.
• Опитвах се да разбера устройството RefineDet (Едношотова рефинирананевронна мрежа за обект определяне), но не разбрах много.
• Също така гледах как работи технологията на вниманието (attention): видео1, видео2, видео3. Отличителната черта на архитектурата на вниманието е автоматичното открояване на региони с повишено внимание в изображението (RoI, Rегии of Iот интерес) с помощта на невронна мрежа, наречена Attention Unit. Регионите с повишено внимание приличат на ограничени региони (bounding boxes), но за разлика от тях не са фиксирани в изображението и могат да имат неясни граници. След това от регионите с повишено внимание се отделят характеристики (features), които „се хранат“ на рекурентни невронни мрежи с архитектури LSDM, GRU или Vanilla RNN. Рекурентните невронни мрежи умеят да анализират взаимоотношението на характеристиките в последователността. Рекурентните невронни мрежи първоначално се използваха за преводи на текст на други езици, а сега и за превод на изображение в текст и текст в изображение.

Докато изследвах тези архитектури , разбрах, че нищо не разбирам. И проблемът не е, че моята невронна мрежа има трудности с механизма на вниманието. Създаването на всичките тези архитектури прилича на огромен хакатон, където авторите се състезават в хакове. Хак (hack) означава бързо решение на трудна софтуерна задача. Тоест между всичките тези архитектури няма видима и разбираема логическа връзка. Всичко, което ги обединява – е наборът от най-успешни хакове, които те взаимстват един от друг, плюс общата за всички конволюционна операция с обратна връзка (обратно разпространение на грешката, backpropagation). Няма системно мислене! Не е ясно какво да се променя и как да се оптимизират съществуващите постижения.

Като резултат от липсата на логическа връзка между хаковете, те са изключително трудни за запомняне и приложение на практика. Това са фрагментирани знания. В най-добрия случай се запомнят няколко интересни и неочаквани момента, но повечето от разбраното и неразбраното изчезва от паметта още след няколко дни. Добре ще е, ако след една седмица се припомни поне името на архитектурата. А за четенето на статии и преглед на видео материали са похарчени няколко часа и дори дни работно време!

Рисунок 2 – Зоопарк на невронните мрежи

Повечето автори на научни статии, по мое лично мнение, правят всичко възможно, за да даже тези фрагментирани знания да не бъдат разбрани от читателя. Но деепричастие в десет реда предложения с формули, взети "от тавана" – това е тема за отделна статия (проблема publish or perish).

Поради тази причина се появи необходимостта от систематизиране на информацията по невронните мрежи и така да се увеличи качеството на разбирането и запомнянето. Следователно основната тема на анализа на отделните технологии и архитектури на изкуствените невронни мрежи стана следната задача: да разберем накъде всичко това се движи, а не устройството на конкретна невронна мрежа поотделно.

Накъде всичко това се движи. Основни резултати:

• Числото на стартапите в областта на машинното обучение през последните две години рязко спадна. Възможна причина: „невронните мрежи спряха да бъдат нещо ново“.
• Всеки може да създаде работеща невронна мрежа за решаване на проста задача. За това ще вземе готов модел от "зооопарка на моделите" (model zoo) и ще обучи последния слой на невронната мрежа (transfer learning) върху готови данни от Google Dataset Search , то попада в VPN. Тоест, този пакет се криптира допълнително и се предава между 25 хиляди набора данни от Kaggle в безплатно облако Jupyter Notebook.
• Големи производители на невронни мрежи започнаха да създават "зоопаркове на моделите" (model zoo). С тях може бързо да се направи търговско приложение: TF Hub за TensorFlow, MMDetection за PyTorch, Detectron за Caffe2, chainer-modelzoo за Chainer и други.
• Невронни мрежи, работещи в реално време (real-time) на мобилни устройства. От 10 до 50 кадъра в секунда.
• Приложение на невронните мрежи в телефоните (TF Lite), в браузърите (TF.js) и в бытовите предмети (IoT, Iинтернет of Tна нещата). Особено в телефоните, които вече поддържат невронни мрежи на ниво „хардуер“ (невроакселератори).
• „Всяко устройство, дрехи и дори хранилища ще имат IP-v6 адрес и ще комуникират помежду си“ – Себастиян Трун.
• Растежът на публикациите по машинно обучение започна да надвишава закона на Мур (двойно увеличаване на всеки две години) от 2015 г. Очевидно са нужни невронни мрежи за анализ на статии.
• Набиращи популярност технологии:
  • PyTorch – популярността расте стремително и, изглежда, изпреварва TensorFlow.
  • Автоматична настройка на хиперпараметри AutoML – популярността расте равномерно.
  • Постепенното намаляване на точността и увеличаването на скоростта на изчисленията: нечетка логика, алгоритми бустинг, не точни (приближени) изчисления, квантизация (когато тежестите на невронната мрежа се превръщат в цели числа и се квантизират), невронни акселератори.
  • Превод на изображение в текст и текст в изображение.
  • само за четене изисква известни допълнителни усилия от разработчиците на вградени системи и тук на сцената излиза VFS. Linux изисква файловете в тридименсионни обекти по видео, сега вече в реално време.
  • Основното в DL – това са много данни, но събирането и анотирането им е трудно. Затова се развива автоматизация на анотацията (automated annotation) за невронни мрежи с помощта на невронни мрежи.
• С невронните мрежи компютърните науки внезапно станаха експериментална наука и възникна кризис на възпроизводимостта.
• ИТ парите и популярността на невронните мрежи възникнаха едновременно, когато изчисленията станаха пазарна стойност. Икономиката от злато-валутна се трансформира в злато-валутно-изчислителна. Вижте моята статия за еконофизика и причината за възникването на ИТ парите.

Постепенно се появява нова методология за програмиране на ML/DL (Machine Learning & Deep Learning), която се основава на представянето на програмата като съвкупност от обучени модели на невронни мрежи.

Рисунка 3 – ML/DL като нова методология за програмиране

Въпреки това, все още не се е появила „теория на невронни мрежи“, в рамките на която може да се мисли и работи системно. Това, което сега се нарича „теория“, всъщност е експериментални, хеуристични алгоритми.

Връзки към моите и не само ресурси:

• Разпращам новини по Data Science. Основно за обработка на изображения. Който иска да получава, да пише на e-mail (foobar167<гъф-гъф>gmail<точка>com). Връзки към статии и видеа разпращам по мярка на натрупване на материал.
• Общ списък с курсове и статии, които съм преминал и които бих искал да премина.
• Курсове и видеа за начинаещи, от които е добре да започнете изучаването на невронни мрежи. Плюс брошура „Въведение в машинното обучение и изкуствените невронни мрежи“.
• Полезни инструменти, където всеки може да открие нещо интересно за себе си.
• Изключително полезни се оказаха видеоканалите, които анализират научни статии в областта на Data Science. Намерете ги, абонирайте се за тях и споделяйте линкове с колегите си и с мен също. Примери:
  • Two Minute Papers
  • Henry AI Labs
  • Yannic Kilcher
  • CodeEmporium
  • Блог на Chengwei Zhang ака Tony607 с подробни инструкции и отворен код.

Благодаря за вниманието!

Източник: habr.com