Невронни мрежи. Къде отива всичко това?

Статията се състои от две части:

1. Кратко описание на някои мрежови архитектури за откриване на обекти в изображения и сегментиране на изображения с най-разбираемите връзки към ресурси за мен. Опитах се да избера видео обяснения и за предпочитане на руски.
2. Втората част е опит да се разбере посоката на развитие на архитектурите на невронни мрежи. И технологии, базирани на тях.

Фигура 1 – Разбирането на архитектурите на невронни мрежи не е лесно

Всичко започна с правенето на две демонстрационни приложения за класифициране и откриване на обекти на телефон с Android:

• Back-end демонстрация, когато данните се обработват на сървъра и се предават на телефона. Класификация на изображения на три вида мечки: кафяви, черни и плюшени.
• Предна демонстрациякогато данните се обработват на самия телефон. Откриване на обекти (object detection) от три вида: лешници, смокини и фурми.

Има разлика между задачите за класификация на изображения, откриване на обект в изображение и сегментиране на изображението. Следователно имаше нужда да се установи кои архитектури на невронни мрежи откриват обекти в изображения и кои могат да сегментират. Намерих следните примери за архитектури с най-разбираемите връзки към ресурси за мен:

• Серия от архитектури, базирани на R-CNN (Rрегиони с Cонволюция Nеурал Nмрежови функции): R-CNN, Fast R-CNN, По-бърз R-CNN, Маска R-CNN. За откриване на обект в изображение, ограничаващите полета се разпределят с помощта на механизма за регионална мрежа за предложения (RPN). Първоначално се използва по-бавният механизъм за селективно търсене вместо RPN. След това избраните ограничени региони се подават към входа на конвенционална невронна мрежа за класификация. Архитектурата на R-CNN има изрични цикли „за“ в ограничени региони, общо до 2000 преминавания през вътрешната мрежа на AlexNet. Изричните цикли „за“ забавят скоростта на обработка на изображенията. Броят на явните цикли, преминаващи през вътрешната невронна мрежа, намалява с всяка нова версия на архитектурата и се правят десетки други промени, за да се увеличи скоростта и да се замени задачата за откриване на обекти със сегментиране на обекти в Mask R-CNN.
• Йоло (You Oсамо във Look Once) е първата невронна мрежа, която разпознава обекти в реално време на мобилни устройства. Отличителна черта: разграничаване на обекти с едно движение (просто погледнете веднъж). Тоест в архитектурата на YOLO няма изрични цикли „за“, поради което мрежата работи бързо. Например, тази аналогия: в NumPy, когато се извършват операции с матрици, също няма изрични цикли „for“, които в NumPy се изпълняват на по-ниски нива на архитектурата чрез езика за програмиране C. YOLO използва решетка от предварително дефинирани прозорци. За да се предотврати многократно дефиниране на един и същи обект, се използва коефициентът на припокриване на прозореца (IoU). Iкръстовище oвиждам Uнион). Тази архитектура работи в широк диапазон и има висока здравина: Един модел може да бъде обучен на снимки, но все още се представя добре на ръчно рисувани картини.
• SSD (Sогън Sгорещ MultiBox Detector) – използват се най-успешните „хакове“ на архитектурата YOLO (например не-максимално потискане) и се добавят нови, за да направи невронната мрежа да работи по-бързо и по-точно. Отличителна черта: разграничаване на обекти в едно изпълнение с помощта на дадена мрежа от прозорци (кутия по подразбиране) върху пирамидата на изображението. Пирамидата на изображението е кодирана в тензори на навиване чрез последователни операции на навиване и обединяване (с операцията за максимално обединяване пространственото измерение намалява). По този начин както големите, така и малките обекти се определят в едно мрежово изпълнение.
• MobileSSD (подвиженNetV2+ SSD) е комбинация от две архитектури на невронни мрежи. Първа мрежа MobileNetV2 работи бързо и повишава точността на разпознаване. MobileNetV2 се използва вместо VGG-16, който първоначално е бил използван в оригинална статия. Втората SSD мрежа определя местоположението на обектите в изображението.
• SqueezeNet – много малка, но точна невронна мрежа. Само по себе си това не решава проблема с откриването на обекти. Въпреки това, той може да се използва в комбинация от различни архитектури. И се използва в мобилни устройства. Отличителна черта е, че данните първо се компресират в четири конволюционни филтъра 1×1 и след това се разширяват в четири конволюционни филтъра 1×1 и четири 3×3. Една такава итерация на компресиране-разширяване на данни се нарича „Fire Module“.
• DeepLab (Semantic Image Segmentation with Deep Convolutional Nets) – сегментиране на обектите в изображението. Отличителна черта на архитектурата е разширената конволюция, която запазва пространствената разделителна способност. Това е последвано от етап на последваща обработка на резултатите с помощта на графичен вероятностен модел (условно произволно поле), който ви позволява да премахнете малкия шум при сегментирането и да подобрите качеството на сегментираното изображение. Зад страхотното име „графичен вероятностен модел“ се крие конвенционален филтър на Гаус, който се апроксимира с пет точки.
• Опитах се да разбера устройството RefineDet (Единичен изстрел УточнетеНевронна мрежа за обект тоection), но не разбрах много.
• Разгледах също как работи технологията „внимание“: видео 1, видео 2, видео 3. Отличителна черта на архитектурата „внимание“ е автоматичният избор на региони с повишено внимание в изображението (RoI, Regions of Interest), използвайки невронна мрежа, наречена Attention Unit. Регионите на повишено внимание са подобни на ограничаващи кутии, но за разлика от тях те не са фиксирани в изображението и може да имат размити граници. След това от областите на повишено внимание се изолират знаци (характеристики), които се „захранват“ към повтарящи се невронни мрежи с архитектури LSDM, GRU или Vanilla RNN. Повтарящите се невронни мрежи са в състояние да анализират връзката на характеристиките в последователност. Повтарящите се невронни мрежи първоначално са били използвани за превод на текст на други езици, а сега и за превод изображения към текст и текст към изображение.

Докато изследваме тези архитектури Разбрах, че нищо не разбирам. И не че моята невронна мрежа има проблеми с механизма на вниманието. Създаването на всички тези архитектури е като някакъв огромен хакатон, където авторите се състезават в хакове. Хакването е бързо решение на труден софтуерен проблем. Тоест няма видима и разбираема логическа връзка между всички тези архитектури. Всичко, което ги обединява, е набор от най-успешните хакове, които заемат един от друг, плюс един общ за всички операция на навиване в затворен контур (грешка обратно разпространение, обратно разпространение). Не системно мислене! Не е ясно какво да се промени и как да се оптимизират съществуващите постижения.

В резултат на липсата на логическа връзка между хаковете, те са изключително трудни за запомняне и прилагане на практика. Това е фрагментирано знание. В най-добрия случай се запомнят няколко интересни и неочаквани моменти, но повечето от разбираемото и неразбираемото изчезват от паметта в рамките на няколко дни. Ще бъде добре, ако след седмица си спомните поне името на архитектурата. Но няколко часа и дори дни работно време бяха прекарани в четене на статии и гледане на видеоклипове за рецензии!

Фигура 2 – Зоопарк на невронните мрежи

Повечето автори на научни статии, по мое лично мнение, правят всичко възможно дори това разпокъсано знание да не бъде разбрано от читателя. Но причастните фрази в изречения от десет реда с формули, взети „от нищото“ са тема за отделна статия (проблем публикуват или загиват).

Поради тази причина е необходимо да се систематизира информацията с помощта на невронни мрежи и по този начин да се повиши качеството на разбиране и запаметяване. Ето защо основната тема на анализа на отделните технологии и архитектури на изкуствени невронни мрежи беше следната задача: разберете къде отива всичко, а не устройството на всяка конкретна невронна мрежа поотделно.

Къде отива всичко това? Основни резултати:

• Брой стартиращи фирми за машинно обучение през последните две години падна рязко. Възможна причина: „невронните мрежи вече не са нещо ново“.
• Всеки може да създаде работеща невронна мрежа за решаване на прост проблем. За да направите това, вземете готов модел от „моделната зоологическа градина“ и обучете последния слой на невронната мрежа (трансфер на обучение) по готови данни от Google Търсене на набор от данни или от 25 хиляди набора от данни на Kaggle в безплатно облак Jupyter Notebook.
• Започнаха да създават големи производители на невронни мрежи "моделни зоологически градини" (моделна зоологическа градина). Използвайки ги, можете бързо да създадете търговско приложение: TF хъб за TensorFlow, MMDetection за PyTorch, детектор за Caffe2, верига-моделзоопарк за Chainer и други.
• Работещи невронни мрежи реално време (в реално време) на мобилни устройства. От 10 до 50 кадъра в секунда.
• Използването на невронни мрежи в телефони (TF Lite), в браузъри (TF.js) и в домакински уреди (IoT, Internet of Tпанти). Особено в телефони, които вече поддържат невронни мрежи на хардуерно ниво (невронни ускорители).
• „Всяко устройство, облекло и може би дори храна ще има IP-v6 адрес и общуват помежду си" - Себастиан Трън.
• Броят на публикациите за машинно обучение започна да расте надвишава закона на Мур (удвояване на всеки две години) от 2015 г. Очевидно имаме нужда от невронни мрежи за анализиране на статии.
• Следните технологии набират популярност:
  • PyTorch – популярността нараства бързо и изглежда изпреварва TensorFlow.
  • Автоматичен избор на хиперпараметри AutoML – популярността расте плавно.
  • Постепенно намаляване на точността и увеличаване на скоростта на изчисление: размита логика, алгоритми подсилване, неточни (приблизителни) изчисления, квантуване (когато теглата на невронната мрежа се преобразуват в цели числа и се квантуват), невронни ускорители.
  • превод изображения към текст и текст към изображение.
  • създаване XNUMXD обекти от видео, сега в реално време.
  • Основното при DL е, че има много данни, но събирането и етикетирането им не е лесно. Следователно автоматизацията на маркирането се развива (автоматизирана анотация) за невронни мрежи, използващи невронни мрежи.
• С невронните мрежи компютърните науки изведнъж станаха експериментална наука и стана криза на възпроизводимостта.
• ИТ парите и популярността на невронните мрежи се появиха едновременно, когато компютрите станаха пазарна стойност. Икономиката се променя от икономика на злато и валута към злато-валута-компютинг. Вижте статията ми за иконофизика и причината за появата на ИТ парите.

Постепенно се появява нов ML/DL методология за програмиране (Machine Learning & Deep Learning), който се основава на представянето на програмата като набор от обучени модели на невронни мрежи.

Фигура 3 – ML/DL като нова методология за програмиране

То обаче така и не се появи "теория на невронните мрежи", в рамките на които можете да мислите и работите систематично. Това, което сега се нарича „теория“, всъщност е експериментален, евристичен алгоритм.

Връзки към моите и други ресурси:

• Бюлетин за науката за данни. Основно обработка на изображения. Всеки, който иска да го получи, трябва да изпрати имейл (foobar167<gaf-gaf>gmail<dot>com). Изпращам връзки към статии и видеоклипове с натрупването на материал.
• Общ списък с курсове и статиикоито съм минал и които бих искал да премина.
• Курсове и видео за начинаещи, където трябва да започнете да изучавате невронни мрежи. Плюс брошура „Въведение в машинното обучение и изкуствените невронни мрежи“.
• Полезни инструменти, където всеки ще намери нещо интересно за себе си.
• Намерихме ги изключително полезни. видео канали за анализ на научни статии от Data Science. Намерете, абонирайте се за тях и предайте връзките на вашите колеги и на мен също. Примери:
  • Двуминутни документи
  • Henry AI Labs
  • Яник Килчър
  • CodeEmporium
  • Блог Chengwei Zhang известен още като Tony607 с инструкции стъпка по стъпка и отворен код.

Спасибо за внимание!

Източник: www.habr.com