Разпознаване на танкове във видео поток с помощта на методи за машинно обучение (+2 видеоклипа на платформите Елбрус и Байкал)

В хода на нашата дейност ние ежедневно се сблъскваме с проблема за определяне на приоритетите за развитие. Имайки предвид високата динамика на развитие на ИТ индустрията, непрекъснато нарастващото търсене от бизнеса и правителството на нови технологии, всеки път, когато определяме вектора на развитие и инвестираме собствени сили и средства в научния потенциал на нашата компания, ние се уверяваме, че всички наши изследвания и проекти са с фундаментален и интердисциплинарен характер.

Ето защо, чрез разработването на нашата основна технология - рамката за разпознаване на данни HIEROGLYPH, ние сме загрижени както за подобряването на качеството на разпознаването на документи (нашата основна бизнес линия), така и за възможността за използване на технологията за решаване на свързани проблеми с разпознаването. В днешната статия ще ви разкажем как на базата на нашия механизъм за разпознаване (документи) направихме разпознаване на по-големи, стратегически важни обекти във видео поток.

Проблем изявление

Използвайки съществуващите разработки, изградете система за разпознаване на танкове, която позволява класифициране на обект, както и определяне на основни геометрични показатели (ориентация и разстояние) в слабо контролирани условия без използване на специализирано оборудване.

Решение

Избрахме подхода на статистическото машинно обучение като основен алгоритъм за решаване на проблема. Но един от ключовите проблеми на машинното обучение е необходимостта от достатъчно количество данни за обучение. Очевидно естествените изображения, получени от реални сцени, съдържащи обектите, от които се нуждаем, не са достъпни за нас. Затова беше решено да се прибегне до генериране на необходимите данни за обучение, за щастие Имаме много опит на това място. И все пак ни се стори неестествено да синтезираме напълно данните за тази задача, така че беше изготвено специално оформление за симулиране на реални сцени. Моделът съдържа различни обекти, които симулират природата: характерно ландшафтно покритие, храсти, дървета, огради и др. Изображенията са заснети с цифрова камера с малък формат. По време на процеса на заснемане на изображение фонът на сцената се промени значително, за да направи алгоритмите по-стабилни към промените на фона.

Целевите обекти бяха 4 модела бойни танкове: Т-90 (Русия), M1A2 Abrams (САЩ), Т-14 (Русия), Меркава III (Израел). Обектите бяха разположени на различни позиции на полигона, като по този начин се разшири списъкът с приемливи видими ъгли на обекта. Значителна роля изиграха инженерните бариери, дърветата, храстите и други елементи на ландшафта.

Така за няколко дни събрахме достатъчен набор за обучение и последваща оценка на качеството на алгоритъма (няколко десетки хиляди изображения).

Те решиха да разделят самото разпознаване на две части: локализиране на обекти и класифициране на обекти. Локализацията беше извършена с помощта на обучен класификатор на Виола и Джоунс (в края на краищата резервоарът е нормален твърд обект, не по-лош от лицето, така че методът на „сляпо за детайлите“ на Виола и Джоунс бързо локализира целевия обект). Но ние поверихме класификацията и определянето на ъгъла на конволюционна невронна мрежа - в тази задача за нас е важно детекторът успешно да идентифицира онези характеристики, които, да речем, отличават Т-90 от Меркава. В резултат на това беше възможно да се конструира ефективна композиция от алгоритми, която успешно решава проблема с локализацията и класификацията на обекти от същия тип.

След това стартирахме получената програма на всички наши съществуващи платформи (Intel, ARM, Elbrus, Baikal, KOMDIV), оптимизирахме изчислително трудни алгоритми за увеличаване на производителността (вече сме писали за това няколко пъти в нашите статии, например тук https://habr.com/ru/company/smartengines/blog/438948/ или https://habr.com/ru/company/smartengines/blog/351134/) и постигна стабилна работа на програмата на устройството в реално време.

В резултат на всички описани действия получихме пълноценен софтуерен продукт със значителни тактико-технически характеристики.

Интелигентен четец на резервоари

И така, представяме ви нашата нова разработка - програма за разпознаване на изображения на танкове във видео поток Интелигентен четец на резервоари, който:

• Решава проблема „приятел или враг” за даден набор от обекти в реално време;
• Определя геометрични параметри (разстояние до обекта, предпочитана ориентация на обекта);
• Работи при неконтролирани метеорологични условия, както и при частично блокиране на обекта от чужди предмети;
• Напълно автономна работа на целевото устройство, включително при липса на радиовръзка;
• Списък на поддържаните процесорни архитектури: Elbrus, Baikal, KOMDIV, както и x86, x86_64, ARM;
• Списък на поддържаните операционни системи: Elbrus OS, AstraLinux OS, Atlix OS, както и MS Windows, macOS, различни Linux дистрибуции, поддържащи gcc 4.8, Android, iOS;
• Изцяло родна разработка.

Обикновено в заключение на нашите статии на Habré предоставяме връзка към пазара, където всеки, използващ своя мобилен телефон, може да изтегли демо версия на приложението, за да оцени реално ефективността на технологията. Този път, като вземем предвид спецификата на полученото приложение, пожелаваме на всички наши читатели никога в живота си да не се сблъскват с проблема бързо да определят дали даден танк принадлежи на определена страна.

Източник: www.habr.com