Небезпечні виробництва: ми стежимо за тобою, %username% (аналітика відео)
Один товариш – без каски, другий – без рукавички.
На виробництвах є багато не найкращих камер, у квадратори яких дивляться не уважніші бабусі. Точніше, вони там просто божеволіють від одноманітності і не завжди бачать інциденти. Потім повільно дзвонять, а якщо це був захід у небезпечну зону, то іноді дзвонити в цех сенсу вже немає, можна одразу родичам робітника.
Прогрес дійшов того, що робот може побачити все і дати люлей кожному, хто порушує. Наприклад, нагадавши по SMS, легким розрядом струму на оповіщувач, вібрацією, неприємним писком, спалахом яскравого світла або просто сказати керівнику.
конкретно:
Дуже легко розпізнавати людей без каски. Навіть лисих. Побачили людину без каски — одразу алерт оператору чи начальнику цеху.
Те саме стосується окулярів і рукавичок на небезпечних виробництвах, страховки на поясі (правда, ми дивимося тільки на карабін поки), світловідбивних жилетів, респіраторів, шапочок для волосся та інших сиз. Сьогодні система навчена розпізнавати 20 типів Сізов.
Можна точно рахувати людей на об'єкті та враховувати, коли і скільки їх було.
Можна подавати тривогу під час заходу людини у небезпечну зону, причому ця зона може налаштовуватися за фактом запуску-зупинки верстатів.
І так далі. Найпростіший приклад - колірна диференціація укладачів цегли та заливників бетону за кольором каски. Для допомоги роботу. Зрештою, жити в суспільстві з відсутністю колірної диференціації означає не мати мети.
Як крадуть на будівництві
Один із видів поширеного крадіжки — це коли підрядник обіцяв привести на об'єкт 100 робітників, а за фактом привів 40–45. А будинок все будується та будується. Все одно їх ніхто точно порахувати за фактом не може. Як у відомому анекдоті: якщо на будівництві оселиться ведмідь і жертиме людей, то ніхто не помітить. Так і генпідрядник не має жодної можливості проконтролювати бригади. Точніше, навіть якщо використовувати СКУД, його все одно обдурять, як ось у цьому пості про кота-термінатора.
Зазвичай СКУДів на будівництвах немає або вони лише на вхід.
Ми їздили змінюватися досвідом до високорозвинених цивілізацій і побачили, що у них кожна професія (точніше, роль) має свій колір каски. Ось цеглу кладуть укладальники — у них каски сині, бетон заливають заливники — у них зелені, поряд ходять усі розумники — у них жовті, тому перед ними треба робити двічі «ку». І так далі.
А потрібне все це, щоб дуже легко детектувати кожну роль. На об'єкті стоїть кілька десятків досить дешевих камер, які дають щось на зразок 320х200 у кольорі. Вважаються робітники за касками в реал-таймі, і до кожної камери прив'язана конкретна ділянка будівництва. У результаті все це наприкінці дня в аналітиці зшивається в облік графіків по зонах: хто, в якій кількості та на якій ділянці працював.
Загалом ми перейняли досвід. Тільки поки ми його придивлялися, нейромережі зробили крок далеко вперед, і з'явилося багато нових детекторів. Ще кілька років тому вони були досить примхливими та нестабільними, а зараз дозволяють дуже точно ловити найцікавіші ситуації. Не в останню чергу через швидкість обробки детектори нерідко помиляються на окремих кадрах, а на відеопотоці з невеликими змінами ракурсу ми отримуємо відмінний практичний результат.
А якщо я начеплю другу каску на пояс?
Спочатку ми дізналися, що робітник може отримати дві каски і одну з них начепити на дупу. У нас з'явилося відразу два детектори: пошук скелета і визначення колірної плями на відповідність з вершиною цього скелета і пошук об'єктів, що синхронно рухаються. По другому виявилося детектувати простіше: наприклад, людина з каскою на дупі майже ніколи не оглядається цією каскою. Тому що для цього треба крутити головою. А цей рух дуже легко детектується. Точніше, ми не знаємо, що там саме детектується насправді (це нейросеть), але навчилася вона дуже швидко і ловить порушників, можна сказати, по ході.
Ми будуємо модель людини.
Далі ми просто будуємо теплокартку в реальному часі та звіти наприкінці дня.
Відповідно за таким же принципом – навчанням нейромережі – легко детектуються:
Каски.
Халат.
Жилетки.
Чоботи.
Стирчить волосся.
Страхувальні карабіни.
Респіратор.
Захисні окуляри.
Коректне носіння куртки (важливо для електроустаткування: може шандарахнути в машзалі на виробництві).
Винесення великих інструментів за периметр.
Загалом зараз уже обкатали 29 детекторів. Єдиний момент — оскільки ми працюємо на небезпечних виробництвах на кшталт хімії чи видобутку, там є вимоги до рукавичок. Наприклад, довгі та короткі. В цьому випадку треба, щоб вони були різного кольору: довжину під рукавом відеокамери визначити дуже складно.
А ось тут часто були спрацювання з щурів. Окремого детектора щурів у нас немає, зате є детектор об'єктів, що заважають роботі верстата:
Що ще детектується?
Ми обкатували детектори на хімічних виробництвах, у добувній сфері, в атомній галузі та на будівництві. Виявилося, що незначними зусиллями можна закрити ще кілька вимог, які раніше вирішувалися тими ж бабусями, що шалено намагалися розгледіти щось на картинці через поганий дозвіл і з поганим фреймрейтом. Саме:
Оскільки все одно будуємо скелетну модель кожного працівника, можна визначати падіння. За падінням можна відразу зупиняти верстат, поряд з яким він знаходиться (у пілотних впровадженнях такої інтеграції не було, були просто тривоги). Ну, якщо у вас є IioT.
Звісно, знаходження у небезпечних зонах. Це дуже легко, дуже точно та дуже корисно всім. На металургійних підприємствах люди працюють поруч із чанами окропу, гартувати сталь корисно, але іноді небезпечно стояти трохи не з того боку З урахуванням роботи різних вузлів та обладнання можна змінювати ці небезпечні зони, задавати їм розклад і так далі.
Інший дуже корисний детектор про наявність ЗІЗ контролює відповідальність співробітників та перевіряє, що їм нічого не загрожує. Ось тут бабуся дуже відповідально підходить до завдання обліку і носить всі належні їй ЗІЗ. Похвально!
Дуже легко було реалізовано контроль поведінки – конкретно спить працівник чи ні. Поки ми тестували все це, правила еволюціонували від «У цій зоні має бути людина в зеленій касці» до «У цій галузі людина в зеленій касці повинна рухатися». Поки знайшовся тільки один розумник, який просік фішку і ввімкнув вентилятор, але це теж виявилося легко поправити.
Хімікам було дуже важливо фіксувати всякі струмені пари, дим. У нафтовиці – цілісність труб. Вогонь взагалі стандартний детектор. А ще є перевірка закритих люків.
Так само детектуються забуті речі. Ми обкатували це на одному з вокзалів ще кілька років тому, там це майже не має сенсу через велику кількість подій. А ось на виробництвах, особливо на хімічних, дуже зручно стежити за речами у чистій зоні.
Цікаво, що з відеоаналітики ми вміємо зчитувати показання приладів у зоні камери. Це актуально тим самим хімікам, виробничі комплекси яких мають високий клас небезпеки. Будь-яка зміна на кшталт заміни датчика — переузгодження проекту. Це довго, дорого та боляче. Точніше, ДОВГО, ДОРОГО та ХВОРИМО. Тому в них Інтернет речей прийде пізно. Зараз вони хочуть відеоспостереження на лічильники і зчитувати дані, оперативно на них реагувати і скорочувати втрати через обладнання, що несподівано і непомічено вийшло з ладу. З актуальних даних лічильників можна побудувати цифровий двійник підприємства, впровадити предикативный ТОиР, але це зовсім інша історія…Контроль вже є: ми пишемо зараз проактивну аналітику з сукупності даних. І окремо – модуль передбачення заміни батарей.
Ще одна неймовірна штука — виявилося, що у зерносховищах та сховищах матеріалів типу щебеню можна знімати купу з 3–4 ракурсів та визначати її краї. А визначивши краї – давати обсяг зерна чи матеріалу з похибкою до 1%.
Останній детектор, який ми писали, - контроль втоми водія, типу «клювань носом», позіхання та частоти моргання. Це для HD-камер, де видно очі. Швидше за все, ставитиметься у диспетчерські. Але головна потреба – у БелАЗи, КамАЗи на кар'єри. Там, буває, машини падають, тож зараз на видобутку змушують щось вигадувати, щоб водія контролювати. Робот кращий за бабусю.
Про тачки. Наприклад, тема з контролем втоми активно застосовується автовиробниками не лише БелАЗів, КамАЗів та інших МАЗів. Вже у звичайні рядові автомобілі виробники вбудовують системи попередження про втому водіїв, але поки що у них досить прості рішення, що аналізують лише положення авто щодо розмітки та характер руху керма. Ми ж пішли далі і детектуємо поведінку людини, яка набагато складніша.
Ще один кейс стеження за водієм – детекція неправильної поведінки під час користування машинами car sharing. У них не можна говорити по телефону без hands free, їсти, пити, курити та багато чого іншого.
А й останнє. Ми вже кілька років як вміємо робити трекінг об'єкта між камерами — коли, наприклад, щось стирали, треба перевірити, як і як. Якщо на об'єкті - 100 камер, то піднімати матеріал замучишся. А тут система сформує гостросюжетний трилер про Оушена та його друзів автоматично.
У чому на відміну від системи дворічної давності? Тепер це не просто розпізнавання на кшталт «лисий в помаранчевій куртці з однієї камери вийшов і майже відразу в іншу зайшов», а будується математична модель приміщення, і за нею — гіпотеза про рух об'єкта. Тобто все це стало працювати на зонах з перекриттями та місцях зі сліпими плямами, причому іноді великими. Та й детектори тепер набагато кращі, адже є бібліотеки, які визначають вік по обличчю. На HD-камерах можна задавати орієнтування на кшталт «чоловік 30 років із жінкою 35 років».
Тож, можливо, років через 5–7 ми закінчимо з виробництвами та й підемо до вас додому. Для безпеки. Це у ваших інтересах, громадянине!