🥇TensorRT 6.x.x.x — високо производителен инференс за модели с дълбоко обучение (Обектна детекция и сегментация)

TensorRT 6.x.x.x — високоефективен инференс за модели на дълбочинно обучение (Откритие на обекти и Сегментация)
Болката е само в първия път!

Здравейте на всички! Скъпи приятели, в тази статия искам да споделя опита си с употребата на TensorRT, RetinaNet, базирано на репозитория github.com/aidonchuk/retinanet-examples (това е форк на официалното репо от nvidia, което ще позволи бързо да започнете да използвате оптимизирани модели в продукция). Превъртайки съобщенията в каналите на общността ods.ai, се сблъсквам с въпроси относно употребата на TensorRT и основно въпросите се повтарят, затова реших да напиша колкото се може по-подробно ръководство за бърз инференс с TensorRT, RetinaNet, Unet и docker.

Описание на задачата

Предлагам да поставим задачата по следния начин: трябва да маркираме датасета, да обучим мрежа RetinaNet/Unet на Pytorch1.3+, да преобразуваме получените тежести в ONNX, след което да ги конвертираме в TensorRT engine и всичко това да стартираме в docker, за предпочитане на Ubuntu 18 и категорично на ARM(Jetson)* архитектура, минимизирайки ръчната настройка на средата. В крайната сметка ще получим контейнер, готов не само за експорта и обучението на RetinaNet/Unet, но и за пълноценна разработка и обучение на класификация, сегментация с необходимата инфраструктура.

Етап 1. Подготовка на средата

Тук е важно да се отбележи, че в последно време напълно съм се отказал от използването и настройването на каквито и да било библиотеки на десктоп машината, както и на devbox. Единственото, което трябва да създам и инсталирам, е python virtual environment и cuda 10.2 (може да се ограничите до един драйвер nvidia) от deb.

Да предположим, че имате новоинсталирана Ubuntu 18. Нека инсталираме cuda 10.2(deb), подробно за процеса на инсталация няма да спирам, официалната документация е напълно достатъчна.

Сега ще инсталираме docker, ръководството за инсталиране на докера лесно може да се намери, ето един пример www.digitalocean.com/community/tutorials/docker-ubuntu-18-04-1-bg, вече е налична версия 19+ — инсталираме я. И не забравяйте да направите docker да работи без sudo, така ще е по-удобно. След като всичко е наред, правим следното:

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

И дори не е нужно да поглеждате в официалното репо github.com/NVIDIA/nvidia-docker.

Сега правим git clone github.com/aidonchuk/retinanet-examples.

Останало е съвсем малко, за да започнем да използваме docker с nvidia-образ, трябва да се регистрираме в NGC Cloud и да влезем. Отиваме тук ngc.nvidia.com, регистрираме се и след като влезем в NGC Cloud, натискаме SETUP в горния ляв ъгъл на екрана или преминаваме по тази връзка ngc.nvidia.com/setup/api-key. Натискаме „генерирай ключ“. Препоръчвам да го запазите, иначе при следващото посещение ще трябва да го генерирате отново и, съответно, при разгръщане на нова машина, да извършите тази операция повторно.

Изпълняваме:

docker login nvcr.io
Username: $oauthtoken
Password:  - генерираният ключ

Просто копираме Username. Е, ето, средата е разгръната!

Етап 2. Сглобяване на docker контейнер

На втория етап от работата ни ще сглобим docker и ще се запознаем с неговите вътрешности.
Преминаваме в кореновата папка относно проекта retina-examples и изпълняваме

docker build --build-arg USER=$USER --build-arg UID=$UID --build-arg GID=$GID --build-arg PW=alex -t retinanet:latest retinanet/

Сглобяваме docker, предавайки в него текущия потребител — това е много полезно, ако ще пишете нещо на монтирания VOLUME с правата на текущия потребител, иначе ще бъде root и неудобно.

Докато се сглобява docker, нека разгледаме Dockerfile:

FROM nvcr.io/nvidia/pytorch:19.10-py3

ARG USER=alex
ARG UID=1000
ARG GID=1000
ARG PW=alex
RUN useradd -m ${USER} --uid=${UID} && echo "${USER}:${PW}" | chpasswd

RUN apt-get -y update && apt-get -y upgrade && apt-get -y install curl && apt-get -y install wget && apt-get -y install git && apt-get -y install automake && apt-get install -y sudo && adduser ${USER} sudo
RUN pip install git+https://github.com/bonlime/pytorch-tools.git@master

COPY . retinanet/
RUN pip install --no-cache-dir -e retinanet/
RUN pip install /workspace/retinanet/extras/tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl
RUN pip install tensorboardx
RUN pip install albumentations
RUN pip install setproctitle
RUN pip install paramiko
RUN pip install flask
RUN pip install mem_top
RUN pip install arrow
RUN pip install pycuda
RUN pip install torchvision
RUN pip install pretrainedmodels
RUN pip install efficientnet-pytorch
RUN pip install git+https://github.com/qubvel/segmentation_models.pytorch
RUN pip install pytorch_toolbelt

RUN chown -R ${USER}:${USER} retinanet/

RUN cd /workspace/retinanet/extras/cppapi && mkdir build && cd build && cmake -DCMAKE_CUDA_FLAGS="--expt-extended-lambda -std=c++14" .. && make && cd /workspace

RUN apt-get install -y openssh-server && apt install -y tmux && apt-get -y install bison flex && apt-cache search pcre && apt-get -y install net-tools && apt-get -y install nmap
RUN apt-get -y install libpcre3 libpcre3-dev && apt-get -y install iputils-ping

RUN mkdir /var/run/sshd
RUN echo 'root:pass' | chpasswd
RUN sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
RUN sed 's@sessions*requireds*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd

ENV NOTVISIBLE "in users profile"
RUN echo "export VISIBLE=now" >> /etc/profile
CMD ["/usr/sbin/sshd", "-D"]

Както е видно от текста, ние взимаме всичките си любими библиотеки, компилираме retinanet, добавяме основни инструменти за удобна работа с Ubuntu и конфигурираме сървър openssh. Първият ред е наследяване на образа nvidia, за който направихме вход в NGC Cloud и който съдържа Pytorch1.3, TensorRT6.x.x.x и още множество библиотеки, позволяващи да компилираме cpp изходниците на нашия детектор.

Етап 3. Стартиране и отстраняване на грешки в docker контейнера

Преминаваме към основния случай на използване на контейнера и средата за разработка, първо ще стартираме nvidia docker. Изпълняваме:

docker run --gpus all --net=host -v /home/:/workspace/mounted_vol -d -P --rm --ipc=host -it retinanet:latest

Сега контейнерът е достъпен по ssh @localhost. След успешното стартиране, отваряме проекта в PyCharm. След това отваряме

Настройки->Интерпретатор на проекта->Добавяне->Ssh интерпретатор

Стъпка 1
TensorRT 6.x.x.x — високоефективен инференс за модели на дълбочинно обучение (Откритие на обекти и Сегментация)

Стъпка 2

Стъпка 3

Избираме всичко както на екрана,

Интерпретатор -> /opt/conda/bin/python

— това ще бъде ln на Python3.6 и

Синхронизираща папка -> /workspace/retinanet

Натискаме готово, изчакваме индексиране и всичко, средата е готова за използване!

ВАЖНО!!! Веднага след индексирането изтеглете от docker компилираните файлове за Retinanet. В контекстното меню в корена на проекта изберете опция

Деплоймент->Изтегляне

Появяват се един файл и две папки build, retinanet.egg-info и _С.so

TensorRT 6.x.x.x — високоефективен инференс за модели на дълбочинно обучение (Откритие на обекти и Сегментация)

Ако вашият проект изглежда така, значи средата вижда всичките необходими файлове и ние сме готови за обучение на RetinaNet.

Етап 4. Разбивка на данните и обучение на детектора

За разметка основно използвам supervise.ly — приятен и удобен инструмент, през последното време много грешки бяха поправени и значително подобри работата си.

Предположим, че сте маркирали набора от данни и сте го изтеглили, но не можете веднага да го поставите в нашия RetinaNet, тъй като е в собствен формат и за това трябва да го конвертираме в COCO. Инструментът за конвертиране се намира в:

markup_utils/supervisly_to_coco.py

Обърнете внимание, че категорията в скрипта е пример и вие трябва да въведете своите (не е нужно да добавяте категорията фон)

categories = [{'id': 1, 'name': '1'}, 
                  {'id': 2, 'name': '2'}, 
                  {'id': 3, 'name': '3'},
                  {'id': 4, 'name': '4'}]

Авторите на оригиналния репозиторий по някаква причина решиха, че освен COCO/VOC няма да обучавате нищо за детекция, затова се наложи малко да редактирам изходния файл

retinanet/dataset.py

Добавяйки тук любимите си аугментации albumentations.readthedocs.io/en/latest и да премахнете строго вградените категории от COCO. Има и възможност да изрежете големи области на детекция, ако търсите малки обекти на големи изображения, имате малък набор от данни =), и нищо не работи, но за това по-късно.

Общо казано, train loop също е отслабен; първоначално той не запазваше чекпоинтовете, използваше някакъв ужасен scheduler и т.н. Но сега ви остава само да изберете backbone и да изпълните.

/opt/conda/bin/python retinanet/main.py

с параметри:

train retinanet_rn34fpn.pth
--backbone ResNet34FPN
--classes 12
--val-iters 10
--images \/workspace\/mounted_vol\/dataset\/train\/images
--annotations \/workspace\/mounted_vol\/dataset\/train_12_class.json
--val-images \/workspace\/mounted_vol\/dataset\/test\/images_small
--val-annotations \/workspace\/mounted_vol\/dataset\/val_10_class_cropped.json
--jitter 256 512
--max-size 512
--batch 32

В консолата ще видите:

Инициализиране на модела...
     модел: RetinaNet
  основа: ResNet18FPN
   класове: 2, анкери: 9
Избран оптимизационен ниво O0:  Чиста FP32 тренировка.

Предпоставки за това оптимизационно ниво са:
включен                : Вярно
оптимизационно ниво   : O0
тип на модела          : torch.float32
поправка на torch функции  : Невярно
запазване на batchnorm fp32    : Няма
основни тегла         : Невярно
степен на загуба             : 1.0
Обработка на потребителските пренастройки (допълнителни kwargs, които не са Няма)...
След обработката на пренастройките, опциите за оптимизация са:
включен                : Вярно
оптимизационно ниво   : O0
тип на модела          : torch.float32
поправка на torch функции  : Невярно
запазване на batchnorm fp32    : Няма
основни тегла         : Невярно
степен на загуба             : 128.0
Подготовка на набор от данни...
    зареждане: pytorch
    промяна на размер: [1024, 1280], макс: 1280
    устройство: 4 gpu
    партида: 4, прецизност: смесена
Обучение на модела за 20000 итерации...
[    1/20000] фокална загуба: 0.95619, загуба на кутия: 0.51584, 4.042s/4-партида (fw: 0.698s, bw: 0.459s), 1.0 им/s, lr: 0.0001
[   12/20000] фокална загуба: 0.76191, загуба на кутия: 0.31794, 0.187s/4-партида (fw: 0.055s, bw: 0.133s), 21.4 им/s, lr: 0.0001
[   24/20000] фокална загуба: 0.65036, загуба на кутия: 0.30269, 0.173s/4-партида (fw: 0.045s, bw: 0.128s), 23.1 им/s, lr: 0.0001
[   36/20000] фокална загуба: 0.46425, загуба на кутия: 0.23141, 0.178s/4-партида (fw: 0.047s, bw: 0.131s), 22.4 им/s, lr: 0.0001
[   48/20000] фокална загуба: 0.45115, загуба на кутия: 0.23505, 0.180s/4-партида (fw: 0.047s, bw: 0.133s), 22.2 им/s, lr: 0.0001
[   59/20000] фокална загуба: 0.38958, загуба на кутия: 0.25373, 0.184s/4-партида (fw: 0.049s, bw: 0.134s), 21.8 им/s, lr: 0.0001
[   71/20000] фокална загуба: 0.37733, загуба на кутия: 0.23988, 0.174s/4-партида (fw: 0.049s, bw: 0.125s), 22.9 им/s, lr: 0.0001
[   83/20000] фокална загуба: 0.39514, загуба на кутия: 0.23878, 0.181s/4-партида (fw: 0.048s, bw: 0.133s), 22.1 им/s, lr: 0.0001
[   94/20000] фокална загуба: 0.39947, загуба на кутия: 0.23817, 0.185s/4-партида (fw: 0.050s, bw: 0.134s), 21.6 им/s, lr: 0.0001
[  105/20000] фокална загуба: 0.37343, загуба на кутия: 0.20238, 0.182s/4-партида (fw: 0.048s, bw: 0.134s), 22.0 им/s, lr: 0.0001
[  116/20000] фокална загуба: 0.19689, загуба на кутия: 0.17371, 0.183s/4-партида (fw: 0.050s, bw: 0.132s), 21.8 им/s, lr: 0.0001
[  128/20000] фокална загуба: 0.20368, загуба на кутия: 0.16538, 0.178s/4-партида (fw: 0.046s, bw: 0.131s), 22.5 им/s, lr: 0.0001
[  140/20000] фокална загуба: 0.22763, загуба на кутия: 0.15772, 0.176s/4-партида (fw: 0.050s, bw: 0.126s), 22.7 им/s, lr: 0.0001
[  148/20000] фокална загуба: 0.21997, загуба на кутия: 0.18400, 0.585s/4-партида (fw: 0.047s, bw: 0.144s), 6.8 им/s, lr: 0.0001
 Средна Прецизност  (AP) @[ IoU=0.50:0.95 | област=   всичко | maxDets=100 ] = 0.52674
 Средна Прецизност  (AP) @[ IoU=0.50      | област=   всичко | maxDets=100 ] = 0.91450
 Средна Прецизност  (AP) @[ IoU=0.75      | област=   всичко | maxDets=100 ] = 0.35172
 Средна Прецизност  (AP) @[ IoU=0.50:0.95 | област= малък | maxDets=100 ] = 0.61881
 Средна Прецизност  (AP) @[ IoU=0.50:0.95 | област=среден | maxDets=100 ] = -1.00000
 Средна Прецизност  (AP) @[ IoU=0.50:0.95 | област= голям | maxDets=100 ] = -1.00000
 Средна Възвратна Способност (AR) @[ IoU=0.50:0.95 | област=   всичко | maxDets=  1 ] = 0.58824
 Средна Възвратна Способност (AR) @[ IoU=0.50:0.95 | област=   всичко | maxDets= 10 ] = 0.61765
 Средна Възвратна Способност (AR) @[ IoU=0.50:0.95 | област=   всичко | maxDets= 100 ] = 0.61765
 Средна Възвратна Способност (AR) @[ IoU=0.50:0.95 | област= малък | maxDets=100 ] = 0.61765
 Средна Възвратна Способност (AR) @[ IoU=0.50:0.95 | област=среден | maxDets=100 ] = -1.00000
 Средна Възвратна Способност (AR) @[ IoU=0.50:0.95 | област= голям | maxDets=100 ] = -1.00000
Запазване на модела: 148

За да разгледате целия набор от параметри, погледнете

retinanet/main.py

Обикновено те са стандартни за детекция и имат описание. Стартирайте обучението и изчакайте резултатите. Пример за инфереренция може да се види в:

retinanet/infer_example.py

или изпълнете командата:

/opt/conda/bin/python retinanet/main.py infer retinanet_rn34fpn.pth 
--images /workspace/mounted_vol/dataset/test/images 
--annotations /workspace/mounted_vol/dataset/val.json 
--output result.json 
--resize 256 
--max-size 512 
--batch 32

В хранилището вече е интегриран Focal Loss и няколко backbone, а също така лесно могат да се добавят свои.

retinanet/backbones/*.py

В таблица авторите представят някои характеристики:

TensorRT 6.x.x.x — високоефективен инференс за модели на дълбочинно обучение (Откритие на обекти и Сегментация)

Също така има backbone ResNeXt50_32x4dFPN и ResNeXt101_32x8dFPN, взети от torchvision.
Надявам се, че с детекцията малко сме наясно, но е задължително да прочетете официалната документация, за да разберете режимите на експортиране и логване..

Етап 5. Експорт и инференс на модели Unet с енкодер Resnet.

Както вероятно сте забелязали, в Dockerfile бяха инсталирани библиотеки за сегментация и по-специално страхотната библиотека github.com/qubvel/segmentation_models.pytorch. В пакета юнет можете да намерите примери за инференс и експорт на pytorch чекпоинти в engine TensorRT.

Основният проблем при експортиране на Unet-подобни модели от ONNX в TensoRT е необходимостта да зададете фиксиран размер на Upsample или да използвате ConvTranspose2D:

import torch.onnx.symbolic_opset9 as onnx_symbolic
        def upsample_nearest2d(g, input, output_size):
            # В момента, TRT 5.1/6.0 ONNX Parser не поддържа всички ONNX операции
            # необходими за динамично upsampling ONNX формулировки
            # Тук твърдо задаваме scale=2 като временно решение.
            scales = g.op("Constant", value_t=torch.tensor([1., 1., 2., 2.]))
            return g.op("Upsample", input, scales, mode_s="nearest")

        onnx_symbolic.upsample_nearest2d = upsample_nearest2d

С помощта на това преобразуване можете да направите това автоматично при експортиране в ONNX, но вече в 7 версия TensorRT този проблем е решен и ни остава да чакаме съвсем малко.

Заключение

Когато започнах да използвам docker, имах съмнения относно неговата производителност за моите задачи. В един от моите агрегати сега има доста голям мрежови трафик, създаден от няколко камери.

TensorRT 6.x.x.x — високоефективен инференс за модели на дълбочинно обучение (Откритие на обекти и Сегментация)

Различни тестове в интернет говореха за относително голям overhead на мрежовата свързаност и запис на VOLUME, плюс всичко неизвестен и страшен GIL, а тъй като снимането на кадър, работата на драйвера и предаването по мрежата на кадъра са атомарни операции в режим hard real-time, закъсненията в мрежата за мен са много критични.

Но всичко се нареди =)

P.S. Остава да добавите вашия любими train loop за сегментация и в продукция!

Благодарности

Благодаря на обществото ods.ai, без което развитието е невъзможно! Огромно благодаря n01z3, който ме накара да се занимавам с DL, за неговите безценни съвети и извънреден професионализъм!

Използвайте оптимизирани модели в продукция!

TensorRT 6.x.x.x — високоефективен инференс за модели на дълбочинно обучение (Откритие на обекти и Сегментация) Aurorai, llc

Източник: habr.com