TensorRT 6.x.x.x — високопроизводителен инференс за модели на дълбочинно обучение (Обектно разпознаване и сегментация)

Болката е само в началото!

Здравейте на всички! Скъпи приятели, в тази статия искам да споделя опита си с TensorRT и RetinaNet, базирани на репозитория github.com/aidonchuk/retinanet-examples (това е форк на официалната репозиция от nvidia, която ще позволи бързо да започнете да използвате оптимизирани модели в продукция). Прелиствайки съобщенията в каналите на общността ods.ai, срещам въпроси относно използването на TensorRT, и основно въпросите се повтарят, затова реших да напиша колкото се може по-подробно ръководство за бързо извършване на инференс с TensorRT, RetinaNet, Unet и docker.

Описание на задачата

Предлагам задачата да бъде поставена по следния начин: необходимо е да маркираме датасета, да обучим мрежата RetinaNet/Unet на Pytorch1.3+, да преобразуваме получените тегла в ONNX, след това да ги конвертираме в TensorRT engine и всичко това да стартираме в docker, за предпочитане на Ubuntu 18 и изключително желателно на ARM(Jetson)* архитектура, минимизирайки по този начин ръчната настройка на средата. В крайна сметка ще получим контейнер, готов не само за експортиране и обучение на RetinaNet/Unet, но и за пълноценна разработка и обучение на класификация и сегментация с всичките необходими инструменти.

Етап 1. Подготовка на средата

Тук е важно да се отбележи, че напоследък съм се отказал напълно от използването и настройката на библиотеки на десктоп машината, както и на devbox. Единственото, което трябва да създам и инсталирам, е python виртуална среда и cuda 10.2 (може да се ограничи до един nvidia драйвер) от deb.

Предполагаме, че имате свежо инсталирана Ubuntu 18. Ще инсталираме cuda 10.2(deb), подробността по инсталационния процес няма да обсъждам, официалната документация е напълно достатъчна.

Сега инсталираме docker, ръководството за инсталация на docker лесно може да се намери, ето пример www.digitalocean.com/community/tutorials/docker-ubuntu-18-04-1-ru, версия 19+ е вече налична — инсталираме я. Не забравяйте да разрешите използването на docker без sudo, така ще бъде по-удобно. След като всичко е наред, правим следното:

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

И не е необходимо дори да поглеждате в официалната репозитория github.com/NVIDIA/nvidia-docker.

Сега правим git clone github.com/aidonchuk/retinanet-examples.

Остана съвсем малко, за да започнем да използваме docker с nvidia-образ, ще трябва да се регистрираме в NGC Cloud и да влезем в системата. Отиваме тук ngc.nvidia.com, регистрираме се и след като влезем в NGC Cloud, натискаме SETUP в левия горен ъгъл на екрана или преминаваме по този линк ngc.nvidia.com/setup/api-key. Натискаме «създай ключ». Препоръчвам да го запазите, иначе при следващото посещение ще трябва да го генерирате отново и, съответно, при инсталиране на нов компютър, отново да извършите тази операция.

Нека изпълним:

docker login nvcr.io
Username: $oauthtoken
Password:  - генерирания ключ

Просто копираме Username. Е, ето го, средата е развита!

Етап 2. Сглобяване на контейнера docker

На втория етап от нашата работа ще сглобим docker и ще се запознаем с неговите вътрешности.
Преминаваме в коренната папка по отношение на проекта retina-examples и изпълняваме

docker build --build-arg USER=$USER --build-arg UID=$UID --build-arg GID=$GID --build-arg PW=alex -t retinanet:latest retinanet/

Сглобяваме docker, предавайки текущия потребител — това е много полезно, ако ще пишете нещо на монтирания VOLUME с правата на текущия потребител, в противен случай ще бъде root и ще е сложно.

Докато docker се сглобява, нека разгледаме Dockerfile:

FROM nvcr.io/nvidia/pytorch:19.10-py3

ARG USER=alex
ARG UID=1000
ARG GID=1000
ARG PW=alex
RUN useradd -m ${USER} --uid=${UID} && echo "${USER}:${PW}" | chpasswd

RUN apt-get -y update && apt-get -y upgrade && apt-get -y install curl && apt-get -y install wget && apt-get -y install git && apt-get -y install automake && apt-get install -y sudo && adduser ${USER} sudo
RUN pip install git+https://github.com/bonlime/pytorch-tools.git@master

COPY . retinanet/
RUN pip install --no-cache-dir -e retinanet/
RUN pip install /workspace/retinanet/extras/tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl
RUN pip install tensorboardx
RUN pip install albumentations
RUN pip install setproctitle
RUN pip install paramiko
RUN pip install flask
RUN pip install mem_top
RUN pip install arrow
RUN pip install pycuda
RUN pip install torchvision
RUN pip install pretrainedmodels
RUN pip install efficientnet-pytorch
RUN pip install git+https://github.com/qubvel/segmentation_models.pytorch
RUN pip install pytorch_toolbelt

RUN chown -R ${USER}:${USER} retinanet/

RUN cd /workspace/retinanet/extras/cppapi && mkdir build && cd build && cmake -DCMAKE_CUDA_FLAGS="--expt-extended-lambda -std=c++14" .. && make && cd /workspace

RUN apt-get install -y openssh-server && apt install -y tmux && apt-get -y install bison flex && apt-cache search pcre && apt-get -y install net-tools && apt-get -y install nmap
RUN apt-get -y install libpcre3 libpcre3-dev && apt-get -y install iputils-ping

RUN mkdir /var/run/sshd
RUN echo 'root:pass' | chpasswd
RUN sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
RUN sed 's@sessions*requireds*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd

ENV NOTVISIBLE "in users profile"
RUN echo "export VISIBLE=now" >> /etc/profile
CMD ["/usr/sbin/sshd", "-D"]

Както е видно от текста, ние взимаме всички наши любими библиотеки, компилираме retinanet, добавяме основни инструменти за удобство на работа с Ubuntu и конфигурираме openssh сървър. Първият ред е наследяване на образа nvidia, за който направихме логин в NGC Cloud, и който съдържа Pytorch1.3, TensorRT6.x.x.x и още куп библиотеки, позволяващи компилация на cpp изходниците на нашия детектор.

Етап 3. Стартиране и отстраняване на грешки в docker контейнера

Преминаваме към основния случай на употреба на контейнера и средата за разработка, първо стартираме nvidia docker. Изпълняваме:

docker run --gpus all --net=host -v /home/:/workspace/mounted_vol -d -P --rm --ipc=host -it retinanet:latest

Сега контейнерът е достъпен по ssh @localhost. След успешен старт, отваряме проекта в PyCharm. Следва да отворим

Settings->Project Interpreter->Add->Ssh Interpreter

Стъпка 1


Стъпка 2


Стъпка 3


Избираме всичко както на скрийншотите,

Interpreter -> /opt/conda/bin/python

— това ще бъде линк към Python3.6 и

Sync folder -> /workspace/retinanet

Натискаме финал и очакваме индексирането, и всичко, средата е готова за употреба!

ВАЖНО!!! Веднага след индексирането извлечете от docker компилираните файлове за Retinanet. В контекстното меню в корена на проекта избираме опцията

Deployment->Download

Ще се появи един файл и две папки build, retinanet.egg-info и _С.so

Ако вашият проект изглежда така, значи средата вижда всички необходими файлове и сме готови за обучение на RetinaNet.

Етап 4. Размечаваме данните и обучаваме детектора

За разметка основно използвам supervise.ly — приятен и удобен инструмент, в последно време поправиха много грешки и той стана значително по-добър.

Да предположим, че сте разметили датасета и сте го свалили, но не може веднага да го сложите в нашия RetinaNet, тъй като е в собствен формат и за това е нужно да го конвертирате в COCO. Инструментът за конвертиране се намира на:

markup_utils/supervisly_to_coco.py

Обърнете внимание, че Category в скрипта е пример и трябва да вмъкнете своите (категорията background не я добавяйте)

categories = [{'id': 1, 'name': '1'}, 
                  {'id': 2, 'name': '2'}, 
                  {'id': 3, 'name': '3'},
                  {'id': 4, 'name': '4'}] 

Авторите на оригиналното хранилище решиха, че няма да обучавате нищо освен COCO/VOC за детекция, затова се наложи да редактирам малко изходния файл

retinanet/dataset.py

Добавяйки тук любимите аугментации albumentations.readthedocs.io/en/latest и да изключите твърдо вградени категории от COCO. Има също така възможност да отрежете големи области на детекция, ако търсите малки обекти на големи изображения, имате малък dataset =), и нищо не работи, но за това друг път.

Общо взето, цикълът на обучение също е слаб, първоначално не запазваше чекпоинтове, използваше някакъв ужасен планировчик и т.н. Но сега остава само да изберете backbone и да изпълните

/opt/conda/bin/python retinanet/main.py

с параметри:

train retinanet_rn34fpn.pth
--backbone ResNet34FPN
--classes 12
--val-iters 10
--images /workspace/mounted_vol/dataset/train/images
--annotations /workspace/mounted_vol/dataset/train_12_class.json
--val-images /workspace/mounted_vol/dataset/test/images_small
--val-annotations /workspace/mounted_vol/dataset/val_10_class_cropped.json
--jitter 256 512
--max-size 512
--batch 32

В конзолата ще видите:

Инициализация модели...
     модель: RetinaNet
  основа: ResNet18FPN
   классы: 2, якоря: 9
Выбран уровень оптимизации O0:  Чистое FP32 обучение.

По умолчанию для этого уровня оптимизации:
включено                : True
уровень_оптимизации      : O0
тип_модели_приведения    : torch.float32
заменить_функции_torch   : False
сохранить_batchnorm_fp32  : None
главные_веса            : False
масштаб_потерь           : 1.0
Обработка пользовательских переопределений (дополнительные kwargs, которые не равны None)...
После обработки переопределений, параметры оптимизации:
включено                : True
уровень_оптимизации      : O0
тип_модели_приведения    : torch.float32
заменить_функции_torch   : False
сохранить_batchnorm_fp32  : None
главные_веса            : False
масштаб_потерь           : 128.0
Подготовка набора данных...
    загрузчик: pytorch
    изменение_размера: [1024, 1280], макс: 1280
    устройство: 4 gpu
    пакет: 4, точность: смешанная
Обучение модели в течение 20000 итераций...
[    1/20000] фокусная потеря: 0.95619, потеря по боксу: 0.51584, 4.042с/4-пакет (вперед: 0.698с, назад: 0.459с), 1.0 изобр./с, lr: 0.0001
[   12/20000] фокусная потеря: 0.76191, потеря по боксу: 0.31794, 0.187с/4-пакет (вперед: 0.055с, назад: 0.133с), 21.4 изобр./с, lr: 0.0001
[   24/20000] фокусная потеря: 0.65036, потеря по боксу: 0.30269, 0.173с/4-пакет (вперед: 0.045с, назад: 0.128с), 23.1 изобр./с, lr: 0.0001
[   36/20000] фокусная потеря: 0.46425, потеря по боксу: 0.23141, 0.178с/4-пакет (вперед: 0.047с, назад: 0.131с), 22.4 изобр./с, lr: 0.0001
[   48/20000] фокусная потеря: 0.45115, потеря по боксу: 0.23505, 0.180с/4-пакет (вперед: 0.047с, назад: 0.133с), 22.2 изобр./с, lr: 0.0001
[   59/20000] фокусная потеря: 0.38958, потеря по боксу: 0.25373, 0.184с/4-пакет (вперед: 0.049с, назад: 0.134с), 21.8 изобр./с, lr: 0.0001
[   71/20000] фокусная потеря: 0.37733, потеря по боксу: 0.23988, 0.174с/4-пакет (вперед: 0.049с, назад: 0.125с), 22.9 изобр./с, lr: 0.0001
[   83/20000] фокусная потеря: 0.39514, потеря по боксу: 0.23878, 0.181с/4-пакет (вперед: 0.048с, назад: 0.133с), 22.1 изобр./с, lr: 0.0001
[   94/20000] фокусная потеря: 0.39947, потеря по боксу: 0.23817, 0.185с/4-пакет (вперед: 0.050с, назад: 0.134с), 21.6 изобр./с, lr: 0.0001
[  105/20000] фокусная потеря: 0.37343, потеря по боксу: 0.20238, 0.182с/4-пакет (вперед: 0.048с, назад: 0.134с), 22.0 изобр./с, lr: 0.0001
[  116/20000] фокусная потеря: 0.19689, потеря по боксу: 0.17371, 0.183с/4-пакет (вперед: 0.050с, назад: 0.132с), 21.8 изобр./с, lr: 0.0001
[  128/20000] фокусная потеря: 0.20368, потеря по боксу: 0.16538, 0.178с/4-пакет (вперед: 0.046с, назад: 0.131с), 22.5 изобр./с, lr: 0.0001
[  140/20000] фокусная потеря: 0.22763, потеря по боксу: 0.15772, 0.176с/4-пакет (вперед: 0.050с, назад: 0.126с), 22.7 изобр./с, lr: 0.0001
[  148/20000] фокусная потеря: 0.21997, потеря по боксу: 0.18400, 0.585с/4-пакет (вперед: 0.047с, назад: 0.144с), 6.8 изобр./с, lr: 0.0001
 Средняя точность (AP) @[ IoU=0.50:0.95 | площадь=   вся | maxDets=100 ] = 0.52674
 Средняя точность (AP) @[ IoU=0.50      | площадь=   вся | maxDets=100 ] = 0.91450
 Средняя точность (AP) @[ IoU=0.75      | площадь=   вся | maxDets=100 ] = 0.35172
 Средняя точность (AP) @[ IoU=0.50:0.95 | площадь= маленькая | maxDets=100 ] = 0.61881
 Средняя точность (AP) @[ IoU=0.50:0.95 | площадь=средняя | maxDets=100 ] = -1.00000
 Средняя точность (AP) @[ IoU=0.50:0.95 | площадь= большая | maxDets=100 ] = -1.00000
 Средний отзыв (AR) @[ IoU=0.50:0.95 | площадь=   вся | maxDets=  1 ] = 0.58824
 Средний отзыв (AR) @[ IoU=0.50:0.95 | площадь=   вся | maxDets= 10 ] = 0.61765
 Средний отзыв (AR) @[ IoU=0.50:0.95 | площадь=   вся | maxDets=100 ] = 0.61765
 Средний отзыв (AR) @[ IoU=0.50:0.95 | площадь= маленькая | maxDets=100 ] = 0.61765
 Средний отзыв (AR) @[ IoU=0.50:0.95 | площадь=средняя | maxDets=100 ] = -1.00000
 Средний отзыв (AR) @[ IoU=0.50:0.95 | площадь= большая | maxDets=100 ] = -1.00000
Сохранение модели: 148

За да разгледате целия набор от параметри, моля, погледнете

retinanet/main.py

Обикновено те са стандартни за детекция и имат описание. Стартирайте обучението и изчакайте резултатите. Пример за инференция можете да видите в:

retinanet/infer_example.py

или изпълнете командата:

/opt/conda/bin/python retinanet/main.py infer retinanet_rn34fpn.pth 
--images /workspace/mounted_vol/dataset/test/images 
--annotations /workspace/mounted_vol/dataset/val.json 
--output result.json 
--resize 256 
--max-size 512 
--batch 32

В репозитория вече е интегриран Focal Loss и няколко backbone, а също и лесно можеш да внедриш свои.

retinanet/backbones/*.py

В таблицата авторите представят някои характеристики:

Има и backbone ResNeXt50_32x4dFPN и ResNeXt101_32x8dFPN, взети от torchvision.
Надявам се, че малко разбрахте за детекцията, но е задължително да се прочете официалната документация, за да разберете режимите на експортиране и логиране..

Етап 5. Експорт и инференс на модели Unet с енкодер Resnet.

Както вероятно сте забелязали, в Dockerfile бяха инсталирани библиотеки за сегментация и по-специално забележителната библиотека github.com/qubvel/segmentation_models.pytorch. В пакета юнет можете да намерите примери за инференс и експортиране на pytorch чекпоинтове в engine TensorRT.

Основен проблем при експортиране на модели Unet-like от ONNX в TensorRT е необходимостта да зададете фиксиран размер Upsample или да използвате ConvTranspose2D:

import torch.onnx.symbolic_opset9 as onnx_symbolic
        def upsample_nearest2d(g, input, output_size):
            # В момента, парсерът ONNX на TRT 5.1/6.0 не поддържа всички ONNX операции,
            # необходими за поддържане на динамично upsampling
            # Тук сме хардкодирали scale=2 като временно решение
            scales = g.op("Constant", value_t=torch.tensor([1., 1., 2., 2.]))
            return g.op("Upsample", input, scales, mode_s="nearest")

        onnx_symbolic.upsample_nearest2d = upsample_nearest2d

С помощта на тази трансформация можете да направите това автоматично при експортиране в ONNX, но в 7 версия TensorRT този проблем е решен и ни остава да чакаме съвсем малко.

Заключение

Когато започнах да използвам Docker, имах съмнения относно производителността му за моите задачи. В един от моите агрегати в момента има доста голям мрежов трафик, генериран от няколко камери.

Различни тестове в интернет говореха за относително голям overhead на мрежовото взаимодействие и запис на VOLUME, плюс всичко неведомото и страшно GIL, а тъй като заснемането на кадър, работата на драйвера и предаването по мрежата на кадъра са атомарна операция в режим hard real-time, забавянията в мрежата са много критични за мен.

Но всичко се оказа наред :)

P.S. Остава да добавите любимия си трейн луп за сегментация и в продукция!

Благодарности

Благодаря на общността ods.ai, без нея е невъзможно да се развиваме! Огромно благодаря n01z3, който ме накара да се занимавам с DL, за безценните му съвети и изключителен професионализъм!

Използвайте оптимизирани модели в продукция!

Aurorai, llc

Източник: habr.com