ТенсорРТ 6.ккк – закључивање високих перформанси за моделе дубоког учења (детекција и сегментација објеката)

Боли само први пут!

Здраво свима! Драги пријатељи, у овом чланку желим да поделим своје искуство коришћења ТенсорРТ, РетинаНет заснованог на спремишту гитхуб.цом/аидонцхук/ретинанет-екамплес (ово је виљушка званичне репе из НВИДИА, што ће вам омогућити да што пре почнете да користите оптимизоване моделе у производњи). Прелиставање порука на каналима заједнице одс.аи, наилазим на питања о коришћењу ТенсорРТ-а и питања се углавном понављају, па сам одлучио да напишем што је могуће потпунији Водич за коришћење брзог закључивања заснованог на ТенсорРТ, РетинаНет, Унет и доцкер-у.

Опис задатка

Предлажем да се задатак формулише на овај начин: потребно је да означимо скуп података, тренирамо RetinaNet/Unet мрежу на Pytorch-у 1.3+, конвертујемо добијене тежине у ONNX, затим их конвертујемо у TensorRT енџин и покренемо целу ствар у Docker-у, пожељно на Ubuntu 18 и веома пожељно на ARM (Jetson)* архитектури, чиме се минимизира ручно распоређивање окружења. Крајњи резултат ће бити контејнер спреман не само за извоз и обуку RetinaNet/Unet-а, већ и за потпуни развој и обуку система класификације и сегментације, са свим потребним хардвером.

Фаза 1. Припрема околине

Овде је важно напоменути да сам се недавно потпуно удаљио од коришћења и постављања бар неких библиотека на десктоп машини, као и на девбок-у. Једина ствар коју морате да креирате и инсталирате је питхон виртуелно окружење и цуда 10.2 (можете се ограничити на један нвидиа драјвер) из деб-а.

Претпоставимо да имате свеже инсталиран Ubuntu 18. Хајде да инсталирамо cuda 10.2 (deb). Нећу детаљно описивати процес инсталације, званична документација је сасвим довољна.

Сада хајде да инсталирамо доцкер, водич за инсталацију доцкер-а се лако може пронаћи, ево примера www.digitalocean.com/community/tutorials/docker-ubuntu-18-04-1-ru, верзија 19+ је већ доступна - инсталирајте је. Па, не заборавите да омогућите коришћење доцкер-а без судо-а, то ће бити згодније. Након што је све испало, радимо ово:

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

И не морате чак ни да гледате у званично складиште гитхуб.цом/НВИДИА/нвидиа-доцкер.

Хајде сада да урадимо гит клон гитхуб.цом/аидонцхук/ретинанет-екамплес.

Остало је још само мало, да бисмо почели да користимо доцкер са нвидиа сликом, мораћемо да се региструјемо у НГЦ Цлоуд-у и да се пријавимо. Хајдемо овамо нгц.нвидиа.цом, региструјте се и након што уђемо у НГЦ Цлоуд, кликните на СЕТУП у горњем левом углу екрана или пратите ову везу нгц.нвидиа.цом/сетуп/апи-кеи. Кликните на „генерирај кључ“. Препоручујем да га сачувате, иначе ћете следећи пут када га посетите морати поново да га генеришете и, сходно томе, поставите на нови аутомобил и поновите ову операцију.

Хајде да урадимо:

docker login nvcr.io
Username: $oauthtoken
Password: <Your Key> - сгенерированный ключ

Корисничко име се једноставно копира. Па, сматрајте да је окружење распоређено!

Фаза 2: Изградња доцкер контејнера

У другој фази нашег рада направићемо доцкер и упознати се са његовим унутрашњим елементима.
Идемо у основну фасциклу у односу на пројекат ретина-екамплес и извршимо

docker build --build-arg USER=$USER --build-arg UID=$UID --build-arg GID=$GID --build-arg PW=alex -t retinanet:latest retinanet/

Доцкер градимо тако што у њега пропуштамо тренутног корисника - ово је веома корисно ако напишете нешто на монтирани ВОЛУМЕ са правима тренутног корисника, иначе ће бити роот и бол.

Док се доцкер гради, хајде да испитамо Доцкерфиле:

FROM nvcr.io/nvidia/pytorch:19.10-py3

ARG USER=alex
ARG UID=1000
ARG GID=1000
ARG PW=alex
RUN useradd -m ${USER} --uid=${UID} && echo "${USER}:${PW}" | chpasswd

RUN apt-get -y update && apt-get -y upgrade && apt-get -y install curl && apt-get -y install wget && apt-get -y install git && apt-get -y install automake && apt-get install -y sudo && adduser ${USER} sudo
RUN pip install git+https://github.com/bonlime/pytorch-tools.git@master

COPY . retinanet/
RUN pip install --no-cache-dir -e retinanet/
RUN pip install /workspace/retinanet/extras/tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl
RUN pip install tensorboardx
RUN pip install albumentations
RUN pip install setproctitle
RUN pip install paramiko
RUN pip install flask
RUN pip install mem_top
RUN pip install arrow
RUN pip install pycuda
RUN pip install torchvision
RUN pip install pretrainedmodels
RUN pip install efficientnet-pytorch
RUN pip install git+https://github.com/qubvel/segmentation_models.pytorch
RUN pip install pytorch_toolbelt

RUN chown -R ${USER}:${USER} retinanet/

RUN cd /workspace/retinanet/extras/cppapi && mkdir build && cd build && cmake -DCMAKE_CUDA_FLAGS="--expt-extended-lambda -std=c++14" .. && make && cd /workspace

RUN apt-get install -y openssh-server && apt install -y tmux && apt-get -y install bison flex && apt-cache search pcre && apt-get -y install net-tools && apt-get -y install nmap
RUN apt-get -y install libpcre3 libpcre3-dev && apt-get -y install iputils-ping

RUN mkdir /var/run/sshd
RUN echo 'root:pass' | chpasswd
RUN sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
RUN sed 's@sessions*requireds*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd

ENV NOTVISIBLE "in users profile"
RUN echo "export VISIBLE=now" >> /etc/profile
CMD ["/usr/sbin/sshd", "-D"]

Као што можете видети из текста, узимамо све наше омиљене библиотеке, компајлирамо retinanet, додајемо неке основне алате за лакши рад са... Ubuntu и конфигуришемо OpenSSH сервер. Прва линија наслеђује NVIDIA слику за коју смо креирали NGC Cloud пријаву и која садржи Pytorch1.3, TensorRT6.xxx и гомилу других библиотека које нам омогућавају да компајлирамо CPP изворни код за наш детектор.

Фаза 3: Покретање и отклањање грешака у Доцкер контејнеру

Пређимо на главни случај коришћења контејнера и развојног окружења; прво, хајде да покренемо нвидиа доцкер. Хајде да урадимо:

docker run --gpus all --net=host -v /home/<your_user_name>:/workspace/mounted_vol -d -P --rm --ipc=host -it retinanet:latest

Контејнер је сада доступан преко ссх-а @локални домаћин. Након успешног покретања, отворите пројекат у ПиЦхарм-у. Затим отварамо

Settings->Project Interpreter->Add->Ssh Interpreter

Корак КСНУМКС


Корак КСНУМКС


Корак КСНУМКС


Бирамо све као на снимцима екрана,

Interpreter -> /opt/conda/bin/python

- ово ће бити у Питхон3.6 и

Sync folder -> /workspace/retinanet

Притиснемо заврши, чекамо индексирање и то је то, окружење је спремно за употребу!

ВАЖНО !!! Одмах након индексирања, повуците компајлиране датотеке за Ретинанет из Доцкер-а. У контекстном менију у корену пројекта изаберите ставку

Deployment->Download

Појавиће се једна датотека и две фасцикле: буилд, ретинанет.егг-инфо и _С.со

Ако ваш пројекат изгледа овако, онда окружење види све потребне датотеке и спремни смо да обучимо РетинаНет.

Фаза 4. Означите податке и обучите детектор

За означавање углавном користим надгледати.ли — пријатан и згодан алат, недавно је исправљена гомила грешака и знатно се боље понашао.

Претпоставимо да сте означили скуп података и преузели га, али нећете моћи одмах да га ставите у наш РетинаНет, пошто је у свом формату и за то морамо да га конвертујемо у ЦОЦО. Алат за конверзију се налази у:

markup_utils/supervisly_to_coco.py

Имајте на уму да је категорија у скрипти пример и да морате да унесете своју (нема потребе да додајете категорију позадине)

categories = [{'id': 1, 'name': '1'}, 
                  {'id': 2, 'name': '2'}, 
                  {'id': 3, 'name': '3'},
                  {'id': 4, 'name': '4'}] 

Из неког разлога, аутори оригиналног спремишта су одлучили да не обучавате ништа осим ЦОЦО/ВОЦ за детекцију, па су морали мало да измене изворни фајл

retinanet/dataset.py

Додавањем својих омиљених увећања овде албумментатионс.реадтхедоцс.ио/ен/латест и изрезати категорије ожичених каблова из ЦОЦО-а. Такође је могуће исецати велика подручја детекције, ако тражите мале објекте на великим сликама, имате мали скуп података =), и ништа не ради, али више о томе други пут.

Генерално, петља возова је такође слаба, у почетку није сачувала контролне пунктове, користила је неку врсту страшног распореда итд. Али сада све што треба да урадите је да изаберете окосницу и извршите

/opt/conda/bin/python retinanet/main.py

са параметрима:

train retinanet_rn34fpn.pth
--backbone ResNet34FPN
--classes 12
--val-iters 10
--images /workspace/mounted_vol/dataset/train/images
--annotations /workspace/mounted_vol/dataset/train_12_class.json
--val-images /workspace/mounted_vol/dataset/test/images_small
--val-annotations /workspace/mounted_vol/dataset/val_10_class_cropped.json
--jitter 256 512
--max-size 512
--batch 32

У конзоли ћете видети:

Initializing model...
     model: RetinaNet
  backbone: ResNet18FPN
   classes: 2, anchors: 9
Selected optimization level O0:  Pure FP32 training.

Defaults for this optimization level are:
enabled                : True
opt_level              : O0
cast_model_type        : torch.float32
patch_torch_functions  : False
keep_batchnorm_fp32    : None
master_weights         : False
loss_scale             : 1.0
Processing user overrides (additional kwargs that are not None)...
After processing overrides, optimization options are:
enabled                : True
opt_level              : O0
cast_model_type        : torch.float32
patch_torch_functions  : False
keep_batchnorm_fp32    : None
master_weights         : False
loss_scale             : 128.0
Preparing dataset...
    loader: pytorch
    resize: [1024, 1280], max: 1280
    device: 4 gpus
    batch: 4, precision: mixed
Training model for 20000 iterations...
[    1/20000] focal loss: 0.95619, box loss: 0.51584, 4.042s/4-batch (fw: 0.698s, bw: 0.459s), 1.0 im/s, lr: 0.0001
[   12/20000] focal loss: 0.76191, box loss: 0.31794, 0.187s/4-batch (fw: 0.055s, bw: 0.133s), 21.4 im/s, lr: 0.0001
[   24/20000] focal loss: 0.65036, box loss: 0.30269, 0.173s/4-batch (fw: 0.045s, bw: 0.128s), 23.1 im/s, lr: 0.0001
[   36/20000] focal loss: 0.46425, box loss: 0.23141, 0.178s/4-batch (fw: 0.047s, bw: 0.131s), 22.4 im/s, lr: 0.0001
[   48/20000] focal loss: 0.45115, box loss: 0.23505, 0.180s/4-batch (fw: 0.047s, bw: 0.133s), 22.2 im/s, lr: 0.0001
[   59/20000] focal loss: 0.38958, box loss: 0.25373, 0.184s/4-batch (fw: 0.049s, bw: 0.134s), 21.8 im/s, lr: 0.0001
[   71/20000] focal loss: 0.37733, box loss: 0.23988, 0.174s/4-batch (fw: 0.049s, bw: 0.125s), 22.9 im/s, lr: 0.0001
[   83/20000] focal loss: 0.39514, box loss: 0.23878, 0.181s/4-batch (fw: 0.048s, bw: 0.133s), 22.1 im/s, lr: 0.0001
[   94/20000] focal loss: 0.39947, box loss: 0.23817, 0.185s/4-batch (fw: 0.050s, bw: 0.134s), 21.6 im/s, lr: 0.0001
[  105/20000] focal loss: 0.37343, box loss: 0.20238, 0.182s/4-batch (fw: 0.048s, bw: 0.134s), 22.0 im/s, lr: 0.0001
[  116/20000] focal loss: 0.19689, box loss: 0.17371, 0.183s/4-batch (fw: 0.050s, bw: 0.132s), 21.8 im/s, lr: 0.0001
[  128/20000] focal loss: 0.20368, box loss: 0.16538, 0.178s/4-batch (fw: 0.046s, bw: 0.131s), 22.5 im/s, lr: 0.0001
[  140/20000] focal loss: 0.22763, box loss: 0.15772, 0.176s/4-batch (fw: 0.050s, bw: 0.126s), 22.7 im/s, lr: 0.0001
[  148/20000] focal loss: 0.21997, box loss: 0.18400, 0.585s/4-batch (fw: 0.047s, bw: 0.144s), 6.8 im/s, lr: 0.0001
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.52674
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.91450
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.35172
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.61881
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = -1.00000
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = -1.00000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.58824
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.61765
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.61765
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.61765
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = -1.00000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = -1.00000
Saving model: 148

Да бисте истражили цео скуп параметара, погледајте

retinanet/main.py

Генерално, они су стандардни за детекцију и имају опис. Започните обуку и сачекајте резултате. Пример закључка може се видети у:

retinanet/infer_example.py

или покрените команду:

/opt/conda/bin/python retinanet/main.py infer retinanet_rn34fpn.pth 
--images /workspace/mounted_vol/dataset/test/images 
--annotations /workspace/mounted_vol/dataset/val.json 
--output result.json 
--resize 256 
--max-size 512 
--batch 32

Репозиторијум већ има Фоцал Лосс и неколико уграђених окосница, а такође је лако уградити своје

retinanet/backbones/*.py

У табели аутори дају неке карактеристике:

Ту су и окоснице РесНеКст50_32к4дФПН и РесНеКст101_32к8дФПН, преузете из торцхвисион-а.
Надам се да сте мало схватили детекцију, али свакако би требало да прочитате званичну документацију да бисте то урадили разуме режиме извоза и евидентирања.

Фаза 5. Извоз и закључивање Унет модела са Реснет енкодером

Као што сте вероватно приметили, библиотеке за сегментацију су инсталиране у Доцкерфиле-у, а посебно дивна библиотека гитхуб.цом/кубвел/сегментатион_моделс.питорцх. У пакету унитет можете пронаћи примере закључивања и извоза питорцх контролних тачака у ТенсорРТ мотор.

Главни проблем при извозу модела сличних Унет-у са ОННКС-а на ТенсоРТ је потреба да се подеси фиксна величина Упсампле-а или да се користи ЦонвТранспосе2Д:

import torch.onnx.symbolic_opset9 as onnx_symbolic
        def upsample_nearest2d(g, input, output_size):
            # Currently, TRT 5.1/6.0 ONNX Parser does not support all ONNX ops
            # needed to support dynamic upsampling ONNX forumlation
            # Here we hardcode scale=2 as a temporary workaround
            scales = g.op("Constant", value_t=torch.tensor([1., 1., 2., 2.]))
            return g.op("Upsample", input, scales, mode_s="nearest")

        onnx_symbolic.upsample_nearest2d = upsample_nearest2d

Користећи ову трансформацију, то можете да урадите аутоматски приликом извоза у ОННКС, али већ у верзији 7 ТенсорРТ-а овај проблем је решен и морамо још мало да сачекамо.

Закључак

Када сам почео да користим Доцкер, сумњао сам у његове перформансе за моје задатке. Једна од мојих јединица тренутно има доста мрежног саобраћаја који генерише неколико камера.

Различити тестови на Интернету говорили су о релативно великим трошковима за мрежну интеракцију и снимање на ВОЛУМЕ, плус непознати и страшни ГИЛ, а пошто је снимање оквира, управљање драјвером и пренос оквира преко мреже атомска операција у режиму тешко у реалном времену, кашњења у мрежи су веома критична за мене.

Али све је испало у реду =)

ПС Остаје само да додате своју омиљену петљу воза за сегментацију и производњу!

Хвала

Хвала заједници одс.аи, без њега је немогуће развијати се! Хвала пуно н01з3, који ме је охрабрио да радим ДЛ, због свог непроцењивог савета и изузетног професионализма!

Користите оптимизоване моделе у производњи!

Аурораи, доо

Извор: ввв.хабр.цом