합성곱 신경망 가지치기를 위한 제다이 기법

또 다른 객체 감지 작업이 있습니다. 우선순위는 허용 가능한 정확도를 유지하면서 작업 속도를 높이는 것입니다. YOLOv3 아키텍처를 가져와 다시 학습시킵니다. 정확도(mAp75)는 0.95 이상입니다. 하지만 실행 속도는 여전히 느립니다. 젠장.

오늘은 양자화를 우회해 보겠습니다. 그리고 컷 아래에서는 모델 가지치기 — 정확도를 떨어뜨리지 않으면서 추론 속도를 높이기 위해 네트워크의 불필요한 부분을 잘라냅니다. 시각적으로는 — 어디에서, 얼마나, 어떻게 잘라낼 수 있는지에 대해 설명합니다. 이 작업을 수동으로 수행하는 방법과 자동화할 수 있는 부분을 분석해 보겠습니다. 마지막으로 — 케라스 저장소를 소개합니다.

소개

이전 직장인 Perm Macroscop에서 저는 한 가지 습관을 들였습니다. 알고리즘의 실행 시간을 항상 모니터링하는 것이었습니다. 그리고 네트워크 실행 시간은 적절성 필터를 통해 항상 확인했습니다. 일반적으로 프로덕션 환경에서는 최첨단 기술이 이 필터를 통과하지 못하기 때문에 Pruning을 시작하게 되었습니다.

가지치기는 오래된 주제로 논의되었습니다. 스탠포드 강의 2017년에 개발되었습니다. 핵심 아이디어는 다양한 노드를 제거하여 정확도를 떨어뜨리지 않고 학습된 네트워크의 크기를 줄이는 것입니다. 멋진 아이디어 같지만, 실제로 사용하는 사례는 거의 없습니다. 아마도 구현 사례가 부족하거나, 러시아어 관련 문서가 없거나, 아니면 모두가 노하우를 정리하는 데만 집중하고 침묵하는 것 같습니다.
하지만 알아내기가 어렵습니다

생물학에 대한 고찰

생물학에서 얻은 아이디어가 딥러닝에 접목되는 걸 정말 좋아합니다. 진화론처럼 딥러닝도 신뢰할 수 있고요. ReLU가 뇌의 신경세포를 활성화하는 기능?)

모델 가지치기 과정은 생물학과도 밀접하게 연관되어 있습니다. 여기서 네트워크의 반응은 뇌의 가소성에 비유할 수 있습니다. 이 책에는 몇 가지 흥미로운 사례가 있습니다. 노먼 도이지:

1. 뇌의 절반만 가지고 태어난 여성의 뇌가 손상된 절반의 기능을 수행하도록 스스로를 재프로그램했습니다.
2. 그 남자는 시각을 담당하는 뇌 부위를 절단했습니다. 시간이 지나면서 뇌의 다른 부위들이 그 기능을 대신하게 되었습니다. (다시 반복하지는 않겠습니다.)

따라서 모델에서 약한 번들 중 일부를 잘라낼 수 있습니다. 극단적인 경우에는 남은 번들로 잘린 번들을 대체할 수 있습니다.

전이학습을 좋아하시나요, 아니면 처음부터 배우고 계신가요?

옵션 1번. Yolov3, Retina, Mask-RCNN 또는 U-Net에서 전이 학습을 사용합니다. 하지만 COCO처럼 80개 클래스의 객체를 인식할 필요는 거의 없습니다. 제 실습에서는 모든 것을 1~2개 클래스로 제한합니다. 80개 클래스에 대한 아키텍처는 여기서 중복된다고 가정할 수 있습니다. 아키텍처를 줄여야 한다는 생각이 듭니다. 게다가, 기존의 사전 학습된 가중치를 잃지 않고 이 작업을 수행하고 싶습니다.

두 번째 옵션. 데이터와 컴퓨팅 리소스가 많거나, 아니면 아주 특별한 아키텍처가 필요할 수도 있습니다. 그건 중요하지 않습니다. 하지만 네트워크를 처음부터 학습시키는 겁니다. 일반적인 절차는 데이터 구조를 살펴보고, 성능이 중복되는 아키텍처를 선택하고, 과적합으로 인한 드롭아웃을 제거하는 것입니다. 칼, 저는 0.6개의 드롭아웃을 봤습니다.

두 경우 모두 네트워크를 줄일 수 있습니다. 동기 부여. 이제 가지치기가 어떤 종류의 가지치기인지 알아보겠습니다.

일반 알고리즘

우리는 주름을 제거하기로 했습니다. 꽤 간단해 보입니다.

합성곱을 제거하는 것은 네트워크에 부담을 주며, 이는 일반적으로 어느 정도 오차 증가로 이어집니다. 한편으로, 이러한 오차 증가는 합성곱을 얼마나 정확하게 제거하는지 보여주는 지표입니다(예를 들어, 오차가 크게 증가하면 잘못 처리하고 있음을 나타냅니다). 하지만 약간의 오차 증가는 충분히 용인할 수 있으며, 작은 LR을 사용한 후속적인 가벼운 재학습을 통해 종종 제거됩니다. 재학습 단계를 추가합니다.

이제 Learning<->Pruning 루프를 언제 종료할지 결정해야 합니다. 네트워크 크기와 실행 속도를 특정 수준으로 줄여야 할 때(예: 모바일 기기)에는 특별한 옵션이 있을 수 있습니다. 하지만 가장 일반적인 옵션은 오차가 허용 가능한 수준보다 높아질 때까지 루프를 계속 진행하는 것입니다. 다음과 같은 조건을 추가해 보겠습니다.

이제 알고리즘이 명확해졌습니다. 이제 제거할 합성곱을 어떻게 결정할지 알아내는 것이 남았습니다.

삭제 가능한 번들 검색

번들 중 일부를 삭제해야 합니다. 어떤 번들이든 뚫고 "쏘는" 것은 좋지 않은 생각이지만, 효과는 있을 겁니다. 하지만 머리가 있다면, "약한" 번들을 골라 삭제해 볼 수 있습니다. 몇 가지 방법이 있습니다.

1. 가장 낮은 L1 측정 또는 low_magnitude_pruning. 작은 가중치 값을 갖는 합성곱은 최종 결정에 거의 기여하지 않는다는 생각
2. 평균과 표준편차를 고려한 가장 작은 L1 측정값입니다. 여기에 분포의 특성에 대한 평가를 추가합니다.
3. 최종 정확도에 가장 적은 영향을 미치는 부분을 컨볼루션 마스킹하고 제외합니다.. 중요하지 않은 합성곱을 더 정확하게 감지할 수 있지만, 시간이 많이 걸리고 리소스도 많이 필요합니다.
4. 기타

각 옵션은 존재할 권리가 있으며 고유한 구현 기능을 가지고 있습니다. 여기서는 L1 측정값이 가장 작은 옵션을 고려해 보겠습니다.

YOLOv3에 대한 수동 프로세스

원래 아키텍처에는 잔여 블록이 포함되어 있습니다. 하지만 딥러닝 네트워크에서는 멋진 기능이지만, 약간의 방해 요소가 될 수 있습니다. 까다로운 점은 이러한 레이어에서 교차 인덱스 비교를 제거할 수 없다는 것입니다.

따라서 검사를 자유롭게 제거할 수 있는 레이어를 선택해 보겠습니다.

이제 작업 주기를 만들어 보겠습니다.

1. 언로딩 활성화
2. 얼마나 잘라야 할지 알아봅시다
3. 우리는 잘라냈다
4. 우리는 LR=10e-1로 4개의 에포크를 학습합니다.
5. 테스트

폴드 언로딩은 특정 단계에서 얼마나 많은 폴드를 제거할 수 있는지 추정하는 데 유용합니다. 언로딩의 예는 다음과 같습니다.

거의 모든 합성곱의 5%가 매우 낮은 L1-norm을 갖는 것을 확인했으며, 이를 제거할 수 있습니다. 각 단계마다 이러한 언로딩을 반복하고 어떤 계층을 얼마나 많이 제거할 수 있는지 평가했습니다.

전체 과정은 4단계로 진행됩니다(여기와 모든 곳의 숫자는 RTX 2060 Super에 대한 것입니다).

2단계에서는 긍정적인 효과 하나가 추가되었습니다. 배치 크기 4가 메모리에 적합해져 추가 학습 프로세스가 상당히 가속화되었습니다.
4단계에서는 장기간의 추가 훈련에도 불구하고 mAp75가 이전 값으로 올라가지 않았기 때문에 프로세스가 중단되었습니다.
그 결과 우리는 추론 속도를 높이는 데 성공했습니다. 15%, 크기를 줄이세요 35% 정확도를 잃지 마세요.

더 간단한 아키텍처를 위한 자동화

더 간단한 네트워크 아키텍처(조건부 추가, 연결 및 잔여 블록 없음)의 경우 모든 합성곱 계층을 처리하는 데 집중하고 합성곱을 잘라내는 프로세스를 자동화하는 것이 가능합니다.

나는 이 옵션을 구현했습니다 여기에.
간단합니다. 손실 함수, 최적화 프로그램, 배치 생성기만 있으면 됩니다.

import pruning
from keras.optimizers import Adam
from keras.utils import Sequence

train_batch_generator = BatchGenerator...
score_batch_generator = BatchGenerator...

opt = Adam(lr=1e-4)
pruner = pruning.Pruner("config.json", "categorical_crossentropy", opt)

pruner.prune(train_batch, valid_batch)

필요한 경우 구성 매개변수를 변경할 수 있습니다.

{
    "input_model_path": "model.h5",
    "output_model_path": "model_pruned.h5",
    "finetuning_epochs": 10, # the number of epochs for train between pruning steps
    "stop_loss": 0.1, # loss for stopping process
    "pruning_percent_step": 0.05, # part of convs for delete on every pruning step
    "pruning_standart_deviation_part": 0.2 # shift for limit pruning part
}

또한, 표준 편차에 기반한 제한이 구현됩니다. 목표는 이미 "충분한" L1 측정값을 갖는 합성곱을 제외하고 제거된 부분만 제한하는 것입니다.

이런 식으로 우리는 약한 합성곱만 오른쪽과 비슷한 분포에서 제거되도록 허용하고 왼쪽과 비슷한 분포에서 제거되는 것에는 영향을 미치지 않습니다.

분포가 정규화되면 계수 pruning_standard_deviation_part를 다음 중에서 선택할 수 있습니다.

2시그마로 가정하는 것을 권장합니다. 또는 이 특성을 무시하고 값을 1.0 미만으로 둘 수도 있습니다.

출력은 전체 테스트에 대한 네트워크 크기, 손실, 그리고 네트워크 실행 시간을 1.0으로 정규화한 그래프입니다. 예를 들어, 2만 개의 가중치를 가진 작은 합성곱 신경망의 경우, 네트워크 크기는 품질 저하 없이 거의 두 배로 줄었습니다.

실행 속도는 정상적인 변동을 보이며 거의 변하지 않았습니다. 이에 대한 설명은 다음과 같습니다.

1. 합성곱의 수는 편리한 32, 64, 128에서 비디오 카드에 가장 편리하지 않은 27, 51 등으로 변경됩니다. 제가 틀렸을 수도 있지만, 아마도 효과가 있을 것입니다.
2. 아키텍처는 넓지는 않지만 일관성을 유지합니다. 너비를 줄임으로써 깊이에는 영향을 미치지 않습니다. 따라서 부하를 줄이면서도 속도는 변하지 않습니다.

따라서 개선은 실행 중 CUDA 부하가 20~30% 감소하는 형태로 나타났지만, 실행 시간이 감소하는 형태로 나타나지는 않았습니다.

결과

생각해 봅시다. 우리는 두 가지 가지치기 방법을 고려했습니다. 하나는 YOLOv2(수동 작업 필요)이고, 다른 하나는 더 단순한 아키텍처를 가진 네트워크입니다. 두 경우 모두 정확도 저하 없이 네트워크 크기와 가속을 줄일 수 있다는 것이 분명합니다. 결과:

• 크기 줄이기
• 가속 주행
• CUDA 부하 감소
• 그 결과, 친환경성(컴퓨팅 자원의 미래 사용을 최적화합니다. 어딘가에서 기뻐합니다. 그레타 툰 버그)

충수

• 가지치기 단계 후에 양자화를 조정할 수도 있습니다(예: TensorRT 사용)
• Tensorflow는 다음과 같은 기능을 제공합니다. 저규모 가지치기. 작동합니다.
• 저장소 저는 개발하고 싶고 기꺼이 도와드리겠습니다.

출처 : habr.com