컨벌루션 네트워크를 줄이기 위한 Jedi 기술 - 가지치기

다시 한 번 물체를 감지하는 작업이 있습니다. 우선 순위는 허용 가능한 정확도를 갖춘 작동 속도입니다. YOLOv3 아키텍처를 사용하여 추가로 훈련합니다. 정확도(mAp75)가 0.95보다 큽니다. 하지만 실행률은 여전히 ​​낮습니다. 쓰레기.

오늘은 양자화를 우회하겠습니다. 그리고 컷 아래에서 우리는 볼 것입니다 모델 가지치기 — 정확도 손실 없이 추론 속도를 높이기 위해 네트워크의 중복 부분을 정리합니다. 어디서, 얼마만큼, 어떻게 잘라야 하는지 명확합니다. 이 작업을 수동으로 수행하는 방법과 자동화할 수 있는 위치를 알아 보겠습니다. 마지막에는 keras에 저장소가 있습니다.

소개

이전 직장인 Perm의 Macroscop에서 저는 항상 알고리즘의 실행 시간을 모니터링하는 한 가지 습관을 얻었습니다. 그리고 항상 적절성 필터를 통해 네트워크 런타임을 확인하세요. 일반적으로 생산 중인 최신 기술은 이 필터를 통과하지 못하므로 프루닝(Pruning)을 선택하게 되었습니다.

가지치기는 에서 논의된 오래된 주제입니다. 스탠포드 강의 2017년에. 주요 아이디어는 다양한 노드를 제거하여 정확도를 잃지 않으면서 훈련된 네트워크의 크기를 줄이는 것입니다. 멋있게 들리지만, 그 사용에 대해서는 거의 들어보지 못했습니다. 아마도 구현이 충분하지 않거나 러시아어 기사가 없거나 단순히 모든 사람이 가지치기 노하우라고 생각하고 침묵을 유지할 것입니다.
하지만 분해해보자

생물학에 대한 간략한 소개

저는 딥러닝이 생물학에서 나온 아이디어를 살펴볼 때를 좋아합니다. 진화와 마찬가지로 신뢰할 수 있습니다. (ReLU가 ReLU와 매우 유사하다는 것을 알고 계셨습니까? 뇌의 뉴런 활성화 기능?)

모델 가지치기 과정은 생물학에도 가깝습니다. 여기서 네트워크의 반응은 뇌의 가소성에 비유될 수 있습니다. 이 책에는 몇 가지 흥미로운 예가 있습니다. 노먼 도지:

1. 반쪽만 갖고 태어난 여성의 뇌는 잃어버린 반쪽의 기능을 수행하도록 스스로 재프로그램됐다.
2. 그 남자는 시력을 담당하는 뇌 부분을 쏘았습니다. 시간이 지나면서 뇌의 다른 부분이 이러한 기능을 대신하게 되었습니다. (우리는 반복하려고 하지 않습니다)

마찬가지로 모델에서 약한 컨볼루션 중 일부를 잘라낼 수 있습니다. 최후의 수단으로 나머지 묶음은 잘린 묶음을 대체하는 데 도움이 됩니다.

전이 학습을 좋아하시나요, 아니면 처음부터 학습하시나요?

옵션 번호 XNUMX입니다. Yolov3에서 전이 학습을 사용합니다. Retina, Mask-RCNN 또는 U-Net. 그러나 대부분의 경우 COCO처럼 80개의 객체 클래스를 인식할 필요는 없습니다. 실제로는 모든 것이 1~2학년으로 제한됩니다. 여기서는 80개 클래스의 아키텍처가 중복된다고 가정할 수 있습니다. 이는 아키텍처를 더 작게 만들어야 함을 의미합니다. 게다가 기존에 미리 훈련된 가중치를 잃지 않고 이 작업을 수행하고 싶습니다.

옵션 번호 XNUMX. 데이터와 컴퓨팅 리소스가 많을 수도 있고, 아니면 단지 슈퍼 맞춤형 아키텍처가 필요할 수도 있습니다. 상관없어요. 그러나 당신은 처음부터 네트워크를 배우고 있습니다. 일반적인 절차는 데이터 구조를 살펴보고 성능이 과도한 아키텍처를 선택한 다음 재교육에서 탈락자를 밀어내는 것입니다. 나는 0.6명의 탈락자를 봤다, 칼.

두 경우 모두 네트워크가 줄어들 수 있습니다. 동기 부여. 이제 포경수술이 어떤 종류인지 알아보겠습니다.

일반 알고리즘

우리는 번들을 제거할 수 있다고 결정했습니다. 매우 간단해 보입니다.

컨볼루션을 제거하는 것은 네트워크에 스트레스를 주며 일반적으로 오류가 어느 정도 증가합니다. 한편으로 이러한 오류 증가는 컨볼루션을 얼마나 정확하게 제거했는지 나타내는 지표입니다(예를 들어 큰 증가는 우리가 뭔가 잘못하고 있음을 나타냅니다). 그러나 약간의 증가는 상당히 허용되며 작은 LR을 사용한 후속 가벼운 추가 훈련으로 제거되는 경우가 많습니다. 추가 학습 단계를 추가합니다.

이제 학습<->가지치기 루프를 언제 중지할지 파악해야 합니다. 네트워크를 특정 크기와 속도로 줄여야 할 때(예: 모바일 장치의 경우) 여기에 이국적인 옵션이 있을 수 있습니다. 그러나 가장 일반적인 옵션은 오류가 허용 가능한 수준보다 높아질 때까지 주기를 계속하는 것입니다. 조건을 추가하세요:

그러면 알고리즘이 명확해집니다. 삭제된 컨볼루션을 결정하는 방법을 알아내는 것이 남아 있습니다.

삭제된 번들 검색

일부 컨볼루션을 제거해야 합니다. 서둘러서 누군가를 "사격"하는 것은 비록 효과가 있을지라도 나쁜 생각입니다. 그러나 머리가 있기 때문에 제거할 "약한" 컨볼루션을 선택하려고 생각하고 시도할 수 있습니다. 몇 가지 옵션이 있습니다:

1. 최소 L1 측정값 또는 low_magnitude_pruning. 작은 가중치를 갖는 컨볼루션은 최종 결정에 거의 기여하지 않는다는 생각
2. 평균 및 표준 편차를 고려한 가장 작은 L1 측정값입니다. 우리는 분포의 성격에 대한 평가를 보완합니다.
3. 컨볼루션을 마스킹하고 최종 정확도에 가장 적은 영향을 미치는 컨볼루션 제외. 중요하지 않은 컨볼루션을 보다 정확하게 결정하지만 시간과 리소스가 많이 소모됩니다.
4. 기타

각 옵션에는 생명권과 자체 구현 기능이 있습니다. 여기서는 L1 측정값이 가장 작은 옵션을 고려합니다.

YOLOv3의 수동 프로세스

원래 아키텍처에는 잔여 블록이 포함되어 있습니다. 그러나 심층 네트워크에서는 그것이 아무리 멋지더라도 어느 정도 방해가 될 것입니다. 어려운 점은 이러한 레이어에서 서로 다른 색인이 있는 조정을 삭제할 수 없다는 것입니다.

따라서 조정을 자유롭게 삭제할 수 있는 레이어를 선택해 보겠습니다.

이제 작업 주기를 구축해 보겠습니다.

1. 활성화 업로드 중
2. 얼마나 잘라야 할지 파악하기
3. 잘라내 다
4. LR=10e-1로 4개의 에포크 학습
5. 테스트

컨볼루션 언로드는 특정 단계에서 제거할 수 있는 부분의 양을 추정하는 데 유용합니다. 언로드 예:

거의 모든 곳에서 컨볼루션의 5%가 매우 낮은 L1-norm을 가지며 이를 제거할 수 있음을 알 수 있습니다. 각 단계에서 이러한 언로드가 반복되었으며 어떤 레이어와 얼마나 많은 레이어를 잘라낼 수 있는지에 대한 평가가 이루어졌습니다.

전체 프로세스는 4단계로 완료되었습니다(RTX 2060 Super의 경우 여기에 숫자가 표시됨).

단계	지도75	매개변수 수, 백만	네트워크 크기, MB	초기부터 %	런타임, 밀리초	포경수술 조건
0	0.9656	60	241	100	180	-
1	0.9622	55	218	91	175	전체의 5%
2	0.9625	50	197	83	168	전체의 5%
3	0.9633	39	155	64	155	컨볼루션이 15개 이상인 레이어의 경우 400%
4	0.9555	31	124	51	146	컨볼루션이 10개 이상인 레이어의 경우 100%

2단계에 한 가지 긍정적인 효과가 추가되었습니다. 즉, 배치 크기 4가 메모리에 적합하여 추가 교육 프로세스가 크게 가속화되었습니다.
4단계에서 프로세스가 중지되었습니다. 장기간의 추가 훈련조차도 mAp75를 이전 값으로 높이지 못했습니다.
그 결과 추론 속도를 높일 수 있었습니다. 15%, 크기를 다음과 같이 줄입니다. 35% 정확히 잃지 마세요.

더욱 단순한 아키텍처를 위한 자동화

더 간단한 네트워크 아키텍처(조건부 추가, 연결 및 잔차 블록 없음)의 경우 모든 컨볼루션 레이어 처리에 집중하고 컨볼루션 제거 프로세스를 자동화하는 것이 가능합니다.

이 옵션을 구현했습니다. 여기에.
간단합니다. 손실 함수, 최적화 도구 및 배치 생성기만 있으면 됩니다.

import pruning
from keras.optimizers import Adam
from keras.utils import Sequence

train_batch_generator = BatchGenerator...
score_batch_generator = BatchGenerator...

opt = Adam(lr=1e-4)
pruner = pruning.Pruner("config.json", "categorical_crossentropy", opt)

pruner.prune(train_batch, valid_batch)

필요한 경우 구성 매개변수를 변경할 수 있습니다.

{
    "input_model_path": "model.h5",
    "output_model_path": "model_pruned.h5",
    "finetuning_epochs": 10, # the number of epochs for train between pruning steps
    "stop_loss": 0.1, # loss for stopping process
    "pruning_percent_step": 0.05, # part of convs for delete on every pruning step
    "pruning_standart_deviation_part": 0.2 # shift for limit pruning part
}

또한 표준 편차에 따른 제한이 구현됩니다. 목표는 이미 "충분한" L1 측정값이 포함된 컨볼루션을 제외하고 제거되는 부분을 제한하는 것입니다.

따라서 오른쪽과 유사한 분포에서 약한 컨볼루션만 제거할 수 있으며 왼쪽과 유사한 분포의 제거에는 영향을 주지 않습니다.

분포가 정상에 가까워지면 pruning_standart_deviation_part 계수를 다음 중에서 선택할 수 있습니다.

나는 2 시그마를 가정하는 것을 추천한다. 또는 값을 < 1.0으로 남겨두고 이 기능을 무시할 수 있습니다.

출력은 전체 테스트에 대한 네트워크 크기, 손실 및 네트워크 런타임을 1.0으로 정규화한 그래프입니다. 예를 들어, 여기서 네트워크 크기는 품질 저하 없이 거의 2배로 줄었습니다(100개의 가중치를 갖는 작은 컨벌루션 네트워크).

작동 속도는 일반적인 변동에 따라 달라지며 사실상 변하지 않습니다. 이에 대한 설명이 있습니다:

1. 컨볼루션 수는 편리한 것(32, 64, 128)에서 비디오 카드에 가장 편리하지 않은 것(27, 51 등)으로 변경됩니다. 여기서는 틀렸을 수도 있지만 효과가 있을 가능성이 높습니다.
2. 아키텍처는 광범위하지는 않지만 일관성이 있습니다. 너비를 줄여도 깊이에는 영향을 주지 않습니다. 따라서 부하를 줄이되 속도는 변경하지 않습니다.

따라서 실행 중 CUDA 부하가 20~30% 감소한 것으로 개선되었으나 실행 시간이 감소한 것은 아닙니다.

결과

생각해 봅시다. 우리는 가지치기를 위해 YOLOv2(손으로 작업해야 하는 경우)와 더 간단한 아키텍처를 갖춘 네트워크의 두 가지 옵션을 고려했습니다. 두 경우 모두 정확도 손실 없이 네트워크 크기 감소 및 속도 향상이 가능하다는 것을 알 수 있습니다. 결과:

• 크기 줄이기
• 가속 실행
• CUDA 부하 줄이기
• 그 결과 환경 친화성(우리는 컴퓨팅 자원의 미래 사용을 최적화합니다. 어딘가에서는 행복합니다. 그레타 툰 버그)

충수

• 가지치기 단계 후에 양자화를 추가할 수 있습니다(예: TensorRT 사용).
• Tensorflow는 다음과 같은 기능을 제공합니다. 낮은 크기의 가지치기. 공장.
• 저장소 개발하고 싶고 기꺼이 도와드리겠습니다.

출처 : habr.com