신경망 작업: 디버깅을 위한 체크리스트

기계 학습 소프트웨어 제품의 코드는 종종 복잡하고 혼란스럽습니다. 버그를 탐지하고 제거하는 것은 리소스 집약적인 작업입니다. 가장 단순한 것조차 피드포워드 신경망 네트워크 아키텍처, 가중치 초기화 및 네트워크 최적화에 대한 진지한 접근 방식이 필요합니다. 작은 실수로 인해 불쾌한 문제가 발생할 수 있습니다.

이 문서는 신경망 디버깅을 위한 알고리즘에 관한 것입니다.

Skillbox는 다음을 권장합니다. 실기 코스 처음부터 Python 개발자.

알림: "Habr"의 모든 독자를 위한 - "Habr" 프로모션 코드를 사용하여 Skillbox 과정에 등록할 때 10 루블 할인.

알고리즘은 XNUMX단계로 구성됩니다.

• 쉬운 시작;
• 손실 확인;
• 중간 결과 및 연결 확인
• 매개변수 진단;
• 작업 통제.

다른 것보다 더 흥미로운 내용이 있으면 즉시 이 섹션으로 건너뛸 수 있습니다.

쉬운 시작

복잡한 아키텍처, 정규화 및 학습률 스케줄러를 갖춘 신경망은 일반 신경망보다 디버그하기가 더 어렵습니다. 요점 자체가 디버깅과 간접적으로 관련되어 있기 때문에 여기서는 약간 까다롭지만 이는 여전히 중요한 권장 사항입니다.

간단한 시작은 단순화된 모델을 만들고 이를 하나의 데이터 세트(포인트)에 대해 학습시키는 것입니다.

먼저 단순화된 모델을 만듭니다.

빠르게 시작하기 위해 단일 히든 레이어가 있는 작은 네트워크를 만들고 모든 것이 올바르게 작동하는지 확인합니다. 그런 다음 구조의 새로운 측면(추가 레이어, 매개변수 등)을 각각 확인하면서 모델을 점차 복잡하게 만들고 계속 진행합니다.

단일 데이터 세트(포인트)에 대해 모델을 학습합니다.

프로젝트에 대한 빠른 온전성 검사로 시스템이 올바르게 작동하는지 확인하기 위해 훈련용 데이터 포인트 100~XNUMX개를 사용할 수 있습니다. 신경망은 훈련과 테스트에서 XNUMX% 정확도를 보여야 합니다. 그렇지 않은 경우 모델이 너무 작거나 이미 버그가 있는 것입니다.

모든 것이 괜찮더라도 계속 진행하기 전에 하나 이상의 시대에 대한 모델을 준비하십시오.

손실 평가

손실 추정은 모델 성능을 개선하는 주요 방법입니다. 손실이 문제에 적합한지, 손실 함수가 올바른 규모로 평가되었는지 확인해야 합니다. 두 개 이상의 손실 유형을 사용하는 경우 순서가 모두 동일하고 크기가 올바르게 조정되었는지 확인하세요.

초기 손실에 주의하는 것이 중요합니다. 모델이 무작위 추측으로 시작된 경우 실제 결과가 예상 결과와 얼마나 가까운지 확인합니다. 안에 Andrey Karpathy의 작업은 다음을 제안합니다.: “적은 수의 매개변수로 시작할 때 기대하는 결과를 얻을 수 있는지 확인하세요. 데이터 손실을 즉시 확인하는 것이 좋습니다(정규화 정도를 10으로 설정). 예를 들어 Softmax 분류기가 있는 CIFAR-2.302의 경우 예상 확산 확률은 각 클래스에 대해 0,1이고(10개 클래스가 있으므로) Softmax 손실은 올바른 클래스의 음의 로그 우도이므로 초기 손실은 0.1가 될 것으로 예상합니다. − ln(2.302) = XNUMX입니다.”

이진 예제의 경우 각 클래스에 대해 유사한 계산이 간단히 수행됩니다. 예를 들어 여기에 데이터가 있습니다: 20%는 0이고 80%는 1입니다. 예상되는 초기 손실은 최대 –0,2ln(0,5) –0,8ln(0,5) = 0,693147입니다. 결과가 1보다 크면 신경망 가중치의 균형이 적절하지 않거나 데이터가 정규화되지 않았음을 의미할 수 있습니다.

중간 결과 및 연결 확인

신경망을 디버깅하려면 네트워크 내 프로세스의 역학과 연결될 때 개별 중간 계층의 역할을 이해해야 합니다. 발생할 수 있는 일반적인 오류는 다음과 같습니다.

• Gradle 업데이트에 대한 잘못된 표현;
• 가중치 업데이트가 적용되지 않습니다.
• 폭발하는 그라데이션.

그래디언트 값이 XNUMX이면 옵티마이저의 학습 속도가 너무 느리거나 그래디언트 업데이트에 대한 잘못된 표현식이 발생했다는 의미입니다.

또한 각 레이어의 활성화 함수 값, 가중치, 업데이트를 모니터링해야 합니다. 예를 들어 매개변수 업데이트의 크기(가중치 및 편향) 1-e3이어야 합니다.

'Dying ReLU'라는 현상이 있습니다. "그라디언트 소멸 문제", ReLU 뉴런은 가중치에 대해 큰 음의 편향 값을 학습한 후 XNUMX을 출력합니다. 이러한 뉴런은 데이터의 어느 지점에서도 다시 실행되지 않습니다.

기울기 확인을 사용하면 수치적 접근 방식을 사용하여 기울기를 근사화함으로써 이러한 오류를 식별할 수 있습니다. 계산된 기울기에 가까우면 역전파가 올바르게 구현된 것입니다. 그라디언트 체크를 만들려면 CS231의 훌륭한 리소스를 확인하십시오. 여기에 и 여기에물론 수업 이 주제에 대한 Andrew Nga.

파이잔 셰이크 신경망을 시각화하는 세 가지 주요 방법을 나타냅니다.

• 예비는 훈련된 모델의 일반적인 구조를 보여주는 간단한 방법입니다. 여기에는 신경망의 개별 레이어에 대한 모양 또는 필터의 출력과 각 레이어 내의 매개변수가 포함됩니다.
• 활성화 기반. 그 안에서 우리는 개별 뉴런이나 뉴런 그룹의 활성화를 해독하여 그 기능을 이해합니다.
• 그라데이션을 기반으로 합니다. 이러한 방법은 모델 훈련(돌출성 맵 및 클래스 활성화 맵 포함)의 정방향 및 역방향 전달에서 형성된 그래디언트를 조작하는 경향이 있습니다.

개별 레이어의 활성화 및 연결을 시각화하는 데 유용한 몇 가지 도구가 있습니다. 콘엑스 и 텐서 보드.

매개변수 진단

신경망에는 서로 상호 작용하는 매개변수가 많아 최적화가 복잡합니다. 실제로 이 섹션은 전문가들의 활발한 연구 주제이므로 아래 제안 사항은 구축의 출발점인 조언으로만 간주되어야 합니다.

패키지 크기 (배치 크기) - 배치 크기를 정확한 오류 기울기 추정값을 얻을 수 있을 만큼 크지만 SGD(확률적 경사하강법)가 네트워크를 정규화할 수 있을 만큼 작기를 원하는 경우. 배치 크기가 작으면 훈련 프로세스 중 노이즈로 인해 수렴이 빨라지고 그에 따른 최적화 문제가 발생합니다. 이에 대해 더 자세히 설명되어 있습니다. 여기에.

학습률 - 너무 낮으면 수렴이 느려지거나 로컬 최소값에 걸릴 위험이 있습니다. 동시에, 학습률이 높으면 손실 함수의 깊지만 좁은 부분을 뛰어넘을 위험이 있기 때문에 최적화 발산이 발생합니다. 신경망을 훈련하는 동안 속도 스케줄링을 사용하여 속도를 줄여보세요. CS231n으로 최신 버전 이 문제를 다루는 큰 섹션이 있습니다.

그라디언트 클리핑  — 최대값 또는 한계 노름에서 역전파 중 매개변수 기울기를 트리밍합니다. 세 번째 지점에서 발생할 수 있는 폭발적인 그라데이션 문제를 해결하는 데 유용합니다.

일괄 정규화 - 각 레이어의 입력 데이터를 정규화하는 데 사용되며 이를 통해 내부 공변량 이동 문제를 해결할 수 있습니다. Dropout과 Batch Norma를 함께 사용하는 경우 이 기사를 확인하십시오.

확률적 경사하강법(SGD) — 모멘텀, 적응형 학습률 및 Nesterov 방법을 사용하는 여러 종류의 SGD가 있습니다. 그러나 이들 중 어느 것도 학습 효율성과 일반화 측면에서 뚜렷한 이점을 갖고 있지 않습니다(자세한 내용은 여기).

정규화 - 모델 복잡성이나 극단적인 매개변수 값에 대한 페널티를 추가하므로 일반화 가능한 모델을 구축하는 데 중요합니다. 이는 편향을 크게 증가시키지 않고 모델 분산을 줄이는 방법입니다. 더 자세한 정보 - 여기.

모든 것을 직접 평가하려면 정규화를 비활성화하고 데이터 손실 기울기를 직접 확인해야 합니다.

탈락 혼잡을 방지하기 위해 네트워크를 간소화하는 또 다른 방법입니다. 훈련 중에는 특정 확률 p(하이퍼파라미터)로 뉴런의 활동을 유지하거나 반대의 경우 XNUMX으로 설정하는 방식으로만 드롭아웃이 수행됩니다. 결과적으로 네트워크는 각 훈련 배치에 대해 서로 다른 매개변수 하위 집합을 사용해야 하며, 이는 지배적인 특정 매개변수의 변화를 줄여줍니다.

중요: 드롭아웃과 배치 정규화를 모두 사용하는 경우 이러한 작업의 순서나 함께 사용하는 경우에도 주의하세요. 이 모든 것은 여전히 ​​​​적극적으로 논의되고 보완되고 있습니다. 이 주제에 관한 두 가지 중요한 토론은 다음과 같습니다. 스택오버플로우에서 и Arxiv.

작업 통제

워크플로우와 실험을 문서화하는 것입니다. 예를 들어 아무것도 문서화하지 않으면 어떤 학습률이나 클래스 가중치가 사용되는지 잊어버릴 수 있습니다. 제어 덕분에 이전 실험을 쉽게 확인하고 재현할 수 있습니다. 이를 통해 중복 실험 수를 줄일 수 있습니다.

그러나 작업량이 많은 경우 수동 문서화는 어려운 작업이 될 수 있습니다. 여기에서 Comet.ml과 같은 도구가 사용되어 모델에 대한 주요 정보(초매개변수, 모델 성능 지표 및 환경 정보)를 포함하여 데이터 세트, 코드 변경, 실험 기록 및 생산 모델을 자동으로 기록하는 데 도움이 됩니다.

신경망은 작은 변화에도 매우 민감할 수 있으며 이로 인해 모델 성능이 저하됩니다. 작업을 추적하고 문서화하는 것은 환경과 모델링을 표준화하기 위해 취할 수 있는 첫 번째 단계입니다.

이 게시물이 신경망 디버깅을 시작하는 출발점이 되기를 바랍니다.

Skillbox는 다음을 권장합니다.

• XNUMX년 실습 코스 "저는 PRO 웹 개발자입니다".
• 온라인 코스 "0의 C# 개발자".
• 실기 코스 "0에서 PRO로의 PHP 개발자".

출처 : habr.com