손으로 그린 ​​그림의 분류. Yandex에서 신고

몇 달 전 Google의 동료들은 개최 된 Kaggle에서는 선정적인 방법으로 얻은 이미지에 대한 분류기를 만드는 대회를 진행하고 있습니다. 게임 "빨리, 그려라!" Yandex 개발자 Roman Vlasov가 포함된 팀은 대회에서 XNUMX위를 차지했습니다. XNUMX월 머신러닝 교육에서 Roman은 팀의 아이디어, 분류기의 최종 구현, 상대방의 흥미로운 사례를 공유했습니다.

- 안녕하세요 여러분! 제 이름은 Roma Vlasov입니다. 오늘은 Quick, Draw!에 대해 알려드리겠습니다. 낙서 인식 챌린지.



우리 팀에는 XNUMX명이 있었습니다. 병합 마감 직전에 합류했습니다. 우리는 운이 좋지 않아 조금 흔들렸지만 돈 포지션에서 흔들리고, 금 포지션에서 흔들렸다. 그리고 우리는 명예로운 XNUMX위를 차지했습니다.

(대회 기간 동안 팀은 제안된 데이터 세트의 한 부분에 표시된 결과를 기반으로 형성된 등급에서 스스로를 관찰했습니다. 최종 등급은 차례로 데이터 세트의 다른 부분에서 형성되었습니다. 이렇게 되었습니다. 대회 참가자는 알고리즘을 특정 데이터에 맞게 조정하지 않으므로 결승전에서 등급을 전환할 때 위치가 약간 흔들리게 됩니다(영어 흔들림에서 혼합까지). 다른 데이터에서는 결과가 나올 수 있습니다. 로만의 팀은 상위 XNUMX위 안에 XNUMX위였습니다. 이 경우 상위 XNUMX위는 돈, 금전적 등급 영역입니다. 왜냐하면 상위 XNUMX위만 상금이 주어졌기 때문입니다. 개편 후 팀은 이미 XNUMX위. 마찬가지로 상대팀이 승리, 금메달 자리를 잃었다. - Ed.)

Evgeniy Babakhnin이 그랜드마스터를 받고, Ivan Sosin이 마스터를 받고, Roman Soloviev가 그랜드마스터로 남아 있고, Alex Parinov가 마스터를 받고, 나는 전문가가 되었고, 이제는 이미 마스터가 되었다는 점에서 경쟁은 또한 중요했습니다.

퀵, 드로우 이게 뭔가요? 이는 Google에서 제공하는 서비스입니다. Google은 AI 대중화를 목표로 삼았으며 이 서비스를 통해 신경망이 어떻게 작동하는지 보여주고 싶었습니다. 그곳으로 가서 Let's draw를 클릭하면 다음과 같은 새 페이지가 나타납니다. 지그재그를 그리세요. 20초 안에 이 작업을 수행해야 합니다. 예를 들어 여기처럼 20초 안에 지그재그를 그리려고 합니다. 성공하면 네트워크에서 지그재그라고 말하고 계속 진행합니다. 그런 사진은 XNUMX개밖에 없습니다.

Google 네트워크가 귀하가 그린 그림을 인식하지 못한 경우 해당 작업에 십자가 표시가 표시됩니다. 나중에 그림이 네트워크에서 인식되는지 여부가 미래에 무엇을 의미하는지 알려 드리겠습니다.

이 서비스는 상당히 많은 수의 사용자를 모았고, 사용자가 그린 모든 그림이 기록되었습니다.

우리는 거의 50천만 개의 이미지를 수집했습니다. 이를 통해 우리 대회의 열차와 시험 날짜가 형성되었습니다. 그런데 시험에 나오는 데이터의 양과 수업 수를 굵게 표시한 데에는 이유가 있습니다. 조금 후에 그들에 대해 말씀 드리겠습니다.

데이터 형식은 다음과 같습니다. 이는 단순한 RGB 이미지가 아니라 대략적으로 말하면 사용자가 수행한 모든 작업에 대한 로그입니다. Word가 우리의 목표이고, 국가 코드는 기념일 로고 작성자의 출신지이며, 타임스탬프는 시간입니다. 인식된 라벨은 네트워크가 Google의 이미지를 인식했는지 여부만 표시합니다. 그리고 그림 자체는 사용자가 점으로 그리는 곡선의 근사치인 시퀀스입니다. 그리고 타이밍. 그림을 그리기 시작하는 시간입니다.

데이터는 두 가지 형식으로 제시되었습니다. 이것이 첫 번째 형식이고 두 번째 형식은 단순화되었습니다. 그들은 거기에서 타이밍을 잘라내고 더 작은 포인트 세트로 이 포인트 세트를 근사화했습니다. 이를 위해 그들은 사용했습니다 더글라스-페커 알고리즘. 단순히 직선에 가까운 많은 점 세트가 있지만 실제로는 두 개의 점만으로 이 선을 근사화할 수 있습니다. 이것이 알고리즘의 아이디어이다.

데이터는 다음과 같이 배포되었습니다. 모든 것이 균일하지만 일부 특이치가 있습니다. 문제를 해결할 때 우리는 그것을 보지 않았습니다. 가장 중요한 점은 실제로 소수의 클래스가 없었기 때문에 가중치 샘플러와 데이터 오버샘플링을 수행할 필요가 없었다는 것입니다.

사진은 어떻게 생겼나요? 이것은 레이블이 인식되거나 인식되지 않는 "비행기" 클래스 및 그 예입니다. 그 비율은 대략 1 대 9 정도였습니다. 보시다시피 데이터에 노이즈가 꽤 많습니다. 비행기인 것 같아요. 인식되지 않는 경우 대부분의 경우 소음일 뿐입니다. 누군가는 "비행기"라고 쓰려고 시도했지만 분명히 프랑스어였습니다.

대부분의 참가자는 단순히 그리드를 가져와 이 일련의 선에서 데이터를 RGB 그림으로 그려 네트워크에 던졌습니다. 나는 거의 같은 방식으로 그렸습니다. 색상 팔레트를 가져와 이 팔레트의 시작 부분에 있는 한 색상으로 첫 번째 선을 그렸고, 팔레트 끝에 있는 다른 색상으로 마지막 선을 그렸습니다. 나는 이 팔레트를 사용하여 모든 곳을 보간했습니다. 그건 그렇고, 이것은 첫 번째 슬라이드에서처럼 검정색으로 그리는 것보다 더 나은 결과를 제공했습니다.

Ivan Sosin과 같은 다른 팀원들은 그림을 그리는 데 약간 다른 접근 방식을 시도했습니다. 한 채널에서는 단순히 회색 그림을 그렸고, 다른 채널에서는 처음부터 끝까지 32에서 255까지 그라데이션으로 각 획을 그렸고, 세 번째 채널에서는 32에서 255까지 모든 획에 걸쳐 그라데이션을 그렸습니다.

또 다른 흥미로운 점은 Alex Parinov가 국가 코드를 사용하여 네트워크에 정보를 업로드했다는 것입니다.

대회에서 사용되는 측정항목은 평균 평균 정밀도입니다. 경쟁에 대한 이 지표의 본질은 무엇입니까? 0개의 예측을 제공할 수 있으며, 이 1개 중에 올바른 예측이 없으면 1을 얻습니다. 올바른 예측이 있으면 해당 순서가 고려됩니다. 그리고 목표 결과는 1을 예측 순서로 나눈 값으로 계산됩니다. 예를 들어 세 개의 예측 변수를 만들었고 첫 번째 예측 변수가 올바른 경우 1을 2로 나누고 1을 얻습니다. 예측 변수가 정확하고 순서가 2인 경우 0,5을 XNUMX로 나누면 XNUMX를 얻습니다. 글쎄요.

데이터 전처리를 통해 그림을 그리는 방법 등을 조금 결정했습니다. 우리는 어떤 아키텍처를 사용했나요? 우리는 PNASNet, SENet과 같은 기존 아키텍처와 SE-Res-NeXt와 같은 기존 아키텍처를 사용하려고 시도했지만 점점 더 새로운 경쟁에 뛰어들고 있습니다. ResNet과 DenseNet도 있었습니다.

우리는 이것을 어떻게 가르쳤습니까? 우리가 선택한 모든 모델은 imagenet에서 사전 훈련되었습니다. 50천만 개의 이미지라는 많은 양의 데이터가 있지만 그래도 이미지넷에서 사전 훈련된 네트워크를 사용하면 단순히 처음부터 훈련시키는 것보다 더 나은 결과를 보여줍니다.

우리는 어떤 교수법을 사용했나요? 이것이 바로 Warm Restart를 통한 Cosing Annealing입니다. 이에 대해서는 잠시 후에 이야기하겠습니다. 이것은 제가 최근의 거의 모든 대회에서 사용하는 기술이며, 이 기술을 사용하면 그리드를 아주 잘 훈련하여 좋은 최소값을 달성하는 것으로 나타났습니다.

다음 고원에서 학습률을 줄입니다. 네트워크 훈련을 시작하고, 특정 학습률을 설정하고, 계속해서 가르치면 손실이 점차 특정 값으로 수렴됩니다. 예를 들어 XNUMX개의 에포크 동안 손실이 전혀 변하지 않았는지 확인합니다. 학습률을 어느 정도 낮추고 학습을 계속합니다. 다시 조금 떨어지고 최소한으로 수렴하며 네트워크가 최종적으로 수렴할 때까지 학습률을 다시 낮추는 등의 작업이 계속됩니다.

다음은 흥미로운 기술입니다. 학습 속도를 저하시키지 말고 배치 크기를 늘리십시오. 동명의 기사가 있습니다. 네트워크를 훈련시킬 때 학습률을 줄일 필요가 없으며 배치 크기만 늘리면 됩니다.

그런데 이 기술은 Alex Parinov가 사용했습니다. 그는 408에 해당하는 배치로 시작했고 그의 네트워크가 어느 정도 안정기에 도달했을 때 배치 크기를 두 배로 늘렸습니다.

사실 그의 배치 크기가 어느 정도 값에 도달했는지는 기억나지 않지만 흥미로운 점은 Kaggle에도 동일한 기술을 사용하는 팀이 있었고 배치 크기는 약 10000개였습니다. 그런데 딥 러닝을 위한 최신 프레임워크는 다음과 같습니다. 예를 들어 PyTorch를 사용하면 이 작업을 매우 쉽게 수행할 수 있습니다. 배치를 생성하여 전체가 아닌 네트워크에 제출하고 비디오 카드에 맞도록 청크로 나누고 그라디언트를 계산한 다음 전체 배치에 대한 그라디언트를 계산한 후 업데이트합니다. 무게.

그런데 이 경쟁에는 여전히 큰 배치 크기가 포함되었습니다. 데이터에 노이즈가 꽤 많았고 큰 배치 크기가 그라데이션을 더 정확하게 근사화하는 데 도움이 되었기 때문입니다.

유사 라벨링도 사용되었으며 주로 Roman Soloviev가 사용했습니다. 그는 테스트에서 데이터의 약 절반을 배치로 샘플링하고 이러한 배치에 대해 그리드를 훈련했습니다.

사진의 크기도 중요하지만 사실은 데이터가 많아서 오랫동안 훈련해야 하고, 사진 크기가 꽤 크면 아주 오랜 시간 동안 훈련하게 됩니다. 그러나 이것이 최종 분류기의 품질을 크게 향상시키지는 않았으므로 일종의 절충점을 사용할 가치가 있었습니다. 그리고 우리는 크기가 그리 크지 않은 사진만을 시도했습니다.

그것은 모두 어떻게 배웠습니까? 먼저 작은 크기의 사진을 찍고 여러 시대를 거치면서 꽤 많은 시간이 걸렸습니다. 그런 다음 큰 크기의 사진을 제공하고 네트워크를 훈련한 다음 처음부터 훈련하지 않고 많은 시간을 낭비하지 않도록 더 많은 것을 훈련했습니다.

최적화 프로그램에 대해. 우리는 SGD와 Adam을 사용했습니다. 이러한 방식으로 공개 리더보드에서 0,941-0,946의 속도를 제공하는 단일 모델을 얻을 수 있었는데, 이는 상당히 좋은 수치입니다.

어떤 방식으로든 모델을 앙상블하면 약 0,951 정도에 도달하게 됩니다. 한 가지 기술을 더 사용하면 공개 게시판에서 우리가 얻은 것처럼 최종 점수 0,954를 얻게 됩니다. 그러나 이에 대해서는 나중에 더 자세히 설명합니다. 다음으로 우리가 모델을 어떻게 조립했는지, 그리고 어떻게 이러한 최종 속도를 달성했는지 말씀드리겠습니다.

다음으로 저는 Warm Restart를 통한 Cosing Annealing 또는 Warm Restart를 통한 Stochastic Gradient Descent에 대해 이야기하고 싶습니다. 대략적으로 말하면 원칙적으로 모든 최적화 프로그램을 사용할 수 있지만 요점은 다음과 같습니다. 하나의 네트워크를 훈련하고 점차적으로 최소값으로 수렴하면 모든 것이 정상이고 하나의 네트워크를 얻을 수 있으며 특정 실수가 발생하지만 조금 다르게 훈련할 수 있습니다. 초기 학습률을 설정하고 이 공식에 따라 점차적으로 낮추어 보겠습니다. 이를 낮추면 네트워크가 최소값에 도달한 다음 가중치를 저장하고 훈련 시작 시의 학습률을 다시 설정하여 이 최소값보다 위쪽으로 올라가 학습률을 다시 낮춥니다.

따라서 한 번에 여러 최소값을 방문할 수 있으며, 그 손실은 플러스 또는 마이너스가 동일합니다. 그러나 사실 이러한 가중치를 가진 네트워크는 날짜에 따라 다른 오류를 발생시킵니다. 이를 평균화하면 일종의 근사치를 얻을 수 있으며 속도는 더 빨라질 것입니다.

우리가 모델을 어떻게 조립했는지에 대해. 발표 초반에 시험 자료의 양과 수업 수에 주의하라고 말씀드렸습니다. 테스트 세트의 대상 수에 1을 더하고 클래스 수로 나누면 330이라는 숫자가 나오며 포럼에 테스트의 클래스가 균형을 이룬다는 내용이 적혀 있습니다. 이것을 사용할 수 있습니다.

이를 바탕으로 Roman Soloviev는 순위표와 매우 좋은 상관관계가 있는 프록시 점수라는 측정항목을 고안했습니다. 요점은 예측을 수행하고 예측 변수 중 상위 1개를 선택하여 각 클래스의 개체 수를 계산한다는 것입니다. 다음으로, 각 값에서 330을 빼고 결과 절대값을 더합니다.

다음과 같은 값이 얻어졌습니다. 이는 프로빙 리더보드를 만드는 것이 아니라 로컬에서 검증하고 앙상블에 대한 계수를 선택하는 데 도움이 되었습니다.

앙상블을 사용하면 이러한 속도를 얻을 수 있습니다. 내가 또 무엇을 할 수 있나요? 테스트에서 클래스가 균형을 이루고 있다는 정보를 사용했다고 가정합니다.

균형이 달랐습니다. 그 중 하나의 예 — XNUMX위를 차지한 사람들과의 균형을 맞추는 것입니다.

우리는 무엇을 했나요? 우리의 밸런싱은 매우 간단했습니다. Evgeny Babakhnin이 제안한 것이었습니다. 먼저 상위 1개를 기준으로 예측을 정렬하고 그 중에서 후보를 선택하여 클래스 수가 330개를 초과하지 않도록 했습니다. 그러나 일부 클래스의 경우 예측 변수가 330개 미만이 됩니다. 좋습니다. 또한 상위 2개와 상위 3개를 기준으로 정렬해 보겠습니다. , 그리고 후보자도 선정하겠습니다.

우리의 밸런싱은 처음의 밸런싱과 어떻게 달랐나요? 그들은 반복적 접근 방식을 사용하여 가장 인기 있는 클래스를 선택하고 해당 클래스가 더 이상 가장 인기가 없을 때까지 해당 클래스에 대한 확률을 약간 줄였습니다. 우리는 그 다음으로 가장 인기 있는 수업을 들었습니다. 그래서 그들은 모든 클래스의 수가 같아질 때까지 계속해서 그들을 낮추었습니다.

모두가 기차 네트워크에 플러스 또는 마이너스 원 접근 방식을 사용했지만 모든 사람이 균형 조정을 사용하지는 않았습니다. 밸런싱을 사용하면 금으로 들어갈 수 있고 운이 좋으면 돈으로 들어갈 수 있습니다.

날짜를 전처리하는 방법은 무엇입니까? 모두가 같은 방식으로 날짜 플러스 또는 마이너스를 사전 처리했습니다. 손으로 만든 기능 만들기, 다양한 획 색상으로 타이밍 인코딩 시도 등이 있었습니다. 8위를 차지한 Alexey Nozdrin-Plotnitsky가 이에 대해 말했습니다.

그는 다르게 행동했습니다. 그는 당신이 직접 만든 모든 기능이 작동하지 않으며 그렇게 할 필요도 없으며 네트워크가 이 모든 것을 스스로 학습해야 한다고 말했습니다. 대신 그는 데이터를 전처리하는 학습 모듈을 생각해 냈습니다. 그는 사전 처리 없이 원본 데이터(점 좌표 및 타이밍)를 여기에 던졌습니다.

그런 다음 좌표를 기준으로 차이를 계산하고 타이밍을 기준으로 모든 값의 평균을 계산했습니다. 그리고 그는 다소 긴 행렬을 생각해냈습니다. 그는 1D 컨볼루션을 여러 번 적용하여 64xn 크기의 행렬을 얻었습니다. 여기서 n은 총 포인트 수이며, 결과 행렬을 채널 수를 허용하는 컨볼루션 네트워크의 레이어에 공급하기 위해 64가 만들어졌습니다. - 64. 그는 64xn 행렬을 얻었고, 이로부터 채널 수가 64가 되도록 일정 크기의 텐서를 생성해야 했습니다. 그는 0에서 32 사이의 범위에 있는 모든 점 X, Y를 정규화하여 32x32 크기의 텐서. 왜 그가 32x32를 원했는지 모르겠습니다. 그냥 그런 식으로 일어났습니다. 그리고 이 좌표에 그는 64xn 크기의 행렬 조각을 배치했습니다. 따라서 컨볼루셔널 신경망에 추가로 추가할 수 있는 32x32x64 텐서가 생성되었습니다. 그것이 내가 말하고 싶은 전부입니다.

출처 : habr.com