2019년 XNUMX~XNUMX월 소셜 네트워크 피드 순위 경쟁이 진행되었습니다. SNA 해커톤 2019, 우리 팀이 XNUMX위를 차지했습니다. 이 기사에서는 대회 조직, 우리가 시도한 방법, 빅 데이터 교육을 위한 Catboost 설정에 대해 설명하겠습니다.

SNA 해커톤

이 이름으로 해커톤이 열리는 것은 이번이 세 번째다. 이는 각각 소셜 네트워크 ok.ru에 의해 구성되며 작업과 데이터는 이 소셜 네트워크와 직접적으로 관련됩니다.
이 경우 SNA(소셜 네트워크 분석)는 소셜 그래프 분석이 아니라 소셜 네트워크 분석으로 이해하는 것이 더 정확합니다.

• 2014년의 임무는 게시물이 받을 좋아요 수를 예측하는 것이었습니다.
• 2016년 - VVZ 작업(아마도 친숙할 수도 있음)은 소셜 그래프 분석에 더 가깝습니다.
• 2019년에는 사용자가 게시물을 좋아할 가능성을 기준으로 사용자 피드의 순위를 매깁니다.

2014년은 말할 수 없지만 2016년과 2019년에는 데이터 분석 능력 외에도 빅데이터를 다루는 능력도 필요했습니다. 제가 이 대회에 참여하게 된 것은 머신러닝과 빅데이터 처리 문제의 결합 때문이었던 것 같아요. 그리고 이 분야에서의 경험이 제가 우승하는 데 도움이 됐어요.

mlbootcamp

2019년에는 플랫폼에서 대회가 개최되었습니다. https://mlbootcamp.ru.

이번 대회는 7월 3일 온라인으로 시작됐으며 XNUMX개 과제로 구성됐다. 누구나 사이트에 등록하고 다운로드할 수 있습니다. 기준 그리고 몇 시간 동안 차에 짐을 싣으세요. 15월 15일 온라인 무대가 끝나면 각 쇼점프 종목 상위 30명이 Mail.ru 사무실로 초대되어 1월 XNUMX일부터 XNUMX월 XNUMX일까지 진행된 오프라인 무대를 펼칠 수 있었습니다.

태스크

소스 데이터는 사용자 ID(userId)와 게시물 ID(objectId)를 제공합니다. 사용자에게 게시물이 표시된 경우 데이터에는 userId, objectId, 이 게시물에 대한 사용자 반응(피드백) 및 다양한 기능 집합이나 사진 및 텍스트에 대한 링크가 포함된 줄이 포함됩니다.

사용자 ID	개체 ID	소유자 ID	피드백	형상
3555	22	5677	[좋아요, 클릭]	[해시1]
12842	55	32144	[싫어요]	[해시2,해시3]
13145	35	5677	[클릭, 공유]	[해시2]

테스트 데이터 세트에는 유사한 구조가 포함되어 있지만 피드백 필드가 누락되었습니다. 과제는 피드백 필드에서 '좋아요' 반응의 존재를 예측하는 것입니다.
제출 파일의 구조는 다음과 같습니다.

사용자 ID	SortedList[객체 ID]
123	78,13,54,22
128	35,61,55
131	35,68,129,11

측정항목은 사용자의 평균 ROC AUC입니다.

데이터에 대한 자세한 설명은 다음에서 확인할 수 있습니다. 의회 웹사이트. 테스트와 사진을 포함한 데이터를 다운로드할 수도 있습니다.

온라인 스테이지

온라인 단계에서는 과제가 3부분으로 나누어졌습니다.

• 협업 시스템 — 이미지와 텍스트를 제외한 모든 기능을 포함합니다.
• Изображения — 이미지에 대한 정보만 포함합니다.
• 텍스트 — 텍스트에 대한 정보만 포함합니다.

오프라인 스테이지

오프라인 단계에서는 데이터에 모든 기능이 포함되어 있었고 텍스트와 이미지는 드물었습니다. 데이터세트에는 1,5배 더 많은 행이 있었고 그 중 이미 많은 행이 있었습니다.

문제 해결

저는 직장에서 이력서를 작성하기 때문에 이번 대회에서 "이미지" 작업으로 여정을 시작했습니다. 제공된 데이터는 userId, objectId, ownerId(게시물이 게시된 그룹), 게시물 생성 및 표시를 위한 타임스탬프, 그리고 물론 이 게시물의 이미지였습니다.
타임스탬프를 기반으로 여러 기능을 생성한 후 다음 아이디어는 imagenet에서 사전 훈련된 뉴런의 두 번째 레이어를 가져와 이러한 임베딩을 부스팅으로 보내는 것이었습니다.

결과는 인상적이지 않았습니다. 이미지넷 뉴런의 임베딩은 관련이 없습니다. 나만의 오토인코더를 만들어야 한다고 생각했습니다.

시간이 많이 걸렸고 결과가 좋아지지 않았습니다.

기능 생성

이미지 작업에는 시간이 많이 걸리므로 더 간단한 작업을 하기로 결정했습니다.
보시다시피, 데이터 세트에는 몇 가지 범주형 기능이 있으며, 너무 귀찮게 하지 않기 위해 방금 catboost를 사용했습니다. 솔루션은 훌륭했습니다. 아무런 설정 없이도 즉시 순위표의 첫 번째 줄에 도달했습니다.

데이터가 꽤 많고 Parquet 형식으로 구성되어 있어서 고민할 필요도 없이 스칼라를 선택해서 Spark로 다 작성하기 시작했습니다.

이미지 임베딩보다 더 많은 성장을 가져온 가장 간단한 기능은 다음과 같습니다.

• objectId, userId 및 ownerId가 데이터에 나타난 횟수(인기도와 상관관계가 있어야 함)
• userId가 ownerId에서 본 게시물 수(그룹에 대한 사용자의 관심도와 연관되어야 함)
• ownerId의 게시물을 본 고유 userId 수(그룹 청중의 규모를 반영)

타임스탬프를 통해 사용자가 피드를 시청한 시간(아침/오후/저녁/밤)을 얻을 수 있었습니다. 이러한 카테고리를 결합하면 계속해서 기능을 생성할 수 있습니다.

• userId가 저녁에 로그인한 횟수;
• 이 게시물이 가장 자주 표시되는 시간(objectId) 등.

이 모든 것이 점차적으로 측정항목을 개선했습니다. 그러나 훈련 데이터 세트의 크기는 약 20천만 레코드이므로 기능을 추가하면 훈련 속도가 크게 느려집니다.

나는 데이터 사용에 대한 나의 접근 방식을 다시 생각해 보았습니다. 데이터는 시간에 따라 다르지만 "미래에" 명백한 정보 유출을 보지 못했지만 만일을 대비하여 다음과 같이 분류했습니다.

우리에게 제공되는 훈련 세트(2월과 2월 XNUMX주)는 XNUMX개 부분으로 나누어졌습니다.
모델은 지난 N일 동안의 데이터로 학습되었습니다. 위에 설명된 집계는 테스트를 포함한 모든 데이터를 기반으로 구축되었습니다. 동시에, 대상 변수의 다양한 인코딩을 구축할 수 있는 데이터가 나타났습니다. 가장 간단한 접근 방식은 이미 새로운 기능을 생성하고 있는 코드를 재사용하고, 훈련되지 않고 목표 = 1이 될 데이터를 간단히 제공하는 것입니다.

따라서 비슷한 기능을 얻었습니다.

• userId가 ownerId 그룹의 게시물을 본 횟수입니다.
• userId가 ownerId 그룹의 게시물을 좋아요 표시한 횟수입니다.
• userId가 ownerId로부터 좋아요를 누른 게시물의 비율입니다.

즉, 밝혀졌다 평균 목표 인코딩 범주형 기능의 다양한 조합에 대한 데이터세트의 일부입니다. 원칙적으로 catboost는 대상 인코딩도 구축하므로 이 관점에서는 이점이 없지만 예를 들어 이 그룹의 게시물을 좋아한 고유 사용자 수를 계산하는 것이 가능해졌습니다. 동시에 주요 목표도 달성되었습니다. 데이터 세트가 여러 번 줄어들었고 계속해서 특성을 생성할 수 있었습니다.

catboost는 좋아요 반응을 기반으로만 인코딩을 구축할 수 있지만 피드백에는 다시 공유, 싫어요, 좋아요 취소, 클릭, 무시 등의 다른 반응이 있으며 수동으로 수행할 수 있는 인코딩이 있습니다. 데이터 세트가 부풀려지지 않도록 모든 종류의 집계를 다시 계산하고 중요도가 낮은 기능을 제거했습니다.

그 당시 나는 큰 차이로 XNUMX위를 차지했다. 유일하게 혼란스러웠던 점은 이미지 임베딩이 거의 성장을 보이지 않았다는 점이었습니다. Catboost에 모든 것을 제공하려는 아이디어가 나왔습니다. Kmeans 이미지를 클러스터링하고 새로운 범주형 기능 imageCat을 얻습니다.

다음은 KMeans에서 얻은 클러스터를 수동으로 필터링하고 병합한 후의 일부 클래스입니다.

imageCat을 기반으로 다음을 생성합니다.

• 새로운 범주형 기능:
  • userId가 가장 자주 본 imageCat은 무엇입니까?
  • 어느 imageCat이 ownerId를 가장 자주 표시합니까?
  • userId가 가장 자주 좋아한 imageCat은 무엇입니까?
• 다양한 카운터:
  • userId를 본 고유한 imageCat의 수;
  • 위에서 설명한 대로 약 15개의 유사한 기능과 대상 인코딩이 추가됩니다.

텍스트

이미지 경쟁의 결과가 나에게 적합했고 나는 텍스트에 손을 대기로 결정했습니다. 나는 이전에 텍스트 작업을 많이 해본 적이 없었고, 어리석게도 tf-idf와 svd에서 하루를 망쳤습니다. 그런 다음 내가 필요한 것을 정확히 수행하는 doc2vec의 기준선을 보았습니다. doc2vec 매개변수를 약간 조정하여 텍스트 임베딩을 얻었습니다.

그런 다음 이미지 임베딩을 텍스트 임베딩으로 대체한 이미지 코드를 재사용했습니다. 그 결과, 텍스트 대회에서 2위를 차지했습니다.

협업 시스템

아직 막대기로 찔러보지 못한 대회가 하나 남아 있었는데, 리더보드의 AUC로 판단하면 이 대회의 결과가 오프라인 무대에 가장 큰 영향을 미쳤을 것입니다.
원본 데이터에 있는 모든 기능을 선택하고 범주형 기능을 선택하고 이미지 자체를 기반으로 하는 기능을 제외하고 이미지와 동일한 집계를 계산했습니다. 이것을 catboost에 넣는 것만으로도 2위를 차지했습니다.

Catboost 최적화의 첫 번째 단계

XNUMX위 XNUMX위, XNUMX위 XNUMX위는 기뻤으나 특별한 일을 하지 않았다는 이해가 있어 순위 하락을 예상할 수 있었다.

대회의 과제는 사용자 내에서 게시물의 순위를 매기는 것인데, 이번에는 분류 문제, 즉 잘못된 측정항목을 최적화하는 문제를 해결하고 있었습니다.

간단한 예를 들어 보겠습니다.

사용자 ID	개체 ID	예측	지상 진실
1	10	0.9	1
1	11	0.8	1
1	12	0.7	1
1	13	0.6	1
1	14	0.5	0
2	15	0.4	0
2	16	0.3	1

작은 재배치를 해보자

사용자 ID	개체 ID	예측	지상 진실
1	10	0.9	1
1	11	0.8	1
1	12	0.7	1
1	13	0.6	0
2	16	0.5	1
2	15	0.4	0
1	14	0.3	1

우리는 다음과 같은 결과를 얻습니다.

모델	AUC	사용자1 AUC	사용자2 AUC	평균 AUC
옵션 1	0,8	1,0	0,0	0,5
옵션 2	0,7	0,75	1,0	0,875

보시다시피, 전체 AUC 지표를 개선한다고 해서 사용자 내 평균 AUC 지표가 개선되는 것은 아닙니다.

캣부스트 순위 지표를 최적화하는 방법을 알고 있습니다. 박스에서. 순위 측정항목에 대해 읽었는데, 성공 사례 catboost를 사용할 때 YetiRankPairwise를 밤새 훈련하도록 설정하세요. 결과는 인상적이지 않았습니다. 훈련이 부족하다고 판단하여 오류 기능을 QueryRMSE로 변경했는데, 이는 catboost 문서에 따르면 더 빠르게 수렴됩니다. 결국 분류 훈련을 할 때와 같은 결과를 얻었지만, 이 두 모델의 앙상블이 좋은 증가를 보여 세 대회 모두에서 XNUMX위를 차지했습니다.

"협업 시스템" 대회의 온라인 무대가 끝나기 5분 전에 Sergey Shalnov가 나를 XNUMX위로 끌어올렸습니다. 우리는 더 먼 길을 함께 걸어갔습니다.

오프라인 무대 준비

우리는 RTX 2080 TI 비디오 카드로 온라인 무대에서 승리를 보장 받았지만 주요 상금 300 루블과 아마도 최종 000 위조차도이 2 주 동안 일해야했습니다.

결과적으로 Sergey는 catboost도 사용했습니다. 우리는 아이디어와 기능을 교환했고, 나는 다음에 대해 배웠습니다. Anna Veronica Dorogush의 보고서 여기에는 내 많은 질문에 대한 답변이 포함되어 있었고 그 당시에는 아직 얻지 못한 질문도 포함되어 있었습니다.

보고서를 보면서 모든 매개변수를 기본값으로 되돌리고 매우 신중하게 일련의 기능을 수정한 후에만 설정을 수행해야 한다는 생각을 갖게 되었습니다. 이제 하나의 훈련에 약 15시간이 걸렸지만, 한 모델은 순위가 있는 앙상블에서 얻은 것보다 더 나은 속도를 얻었습니다.

기능 생성

Collaborative Systems 대회에서는 수많은 기능이 모델에 중요한 것으로 평가됩니다. 예를 들어, auditweights_spark_svd -가장 중요한 표시이지만 그것이 의미하는 바에 대한 정보는 없습니다. 중요한 특징을 중심으로 다양한 집계를 해보면 어떨까 하는 생각이 들었습니다. 예를 들어 사용자, 그룹, 개체별 평균 auditweights_spark_svd입니다. 훈련을 하지 않은 데이터와 목표 = 1, 즉 평균을 이용하여 동일하게 계산할 수 있습니다. auditweights_spark_svd 사용자가 좋아하는 개체별로. 그 외에 중요한 징후 auditweights_spark_svd, 여러 개가있었습니다. 그 중 일부는 다음과 같습니다.

• 감사가중치Ctr성별
• 감사가중치Ctr높음
• userOwnerCounterCreateLikes

예를 들어, 평균 감사가중치Ctr성별 userId에 따르면 평균값과 마찬가지로 중요한 기능인 것으로 나타났습니다. userOwnerCounterCreateLikes userId+ownerId 기준. 이는 이미 필드의 의미를 이해해야 한다고 생각하게 만들 것입니다.

또한 중요한 기능은 다음과 같습니다 감사 가중치좋아요 수 и auditweightsShowsCount. 하나씩 나누어 보면 훨씬 더 중요한 특징이 얻어졌습니다.

데이터 유출

경쟁과 생산 모델링은 매우 다른 작업입니다. 데이터를 준비할 때 모든 세부 사항을 고려하고 테스트에서 대상 변수에 대한 일부 중요한 정보를 전달하지 않는 것은 매우 어렵습니다. 프로덕션 솔루션을 만드는 경우 모델을 훈련할 때 데이터 유출을 방지하려고 노력할 것입니다. 하지만 경쟁에서 이기고 싶다면 데이터 유출이 최고의 기능입니다.

데이터를 연구한 결과 objectId 값에 따라 이를 확인할 수 있습니다. 감사 가중치좋아요 수 и auditweightsShowsCount 이는 이러한 기능의 최대값 비율이 표시 당시의 비율보다 변환 후를 훨씬 더 잘 반영한다는 것을 의미합니다.

우리가 발견한 첫 번째 누출은 다음과 같습니다. auditweightsLikesCountMax/auditweightsShowsCountMax.
하지만 데이터를 좀 더 자세히 살펴보면 어떨까요? 공연 날짜별로 정렬하여 다음을 얻습니다.

개체 ID	사용자 ID	auditweightsShowsCount	감사 가중치좋아요 수	대상(좋아요)
1	1	12	3	아마도 그렇지 않을 것이다
1	2	15	3	어쩌면 네
1	3	16	4

그러한 예를 처음 발견했을 때 놀랐고 내 예측이 실현되지 않았다는 것이 밝혀졌습니다. 그러나 물체 내에서 이러한 특성의 최대 값이 증가했다는 사실을 고려하여 우리는 게으르지 않고 찾기로 결정했습니다. auditweightsShowsCountNext и auditweights좋아요수다음, 즉 다음 순간의 값입니다. 기능을 추가하여
(auditweightsShowsCountNext-auditweightsShowsCount)/(auditweightsLikesCount-auditweightsLikesCountNext) 우리는 빠르게 날카로운 점프를 했습니다.
다음 값을 찾아 유사한 누출을 사용할 수 있습니다. userOwnerCounterCreateLikes userId+ownerId 내에서 예를 들어 감사가중치Ctr성별 objectId+userGender 내에서. 우리는 누출이 있는 유사한 필드 6개를 발견하고 그로부터 가능한 많은 정보를 추출했습니다.

그때까지 우리는 협업 기능에서 가능한 한 많은 정보를 짜냈지만 이미지 및 텍스트 경쟁으로 돌아가지는 않았습니다. 좋은 생각이 떠올랐습니다. 관련 대회에서 이미지나 텍스트를 직접 기반으로 한 기능이 얼마나 도움이 될까요?

이미지 및 텍스트 경쟁에는 누출이 없었지만 그때쯤에는 기본 catboost 매개변수를 반환하고 코드를 정리하고 몇 가지 기능을 추가했습니다. 총 금액은 다음과 같습니다.

결정	곧
이미지 포함 최대	0.6411
최대 이미지 없음	0.6297
XNUMX위 결과	0.6295

결정	곧
텍스트 포함 최대	0.666
텍스트 없이 최대	0.660
XNUMX위 결과	0.656

결정	곧
협업의 최대치	0.745
XNUMX위 결과	0.723

우리가 텍스트와 이미지를 많이 짜낼 수 없다는 것이 분명해졌고, 가장 흥미로운 몇 가지 아이디어를 시도한 후에 우리는 작업을 중단했습니다.

협업 시스템의 추가 기능 생성은 증가하지 않았으며 순위를 매기기 시작했습니다. 온라인 단계에서는 분류 및 순위 앙상블을 통해 소폭 상승했는데, 이는 제가 분류를 제대로 훈련하지 않았기 때문인 것으로 나타났습니다. YetiRanlPairwise를 포함한 어떤 오류 함수도 LogLoss가 수행한 결과(0,745 대 0,725)에 가까운 결과를 생성하지 않았습니다. 런칭하지 못한 QueryCrossEntropy에 대한 희망은 여전히 ​​남아 있었습니다.

오프라인 스테이지

오프라인 단계에서 데이터 구조는 동일하게 유지되었지만 사소한 변경 사항이 있었습니다.

• userId, objectId, ownerId 식별자가 다시 무작위화되었습니다.
• 여러 표지판이 제거되고 일부 이름이 변경되었습니다.
• 데이터가 약 1,5배 증가했습니다.

나열된 어려움 외에도 한 가지 큰 장점이 있었습니다. 팀에는 RTX 2080TI가 탑재된 대규모 서버가 할당되었습니다. 나는 오랫동안 htop을 즐겼습니다.

이미 존재하는 것을 단순히 재현하는 아이디어는 하나뿐이었습니다. 서버에 환경을 설정하는 데 몇 시간을 보낸 후, 결과가 재현 가능한지 점차적으로 검증하기 시작했습니다. 우리가 직면하고 있는 가장 큰 문제는 데이터 양의 증가입니다. 우리는 부하를 조금 줄이고 catboost 매개변수 ctr_complexity=1을 설정하기로 결정했습니다. 이렇게 하면 속도가 약간 느려지지만 내 모델이 작동하기 시작했고 결과는 0,733으로 좋았습니다. Sergey는 나와 달리 데이터를 두 부분으로 나누지 않고 모든 데이터에 대해 훈련을 했는데, 이것이 온라인 단계에서는 가장 좋은 결과를 주었지만 오프라인 단계에서는 많은 어려움이 있었습니다. 우리가 생성한 모든 기능을 Catboost에 집어넣으려고 하면 온라인 단계에서는 아무 것도 작동하지 않을 것입니다. Sergey는 예를 들어 float2 유형을 float64로 변환하는 등 유형 최적화를 수행했습니다. 이 글에서, Pandas에서 메모리 최적화에 대한 정보를 찾을 수 있습니다. 그 결과, Sergey는 모든 데이터를 사용하여 CPU에 대해 훈련했고 약 0,735를 얻었습니다.

이러한 결과는 승리하기에 충분했지만 우리는 진정한 속도를 숨겼고 다른 팀도 그렇지 않다는 것을 확신할 수 없었습니다.

마지막까지 싸워라

Catboost 튜닝

우리의 솔루션은 완전히 재현되었으며 텍스트 데이터와 이미지의 기능을 추가했으므로 남은 것은 catboost 매개변수를 조정하는 것뿐이었습니다. Sergey는 적은 횟수의 반복으로 CPU에 대해 훈련했고, 나는 ctr_complexity=1인 CPU에 대해 훈련했습니다. 하루 남았는데, 반복을 추가하거나 ctr_complexity를 늘리면 아침에는 훨씬 더 빠른 속도를 얻을 수 있고 하루 종일 걸을 수 있습니다.

오프라인 단계에서는 사이트에서 가장 좋은 솔루션이 아닌 것을 선택하는 것만으로도 속도를 매우 쉽게 숨길 수 있습니다. 우리는 제출이 마감되기 전 마지막 몇 분 동안 순위표에 급격한 변화가 있을 것으로 예상했고 멈추지 않기로 결정했습니다.

Anna의 동영상을 통해 모델의 품질을 향상하려면 다음 매개변수를 선택하는 것이 가장 좋다는 것을 배웠습니다.

• 학습_속도 — 기본값은 데이터 세트의 크기를 기준으로 계산됩니다. learning_rate를 높이려면 반복 횟수를 늘려야 합니다.
• l2_leaf_reg — 정규화 계수, 기본값은 3입니다. 2~30 사이에서 선택하는 것이 좋습니다. 값을 줄이면 과적합이 증가합니다.
• 포장_온도 — 샘플의 객체 가중치에 무작위화를 추가합니다. 기본값은 1이며, 여기서 가중치는 지수 분포에서 추출됩니다. 값을 줄이면 과적합이 증가합니다.
• 무작위_강도 — 특정 반복에서 분할 선택에 영향을 줍니다. Random_strength가 높을수록 중요도가 낮은 분할이 선택될 가능성이 높아집니다. 이후 반복할 때마다 무작위성이 감소합니다. 값을 줄이면 과적합이 증가합니다.

다른 매개변수는 최종 결과에 미치는 영향이 훨씬 작으므로 선택하지 않았습니다. ctr_complexity=1을 사용하여 GPU 데이터세트에 대한 교육을 한 번 반복하는 데 20분이 걸렸으며, 축소된 데이터세트에서 선택한 매개변수는 전체 데이터세트의 최적 매개변수와 약간 달랐습니다. 결국 데이터의 30%에 대해 약 10번의 반복을 수행한 다음 전체 데이터에 대해 약 10번의 반복을 더 수행했습니다. 다음과 같은 결과가 나왔습니다.

• 학습_속도 기본값보다 40% 늘렸습니다.
• l2_leaf_reg 그대로 두었습니다.
• 포장_온도 и 무작위_강도 0,8로 줄었습니다.

모델이 기본 매개변수로 충분히 훈련되지 않았다는 결론을 내릴 수 있습니다.

리더보드에서 결과를 보고 매우 놀랐습니다.

모델	1 모델	2 모델	3 모델	앙상블
튜닝하지 않고	0.7403	0.7404	0.7404	0.7407
튜닝으로	0.7406	0.7405	0.7406	0.7408

나는 모델의 빠른 적용이 필요하지 않다면 매개변수 선택을 최적화되지 않은 매개변수를 사용하는 여러 모델의 앙상블로 대체하는 것이 더 낫다는 결론을 내렸습니다.

Sergey는 GPU에서 실행하기 위해 데이터 세트의 크기를 최적화하고 있었습니다. 가장 간단한 옵션은 데이터의 일부를 잘라내는 것이지만 여러 가지 방법으로 이를 수행할 수 있습니다.

• 데이터 세트가 메모리에 들어갈 때까지 가장 오래된 데이터(XNUMX월 초)를 점차적으로 제거합니다.
• 중요도가 가장 낮은 기능을 제거합니다.
• 항목이 하나만 있는 userId를 제거합니다.
• 테스트에 있는 userId만 남겨두세요.

그리고 궁극적으로 모든 옵션을 조합하여 앙상블을 만드세요.

마지막 앙상블

마지막 날 늦은 저녁까지 우리는 0,742를 산출하는 모델의 앙상블을 배치했습니다. 하룻밤 사이에 ctr_complexity=2로 모델을 시작했고 30분이 아닌 5시간 동안 훈련했습니다. 오전 4시에야 집계가 되었고 마지막 앙상블을 만들었고 공개 리더보드에서 0,7433을 기록했습니다.

문제 해결에 대한 다양한 접근 방식으로 인해 우리의 예측은 강한 상관 관계가 없었으며 이로 인해 앙상블이 크게 증가했습니다. 좋은 앙상블을 얻으려면 원시 모델 예측 예측(prediction_type='RawFormulaVal')을 사용하고 scale_pos_weight=neg_count/pos_count를 설정하는 것이 좋습니다.

홈페이지에서 보실 수 있습니다 비공개 리더보드의 최종 결과.

기타 솔루션

많은 팀이 추천 시스템 알고리즘의 표준을 따랐습니다. 저는 이 분야의 전문가가 아니어서 평가할 수 없지만 두 가지 흥미로운 해결책을 기억합니다.

• Nikolay Anokhin의 솔루션. Mail.ru의 직원인 Nikolay는 상품을 신청하지 않았기 때문에 그의 목표는 최대 속도를 달성하는 것이 아니라 쉽게 확장 가능한 솔루션을 얻는 것이었습니다.
• 심사위원상 수상팀의 결정은 다음을 바탕으로 합니다. 페이스북에 나온 이 기사, 수동 작업 없이 매우 우수한 이미지 클러스터링이 가능합니다.

결론

내 기억에 가장 기억에 남는 것은:

• 데이터에 범주형 특징이 있고 대상 인코딩을 올바르게 수행하는 방법을 알고 있다면 catboost를 사용해 보는 것이 더 좋습니다.
• 대회에 참가하는 경우 learning_rate 및 iterations 이외의 매개변수를 선택하는 데 시간을 낭비해서는 안 됩니다. 더 빠른 해결책은 여러 모델의 앙상블을 만드는 것입니다.
• 부스팅은 GPU에서 학습할 수 있습니다. Catboost는 GPU에서 매우 빠르게 학습할 수 있지만 메모리를 많이 소모합니다.
• 아이디어를 개발하고 테스트하는 동안 작은 rsm~=0.2(CPU만) 및 ctr_complexity=1로 설정하는 것이 좋습니다.
• 다른 팀들과 달리 우리 모델들의 앙상블이 큰 상승세를 줬어요. 우리는 단지 아이디어를 교환하고 다른 언어로 글을 썼습니다. 우리는 데이터를 분할하는 데 서로 다른 접근 방식을 사용했으며 각각 고유한 버그가 있다고 생각합니다.
• 순위 최적화가 분류 최적화보다 성능이 떨어지는 이유는 명확하지 않습니다.
• 나는 텍스트 작업에 대한 경험을 얻었고 추천 시스템이 어떻게 만들어지는지에 대한 이해를 얻었습니다.

감동과 지식, 상을 주신 주최측에 감사드립니다.

출처 : habr.com