Habré의 기계 학습 대회 주제를 이어가며 독자들에게 두 가지 플랫폼을 더 소개하고 싶습니다. 확실히 Kaggle만큼 거대하지는 않지만 분명히 주목할 가치가 있습니다.

개인적으로 나는 여러 가지 이유로 kaggle을 별로 좋아하지 않습니다:

• 첫째, 대회는 수개월 동안 지속되는 경우가 많으며 적극적으로 참여하려면 많은 노력이 필요합니다.
• 둘째, 공개 커널(공개 솔루션)입니다. Kaggle 지지자들은 티베트 승려처럼 차분하게 그들을 대하라고 조언하지만 실제로는 한두 달 동안 노력해 온 일이 갑자기 모든 사람을 위해 은쟁반에 놓여지는 것이 밝혀지면 꽤 부끄러운 일입니다.

다행스럽게도 다른 플랫폼에서도 머신러닝 대회가 열리고 있는데, 이러한 대회 몇 가지에 대해 논의하겠습니다.

아이다오	SNA 해커톤 2019
공식 언어: 영어, 주최자: Yandex, Sberbank, HSE	공식 러시아어, 주최자: Mail.ru 그룹
온라인 라운드: 15년 11월 2019일~XNUMX월 XNUMX일 현장 결선: 4년 6월 2019~XNUMX일	온라인 - 7월 15일부터 XNUMX월 XNUMX일까지; 오프라인 – 30월 1일부터 XNUMX월 XNUMX일까지.
대형 강입자 충돌기의 입자에 대한 특정 데이터 세트(궤적, 운동량 및 기타 다소 복잡한 물리적 매개변수)를 사용하여 그것이 뮤온인지 아닌지를 결정합니다. 이 진술에서 두 가지 작업이 확인되었습니다. — 하나에서는 예측을 보내야 했고, - 그리고 다른 하나는 예측을 위한 완전한 코드와 모델이며, 실행에는 실행 시간과 메모리 사용에 대해 상당히 엄격한 제한이 적용되었습니다.	SNA 해커톤 대회의 경우 2018년 XNUMX월~XNUMX월 사용자 뉴스 피드에 공개 그룹의 콘텐츠 표시 로그가 수집되었습니다. 테스트 세트에는 XNUMX월 마지막 주와 반이 포함됩니다. 로그의 각 항목에는 무엇을, 누구에게 표시했는지에 대한 정보뿐만 아니라 사용자가 이 콘텐츠에 어떻게 반응했는지(평가, 댓글 작성, 무시 또는 피드에서 숨기기) 정보가 포함됩니다. SNA Hackathon 작업의 핵심은 소셜 네트워크 Odnoklassniki의 각 사용자에게 자신의 피드 순위를 지정하여 "클래스"를 받을 게시물의 순위를 최대한 높이는 것입니다. 온라인 단계에서 작업은 세 부분으로 나누어졌습니다. 1. 다양한 협업 특성에 따라 게시물 순위를 매깁니다. 2. 포함된 이미지를 기준으로 게시물 순위를 매깁니다. 3. 포함된 텍스트에 따라 게시물의 순위를 매깁니다.
ROC-AUC와 같은 복잡한 사용자 정의 지표	사용자별 평균 ROC-AUC
XNUMX차 경품 - N개 자리 티셔츠, XNUMX차 진출, 대회 기간 중 숙소 및 식사 제공 두 번째 단계 - ??? (저는 사정상 시상식에 참석하지 못해 결국 어떤 상품이 있는지는 알 수 없었습니다.) 그들은 승리한 팀의 모든 구성원에게 노트북을 약속했습니다.	첫 번째 단계에 대한 상금 - 최고의 참가자 100명을 위한 티셔츠, 두 번째 단계로의 통과, 대회 기간 동안 모스크바 여행, 숙박 및 식사가 지급됩니다. 또한, 첫 번째 단계가 끝날 무렵, 단계 3의 1개 작업에서 최고에 대한 상품이 발표되었습니다. 모두가 RTX 2080 TI 비디오 카드를 받았습니다! 두 번째 단계는 팀 단계였으며 팀은 2~5명으로 구성되었으며 상금은 다음과 같습니다. 1위 - 300 루블 2위 - 200 루블 3위 - 100 루블 심사위원 상 - 100 루블
공식 텔레그램 그룹, 참가자 약 190명, 영어로 의사소통, 질문에 대한 답변을 며칠 기다려야 함	텔레그램 공식 그룹, 최대 1500명 참가자, 참가자와 주최자 간의 활발한 업무 논의
주최측에서는 단순 솔루션과 고급 솔루션이라는 두 가지 기본 솔루션을 제공했습니다. Simple에는 16GB 미만의 RAM이 필요했으며 고급 메모리는 16에 맞지 않았습니다. 동시에, 조금 앞을 내다보면 참가자들은 고급 솔루션을 크게 능가할 수 없었습니다. 이러한 솔루션을 출시하는 데 어려움은 없었습니다. 고급 예제에는 솔루션 개선을 시작할 위치에 대한 힌트가 포함된 설명이 있다는 점에 유의해야 합니다.	각 작업에 대해 기본적이고 원시적인 솔루션이 제공되었으며 이는 참가자가 쉽게 능가할 수 있었습니다. 대회 초기에 참가자들은 몇 가지 어려움에 직면했습니다. 첫째, 데이터가 Apache Parquet 형식으로 제공되었으며 Python과 Parquet 패키지의 모든 조합이 오류 없이 작동하지는 않았습니다. 두 번째 어려움은 메일 클라우드에서 사진을 다운로드하는 것인데, 현재로서는 많은 양의 데이터를 한 번에 다운로드할 수 있는 쉬운 방법이 없습니다. 결과적으로 이러한 문제로 인해 참가자들은 며칠 동안 지연되었습니다.

IDAO. 첫 단계

과제는 특성에 따라 뮤온/비뮤온 입자를 분류하는 것이었습니다. 이 작업의 주요 특징은 훈련 데이터에 가중치 열이 있다는 것인데, 주최측은 이를 이 라인에 대한 답변에 대한 신뢰도로 해석했습니다. 문제는 꽤 많은 행에 음수 가중치가 포함되어 있다는 것입니다.

힌트가 있는 선에 대해 몇 분 동안 생각한 후(힌트는 단순히 가중치 열의 이 기능에 주의를 끌었습니다) 이 그래프를 작성한 후 우리는 3가지 옵션을 확인하기로 결정했습니다.

1) 음의 가중치가 있는 선의 목표를 반전합니다(및 그에 따른 가중치).
2) 가중치가 0부터 시작되도록 최소값으로 이동합니다.
3) 문자열 가중치를 사용하지 마십시오

세 번째 옵션은 최악으로 판명되었지만 처음 두 개는 결과를 개선했으며 가장 좋은 옵션은 1번 옵션으로 즉시 첫 번째 작업에서 현재 XNUMX위, 두 번째 작업에서 XNUMX위를 차지했습니다.

다음 단계는 누락된 값이 있는지 데이터를 검토하는 것이었습니다. 주최측에서는 누락된 값이 꽤 많은 이미 정리된 데이터를 제공했으며 해당 데이터는 -9999로 대체되었습니다.

MatchedHit_{X,Y,Z}[N] 및 MatchedHit_D{X,Y,Z}[N] 열에서 N=2 또는 3인 경우에만 누락된 값을 찾았습니다. 이해한 바와 같이 일부 입자는 누락된 값을 발견했습니다. 4개의 검출기를 모두 통과하고 3번째 또는 4번째 플레이트에서 정지됩니다. 데이터에는 MatchedHit_{X,Y,Z}[N]과 동일한 내용을 설명하지만 일종의 외삽법을 사용하는 Lextra_{X,Y}[N] 열도 포함되어 있습니다. 이러한 빈약한 추측은 Lextra_{X,Y}[N]이 MatchedHit_{X,Y,Z}[N](X 및 Y 좌표에만 해당)의 누락된 값을 대체할 수 있음을 시사했습니다. MatchedHit_Z[N]은 중앙값으로 잘 채워졌습니다. 이러한 조작을 통해 우리는 두 작업 모두에서 중간 1위에 도달할 수 있었습니다.

첫 번째 무대에서 우승하기 위해 아무것도 바치지 않았다는 점을 생각하면 거기에 머물 수도 있었지만 계속해서 아름다운 그림을 그리고 새로운 기능을 생각해 냈습니다.

예를 들어, 5개의 검출기 판 각각과 입자의 교차점을 플로팅하면 각 판의 점이 4:5의 종횡비를 가진 0,0개의 직사각형으로 그룹화되고 중앙에 위치한다는 것을 알 수 있습니다. 점 (XNUMX) 및 첫 번째 직사각형에는 점이 없습니다.

플레이트 번호/직사각형 치수	1	2	3	4	5
플레이트 1	500х625	1000х1250	2000х2500	4000х5000	8000х10000
플레이트 2	520х650	1040х1300	2080х2600	4160х5200	8320х10400
플레이트 3	560х700	1120х1400	2240х2800	4480х5600	8960х11200
플레이트 4	600х750	1200х1500	2400х3000	4800х6000	9600х12000

이러한 차원을 결정한 후 각 입자에 대해 4개의 새로운 범주형 특징(각 판과 교차하는 직사각형의 수)을 추가했습니다.

우리는 또한 입자가 중앙에서 측면으로 흩어지는 것처럼 보였으며 이 산란의 "품질"을 어떻게든 평가하려는 아이디어가 떠올랐습니다. 이상적으로는 이륙점에 따라 일종의 "이상적인" 포물선을 생각해 내고 그로부터의 편차를 추정하는 것이 가능할 것입니다. 그러나 우리는 "이상적인" 직선으로 제한했습니다. 각 진입점에 대해 이상적인 직선을 구축함으로써 우리는 이 직선에서 각 입자 궤적의 표준편차를 계산할 수 있었습니다. 목표 = 1의 평균 편차는 152이고 목표 = 0의 평균 편차는 390이므로 잠정적으로 이 기능을 양호한 것으로 평가했습니다. 그리고 실제로 이 기능은 즉시 가장 유용한 기능 중 상위권에 올랐습니다.

우리는 기뻤고 이상적인 직선에서 각 입자의 4개 교차점 모두의 편차를 추가 4가지 기능으로 추가했습니다(또한 잘 작동했습니다).

주최측이 우리에게 제공한 대회 주제에 대한 과학 기사 링크는 우리가 이 문제를 해결한 최초의 사람과는 거리가 멀고 아마도 일종의 전문 소프트웨어가 있을 것이라는 생각을 촉발시켰습니다. IsMuonSimple, IsMuon, IsMuonLoose 메소드가 구현된 github의 저장소를 발견하고 이를 약간 수정하여 우리 사이트로 전송했습니다. 방법 자체는 매우 간단했습니다. 예를 들어 에너지가 특정 임계값보다 작으면 뮤온이 아니고 그렇지 않으면 뮤온입니다. 이러한 단순한 기능은 그래디언트 부스팅을 사용하는 경우 분명히 증가를 제공할 수 없으므로 임계값에 또 다른 중요한 "거리"를 추가했습니다. 이러한 기능도 약간 개선되었습니다. 어쩌면 기존 방식을 좀 더 철저하게 분석해 보다 강력한 방식을 찾아 기호에 추가할 수도 있었을 것이다.

대회가 끝난 후 두 번째 문제에 대한 "빠른" 솔루션을 약간 수정했는데, 결국 다음과 같은 점에서 기준선과 달랐습니다.

1. 음의 가중치가 있는 행에서는 목표가 반전되었습니다.
2. MatchedHit_{X,Y,Z}[N]에 누락된 값이 채워졌습니다.
3. 깊이를 7로 줄였습니다.
4. 학습률을 0.1로 줄였습니다(기존 0.19).

결과적으로 우리는 더 많은 기능(매우 성공적이지는 않음)을 시도하고 매개 변수를 선택하고 훈련된 catboost, lightgbm 및 xgboost를 시도하고 다양한 예측 혼합을 시도했으며 개인을 열기 전에 두 번째 작업에서 자신있게 승리했으며 첫 번째 작업에서는 지도자.

프라이빗을 오픈한 후 우리는 첫 번째 작업에서 10위, 두 번째 작업에서 1위를 기록했습니다. 리더들이 모두 헷갈려했고, 리보드보다 비공개 속도가 더 빨랐다. 데이터의 계층화가 제대로 이루어지지 않은 것 같습니다(예를 들어 프라이빗에 음수 가중치가 있는 행이 없었음). 이는 다소 실망스러웠습니다.

SNA 해커톤 2019 - 텍스트. 첫 단계

작업은 포함된 텍스트를 기반으로 Odnoklassniki 소셜 네트워크에서 사용자 게시물의 순위를 매기는 것이었습니다. 텍스트 외에도 게시물의 몇 가지 특성(언어, 소유자, 생성 날짜 및 시간, 보기 날짜 및 시간)이 더 있었습니다. ).

텍스트 작업에 대한 고전적인 접근 방식으로 다음 두 가지 옵션을 강조하겠습니다.

1. 유사한 단어가 유사한 벡터를 갖도록 각 단어를 n차원 벡터 공간에 매핑합니다(자세한 내용은 우리 기사) 그런 다음 텍스트의 평균 단어를 찾거나 단어의 상대적 위치를 고려하는 메커니즘(CNN, LSTM/GRU)을 사용합니다.
2. 전체 문장에 즉시 작업할 수 있는 모델을 사용합니다. 예를 들어, 버트. 이론적으로는 이 접근 방식이 더 잘 작동합니다.

처음으로 텍스트를 경험한 것이기 때문에 누군가를 가르치는 것은 잘못된 것이므로 스스로 가르치겠습니다. 대회가 시작될 때 제가 스스로에게 주고 싶은 팁은 다음과 같습니다.

1. 무언가를 가르치기 전에 데이터를 살펴보세요! 텍스트 자체 외에도 데이터에는 여러 개의 열이 있었고 그 열에서 나보다 훨씬 더 많은 것을 짜내는 것이 가능했습니다. 가장 간단한 방법은 일부 열에 대해 대상 인코딩을 의미하는 것입니다.
2. 모든 데이터에서 배우지 마세요! 데이터가 많았고(약 17만 행), 가설을 테스트하기 위해 모든 데이터를 사용할 필요는 전혀 없었습니다. 훈련과 전처리가 꽤 느렸기 때문에 분명히 더 흥미로운 가설을 테스트할 시간이 있었을 것입니다.
3. <논란의 여지가 있는 조언> 킬러모델을 찾을 필요가 없습니다. 나는 Elmo와 Bert가 나를 즉시 높은 곳으로 데려가기를 바라면서 오랜 시간을 보냈고 그 결과 러시아어에 대해 FastText 사전 훈련된 임베딩을 사용했습니다. Elmo로는 더 나은 속도를 얻을 수 없었고 Bert로는 아직 그것을 알아낼 시간이 없었습니다.
4. <논란의 여지가 있는 조언> 하나의 킬러 기능을 찾을 필요가 없습니다. 데이터를 살펴보면 실제로 텍스트가 포함되어 있지 않은 텍스트가 약 1%에 달하는 것으로 나타났습니다. 하지만 일부 리소스에 대한 링크가 있었고 사이트를 열고 제목과 설명을 꺼내는 간단한 파서를 작성했습니다. 그것은 좋은 생각처럼 보였지만, 나는 흥분하여 모든 텍스트에 대한 모든 링크를 분석하기로 결정했고 다시 많은 시간을 허비했습니다. 이 모든 것이 최종 결과에 큰 개선을 제공하지는 못했습니다(예를 들어 어간 추출을 알아냈지만).
5. 클래식 기능이 작동합니다. 예를 들어 우리는 "텍스트 기능 kaggle"을 Google에서 읽고 모든 것을 추가합니다. TF-IDF는 텍스트 길이, 단어, 구두점의 양과 같은 통계적 특징과 마찬가지로 개선을 제공했습니다.
6. DateTime 열이 있는 경우 여러 개별 기능(시간, 요일 등)으로 구문 분석하는 것이 좋습니다. 강조해야 할 기능은 그래프/일부 측정항목을 사용하여 분석해야 합니다. 여기에서는 변덕스럽게 모든 작업을 올바르게 수행하고 필요한 기능을 강조했지만 일반적인 분석은 손상되지 않았습니다(예: 최종에서 했던 것처럼).

대회 결과, 저는 단어 컨볼루션으로 하나의 keras 모델을 훈련시켰고, 다른 하나는 LSTM과 GRU를 기반으로 훈련시켰습니다. 둘 다 러시아어에 대해 미리 훈련된 FastText 임베딩을 사용했습니다. (다른 여러 임베딩을 시도했지만 이것이 가장 잘 작동했습니다.) 예측을 평균한 결과, 참가자 7명 중 최종 76위를 차지했습니다.

첫 번째 단계가 끝난 후 출판되었습니다. 니콜라이 아노킨의 기사XNUMX위를 차지한(그는 경쟁에 참여하지 않음) 그의 솔루션은 어느 단계까지 나와 반복되었지만 쿼리-키-값 주의 메커니즘으로 인해 더 나아갔습니다.

XNUMX단계 OK & IDAO

대회의 두 번째 단계는 거의 연속적으로 진행되었으므로 함께 살펴보기로 결정했습니다.

첫째, 저와 새로 인수한 팀은 Mail.ru 회사의 인상적인 사무실에 도착했습니다. 그곳에서 우리의 임무는 첫 번째 단계에서 텍스트, 사진 및 공동 작업의 세 가지 트랙 모델을 결합하는 것이었습니다. 이를 위해 2 일 이상이 할당되었지만 매우 적은 것으로 나타났습니다. 실제로 우리는 합병으로 인한 이익을 얻지 못한 채 첫 번째 단계의 결과만 반복할 수 있었습니다. 결국 우리는 5위를 차지했지만 텍스트 모델을 사용하지 못했습니다. 다른 참가자들의 솔루션을 살펴본 결과 텍스트를 클러스터링하여 협업 모델에 추가해 볼 가치가 있었던 것 같습니다. 이 단계의 부작용은 새로운 감동, 멋진 참가자 및 주최자와의 만남과 소통, 심각한 수면 부족으로 IDAO 최종 단계의 결과에 영향을 미쳤을 수 있습니다.

IDAO 2019 최종 단계의 과제는 공항에서 Yandex 택시 운전사의 주문 대기 시간을 예측하는 것이었습니다. 2단계에서는 3개 과제 = 3개 공항이 파악되었습니다. 공항별로 2개월간 택시 호출 건수에 대한 분 단위 데이터가 제공된다. 그리고 테스트 데이터로는 다음 달과 지난 1,5주간의 주문에 대한 분 단위 데이터가 주어졌다. 시간이 거의 없었고(XNUMX일) 작업이 매우 구체적이었고 팀에서 단 한 명만 대회에 참가했기 때문에 결과적으로 끝날 무렵에는 슬픈 장소였습니다. 흥미로운 아이디어에는 날씨, 교통 체증, Yandex 택시 주문 통계 등 외부 데이터를 사용하려는 시도가 포함되었습니다. 주최측은 이들 공항이 무엇인지 밝히지 않았지만 많은 참가자들은 해당 공항이 셰레메티예보(Sheremetyevo), 도모데도보(Domodedovo), 브누코보(Vnukovo)라고 가정했습니다. 비록 이 가정은 대회 후에 반박되었지만, 예를 들어 모스크바 날씨 데이터의 기능은 검증과 순위표 모두에서 결과를 향상시켰습니다.

결론

1. ML 대회는 멋지고 흥미롭습니다! 여기에서는 데이터 분석, 교활한 모델 및 기술 분야의 기술 사용을 찾을 수 있으며 상식도 환영합니다.
2. ML은 이미 기하급수적으로 증가하고 있는 거대한 지식 체계입니다. 나는 다양한 영역(신호, 그림, 표, 텍스트)에 대해 알아가는 목표를 세웠고 이미 공부할 것이 얼마나 많은지 깨달았습니다. 예를 들어, 이러한 대회 후에 저는 클러스터링 알고리즘, 그래디언트 부스팅 라이브러리 작업을 위한 고급 기술(특히 GPU에서 CatBoost 작업), 캡슐 네트워크, 쿼리 키 값 주의 메커니즘을 연구하기로 결정했습니다.
3. 캐글만으로는 안됩니다! 최소한 티셔츠를 얻기가 더 쉽고, 다른 상품을 받을 기회도 더 많은 다른 대회도 많이 있습니다.
4. 의사소통하다! 기계 학습 및 데이터 분석 분야에는 이미 대규모 커뮤니티가 있으며 Telegram, Slack 및 Mail.ru, Yandex 및 기타 회사의 진지한 주제별 그룹이 있어 질문에 답변하고 초보자와 이 분야에서 계속 길을 걷는 사람들을 돕습니다. 지식의.
5. 이전 지점에서 영감을 얻은 모든 사람에게 방문을 권합니다. 데이터페스트 — 모스크바에서 10월 11~XNUMX일에 열리는 주요 자유 회의입니다.

출처 : habr.com