skibidi, flossing 및 javascript를 학습하여 내부 해커톤에서 우승한 방법

VK는 VKontakte의 직원들만 참여할 수 있는 내부 해커톤이라는 멋진 전통을 가지고 있습니다. 올해 XNUMX위를 하고 피로로 인해 전체적으로 사망했지만 스토리 카메라용 댄스 동작 감지기를 시험해 본 팀을 대신하여 해커톤에 대해 말씀드리겠습니다.

내 이름 폴, 저는 최고의 VKontakte 연구 팀을 이끌고 해커톤에 대해 따뜻한 태도를 가지고 있습니다. 참가자(Junction 또는 여러 딥핵)로서 그리고 최근에는 큐레이터(VK 해커톤 또는 Junction의 VKontakte 사례 - 그런데 이번이 처음이었습니다. 나는 러시아 회사에 참여했습니다). 우리는 모두에게 공개되는 VK Hackathon을 XNUMX년째(우리가 Hermitage의 총 본부에 오른 마지막 시간) 개최하고 있으며, 우리 기술 팀의 상당 부분이 VK에 합류하기 전에 여기에 참여했습니다.

내부 해커톤을 통해 팀 자체가 플랫폼을 많이 실험하고 다양한 아이디어를 테스트하며 전반적으로 즐거운 시간을 보낼 수 있습니다. 중요한 차이점은 솔루션이 VK에 훨씬 더 많이 통합될 수 있어 흥미로운 프로토타입을 얻을 수 있는 기회를 제공한다는 것입니다.

해커톤은 하루 종일 Singer House에서 진행됩니다. 주 중반이 되면 본부는 자정 운동으로 변합니다. 아침에 청소부들이 깜짝 놀라 주위를 둘러보는 모습을 보는 것은 재밌습니다. 보통 오전 6시에 비어 있던 사무실이 갑자기 좀비처럼 움직이며 "XNUMX시간 남았습니다!"라고 외치는 덥수룩한 사람들로 가득 차게 됩니다. 또는 새벽 XNUMX시에 부엌에 들어갔을 때 에너지 드링크, 피자, 패닉 등의 세션 중에 대학 기숙사 냄새가 납니다. 물론 이것은 평범한 날에 발생하지만 이렇게 대규모로 일어나는 경우는 드뭅니다.

이전에는 세 번의 내부 해커톤이 여름에 열렸습니다. 2019년에 우리는 사소한 일로 시간을 낭비하지 않고 겨울 해커톤도 개최하기로 결정했습니다. 두 개의 해커톤이 하나보다 훨씬 낫습니다. 왜냐하면 이것은 일반적인 리듬에서 시간이 충분하지 않은 아이디어를 실험하고 구현할 수 있는 멋진 기회이기 때문입니다. 규칙도 변경되었습니다. 이전에는 팀에 최대 38명이 있을 수 있었지만 올해는 XNUMX명이었는데 한 명은 코드를 작성하지 않고 다른 일을 전문으로 합니다. 디자이너, 제품 관리자, 테스터, 마케팅 담당자 및 기타 사람들을 팀에 초대하는 것이 가능했습니다. 이번 해커톤에는 총 XNUMX개 팀이 참가했습니다.

Dreamtim (더 정확하게는 38개 중 하나)

우리는 다음과 합의했습니다. 다네이 그리고 우리는 함께 확신했습니다 에고르 и 티오마 팀에 합류하세요. 예상대로 모델은 우리를, Egor는 iOS를, Tyoma는 생산과 디자인을 담당했습니다. 모바일 개발 + 디자인 + 약간의 머신러닝과 백엔드가 2k19 해커톤 성공의 열쇠입니다.

올해에도 이전에는 존재하지 않았던 미디어(우리가 참여한), 커뮤니케이션, 인프라, 콘텐츠 및 엔터테인먼트 등의 트랙 구분이 나타났습니다. 우리에게는 강력한 경쟁자가 있었습니다. 예를 들어, 우리는 VK의 수석 디자이너로부터 끊임없이 동기를 부여 받았습니다. Илья, 그는 우리 방에 들어와서 그의 팀 아이디어의 프로토타입을 보여주었습니다.

생각

— 제가 참여한 거의 모든 해커톤에서 상을 받았고, 이번 겨울 내부 해커톤에서도 마찬가지일 것이라 기대했습니다. (단야 스스로에 대한 자신감이 있었다)

우리(특히 Danina의) 아이디어는 처음에 이랬습니다. 음악 생성이라는 주제를 탐구하고 모든 것을 장치에 담고 싶었습니다. 그렇지 않으면 "너무 백엔드"가 될 것입니다. 해커톤은 브레인스토밍으로 시작되었습니다. 우리는 무엇을 생각해낼 수 있을지 생각했습니다. 음악을 생성하는 것은 흥미롭지만 사용자 의존적으로 만들고 싶습니다. 버튼이 좀요? 화면에 그림을 그리고 이를 기반으로 음악을 생성해볼까요? 동시에 우리는 필요한 트랙을 추가하는 방법을 Music 팀의 직원들로부터 배웠습니다. 그러나 여전히 그것은 옳지 않은 것 같았습니다. 이웃 팀들은 각자의 노트북으로 즐겁게 무언가 작업을 하고 있어 답답함을 자아냈습니다.

— 마치 기타를 연주하는 것처럼 에어 기타를 인식하고, 이에 따라 기타 소리를 연주한다면 어떨까요? (테마)

빙고! 그 아이디어는 전투적이며 우리는 모든 것을 훌륭하게 정리할 수 있는 힘을 가지고 있습니다. 동작인식에는 포세넷, 그리고 그녀는 매우 괜찮습니다(모바일 친화적이기도 합니다). 척하자!

결정

주요 작업은 장치에 그리드를 만들고(실제여야 함) 움직임을 인식하는 방법을 배우는 것입니다. Egor는 포팅을 시작했고 Tyoma는 어떤 동작을 포함하면 흥미로울지 생각하기 시작했고(기타만 있으면 지루함) Danya와 나는 그것을 인식하기 시작했습니다. 하지만 이를 위해서는 데이터가 필요합니다. PRO와 아마추어의 차이점은 무엇인가요? PRO에는 GPU가 포함된 클러스터가 있습니다. 즉, 두 가지가 있습니다. PRO는 필요할 때 자체적으로 데이터를 수집합니다. Danya는 카메라에서 인식된 인물의 원시 좌표 데이터를 기록한 다음 춤을 추는 스탠드를 구성했습니다! 그날 밤 우리는 치실 춤을 배웠습니다. 스키비디 и 두차.

움직임을 기록하기 위한 스탠드로 우리는 업무용 노트북을 사용했는데, Dani가 또 다른 이해할 수 없는 JS 오류를 발견했을 때 Dani의 얼굴(그는 이전에 JS에서 한 줄도 쓴 적이 없었습니다)을 먼저 기록했습니다.

— 이해가 안 돼요. 레벨 오류가 있습니다. Python에서 인쇄가 사라졌습니다! (단야)

밤의 춤 (문자 그대로)

우리는 밤에 카메라 앞에서 여러 시간 동안 연속적인 움직임을 촬영했습니다. 직접 녹음도 했고, 바닥에 떠돌고 있는 개발자들을 붙잡아 강제로 댄스를 시키기도 했습니다. 우리는 XNUMX가지의 서로 다른 조합을 얻었습니다. 이제 우리는 그것들을 구별하는 방법을 배워야 했습니다.

"나는 그 사람들이 살아 있는지 확인하기 위해 XNUMX시간마다 찾아왔습니다." 파샤가 소리쳤습니다. “우리에겐 피벗이 있어요!” -그리고 Danya는 온 힘을 다해 몸을 구부렸습니다. 그런 다음 모두가 파이프 춤을 췄습니다. Daniil의 힘이 떨어지자 Pasha는 창문을 열고 말했습니다. "얘들 아, 우리는 기분 전환이 필요합니다." (Madina)

그림의 데이터는 전처리되었습니다. 즉, 다리를 빼고 머리의 평균을 낸 다음 몸통을 기준으로 한 극좌표로 변환했습니다. 우리는 모델에서 XNUMX초 동안 발췌한 데이터 스트림을 사용하여 catboost를 사용하여 동작 감지기를 훈련했습니다. 오늘 밤까지 우리는 라이브러리를 다루지 않았습니다. 그것은 전투적인 것으로 판명되었으며 iOS에 넣을 수 있습니다.

그들은 다중 클래스 분류를 가르쳤는데, 한 클래스는 가능한 한 지루하게 진행되었습니다. 단지 카메라 앞에서 어슬렁거리는 것뿐이었습니다. 가장 어려운 일은 "바위" 동작을 녹음하는 것이었습니다. 우리는 너무 사심 없이 고개를 저었고 잠시 후 회전하기 시작했습니다. 그리고 그들은 "염소"로 손을 내밀었지만 이것은 무의미했습니다. Posnet은 손 전체에 단 하나의 지점만을 가지고 있으며 손가락이 보이지 않습니다.

— 새벽 3시쯤, 파샤는 침낭에 올라가서 한 시간 동안 그 안에서만 움직이며 진짜 캥거루처럼 뛰어다녔습니다. (Madina)

오전 8시쯤 우리는 작은 위기에 직면했습니다. 모든 것이 고장나고 아무것도 작동하지 않더니 갑자기 모든 것이 저절로 작동하기 시작했습니다. 두 모델을 모두 응용 프로그램에 연결하는 것이 가장 큰 과제로 판명되었습니다. Egor는 말 그대로 마감 시간 XNUMX분 전에 조립을 마쳤습니다. 그에게 바닥을 줍시다:

— 아이디어를 찾은 후 모든 것이 매우 순조롭게 생산적으로 진행되었습니다. 사람들은 그리드를 훈련하고 춤을 추었고, 저는 브라우저에서 직접 JavaScript로 스토리 카메라에 PoseNet을 연결했습니다. 초기 테스트 실행은 잘 작동했고 놀라울 정도로 빨랐습니다. 따라서 아침에 말도 안되는 텍스처 작업을 할 때 WebView의 WebGL이 예기치 않게 충돌하고 해결책을 찾을 방법이 없다는 것이 밝혀졌을 때 저는 거의 절망에 빠졌습니다. 그러나 포기하기에는 너무 늦었습니다. 우리는 아이디어에 불타올랐습니다. 따라서 우리는 마지막 힘을 다해 마지막 레드불 캔을 사용하여 이동 중에 CoreML 기반 대체 모델을 iOS 클라이언트로 드래그하고 기본적으로 포즈를 추적하기 시작했습니다. 그런 다음 춤과 함께 모델에 전송했습니다. 출력에서 결과를 얻습니다. 본질적으로 우리는 작업을 다시 반복했습니다! 또 다른 도전은 갑자기 천 개가 넘는 인수를 입력으로 기대하기 시작한 두 번째 모델이었습니다! Xcode는 직접 사용하기에는 비현실적인 인터페이스를 생성했습니다. 다행스럽게도 Objective-C에 대한 나의 지식은 나를 실망시키지 않았고 훌륭한 해결책을 찾았습니다. (예고 르)

투구

금요일 오후 14시에 프로젝트에 대한 동영상 업로드 마감일이 있었는데 여러 팀이 시간 내에 도착하지 못해 실격 처리되었습니다. 그리고 14시 40분에는 제품과 관련된 트랙 큐레이터들에게 피칭을 했습니다. 비디오 및 음악 팀의 팀원들이 있었는데 그들은 경기장의 모든 것을 좋아하는 것 같았습니다. 우리는 트랙에서 XNUMX위를 차지했고(우리는 정말 멋진 프로젝트가 있기 때문에 먼저 가고 싶었습니다!) 결승에 진출했습니다(우리 트랙의 두 팀이 자격을 얻었습니다).

— 올해 처음으로 내부 해커톤의 큐레이터를 맡았습니다. 나는 자제력을 가지고 말할 것입니다. 작업을 평가하는 것은 극히 어려웠습니다. 예외없이 모든 팀의 수준은 믿기지 않았습니다. 기능은 단순히 기술적으로 진보해서는 안 되고, “생산에 가까워야” 할 뿐만 아니라 “우리 제품에 잠재적으로 유용할 수도” 있어야 합니다. 우승한 프로젝트는 이러한 기준을 모두 동시에 충족해야 합니다. 그 사람들이 성공한 것 같습니다. (앤드류)

오후 17시 40분에 마지막 피칭을 했습니다. 이번에는 전체 팀을 위한 또 다른 데모를 준비해야 했으며 심사위원단은 기술 디렉터, 제품 디렉터, 마케팅 디렉터로 다양했습니다.

저녁 XNUMX시에 모든 것이 끝났습니다. 우리는 결과에 대해 아무것도 모르고 집에 가서 잠자리에 들었습니다.

결과는 드디어

결과는 월요일에만 발표되었습니다. 첫째, 그들은 트랙의 우승자를 수여했습니다 (우리의 경우는 아닙니다. 우리가 두 번째 였음을 상기시켜 드리겠습니다). 그런 다음 청중의 리더가 투표하고 (우리가 아님) 세 번째 (그리고 이것도 우리가 아닙니다) 두 번째(다시 말하지만 우리가 아님) 그리고 마지막으로 우리입니다.

우리가 경쟁해야 했던 프로젝트는 다음과 같습니다.

2위 - 반응형 음성 어시스턴트;
3위 - 내부 오류 타임라인
People's Choice 상은 다가오는 채팅 회의를 상기시켜 줍니다.

— 지금까지 참가한 해커톤 중 최고였습니다. 심지어 Junction보다 훨씬 더 많은 드라이브가 있었습니다. (단야)

— 완전히 다른 부서의 동료들과 함께 일하는 것이 정말 즐거웠습니다. 이전에는 머신러닝을 접해본 적이 없었고, 그것은 나에게 일종의 마술 같았지만 지금은 그렇지 않습니다. (예고 르)

— 이렇게 멋진 프로젝트를 진행하는 멋진 팀의 일원이 되어서 정말 좋았어요. 어느 날 저는 디자이너, 비디오그래퍼, 사운드 엔지니어, 편집자, 음악가, 카피라이터가 되었습니다! 잠을 잘 수 있는 사람은 나뿐이었다. (테마)

해커톤 이후의 삶

해커톤에서 개발된 대부분의 프로젝트는 초점 변경, 구현의 복잡성, 구현에서 예상치 못한 문제 등 다양한 이유로 판매에 실패합니다. 내부 해커톤도 예외는 아닙니다.

그럼에도 불구하고 우리는 빛을 본 프로젝트를 나열합니다.

• 모두가 좋아하는 다빈치;
• 사용자 호환성 확인, 14년 2018월 XNUMX일 출시;
• красивые 포스터 짧은 항목의 경우;
• 그리고 우리가 기꺼이 이야기하고 싶지만 그럴 수 없는 여러 내부 기능에 대해서도 설명합니다. :)

출처 : habr.com