Pavel Klemenkov, NVIDIA: 우리는 데이터 과학자가 할 수 있는 것과 그가 할 수 있어야 하는 것 사이의 격차를 줄이기 위해 노력하고 있습니다.

데이터 과학 및 비즈니스 인텔리전스 Ozon Masters 석사 과정 학생의 두 번째 입학이 시작되었습니다. 지원서를 종료하고 온라인 시험을 치르기로 결정하는 것을 더 쉽게 하기 위해 프로그램 교사에게 공부하고 일할 때 무엇을 기대할 수 있는지 물었습니다. 데이터로.

최고 데이터 과학자 NVIDIA 및 교사 빅데이터 및 데이터 엔지니어링 강좌 Pavel Klemenkov는 수학자들이 코드를 작성하고 Ozon Masters에서 XNUMX년 동안 공부해야 하는 이유에 대해 이야기했습니다.

— 데이터 사이언스 알고리즘을 활용하는 기업이 많나요?

- 실제로 꽤 많습니다. 정말 큰 데이터를 보유한 꽤 많은 대기업이 효과적으로 작업을 시작했거나 오랫동안 작업해 왔습니다. 시장의 절반이 엑셀 스프레드시트에 들어갈 수 있거나 대규모 서버에서 계산할 수 있는 데이터를 사용하고 있는 것은 분명하지만, 데이터를 다룰 수 있는 업체가 소수에 불과하다고는 할 수 없습니다.

— 데이터 사이언스가 활용되는 프로젝트에 대해 간략하게 소개해주세요.

— 예를 들어 Rambler에서 근무하는 동안 우리는 RTB(실시간 입찰) 원칙에 따라 작동하는 광고 시스템을 만들고 있었습니다. 우리는 광고 구매를 최적화하거나 예를 들어 확률을 예측할 수 있는 많은 모델을 구축해야 했습니다. 클릭, 전환 등의 정보를 제공합니다. 동시에 광고 경매는 잠재 광고 구매자에 대한 사이트 요청 로그, 광고 노출 로그, 클릭 로그 등 많은 데이터를 생성합니다. 이는 하루에 수십 테라바이트에 달하는 데이터입니다.

또한 이러한 작업에 대해 우리는 흥미로운 현상을 관찰했습니다. 모델을 훈련하기 위해 더 많은 데이터를 제공할수록 모델의 품질이 높아집니다. 일반적으로 일정량의 데이터가 지나면 예측 품질이 더 이상 향상되지 않으며 정확도를 더욱 향상하려면 근본적으로 다른 모델, 데이터 준비, 특성 등에 대한 다른 접근 방식을 사용해야 합니다. 여기에 더 많은 데이터를 업로드했고 품질이 향상되었습니다.

이는 분석가가 적어도 실험을 수행하기 위해 먼저 대규모 데이터 세트로 작업해야 했고 아늑한 MacBook에 맞는 작은 샘플로는 작업할 수 없는 전형적인 경우입니다. 동시에 분산 모델이 필요했습니다. 그렇지 않으면 학습할 수 없었기 때문입니다. 프로덕션에 컴퓨터 비전이 도입되면서 사진은 많은 양의 데이터이고 대규모 모델을 훈련하려면 수백만 장의 사진이 필요하기 때문에 이러한 예가 점점 더 보편화되고 있습니다.

이 모든 정보를 저장하는 방법, 효과적으로 처리하는 방법, 분산 학습 알고리즘을 사용하는 방법에 대한 질문이 즉시 발생합니다. 초점은 순수 수학에서 엔지니어링으로 이동하고 있습니다. 프로덕션 환경에서 코드를 작성하지 않더라도 엔지니어링 도구를 사용하여 실험을 수행할 수 있어야 합니다.

— 최근 몇 년 동안 데이터 과학 공석에 대한 접근 방식이 어떻게 바뀌었나요?

— 빅데이터는 과장이 아니라 현실이 되었습니다. 하드 드라이브는 매우 저렴하므로 모든 데이터를 수집하여 향후 가설을 테스트하기에 충분할 수 있습니다. 결과적으로 빅데이터 작업을 위한 도구에 대한 지식이 점점 대중화되고 있으며, 결과적으로 데이터 엔지니어에 대한 공석이 점점 더 많이 나타나고 있습니다.

제가 이해한 바에 따르면, 데이터 사이언티스트의 작업 결과는 실험이 아니라 생산에 들어간 제품입니다. 그리고 이러한 관점에서 볼 때 빅 데이터에 대한 과대 광고가 등장하기 전에는 프로세스가 더 간단했습니다. 엔지니어는 특정 문제를 해결하기 위해 기계 학습에 참여했으며 알고리즘을 생산에 적용하는 데 문제가 없었습니다.

— 인기 있는 전문가로 남으려면 무엇이 필요합니까?

— 이제 기계 학습 이론인 수학을 연구하고 데이터 분석 대회에 참가한 많은 사람들이 데이터 과학에 왔습니다. 즉, 기성 인프라가 제공됩니다. 재현 가능하고 빠른 솔루션에 대한 요구 사항입니다.

그 결과, 사람들은 비즈니스 현실에 대한 준비가 제대로 되어 있지 않은 채 일하게 되고, 초보자와 숙련된 개발자 사이에 격차가 형성됩니다.

기성 모듈에서 자신만의 모델을 조립할 수 있는 도구의 개발과 Microsoft, Google 및 기타 많은 업체가 이미 이러한 솔루션을 보유하고 있으며 기계 학습의 자동화로 인해 이러한 격차는 더욱 커질 것입니다. 앞으로 이 직업에는 새로운 알고리즘을 고안하는 진지한 연구원과 모델을 구현하고 프로세스를 자동화할 개발된 엔지니어링 기술을 갖춘 직원이 필요할 것입니다. 데이터 엔지니어링의 Ozon Masters 과정은 엔지니어링 기술과 빅 데이터에 대한 분산 기계 학습 알고리즘을 사용하는 능력을 개발하도록 설계되었습니다. 우리는 데이터 과학자가 할 수 있는 일과 실제로 할 수 있어야 하는 일 사이의 격차를 줄이기 위해 노력하고 있습니다.

— 졸업장을 가진 수학자가 경영학을 공부해야 하는 이유는 무엇입니까?

— 러시아 데이터 과학 커뮤니티는 기술과 경험이 매우 빠르게 돈으로 전환된다는 점을 이해하게 되었습니다. 따라서 전문가가 실제 경험을 쌓자마자 그의 비용은 매우 빠르게 증가하기 시작하고 가장 숙련된 사람의 비용은 매우 비쌉니다. 현재 개발시장의 상황은 그렇습니다.

데이터 과학자의 업무 중 가장 큰 부분은 데이터에 들어가서 거기에 무엇이 있는지 이해하고, 비즈니스 프로세스를 담당하는 사람들과 상담하여 이 데이터를 생성한 다음 이를 사용하여 모델을 구축하는 것입니다. 빅 데이터 작업을 시작하려면 엔지니어링 기술을 갖추는 것이 매우 중요합니다. 이를 통해 데이터 과학에 많은 부분이 있는 날카로운 모서리를 피하는 것이 훨씬 쉬워집니다.

일반적인 이야기: 빅 데이터에서 실행되는 Hive 프레임워크를 사용하여 실행되는 SQL로 쿼리를 작성했습니다. 요청은 XNUMX분 안에, 최악의 경우에는 XNUMX~XNUMX시간 안에 처리되며, 종종 이 데이터를 다운로드할 때 몇 가지 요소나 추가 정보를 고려하는 것을 잊었다는 것을 깨닫게 됩니다. 요청을 다시 보내고 몇 분, 몇 시간을 기다려야 합니다. 당신이 효율성 천재라면 다른 일을 맡게 되겠지만, 실습에서 알 수 있듯이 효율성 천재는 거의 없고 사람들은 기다리고만 있습니다. 따라서 본 과정에서는 처음에 XNUMX시간이 아닌 몇 분 동안 작동하는 쿼리를 작성하기 위해 작업 효율성을 높이는 데 많은 시간을 투자할 것입니다. 이 기술은 생산성을 배가시키고 전문가의 가치를 배가시킵니다.

– Ozon Masters는 다른 코스와 어떻게 다른가요?

— Ozon Masters는 Ozon 직원이 강의하며, 과제는 기업에서 해결한 실제 비즈니스 사례를 기반으로 합니다. 실제로, 엔지니어링 기술이 부족한 것 외에도 대학에서 데이터 과학을 공부한 사람에게는 또 다른 문제가 있습니다. 비즈니스 작업이 비즈니스 언어로 공식화되고 목표는 매우 간단합니다. 더 많은 돈을 버는 것입니다. 수학자들은 수학적 지표를 최적화하는 방법을 잘 알고 있지만 비즈니스 지표와 상관관계가 있는 지표를 찾는 것은 어렵습니다. 그리고 비즈니스 문제를 해결하고 있다는 점을 이해하고 비즈니스와 함께 수학적으로 최적화할 수 있는 측정항목을 공식화해야 합니다. 이 스킬은 실제 사례를 통해 습득하며 오존에서 제공합니다.
그리고 사례를 무시하더라도 학교에서는 실제 회사에서 비즈니스 문제를 해결하는 많은 실무자가 가르칩니다. 결과적으로 교육 자체에 대한 접근 방식은 여전히 ​​더 실천 지향적입니다. 적어도 내 과정에서는 도구를 사용하는 방법, 존재하는 접근 방식 등에 초점을 맞추려고 노력할 것입니다. 학생들과 함께 우리는 각 작업마다 고유한 도구가 있고 각 도구에는 적용 가능한 영역이 있다는 것을 이해하게 됩니다.

— 가장 유명한 데이터 분석 교육 프로그램은 물론, ShAD인데, 정확히 어떤 차이가 있나요?

— ShAD 및 Ozon Masters는 교육 기능 외에도 인력 교육의 지역 문제를 해결하는 것이 분명합니다. 최고의 SHAD 졸업생은 주로 Yandex에 채용되지만 Yandex는 그 특성으로 인해 규모가 크고 빅 데이터 작업을 위한 좋은 도구가 거의 없었을 때 만들어졌으며 데이터 작업을 위한 자체 인프라와 도구를 가지고 있습니다. 즉, 당신은 그것들을 마스터해야 한다는 것을 의미합니다. Ozon Masters에는 다른 메시지가 있습니다. 프로그램을 성공적으로 마스터하고 Ozon 또는 99%의 다른 회사 중 하나가 귀하를 직장에 초대하는 경우 비즈니스에 이익을 주기 시작하는 것이 훨씬 쉬울 것입니다. Ozon Masters의 일부로 습득한 기술 세트 그냥 일을 시작하는 것만으로도 충분할 것입니다.

— 이 과정은 XNUMX년 동안 진행됩니다. 왜 이것에 그렇게 많은 시간을 할애해야 합니까?

- 좋은 질문. 내용이나 교사 수준 면에서 숙제를 포함하여 숙달하는 데 많은 시간이 필요한 통합 석사 프로그램이기 때문에 시간이 오래 걸립니다.

내 코스 관점에서 볼 때, 학생이 과제에 일주일에 2~3시간을 할애할 것으로 기대하는 것은 흔한 일입니다. 첫째, 작업은 훈련 클러스터에서 수행되며 공유 클러스터는 여러 사람이 동시에 사용한다는 것을 의미합니다. 즉, 작업 실행이 시작될 때까지 기다려야 하며 일부 리소스가 선택되어 더 높은 우선 순위 대기열로 전송될 수 있습니다. 반면에 빅데이터를 다루는 작업은 시간이 많이 걸립니다.

프로그램, 빅 데이터 작업 또는 엔지니어링 기술에 대해 더 궁금한 점이 있으시면 Ozon Masters가 25월 12일 토요일 00:XNUMX에 온라인 오픈 데이를 가질 예정입니다. 우리는 선생님과 학생들을 만나요 줌 과 유튜브.

출처 : habr.com