🥇데이터 과학자 노트: 어디서부터 시작해야 하고, 꼭 필요한가?

요약하자면, 이것은 데이터 과학에 대한 Q&A 게시물이며, 이 직업에 뛰어들어 성장하는 방법에 대한 내용입니다. 이 글에서는 기본 원칙과 FAQ를 분석하고 여러분의 구체적인 질문에 답할 준비가 되어 있습니다. 댓글(또는 개인 메시지)로 질문을 남겨주세요. 며칠 안에 모든 질문에 답변해드리도록 노력하겠습니다.

"사탄주의자의 데이터"라는 제목의 노트가 공개되면서, 어떻게 시작해야 할지, 어디서 파야 할지에 대한 질문과 함께 많은 메시지와 댓글이 달렸고, 오늘은 출판 이후 제기된 주요 기술과 의문점을 분석해보겠습니다.

여기에 언급된 모든 내용은 궁극적인 진실이라고 주장하는 것이 아니며 저자의 주관적인 의견일 뿐입니다. 우리는 이 과정에서 가장 중요해 보이는 주요 사항들을 살펴보겠습니다.

이것이 정확히 왜 필요한가요?

목표를 더 달성 가능하게 만들고 적어도 구체적으로 보이게 하려면(예: Facebook/Apple/Amazon/Netflix/Google에서 DS 또는 연구 과학자가 되고 싶은 경우) 해당 직위에 대한 요구 사항, 언어 및 필요한 기술을 구체적으로 살펴보세요. 채용 절차는 어떻게 되나요? 이런 역할을 맡으면 일반적으로 하루를 어떻게 보내나요? 그곳에서 일하는 사람들의 평균적인 프로필은 어떤가요?

종종 전체적인 그림은 사람이 자신이 정확히 무엇을 원하는지 잘 모르고, 이 불분명한 이미지에 대비하는 방법을 전혀 모르는 경우가 많습니다. 따라서 자신이 정확히 무엇을 원하는지에 대한 대략적인 계획을 세우는 것이 좋습니다.

현재 목표 표현을 지정하세요

연극이 진행되면서 계획이 바뀌는 것은 일반적으로 정상적인 일이지만, 목표를 염두에 두고 그것에 집중하고 주기적으로 평가하고 다시 생각해보는 것이 좋습니다.

그것은 관련이 있을까요? 아니면 여전히 관련이 있을까요?

당신이 그 자리에 오를 때까지.

직장에 들어가기 전에 박사학위를 취득하고, 업계에서 2~3년 일하고, 수도원에서 명상을 하면서 머리를 자르는 상황을 상상해보세요. 경제학자와 변호사에게 일어났던 일과 같은 상황이 데이터 과학에도 일어나지 않을까요? 당신이 일하고 싶은 분야에서 모든 것이 알아볼 수 없을 정도로 바뀔까요?

이제 모든 사람이 그곳으로 달려갈 가능성이 크지 않을까요? 그러면 이 직업에 들어가려고 하는 사람들이 매우 다양해지고, 시작할 자리도 턱없이 부족해질 겁니다.

진로를 선택할 때 단순히 노동 시장의 현재 상태만이 아니라, 노동 시장이 어떻게 변화하고 있는지, 어떤 단계에 있는지에 대한 자신의 인식도 고려하는 것이 좋습니다.

예를 들어, 저자는 데이터 사탄주의자가 될 계획이 없었지만 박사과정 동안 데이터 사탄주의자와 기술이 매우 유사한 사이드 프로젝트를 진행했고, 대학원 과정을 마친 후 좋은 직책을 보고 자연스럽게 환경 분야로 옮겼습니다.

연극이 진행되면서 다른 곳으로 이동해야 하는 경우(현재 액션이 진행 중인 곳이고 가장 흥미로운 일들이 일어나는 곳) 우리는 자연스럽게 그곳으로 이동할 것입니다.

기술 분석

이는 DS에서 완전하고 효과적인 작업을 위해 핵심이 되는 것으로 보이는 조건부 기술 범주입니다. 영어를 별도로 강조하고 싶습니다. CS에서 무엇을 하든 영어를 배우세요. 주요 범주는 아래와 같습니다.

프로그래밍/스크립팅

꼭 배워야 할 언어는 무엇인가요? 파이썬? 자바? 쉘 스크립팅? 루아? SQL? C++?

프로그래밍 측면에서 정확히 무엇을 할 수 있어야 하고, 왜 필요한가 - 이에 대한 직위 범위는 매우 다양합니다.

예를 들어, 복잡한 논리, 쿼리, 모델, 분석 기능을 구현하고 일반적으로 해석되는 시스템을 개발해야 하는 경우가 많지만 가장 일반적이고 합리적인 경우를 제외하면 코드 실행 속도에 대한 요구 사항은 거의 없습니다.

따라서 제 기술 세트는 Tensorflow 라이브러리를 작성하고 l1 캐시를 효율적으로 사용하기 위해 코드를 최적화하는 것과 같은 것에 대해 생각하는 사람과는 매우 다릅니다. 따라서 정확히 무엇이 필요한지 살펴보고 학습을 위한 올바른 경로를 평가하세요.

예를 들어, Python의 경우 사람들은 이미 다음과 같이 구성하고 있습니다. 카드 언어 학습.

여러분의 필요에 맞는 경험이 풍부한 사람들의 팁과 좋은 자료가 이미 있을 것입니다. 목록을 만들고 작업을 시작해야 합니다.

비즈니스 프로세스 이해

이것 없이는 할 수 없습니다. 왜 이 과정에서 자신이 필요한지, 무엇을 하고 있는지, 왜 하는지 이해해야 합니다. 이렇게 하면 많은 시간을 절약하고, 혜택을 극대화하며, 쓸데없는 일에 시간과 자원을 낭비하지 않을 수 있습니다.

저는 보통 제 자신에게 다음과 같은 질문을 던집니다.

회사에서 정확히 무슨 일을 하나요?
이유는 무엇입니까?
누가 어떻게 사용할 것인가?
어떤 옵션이 있나요?
내부의 매개변수는 무엇입니까?

매개변수에 대해 좀 더 자세히 설명하겠습니다. 희생해야 할 부분이 있다는 것을 알고 있다면 작업 시나리오를 크게 바꿀 수 있는 경우가 많습니다. 예를 들어, 해석 가능성 또는 그 반대의 경우, 몇 퍼센트는 여기서는 역할을 하지 않을 것입니다. 우리는 매우 빠른 솔루션을 가지고 있으며, 클라이언트는 AWS에서 파이프라인 시간에 대한 비용을 지불하기 때문에 그것을 필요로 합니다.

수학

여기서는 모든 것을 스스로 이해한다고 생각합니다. 하지만 기본 수학 지식이 없다면 수류탄을 든 원숭이에 불과할 뿐입니다(랜덤 포레스트에서는 죄송합니다). 따라서 최소한 기본적인 사항은 이해해야 합니다. 아주 간단한 목록을 만든다면 다음과 같습니다.

선형대수학 - 구글에서 쉽게 찾을 수 있는 자료가 매우 많으므로, 자신에게 가장 적합한 자료를 찾아보세요.
수학적 분석 - (최소한 처음 두 학기 동안)
확률 이론은 머신 러닝의 모든 곳에 존재합니다.
조합론은 실제로 믿음 이론을 보완합니다.
그래프 이론 - 최소한 기본;
알고리즘 - 최소한 처음 두 학기 분량만큼은 (코르멘의 책에서 추천하는 내용 참조)
수학적 논리 - 최소한 기본에 대해서요.

실용적인 데이터 분석 및 시각화

가장 중요한 것 중 하나는 데이터를 직접 다루는 것을 두려워하지 않고 데이터 세트와 프로젝트에 대한 포괄적인 분석을 수행하고 데이터를 빠르게 시각화할 수 있는 능력입니다.

탐색적 데이터 분석은 다른 모든 데이터 변환과 마찬가지로 자연스러운 일이 되어야 하며, Unix 도구에서 간단한 파이프라인을 구축하거나 읽기 쉽고 이해하기 쉬운 노트북을 작성하는 능력도 필요합니다(이전 문서 참조).

시각화에 대해서는 별도로 언급하고 싶습니다. 백 번 듣는 것보다 한 번 보는 것이 낫습니다.

관리자에게 그래프를 보여주는 것은 숫자 집합을 보여주는 것보다 백 배나 쉽고 이해하기 쉽습니다. 따라서 matplotlib, seaborn, ggplot2가 여러분의 친구가 되어줄 것입니다.

소프트 스킬

여러분의 아이디어뿐만 아니라 결과와 우려 사항 등을 다른 사람들에게 전달할 수 있는 능력도 마찬가지로 중요합니다. 기술적 용어와 비즈니스 용어로 작업을 명확하게 설명할 수 있는지 확인하세요.

동료, 관리자, 상사, 고객 및 무슨 일이 일어나고 있는지, 어떤 데이터를 사용하고 있는지, 어떤 결과를 달성했는지 알아야 하는 모든 사람에게 설명할 수 있습니다.

귀하의 차트와 문서는 귀하가 없어도 읽을 수 있어야 합니다. 즉, 거기에 쓰여진 내용을 이해하기 위해 직접 찾아갈 필요는 없습니다.

요점을 명확하게 전달하고 프로젝트나 업무를 문서화하기 위해 명확한 프레젠테이션을 만들 수 있습니다.

당신은 감정에 얽매이지 않고 이성적으로 자신의 입장을 표현할 수 있습니다. "예/아니오"라고 말하거나, 결정에 대해 의문을 제기하거나 지지할 수 있습니다.

훈련

이런 모든 것을 배울 수 있는 곳은 매우 다양합니다. 간단한 목록을 알려드리겠습니다. 저는 모든 것을 다 시도해 보았고, 솔직히 말해서 각 항목마다 장단점이 있습니다. 여러 가지 옵션을 시도해 보고 자신에게 맞는 것을 선택하세요. 하지만 여러 가지 옵션을 시도해 보고 하나에만 갇히지 않는 것을 강력히 권장합니다.

온라인 강좌: Coursera, Udacity, Edx 등
새로운 학교: 온라인과 오프라인 - SkillFactory, SHAD, MADE;
고전 학교: 대학 석사 과정 및 고등 교육 과정;
프로젝트 - 관심 있는 작업을 간단히 선택하고 작업한 후 github에 게시하면 됩니다.
인턴십 - 여기서 무언가를 제안하기는 어렵습니다. 이용 가능한 인턴십을 찾아 적합한 옵션을 찾아야 합니다.

필요한가요?

결론적으로, 제가 따르려고 노력하는 세 가지 개인적 원칙을 덧붙이고 싶습니다.

흥미로울 것 같아요.
내면의 즐거움을 가져다 준다(적어도 고통을 유발하지는 않는다);
"당신의 것이 되길 바랍니다."

왜 그들인가? 매일 어떤 일을 하면서 그것을 좋아하지 않거나 관심이 없다는 것은 상상하기 어렵습니다. 당신이 의사이고 사람들과 소통하는 것을 싫어한다고 상상해보세요. 물론 이런 방식이 어떻게든 통할 수도 있겠지만, 끊임없이 무언가를 물어보고 싶어하는 환자들 때문에 불편함을 느낄 것입니다. 이건 장기적으로는 효과가 없습니다.

왜 구체적으로 내적 쾌락에 대해 언급했을까? 저는 이것이 더 나아가 발전하는 데, 그리고 원칙적으로는 학습 과정에 필요하다고 생각합니다. 복잡한 기능을 완성하고 모델을 구축하거나 중요한 매개변수를 계산할 때 정말 즐거움을 느낍니다. 제가 만든 코드가 아름답고 잘 작성되어 있으면 기쁩니다. 그렇기 때문에 새로운 것을 배우는 것은 흥미롭고 별다른 동기 부여가 필요하지 않습니다.

"당신의 것이 되는 것"은 바로 이것이 당신이 하고 싶었던 일이라는 느낌입니다. 제가 할 이야기가 하나 있습니다. 저는 어릴 때부터 록 음악(그리고 메탈 - SALMON!)에 관심이 있었고, 다른 많은 사람들처럼 연주하는 법을 배우고 싶어했습니다. 저는 귀도 없고 목소리도 없다는 걸 알게 되었어요. 전혀 신경 쓰이지 않았어요. (그리고 많은 공연자들이 무대에서도 이런 것에 신경 쓰지 않는다는 걸 꼭 말씀드리고 싶어요.) 그러다가 학생이 되어서 기타를 하나 얻었는데... 그러고 보니 몇 시간씩 앉아서 연주하는 게 별로 마음에 들지 않았어요. 정말 힘들었어요. 뭔가 엉터리인 것 같은 기분이 계속 들었어요. 아무런 즐거움도 느끼지 못했고, 그저 형편없고, 어리석고, 완전히 무능하다고만 느꼈어요. 나는 말 그대로 앉아서 공부하려고 노력했지만 전혀 소용이 없었습니다.

동시에, 저는 몇 시간이고 앉아서 플래시(또는 다른 것)로 스크립트를 사용하여 무언가를 애니메이션화하는 게임을 개발할 수 있었고, 게임의 요소를 완성하거나 움직임의 메커니즘을 파악하거나 타사 라이브러리, 플러그인 및 기타 모든 것을 연결하는 데 엄청난 동기를 부여받았습니다.

그리고 어느 순간 저는 기타를 치는 게 제 스타일이 아니라는 걸 깨달았고, 사실 연주하는 것보다 듣는 게 더 좋다는 걸 깨달았습니다. 그리고 제가 게임과 코드를 쓸 때(그때는 온갖 종류의 메탈 음악을 듣고 있었죠) 제 눈은 빛났고, 그게 제가 그때 좋아했던 거고, 제가 해야 할 일이었습니다.