데이터 과학 팀에 전문가가 아닌 일반 전문가가 필요한 이유

와타나베 히로시/게티 이미지

국부론(The Wealth of Nations)에서 아담 스미스(Adam Smith)는 노동 분업이 어떻게 생산성 향상의 주요 원천이 되는지 보여줍니다. 예를 들어 핀 공장의 조립 라인이 있습니다. "한 작업자가 와이어를 당기고, 다른 작업자가 와이어를 곧게 펴고, 세 번째 작업자가 자르고, 네 번째 작업자가 끝을 날카롭게 하고, 다섯 번째 작업자가 다른 쪽 끝을 갈아서 머리에 맞춥니다." 특정 기능에 초점을 맞춘 전문화 덕분에 각 직원은 자신의 좁은 업무에 대해 높은 자격을 갖춘 전문가가 되어 프로세스 효율성이 향상됩니다. 작업자 XNUMX인당 생산량이 몇 배로 증가하고 공장의 핀 생산 효율성도 높아집니다.

이러한 기능별 업무 분업은 오늘날에도 우리 마음 속에 깊이 뿌리박혀 있어 이에 따라 신속하게 팀을 구성했습니다. 데이터 과학도 예외는 아닙니다. 복잡한 알고리즘 비즈니스 기능에는 여러 업무 기능이 필요하므로 기업은 일반적으로 연구원, 데이터 엔지니어, 기계 학습 엔지니어, 원인 분석 과학자 등 전문가로 구성된 팀을 구성합니다. 전문가의 작업은 핀 공장과 유사한 방식으로 기능 이전을 통해 제품 관리자에 의해 조정됩니다. "한 사람이 데이터를 받고, 다른 사람이 이를 모델링하고, 세 번째 사람이 이를 실행하고, 네 번째 측정" 등이 있습니다.

아쉽게도 생산성 향상을 위해 데이터 과학 팀을 최적화해서는 안 됩니다. 그러나 당신이 생산하는 것이 무엇인지(핀 등) 이해하고 단순히 효율성을 높이려고 노력할 때 이 작업을 수행합니다. 조립 라인의 목적은 작업을 완료하는 것입니다. 우리는 핀(Smith의 예에서와 같이)이 무엇인지 정확히 알고 있지만 요구 사항이 제품과 해당 동작의 모든 측면을 완전히 설명하는 제품이나 서비스를 언급할 수 있습니다. 직원의 역할은 이러한 요구 사항을 최대한 효율적으로 충족하는 것입니다.

하지만 데이터 과학의 목표는 작업을 완료하는 것이 아닙니다. 오히려 목표는 강력하고 새로운 비즈니스 기회를 탐색하고 개발하는 것입니다. 추천 시스템, 고객 상호 작용, 스타일 선호도 분류, 사이즈, 의류 디자인, 물류 최적화, 계절별 추세 감지 등과 같은 알고리즘 제품 및 서비스는 미리 개발할 수 없습니다. 그것들은 연구되어야 합니다. 복제할 청사진은 없습니다. 이는 내재된 불확실성을 지닌 새로운 가능성입니다. 계수, 모델, 모델 유형, 하이퍼파라미터 등 필요한 모든 요소는 실험, 시행착오, 반복을 통해 학습해야 합니다. 핀의 경우 생산에 앞서 교육과 디자인이 수행됩니다. 데이터 과학을 사용하면 이전이 아닌 지금처럼 배울 수 있습니다.

핀 공장에서는 교육이 먼저일 때, 우리는 작업자가 생산 효율성을 향상시키는 것 외에 제품의 어떤 기능도 즉흥적으로 수행하는 것을 기대하지도 원하지도 않습니다. 작업을 전문화하는 것은 프로세스 효율성과 생산 일관성(최종 제품 변경 없이)으로 이어지기 때문에 의미가 있습니다.

그러나 제품이 아직 개발 중이고 목표가 교육인 경우 다음과 같은 경우 전문화가 우리의 목표를 방해합니다.

1. 조정 비용이 증가합니다.

즉, 수행해야 할 작업에 대해 의사소통하고, 논의하고, 정당화하고, 우선순위를 지정하는 데 소요되는 시간 동안 누적되는 비용입니다. 이러한 비용은 관련된 사람의 수에 따라 초선형적으로 확장됩니다. (J. Richard Hackman이 우리에게 가르쳤듯이, 관계 r의 수는 r = (n^2-n)/2 방정식에 따라 항 n의 수의 함수와 유사하게 증가합니다. 그리고 각 관계는 어느 정도의 양을 드러냅니다. 비용 관계.) 데이터 과학자가 기능별로, 모든 단계에서, 모든 변경, 모든 인계 등으로 구성되면 많은 전문가가 필요하므로 조정 비용이 증가합니다. 예를 들어, 새로운 기능을 실험하려는 통계 모델러는 새로운 것을 시도하고 싶을 때마다 데이터 세트에 추가하는 데이터 엔지니어와 협력해야 합니다. 마찬가지로 훈련된 각각의 새로운 모델은 모델 개발자가 이를 프로덕션에 투입하기 위해 협력할 사람이 필요하다는 것을 의미합니다. 조정 비용은 반복에 대한 대가로 작용하여 반복을 더 어렵고 비용이 많이 들고 연구를 포기할 가능성이 더 높습니다. 이는 학습을 방해할 수 있습니다.

2. 대기 시간이 어려워집니다.

조정 비용보다 더 어려운 것은 교대근무 사이의 시간 손실입니다. 조정 비용은 일반적으로 몇 시간(회의, 토론, 디자인 검토를 수행하는 데 걸리는 시간) 단위로 측정되지만 대기 시간은 일반적으로 며칠, 몇 주 또는 몇 달 단위로 측정됩니다! 기능 전문가의 일정은 각 전문가가 여러 프로젝트에 분산되어야 하기 때문에 균형을 맞추기가 어렵습니다. 변경사항을 논의하기 위한 XNUMX시간 회의는 워크플로우를 원활하게 진행하는 데 몇 주가 걸릴 수 있습니다. 그리고 변경 사항에 동의한 후에는 전문가의 작업 시간을 차지하는 다른 많은 프로젝트의 맥락에서 실제 작업 자체를 계획해야 합니다. 완료하는 데 몇 시간 또는 며칠 밖에 걸리지 않는 코드 수정 또는 연구와 관련된 작업은 리소스를 사용할 수 있게 되기까지 훨씬 더 오래 걸릴 수 있습니다. 그때까지는 반복과 학습이 일시 중지됩니다.

3. 맥락을 좁힙니다.

분업은 사람들이 자신의 전문 분야를 유지하는 데 대해 보상을 함으로써 학습을 인위적으로 제한할 수 있습니다. 예를 들어, 자신의 기능 범위 내에 있어야 하는 연구 과학자는 회귀, 신경망, 랜덤 포레스트 등 다양한 유형의 알고리즘을 실험하는 데 에너지를 집중할 것입니다. 물론 좋은 알고리즘 선택은 점진적인 개선으로 이어질 수 있지만 일반적으로 새로운 데이터 소스 통합과 같은 다른 활동을 통해 훨씬 더 많은 것을 얻을 수 있습니다. 마찬가지로 데이터에 내재된 모든 설명력을 활용하는 모델을 개발하는 데 도움이 됩니다. 그러나 그 강점은 목적 함수를 변경하거나 특정 제약 조건을 완화하는 데 있을 수 있습니다. 그녀의 작업이 제한되어 있을 때는 이를 보거나 수행하기가 어렵습니다. 기술 과학자는 알고리즘 최적화를 전문으로 하기 때문에 상당한 이점을 제공하더라도 다른 작업을 수행할 가능성이 훨씬 적습니다.

데이터 과학 팀이 핀 팩토리 역할을 할 때(예: 단순 상태 업데이트에서) 나타나는 표시를 명명하려면 "데이터 파이프라인 변경 대기" 및 "ML 엔지니어링 리소스 대기"가 일반적인 차단 요소입니다. 하지만 눈치 채지 못하는 것이 더 위험한 영향이라고 생각합니다. 아직 모르는 것을 후회할 수는 없기 때문입니다. 프로세스 효율성 달성을 통해 얻은 완벽한 실행과 안일함은 조직이 놓치고 있는 학습 혜택을 인식하지 못한다는 사실을 가릴 수 있습니다.

물론 이 문제에 대한 해결책은 공장 핀 방식을 없애는 것이다. 학습과 반복을 장려하기 위해 데이터 과학자의 역할은 일반적이어야 하지만 기술 기능과는 별개로 광범위한 책임을 져야 합니다. 즉, 학습에 최적화되도록 데이터 과학자를 구성해야 합니다. 이는 개념부터 모델링, 구현, 측정까지 다양한 기능을 수행할 수 있는 일반 전문가인 "풀 스택 전문가"를 고용하는 것을 의미합니다. 제가 풀스택 인재를 고용한다고 해서 직원 수가 줄어들어야 한다고 제안하는 것이 아니라는 점을 기억하는 것이 중요합니다. 오히려, 나는 그들이 다르게 조직될 때 그들의 인센티브가 학습 및 성과 이점과 더 잘 일치한다고 간단히 가정할 것입니다. 예를 들어, 세 가지 비즈니스 기술을 갖춘 세 사람으로 구성된 팀이 있다고 가정해 보겠습니다. 핀 공장에서 각 기술자는 다른 사람이 자신의 작업을 수행할 수 없기 때문에 각 작업에 자신의 시간의 XNUMX분의 XNUMX을 할애합니다. 풀 스택에서 각 제너럴리스트는 전체 비즈니스 프로세스, 확장 및 교육에 전적으로 전념합니다.

생산 주기를 지원하는 사람이 적어지면 조정이 줄어듭니다. 일반주의자는 기능 간에 유동적으로 이동하고, 더 많은 데이터를 추가하기 위해 데이터 파이프라인을 확장하고, 모델에서 새로운 기능을 시도하고, 인과 측정을 위해 프로덕션에 새 버전을 배포하고, 새로운 아이디어가 떠오르는 대로 빠르게 단계를 반복합니다. 물론 스테이션 왜건은 서로 다른 기능을 병렬이 아닌 순차적으로 수행합니다. 결국 그것은 단지 한 사람일 뿐입니다. 그러나 일반적으로 작업을 완료하는 데는 다른 전문 리소스에 액세스하는 데 필요한 시간의 일부만 소요됩니다. 따라서 반복 시간이 줄어듭니다.

우리의 제너럴리스트는 특정 업무 기능에 있어서 전문가만큼 숙련되지 않을 수 있지만, 기능적 완벽함이나 작은 점진적인 개선을 위해 노력하지 않습니다. 오히려 우리는 점진적인 영향을 미치면서 점점 더 많은 전문적인 과제를 배우고 발견하기 위해 노력합니다. 완전한 솔루션을 위한 전체적인 맥락을 통해 그는 전문가가 놓칠 수 있는 기회를 봅니다. 그는 더 많은 아이디어와 더 많은 가능성을 가지고 있습니다. 그도 실패합니다. 그러나 실패의 비용은 낮고 학습의 이점은 높습니다. 이러한 비대칭성은 빠른 반복을 촉진하고 학습에 대한 보상을 제공합니다.

풀스택 과학자에게 제공되는 자율성과 기술 다양성의 정도는 작업할 데이터 플랫폼의 견고성에 크게 좌우된다는 점을 기억하는 것이 중요합니다. 잘 설계된 데이터 플랫폼은 컨테이너화, 분산 처리, 자동 장애 조치 및 기타 고급 컴퓨팅 개념의 복잡성으로부터 데이터 과학자를 추상화합니다. 추상화 외에도 강력한 데이터 플랫폼은 실험 인프라에 대한 원활한 연결을 제공하고, 모니터링 및 경고를 자동화하고, 알고리즘 결과 및 디버깅의 자동 확장 및 시각화를 가능하게 합니다. 이러한 구성 요소는 데이터 플랫폼 엔지니어가 설계하고 구축합니다. 즉, 데이터 과학자에서 데이터 플랫폼 개발 팀으로 전달되지 않습니다. 플랫폼을 실행하는 데 사용되는 모든 코드를 담당하는 것은 데이터 과학 전문가입니다.

나 역시 한때 프로세스 효율성을 활용한 기능적 업무 분업에 관심이 있었지만 시행착오를 통해(더 나은 학습 방법은 없음) 일반적인 역할이 학습과 혁신을 더 촉진하고 올바른 측정 기준을 제공한다는 사실을 발견했습니다. 전문적인 접근 방식보다 더 많은 비즈니스 기회를 창출합니다. (내가 겪은 시행착오보다 조직화에 대한 이러한 접근 방식을 배우는 더 효과적인 방법은 Amy Edmondson의 저서 Team Collaboration: How Organizations Learn, Innovate, Compete in the Knowledge Economy를 읽는 것입니다.)

일부 회사에서는 조직화에 대한 이러한 접근 방식을 다소 신뢰할 수 있게 만드는 몇 가지 중요한 가정이 있습니다. 반복 프로세스는 시행착오 비용을 줄여줍니다. 오류 비용이 높으면 오류를 줄이는 것이 좋습니다(그러나 이는 의료 응용 분야나 제조에는 권장되지 않습니다). 또한 페타바이트 또는 엑사바이트 규모의 데이터를 처리하는 경우 데이터 엔지니어링에 대한 전문성이 필요할 수 있습니다. 마찬가지로 온라인 비즈니스 기능과 가용성을 유지하는 것이 개선하는 것보다 더 중요하다면 기능적 우수성이 학습보다 중요할 수 있습니다. 마지막으로, 풀 스택 모델은 이에 대해 아는 사람들의 의견에 의존합니다. 그들은 유니콘이 아닙니다. 당신은 그것을 찾거나 직접 준비할 수 있습니다. 그러나 그들은 수요가 높으며 그들을 유치하고 유지하려면 경쟁력 있는 보상, 강력한 기업 가치 및 도전적인 작업이 필요합니다. 귀하의 회사 문화가 이를 뒷받침할 수 있는지 확인하십시오.

그럼에도 불구하고 저는 풀스택 모델이 최고의 시작 조건을 제공한다고 믿습니다. 그것들부터 시작하고, 절대적으로 필요할 때만 의식적으로 기능적 분업을 향해 나아가십시오.

기능적 전문화에는 다른 단점도 있습니다. 이는 근로자의 책임 상실과 수동성 상실로 이어질 수 있습니다. 스미스 자신도 노동 분업을 비판하면서 그것이 재능을 둔화시킨다고 주장했다. 직원들은 그들의 역할이 몇 가지 반복적인 작업으로 제한되기 때문에 무지해지고 위축됩니다. 전문화는 프로세스 효율성을 제공할 수 있지만 직원에게 영감을 줄 가능성은 낮습니다.

결과적으로, 다재다능한 역할은 자율성, 숙련도, 목적 등 직업 만족도를 높이는 모든 요소를 ​​제공합니다. 자율성은 성공을 달성하기 위해 어떤 것에도 의존하지 않는다는 것입니다. 숙달은 강력한 경쟁 우위에 있습니다. 그리고 목적의식은 그들이 창출하는 비즈니스에 영향을 미칠 수 있는 기회에 있습니다. 사람들이 자신의 업무에 흥미를 갖고 회사에 큰 영향을 미칠 수 있다면 다른 모든 것이 제자리를 찾을 것입니다.

출처 : habr.com