データ サイエンス チームにスペシャリストではなくゼネラリストが必要な理由

渡辺博史/ゲッティイメージズ

アダム・スミスは『国富論』の中で、分業が生産性向上の主な源泉となる様子を示しています。 一例は、ピン工場の組み立てラインです。「XNUMX 人の作業員がワイヤーを引っ張り、別の作業員がワイヤーを真っすぐに伸ばし、XNUMX 人目が切断し、XNUMX 人目が先端を研ぎ、XNUMX 人目が頭にフィットするようにもう一方の端を研磨します。」 特定の機能に焦点を当てた専門化のおかげで、各従業員は自分の狭いタスクにおいて高度な資格を持つスペシャリストとなり、プロセスの効率の向上につながります。 労働者 XNUMX 人あたりの生産量は何倍にも増加し、工場でのピンの生産効率が向上します。

この機能別の分業は今でも私たちの心に深く根付いており、それに応じてすぐにチームを組織しました。 データサイエンスも例外ではありません。 複雑なアルゴリズムのビジネス機能には複数の作業機能が必要なため、企業は通常、研究者、データ エンジニア、機械学習エンジニア、因果関係科学者などの専門家からなるチームを編成します。 スペシャリストの作業は、ピンファクトリーに似た方法で機能の移転を行うプロダクトマネージャーによって調整されます。「XNUMX 人がデータを受け取り、もう XNUMX 人がそれをモデル化し、XNUMX 人目がそれを実行し、XNUMX 人目が測定する」というようになります。

残念なことに、生産性を向上させるためにデータ サイエンス チームを最適化するべきではありません。 ただし、これを行うのは、自分が生産しているもの (ピンやその他のもの) を理解し、単純に効率を向上させるために努力する場合です。 組立ラインの目的は、タスクを完了することです。 私たちは何が欲しいのか正確に知っています - ピン (Smith の例のように) ですが、要件が製品とその動作のすべての側面を完全に説明しているあらゆる製品またはサービスについて言及できます。 従業員の役割は、これらの要件を可能な限り効率的に満たすことです。

しかし、データ サイエンスの目標はタスクを完了することではありません。 むしろ、目標は、強力な新しいビジネスチャンスを探索し開発することです。 レコメンデーション システム、顧客との対話、スタイルの好みの分類、サイジング、衣料品のデザイン、物流の最適化、季節のトレンド検出などのアルゴリズム製品やサービスを事前に開発することはできません。 それらは研究されなければなりません。 複製する青写真はなく、これらは本質的に不確実性を伴う新しい可能性です。 係数、モデル、モデル タイプ、ハイパーパラメータなど、必要な要素はすべて、実験、試行錯誤、繰り返しを通じて学習する必要があります。 ピンの場合、生産前にトレーニングと設計が行われます。 データ サイエンスを使用すると、以前ではなく、実際に学習することができます。

ピン工場では、トレーニングが第一の場合、生産効率を向上させること以外に、労働者が製品の機能を即興で習得することを期待したり望んだりしません。 タスクを特化することは、プロセスの効率性と生産の一貫性 (最終製品に変更を加えることなく) につながるため、理にかなっています。

しかし、製品がまだ開発中で、目標がトレーニングである場合、次の場合、専門化が目標の妨げになります。

1. 調整コストが増加します。

つまり、コミュニケーション、議論、正当化、実行する必要のある作業の優先順位付けに費やす時間中に蓄積されるコストです。 これらのコストは、関係者の数に応じて非常に直線的に増加します。 (J. Richard Hackman が私たちに教えてくれたように、関係の数 r は、次の方程式に従って項 n の数の関数と同様に増加します: r = (n^2-n)/2。そして、それぞれの関係は、ある量の関係を明らかにします。コストの関係です。） データサイエンティストが機能ごとに組織されている場合、あらゆる段階、あらゆる変更、あらゆる引き継ぎなどで多くの専門家が必要となり、調整コストが増加します。 たとえば、新しい機能を実験したい統計モデラーは、何か新しいことを試すたびにデータ セットに追加するデータ エンジニアと調整する必要があります。 同様に、新しいモデルがトレーニングされるたびに、モデル開発者がそれを実稼働環境に導入するために調整する人が必要になることを意味します。 調整コストは反復の代償として機能するため、研究がより困難かつ高価になり、研究が放棄される可能性が高くなります。 学習に支障をきたす可能性があります。

2. 待ち時間が大変になります。

調整コストよりもさらに厄介なのは、勤務シフト間のロス時間です。 調整コストは通常​​、会議、ディスカッション、設計レビューの実施にかかる時間である時間単位で測定されますが、待ち時間は通常、数日、数週間、場合によっては数か月単位で測定されます。 各スペシャリストは複数のプロジェクトに分散する必要があるため、機能スペシャリストのスケジュールのバランスを取るのは困難です。 変更について話し合う XNUMX 時間の会議では、ワークフローをスムーズにするために数週間かかる場合があります。 そして、変更に同意した後は、専門家の作業時間を占める他の多くのプロジェクトと照らし合わせて、実際の作業自体を計画する必要があります。 コードの修正や調査を伴う作業は、完了までに数時間または数日しかかからない場合、リソースが利用可能になるまでにさらに長い時間がかかる場合があります。 それまでは、反復と学習は中断されます。

3. 文脈を狭めてしまう。

分業は、専門分野に留まることに対して人々に報酬を与えることで、学習を人為的に制限する可能性があります。 たとえば、自分の機能の範囲内に留まらなければならない研究科学者は、回帰、ニューラル ネットワーク、ランダム フォレストなど、さまざまな種類のアルゴリズムの実験にエネルギーを集中します。 もちろん、適切なアルゴリズムを選択すると段階的な改善につながる可能性がありますが、通常は、新しいデータ ソースの統合など、他のアクティビティから得られるものはさらに多くあります。 同様に、データに固有の説明力をあらゆるビットで活用するモデルの開発にも役立ちます。 ただし、その強みは、目的関数を変更したり、特定の制約を緩和したりできることにあります。 彼女の仕事が限られている場合、これを確認したり実行したりするのは困難です。 技術科学者はアルゴリズムの最適化を専門とするため、たとえそれが大きな利益をもたらすとしても、他のことを行う可能性ははるかに低くなります。

データ サイエンス チームがピン ファクトリーとして機能するときに現れる兆候 (たとえば、単純なステータス更新など) に名前を付けると、「データ パイプラインの変更の待機」と「ML Eng リソースの待機」が一般的な阻害要因となります。 しかし、もっと危険な影響は、自分が気づいていないことだと思います。なぜなら、知らないことを後悔することはできないからです。 完璧な実行と、プロセス効率の達成によって得られる自己満足によって、組織が学習上のメリットを逃していることに気づいていないという真実が覆い隠されてしまう可能性があります。

もちろん、この問題の解決策は、工場出荷時のピン方式を廃止することです。 学習と反復を促進するために、データ サイエンティストの役割は一般的である必要がありますが、技術的機能とは独立した広範な責任を負う必要があります。つまり、学習に最適化されるようにデータ サイエンティストを組織する必要があります。 これは、コンセプトからモデリング、実装から測定まで、さまざまな機能を実行できる総合的な専門家である「フルスタック スペシャリスト」を雇用することを意味します。 重要なのは、私がフルスタックの人材を雇用することで従業員の数を削減すべきだと言っているわけではないということです。 むしろ、組織が異なる場合、インセンティブは学習およびパフォーマンスの利点とよりよく一致すると単純に仮定します。 たとえば、XNUMX つのビジネス スキルを持つ XNUMX 人のチームがあるとします。 ピン工場では、他の誰も自分の仕事をすることができないため、各技術者は自分の時間の XNUMX 分の XNUMX を各作業に費やします。 フルスタックでは、各ゼネラリストがビジネス プロセス全体、スケールアップ、トレーニングに専念します。

生産サイクルをサポートする人員が少なくなると、調整が減少します。 ゼネラリストは機能間を流動的に移動し、データ パイプラインを拡張してデータを追加し、モデルで新しい機能を試し、因果関係を測定するために新しいバージョンを運用環境にデプロイし、新しいアイデアが思いつくたびにステップを繰り返します。 もちろん、ステーション ワゴンはさまざまな機能を並行して実行するのではなく、順番に実行します。 結局のところ、それはただ一人の人間です。 ただし、タスクの完了には通常、別の専門リソースにアクセスするのに必要な時間のほんの一部しかかかりません。 したがって、反復時間が減少します。

当社のジェネラリストは、特定の職務におけるスペシャリストほど熟練していない可能性がありますが、機能の完璧さや小さな漸進的な改善を追求することはありません。 むしろ、私たちは徐々に影響を与える、より多くの専門的な課題を学び、発見するよう努めています。 完全なソリューションのための全体的なコンテキストを備えているため、彼はスペシャリストが逃す可能性のある機会を認識しています。 彼はより多くのアイデアとより多くの可能性を持っています。 彼も失敗します。 ただし、失敗のコストは低く、学習のメリットは大きいです。 この非対称性により、迅速な反復が促進され、学習に報酬が与えられます。

フルスタック科学者に与えられる自主性とスキルの多様性は、作業の対象となるデータ プラットフォームの堅牢性に大きく依存することに注意することが重要です。 適切に設計されたデータ プラットフォームは、コンテナ化、分散処理、自動フェイルオーバー、その他の高度なコンピューティング概念の複雑さからデータ サイエンティストを抽象化します。 抽象化に加えて、堅牢なデータ プラットフォームは、実験インフラストラクチャへのシームレスな接続を提供し、監視とアラートを自動化し、アルゴリズム結果とデバッグの自動スケーリングと視覚化を可能にします。 これらのコンポーネントはデータ プラットフォーム エンジニアによって設計および構築されます。つまり、データ サイエンティストからデータ プラットフォーム開発チームに引き継がれることはありません。 プラットフォームの実行に使用されるすべてのコードを担当するのは、データ サイエンスのスペシャリストです。

私も、かつてはプロセス効率を利用した機能分業に興味を持っていましたが、試行錯誤の結果（これ以上の学習方法はありません）、典型的な役割のほうが学習とイノベーションを促進し、適切な指標を提供できることに気づきました。専門的なアプローチよりもはるかに多くのビジネスチャンスを構築します。 (組織化へのこのアプローチについて学ぶには、私が経験した試行錯誤よりも効果的な方法は、エイミー エドモンドソンの著書『チーム コラボレーション: 知識経済で組織が学び、革新し、競争する方法』を読むことです)。

一部の企業では、この組織化アプローチを多かれ少なかれ信頼できるものにする重要な前提条件がいくつかあります。 反復プロセスにより、試行錯誤のコストが削減されます。 エラーのコストが高い場合は、エラーを減らすことをお勧めします (ただし、これは医療アプリケーションや製造には推奨されません)。 さらに、ペタバイトまたはエクサバイトのデータを扱う場合は、データ エンジニアリングの専門知識が必要になる場合があります。 同様に、オンライン ビジネスの機能とその可用性を向上させることよりも維持することが重要な場合は、機能の優秀性が学習よりも優れている可能性があります。 最後に、フルスタック モデルは、それをよく知っている人々の意見に依存しています。 彼らはユニコーンではありません。 それらを見つけることも、自分で準備することもできます。 しかし、彼らの需要は高く、彼らを引きつけて維持するには、競争力のある報酬、強力な企業価値、やりがいのある仕事が必要です。 あなたの企業文化がこれをサポートできるかどうかを確認してください。

そうは言っても、私はフルスタック モデルが最良の開始条件を提供すると信じています。 まずはそれらから始めて、絶対に必要な場合にのみ意識的に機能分業に移行してください。

機能特化には他にも欠点があります。 これは、労働者側の責任感の喪失と消極性につながる可能性があります。 スミス自身も分業を批判し、分業が才能の鈍化につながると示唆している。 労働者は、自分たちの役割がいくつかの反復的な作業に限定されるため、無知になり、引きこもります。 専門化によってプロセスは効率化される可能性がありますが、従業員にインスピレーションを与える可能性は低くなります。

さらに、多用途の役割は、自律性、熟達性、目的など、仕事の満足度を高めるすべてのものを提供します。 自律性とは、成功を達成するために何にも依存しないことです。 熟練は、強力な競争上の優位性にあります。 そして、目的意識は、彼らが生み出すビジネスに影響を与える機会にあります。 人々が自分の仕事に興奮し、会社に大きな影響を与えることができれば、他のことはすべてうまくいくでしょう。

出所： habr.com