HIROSHI WATANABE/GETTY IMAGES
No livro "A Riqueza das Nações", Adam Smith mostra como a divisão do trabalho se torna a principal fonte de aumento da produtividade. Um exemplo é a linha de montagem de uma fábrica de alfinetes: "Um trabalhador puxa o fio, outro o endireita, o terceiro corta, o quarto afia a ponta, o quinto dá forma à outra extremidade para a colocação da cabeça". Graças à especialização, voltada para funções específicas, cada trabalhador se torna um especialista altamente qualificado em sua tarefa restrita, o que leva ao aumento da eficiência do processo. A produção por trabalhador aumenta muitas vezes, e a fábrica se torna mais eficiente na produção de alfinetes.
Essa divisão de trabalho por funcionalidade está tão enraizada em nossas mentes até hoje que rapidamente organizamos nossas equipes de acordo. Data Science não é uma exceção. Complexas oportunidades de negócios algoritmicos exigem muitas funções laborais, por isso as empresas geralmente formam grupos de especialistas: pesquisadores, engenheiros de análise de dados, engenheiros de aprendizado de máquina, cientistas que estudam causalidade, e assim por diante. O trabalho dos especialistas é coordenado por um gerente de produto, com a transferência de funções de forma que lembra uma fábrica de alfinetes: "uma pessoa recebe os dados, outra os modela, a terceira os executa, a quarta mede" e assim por diante.
Infelizmente, não devemos otimizar nossas equipes de Data Science para aumentar a produtividade. No entanto, você faz isso ao entender o que está produzindo: alfinetes ou outra coisa, e simplesmente busca aumentar a eficiência. O objetivo das linhas de montagem é realizar a tarefa. Sabemos exatamente o que queremos — são alfinetes (como no exemplo de Smith), mas pode-se mencionar qualquer produto ou serviço em que os requisitos descrevem completamente todos os aspectos do produto e seu comportamento. O papel dos funcionários é cumprir esses requisitos da maneira mais eficiente possível.
Mas o objetivo da Data Science não é simplesmente executar tarefas. O verdadeiro objetivo é explorar e desenvolver novas e poderosas oportunidades de negócios. Produtos e serviços algoritmos, como sistemas de recomendação, interação com clientes, classificação de preferências de estilo, escolha de tamanhos, design de roupas, otimização logística, detecção de tendências sazonais e muito mais não podem ser pré-desenhados. Eles precisam ser estudados. Não existem projetos para a reprodução; são novas oportunidades com sua inegável incerteza. Coeficientes, modelos, tipos de modelos, hiperparâmetros, todos os elementos necessários devem ser explorados por meio de experimentos, tentativas e erros, assim como repetições. Com a pinça, o aprendizado e o design são realizados anteriormente à sua produção. Com a Data Science, você aprende durante o processo, e não antes dele.
Na fábrica de grampos, quando o aprendizado é prioritário, não esperamos e não desejamos que os trabalhadores improvisem em nenhuma propriedade do produto, exceto para aumentar a eficiência da produção. A especialização de tarefas faz sentido, pois leva a eficiência dos processos e à consistência da produção (sem alterações no produto final).
Mas quando o produto ainda está em desenvolvimento e o objetivo é o aprendizado, a especialização pode prejudicar nossos objetivos nas seguintes situações:
1. Aumenta os custos de coordenação.
Ou seja, os custos que se acumulam ao longo do tempo gasto em comunicação, discussão, justificativa e definição de prioridades do trabalho que precisa ser realizado. Esses custos escalam de forma superlinear com o número de pessoas envolvidas. (Como nos ensinou J. Richard Hackman, o número de relações r cresce como a função do número de membros n de acordo com esta equação: r = (n ^ 2-n) / 2. E cada relação revela uma certa quantidade de relação de custos). Quando os especialistas em análise de dados estão organizados por funções, em cada etapa, com cada mudança, cada transferência de serviço, etc., são necessários muitos especialistas, o que aumenta os custos de coordenação. Por exemplo, os especialistas em modelagem estatística que desejam experimentar novas funções devem coordenar suas ações com os engenheiros de processamento de dados, que complementam os conjuntos de dados sempre que desejam tentar algo novo. Da mesma forma, cada novo modelo treinado significa que o desenvolvedor do modelo precisará de alguém com quem coordenar suas ações para colocá-lo em operação. Os custos de coordenação atuam como uma taxa pela iteração, tornando-os mais difíceis e dispendiosos e com maior probabilidade de levar à desistência da pesquisa. Isso pode dificultar o aprendizado.
2. Isso complica o tempo de espera.
Ainda mais preocupante do que os custos de coordenação é o tempo perdido entre os turnos de trabalho. Enquanto os custos de coordenação geralmente são medidos em horas — o tempo necessário para realizar reuniões, discussões, revisões de projeto — o tempo de espera geralmente é medido em dias, semanas ou até meses! A sincronização das agendas dos especialistas funcional é difícil, pois cada especialista deve ser alocado em vários projetos. Uma reunião de uma hora para discutir mudanças pode levar várias semanas para alinhar o fluxo de trabalho. E após a aprovação das mudanças, é necessário programar o próprio trabalho real no contexto de muitos outros projetos, ocupando o tempo de trabalho dos especialistas. O trabalho relacionado à correção de código ou pesquisas, que poderia ser concluído em apenas algumas horas ou dias, pode levar muito mais tempo até que os recursos estejam disponíveis. Até lá, a iteração e o aprendizado ficam suspensos.
3. Isso restringe o contexto.
A divisão do trabalho pode artificialmente limitar o aprendizado, recompensando as pessoas por permanecerem em sua especialização. Por exemplo, um pesquisador que deve permanecer dentro de sua funcionalidade concentrará sua energia em experimentos com diferentes tipos de algoritmos: regressão, redes neurais, random forest e assim por diante. Sem dúvida, uma boa escolha de algoritmo pode levar a melhorias graduais, mas, em geral, muito mais pode ser obtido de outras atividades, como a integração de novas fontes de dados. Da mesma forma, isso ajudará a desenvolver um modelo que utilize cada bit de capacidade explicativa inerente aos dados. No entanto, seu ponto forte pode residir em alterar a função objetiva ou relaxar certas restrições. É difícil ver ou fazer isso quando seu trabalho é limitado. Como o pesquisador especialista se especializa na otimização de algoritmos, é muito menos provável que ele se envolva em algo mais, mesmo que isso traga benefícios significativos.
Vamos destacar os sinais que aparecem quando as equipes de data science funcionam como fábricas de alfinetes (por exemplo, em atualizações de status simples): "esperando por mudanças no pipeline de dados" e "aguardando recursos de ML Eng", que são bloqueadores comuns. No entanto, acredito que o impacto mais perigoso está no que você não percebe, porque não pode lamentar o que ainda não conhece. A execução impecável de requisitos e a auto-satisfação, alcançadas ao otimizar processos, podem esconder a verdade de que as organizações não estão cientes dos benefícios do aprendizado que estão perdendo.
A solução para esse problema está, sem dúvida, em se livrar do método de fábrica de alfinetes. Para estimular o aprendizado e a iteração, os papéis de data science devem ser gerais, mas com amplas responsabilidades, não dependentes da função técnica, ou seja, organize os especialistas em dados de forma que sejam otimizados para o aprendizado. Isso significa que é necessário contratar "especialistas de pilha completa" — profissionais gerais que podem desempenhar diversas funções: da concepção à modelagem, da implementação à mensuração. É importante notar que não estou sugerindo que, ao contratar especialistas de pilha completa, o número de funcionários deve diminuir. Provavelmente, estou apenas assumindo que, quando eles são organizados de maneira diferente, seus incentivos se alinham melhor com os benefícios do aprendizado e da eficácia. Por exemplo, você tem uma equipe de três pessoas, cada uma com três qualidades empresariais. Em uma fábrica de alfinetes, cada especialista dedicará um terço do tempo a cada tarefa profissional, pois ninguém mais poderá realizar seu trabalho. Em uma pilha completa, cada funcionário versátil é totalmente dedicado a todo o processo de negócios, escalando o trabalho e aprendendo.
Com menos pessoas apoiando o ciclo produtivo, a coordenação diminui. O generalista navega suavemente entre funções, expandindo o fluxo de dados para adicionar mais volume, testando novas funcionalidades em modelos, lançando novas versões em produção para medições causais e repetindo os passos tão rápido quanto novas ideias surgem. Claro, o generalista desempenha diferentes funções de forma sequencial, e não paralela. Afinal, é apenas uma pessoa. No entanto, a execução da tarefa geralmente ocupa apenas uma pequena parte do tempo necessário para acessar outro recurso especializado. Assim, o tempo de iteração diminui.
Nosso generalista pode não ser tão habilidoso quanto um especialista em uma função de trabalho específica, mas não buscamos a perfeição funcional ou pequenas melhorias incrementais. Em vez disso, buscamos explorar e descobrir novas tarefas profissionais com um impacto gradual. Com um contexto holístico para uma solução completa, ele vê oportunidades que um especialista estreito deixaria passar. Ele tem mais ideias e mais possibilidades. Ele também falha. No entanto, o custo do fracasso é baixo, enquanto os benefícios do aprendizado são altos. Essa assimetria favorece iterações rápidas e recompensa o aprendizado.
É importante notar que a extensão da autonomia e a diversidade de habilidades oferecidas por um cientista que trabalha com stacks completos dependem significativamente da confiabilidade da plataforma de dados em que se pode trabalhar. Uma plataforma de dados bem projetada abstrai os cientistas de dados das complexities da containerização, processamento distribuído, escalonamento automático para outros recursos e outras conceitos avançados de computação. Além da abstração, uma plataforma de dados robusta pode proporcionar uma conexão sem emendas com a infraestrutura experimental, automatizar monitoramento e sistema de alertas, oferecer escalonamento automático e visualização de resultados algorítmicos e debugging. Esses componentes são projetados e desenvolvidos pelos engenheiros da plataforma de dados, ou seja, as funções de um especialista em Data Science não são transferidas para a equipe de desenvolvimento da plataforma de dados. É o especialista em Data Science que é responsável por todo o código utilizado para executar a plataforma.
Eu também me interessei um dia pela divisão funcional do trabalho utilizando a eficiência dos processos, mas através de tentativa e erro (não há melhor maneira de aprender), descobri que os papéis típicos favorecem melhor o aprendizado e a inovação, e fornecem métricas corretas: a descoberta e construção de um número muito maior de oportunidades de negócios do que uma abordagem especializada. (Uma maneira mais eficaz de aprender sobre essa abordagem de organização do que o método de tentativa e erro pelo qual passei é ler o livro de Amy Edmondson, "Trabalho em equipe: como as organizações aprendem, inovam e competem na economia do conhecimento").
Existem algumas suposições importantes que podem tornar essa abordagem organizacional mais ou menos confiável em algumas empresas. O processo de iteração reduz o custo de tentativas e erros. Se o custo de um erro é alto, você pode desejar minimizá-los (mas isso não é recomendado para aplicações médicas ou de fabricação). Além disso, se você está lidando com petabytes ou exabytes de dados, pode precisar de especialização em design de dados. Da mesma forma, se a manutenção das capacidades de negócios online e sua disponibilidade são mais importantes do que seu aprimoramento, a excelência funcional pode superar o aprendizado. Por fim, o modelo de pilha completa depende da opinião de especialistas. Eles não são unicórnios; podem ser encontrados ou treinados internamente. No entanto, eles são muito procurados e, para atraí-los e retê-los na empresa, será necessária uma compensação financeira competitiva, valores corporativos sustentáveis e trabalho interessante. Certifique-se de que a cultura corporativa da sua empresa pode oferecer essas condições.
Mesmo considerando tudo isso, acredito que o modelo de pilha completa oferece as melhores condições para começar. Comece por eles e depois avance de forma consciente para a divisão funcional do trabalho apenas quando isso for realmente necessário.
Existem também outras desvantagens da especialização funcional. Isso pode levar à perda de responsabilidade e à passividade por parte dos trabalhadores. O próprio Smith critica a divisão do trabalho, sugerindo que ela resulta em um apassivamento do talento, ou seja, os trabalhadores se tornam ignorantes e isolados, já que seus papéis se limitam a algumas tarefas repetitivas. Embora a especialização possa garantir eficiência no processo, ela raramente inspira os trabalhadores.
Por sua vez, papéis universais garantem tudo o que estimula a satisfação no trabalho: autonomia, maestria e sentido de propósito. A autonomia se refere à independência na busca pelo sucesso. A maestria se traduz em vantagens competitivas significativas. E o sentido de propósito está na capacidade de influenciar o negócio que estão criando. Se conseguirmos fazer com que as pessoas se entusiasmem com seu trabalho e tenham um grande impacto na empresa, tudo o mais se ajustará.
Fonte: habr.com
