HIROSHI WATANABE/GETTY IMAGES
En A riqueza das nacións, Adam Smith mostra como a división do traballo se converte na principal fonte de aumento da produtividade. Un exemplo é a cadea de montaxe dunha fábrica de alfinetes: “Un obreiro tira do fío, outro endereitao, un terceiro córtao, un cuarto afia o extremo, un quinto tritura o outro extremo para adaptalo á cabeza”. Grazas á especialización centrada en funcións específicas, cada empregado convértese nun especialista altamente cualificado na súa estreita tarefa, o que leva a unha maior eficiencia do proceso. A produción por traballador aumenta moitas veces e a fábrica faise máis eficiente na produción de pinos.
Esta división do traballo por funcións está tan arraigada na nosa mente aínda hoxe que organizamos rapidamente os nosos equipos en consecuencia. Data Science non é unha excepción. As capacidades comerciais algorítmicas complexas requiren varias funcións de traballo, polo que as empresas normalmente crean equipos de especialistas: investigadores, enxeñeiros de datos, enxeñeiros de aprendizaxe automática, científicos de causa e efecto, etc. O traballo dos especialistas está coordinado polo xefe de produto coa transferencia de funcións de xeito que se asemella a unha fábrica de pins: “unha persoa recibe os datos, outra modela, un terceiro executa, un cuarto mide” etc.
Por desgraza, non debemos optimizar os nosos equipos de Data Science para mellorar a produtividade. Non obstante, isto é o que fas cando entendes o que estás producindo: alfinetes ou outra cousa, e simplemente esforzas por aumentar a eficiencia. O propósito das liñas de montaxe é completar unha tarefa. Sabemos exactamente o que queremos: pinos (como no exemplo de Smith), pero pódese mencionar calquera produto ou servizo no que os requisitos describan completamente todos os aspectos do produto e o seu comportamento. O papel dos empregados é cumprir estes requisitos da forma máis eficiente posible.
Pero o obxectivo de Data Science non é completar tarefas. Pola contra, o obxectivo é explorar e desenvolver novas oportunidades de negocio fortes. Non se poden desenvolver con antelación produtos e servizos algorítmicos, como sistemas de recomendación, interaccións con clientes, clasificación de preferencias de estilo, tallas, deseño de roupa, optimización loxística, detección de tendencias estacionais e moito máis. Deben ser estudados. Non hai planos que replicar, son novas posibilidades con incerteza inherente. Coeficientes, modelos, tipos de modelos, hiperparámetros, todos os elementos necesarios deben aprenderse mediante a experimentación, o ensaio e erro e a repetición. Con pinos, a formación e o deseño realízanse antes da produción. Con Data Science, aprendes como o fas, non antes.
Nunha fábrica de alfinetes, cando a formación é o primeiro, non esperamos nin queremos que os traballadores improvisen sobre ningunha característica do produto que non sexa mellorar a eficiencia da produción. A especialización das tarefas ten sentido porque leva á eficiencia do proceso e á coherencia da produción (sen cambios no produto final).
Pero cando o produto aínda está en desenvolvemento e o obxectivo é a formación, a especialización interfire cos nosos obxectivos nos seguintes casos:
1. Aumenta os custos de coordinación.
É dicir, aqueles custos que se acumulan durante o tempo que se dedica a comunicar, discutir, xustificar e priorizar o traballo que hai que realizar. Estes custos escalan de forma superlineal co número de persoas implicadas. (Como nos ensinou J. Richard Hackman, o número de relacións r crece de forma similar á función do número de termos n segundo esta ecuación: r = (n^2-n)/2. E cada relación revela algunha cantidade da relación de custos). Cando os científicos de datos se organizan por funcións, en cada etapa, con cada cambio, cada traspaso, etc., son necesarios moitos especialistas, o que aumenta os custos de coordinación. Por exemplo, os modeladores estatísticos que queiran experimentar con novas funcións terán que coordinarse con enxeñeiros de datos que engaden aos conxuntos de datos cada vez que queiran probar algo novo. Do mesmo xeito, cada novo modelo adestrado significa que o desenvolvedor do modelo necesitará alguén con quen coordinarse para poñelo en produción. Os custos de coordinación actúan como un prezo para a iteración, facéndoos máis difíciles e caros e con máis probabilidade de provocar o abandono do estudo. Isto pode interferir coa aprendizaxe.
2. Dificulta os tempos de espera.
Aínda máis desalentador que os custos de coordinación é o tempo perdido entre quendas de traballo. Aínda que os custos de coordinación adoitan medirse en horas (o tempo que leva a cabo reunións, discusións, revisións de deseño), o tempo de espera adoita medirse en días, semanas ou incluso meses. Os horarios dos especialistas funcionais son difíciles de equilibrar porque cada especialista debe estar distribuído en varios proxectos. Unha reunión dunha hora para discutir os cambios pode levar semanas para suavizar o fluxo de traballo. E despois de acordar os cambios, cómpre planificar o propio traballo no contexto doutros moitos proxectos que ocupan o tempo de traballo de especialistas. Os traballos que impliquen correccións de código ou investigacións que só tardan unhas horas ou días en completarse poden levar moito máis tempo antes de que os recursos estean dispoñibles. Ata entón, a iteración e a aprendizaxe están suspendidas.
3. Acota o contexto.
A división do traballo pode limitar artificialmente a aprendizaxe premiando ás persoas por permanecer na súa especialidade. Por exemplo, un científico investigador que debe manterse dentro do alcance da súa funcionalidade centrará a súa enerxía en experimentar con diferentes tipos de algoritmos: regresión, redes neuronais, bosque aleatorio, etc. Por suposto, as boas eleccións de algoritmos poden levar a melloras incrementais, pero normalmente hai moito máis que gañar doutras actividades, como a integración de novas fontes de datos. Así mesmo, axudará a desenvolver un modelo que explote todo o poder explicativo inherente aos datos. Non obstante, a súa forza pode residir en cambiar a función obxectivo ou en relaxar certas restricións. Isto é difícil de ver ou facer cando o seu traballo é limitado. Debido a que un científico técnico está especializado en optimizar algoritmos, é moito menos probable que faga outra cousa, aínda que iso traia beneficios significativos.
Para nomear os sinais que aparecen cando os equipos de ciencia de datos actúan como fábricas de pins (por exemplo, en actualizacións de estado simples): "esperando cambios no canal de datos" e "esperando recursos de ML Eng" son bloqueadores comúns. Non obstante, creo que a influencia máis perigosa é a que non notas, porque non te podes arrepentir do que xa non coñeces. A execución impecable e a compracencia obtida ao lograr a eficiencia dos procesos poden enmascarar a verdade de que as organizacións descoñecen os beneficios da aprendizaxe que se están perdendo.
A solución a este problema, por suposto, é desfacerse do método de pin de fábrica. Para fomentar a aprendizaxe e a iteración, os roles dos científicos de datos deben ser xenéricos pero con amplas responsabilidades independentes da función técnica, é dicir, organizar os científicos de datos para que estean optimizados para a aprendizaxe. Isto significa contratar "especialistas full stack": especialistas xerais que poden realizar unha variedade de funcións, desde o concepto ata o modelado, a implementación ata a medición. É importante ter en conta que non estou suxerindo que contratar talento completo debería reducir o número de empregados. Pola contra, simplemente asumirei que cando se organizan de forma diferente, os seus incentivos están mellor aliñados cos beneficios de aprendizaxe e rendemento. Por exemplo, digamos que tes un equipo de tres persoas con tres habilidades comerciais. Nunha fábrica de alfinetes, cada técnico dedicará un terzo do seu tempo a cada tarefa laboral, xa que ninguén máis pode facer o seu traballo. Nunha pila completa, cada xeralista está totalmente dedicado a todo o proceso empresarial, a ampliación e a formación.
Con menos persoas que apoian o ciclo produtivo, a coordinación redúcese. O xeneralista móvese con fluidez entre funcións, ampliando a canalización de datos para engadir máis datos, probando novas funcións en modelos, implementando novas versións na produción para medicións causais e repetindo os pasos tan rápido como aparecen novas ideas. Por suposto, a camioneta realiza diferentes funcións secuencialmente e non en paralelo. Despois de todo, é só unha persoa. Non obstante, completar unha tarefa adoita levar só unha fracción do tempo necesario para acceder a outro recurso especializado. Entón, o tempo de iteración diminúe.
O noso xeralista pode non ser tan hábil como un especialista nunha determinada función laboral, pero non nos esforzamos pola perfección funcional nin por pequenas melloras incrementais. Pola contra, esforzámonos por aprender e descubrir cada vez máis retos profesionais con impacto gradual. Cun contexto holístico para unha solución completa, ve oportunidades que un especialista perdería. Ten máis ideas e máis posibilidades. El tamén falla. Non obstante, o custo do fracaso é baixo e os beneficios da aprendizaxe son elevados. Esta asimetría promove a iteración rápida e recompensa a aprendizaxe.
É importante ter en conta que a cantidade de autonomía e diversidade de habilidades ofrecidas aos científicos de pila completa depende en gran medida da robustez da plataforma de datos na que traballar. Unha plataforma de datos ben deseñada abstrae aos científicos de datos das complexidades da contenerización, o procesamento distribuído, a falla automática e outros conceptos informáticos avanzados. Ademais da abstracción, unha plataforma de datos robusta pode proporcionar unha conectividade perfecta para a infraestrutura experimental, automatizar o seguimento e alertas, permitir a escala automática e a visualización de resultados algorítmicos e depuración. Estes compoñentes son deseñados e construídos polos enxeñeiros da plataforma de datos, o que significa que non se transmiten do científico de datos ao equipo de desenvolvemento da plataforma de datos. É o especialista en Data Science o responsable de todo o código utilizado para executar a plataforma.
Tamén me interesou algunha vez a división funcional do traballo mediante a eficiencia do proceso, pero a través do ensaio e erro (non hai mellor forma de aprender), descubrín que os roles típicos facilitan mellor a aprendizaxe e a innovación e proporcionan as métricas adecuadas: descubrir e creando moitas máis oportunidades de negocio que enfoque especializado. (Unha forma máis eficaz de aprender sobre este enfoque da organización que o ensaio e erro polo que pasei é ler o libro de Amy Edmondson Team Collaboration: How Organizations Learn, Innovate, and Compete in the Knowledge Economy).
Hai algunhas suposicións importantes que poden facer que este enfoque de organización sexa máis ou menos fiable nalgunhas empresas. O proceso de iteración reduce o custo de proba e erro. Se o custo do erro é alto, pode querer reducilos (pero non se recomenda para aplicacións médicas ou fabricación). Ademais, se está a tratar con petabytes ou exabytes de datos, pode ser necesaria a especialización en enxeñaría de datos. Así mesmo, se é máis importante manter as capacidades empresariais en liña e a súa dispoñibilidade que melloralas, a excelencia funcional pode superar a aprendizaxe. Finalmente, o modelo de pila completa depende das opinións das persoas que o coñecen. Non son unicornios; podes atopalos ou preparalos ti mesmo. Non obstante, teñen unha gran demanda e atraelos e conservalos requirirá unha compensación competitiva, sólidos valores corporativos e un traballo desafiante. Asegúrate de que a cultura da túa empresa pode apoiar isto.
Aínda con todo isto dito, creo que o modelo de pila completa ofrece as mellores condicións de partida. Comeza con eles, e despois avanza conscientemente cara a unha división funcional do traballo só cando sexa absolutamente necesario.
Hai outras desvantaxes da especialización funcional. Isto pode levar á perda de responsabilidade e pasividade dos traballadores. O propio Smith critica a división do traballo, suxerindo que leva á diminución do talento, é dicir. os traballadores vólvense ignorantes e retraídos xa que os seus roles limítanse a algunhas tarefas repetitivas. Aínda que a especialización pode proporcionar eficiencia do proceso, é menos probable que inspire aos traballadores.
Á súa vez, os roles versátiles proporcionan todas as cousas que impulsan a satisfacción laboral: autonomía, dominio e propósito. A autonomía é que non dependen de nada para acadar o éxito. O dominio reside en fortes vantaxes competitivas. E o sentido do propósito reside na oportunidade de ter un impacto no negocio que crean. Se conseguimos que a xente se entusiasme co seu traballo e teña un gran impacto na empresa, todo o demais encaixará no seu lugar.
Fonte: www.habr.com