HIROSHI WATANABE/GETTY IMAGES
A La riquesa de les nacions, Adam Smith mostra com la divisió del treball esdevé la principal font d'augment de la productivitat. Un exemple és la cadena de muntatge d'una fàbrica de pins: "Un treballador estira el cable, un altre el redreça, un tercer el talla, un quart esmola l'extrem, un cinquè esmola l'altre extrem per adaptar-lo al cap". Gràcies a l'especialització centrada en funcions específiques, cada empleat es converteix en un especialista altament qualificat en la seva tasca limitada, la qual cosa comporta una major eficiència del procés. La producció per treballador augmenta moltes vegades i la fàbrica es torna més eficient en la producció de pins.
Aquesta divisió del treball per funcionalitat està tan arrelada a la nostra ment fins i tot avui que vam organitzar ràpidament els nostres equips en conseqüència. La ciència de dades no és una excepció. Les capacitats empresarials algorítmiques complexes requereixen múltiples funcions de treball, de manera que les empreses solen crear equips d'especialistes: investigadors, enginyers de dades, enginyers d'aprenentatge automàtic, científics de causa i efecte, etc. El treball dels especialistes està coordinat pel product manager amb la transferència de funcions d'una manera semblant a una fàbrica de pins: “una persona rep les dades, una altra les modela, una tercera les executa, una quarta mesura”, etc.
Per desgràcia, no hem d'optimitzar els nostres equips de Data Science per millorar la productivitat. Tanmateix, ho feu quan enteneu el que esteu produint: agulles o una altra cosa, i simplement us esforceu per augmentar l'eficiència. El propòsit de les línies de muntatge és completar una tasca. Sabem exactament el que volem: pins (com en l'exemple de Smith), però es pot esmentar qualsevol producte o servei en què els requisits descriguin completament tots els aspectes del producte i el seu comportament. La funció dels empleats és complir aquests requisits de la manera més eficient possible.
Però l'objectiu de Data Science no és completar tasques. Més aviat, l'objectiu és explorar i desenvolupar noves oportunitats de negoci sòlides. Els productes i serveis algorítmics com ara sistemes de recomanació, interaccions amb els clients, classificació de preferències d'estil, talles, disseny de roba, optimització logística, detecció de tendències estacionals i molt més no es poden desenvolupar per endavant. S'han d'estudiar. No hi ha plànols per replicar, són noves possibilitats amb incertesa inherent. Els coeficients, models, tipus de models, hiperparàmetres, tots els elements necessaris s'han d'aprendre mitjançant l'experimentació, l'assaig i error i la repetició. Amb els pins, la formació i el disseny es fan abans de la producció. Amb Data Science s'aprèn com ho aprens, no abans.
En una fàbrica de pins, quan la formació és el primer, no esperem ni volem que els treballadors improvisin cap característica del producte que no sigui millorar l'eficiència de la producció. L'especialització de les tasques té sentit perquè condueix a l'eficiència del procés i la coherència de la producció (sense canvis en el producte final).
Però quan el producte encara s'està desenvolupant i l'objectiu és la formació, l'especialització interfereix amb els nostres objectius en els casos següents:
1. Augmenta els costos de coordinació.
És a dir, aquells costos que s'acumulen durant el temps dedicat a comunicar, discutir, justificar i prioritzar la feina que cal fer. Aquests costos augmenten de manera súper lineal amb el nombre de persones implicades. (Com ens va ensenyar J. Richard Hackman, el nombre de relacions r creix de manera similar a la funció del nombre de termes n segons aquesta equació: r = (n^2-n)/2. I cada relació revela una certa quantitat de la relació de costos.) Quan els científics de dades s'organitzen per funció, en cada etapa, amb cada canvi, cada lliurament, etc., es necessiten molts especialistes, la qual cosa augmenta els costos de coordinació. Per exemple, els modeladors estadístics que vulguin experimentar amb noves funcions hauran de coordinar-se amb els enginyers de dades que s'afegeixen als conjunts de dades cada vegada que vulguin provar alguna cosa nova. De la mateixa manera, cada model nou entrenat significa que el desenvolupador del model necessitarà algú amb qui es coordine per posar-lo en producció. Els costos de coordinació actuen com un preu per a la iteració, fent-los més difícils i cars i amb més probabilitats de provocar l'abandonament de l'estudi. Això pot interferir amb l'aprenentatge.
2. Dificulta els temps d'espera.
Encara més descoratjador que els costos de coordinació és el temps perdut entre torns de treball. Tot i que els costos de coordinació solen mesurar-se en hores (el temps que es triga a dur a terme reunions, discussions, revisions de disseny), el temps d'espera normalment es mesura en dies, setmanes o fins i tot mesos! Els horaris dels especialistes funcionals són difícils d'equilibrar perquè cada especialista s'ha de distribuir en diversos projectes. Una reunió d'una hora per discutir els canvis pot trigar setmanes a suavitzar el flux de treball. I després d'acordar els canvis, cal planificar el propi treball en el context de molts altres projectes que ocupen el temps de treball dels especialistes. Els treballs que impliquen correccions de codi o investigacions que només triguen unes quantes hores o dies a completar-se poden trigar molt més abans que els recursos estiguin disponibles. Fins aleshores, la iteració i l'aprenentatge estan suspesos.
3. Redueix el context.
La divisió del treball pot limitar artificialment l'aprenentatge recompensant les persones per romandre en la seva especialitat. Per exemple, un investigador científic que ha de mantenir-se dins de l'abast de la seva funcionalitat centrarà la seva energia a experimentar amb diferents tipus d'algorismes: regressió, xarxes neuronals, bosc aleatori, etc. Per descomptat, les bones eleccions d'algoritmes poden conduir a millores incrementals, però normalment hi ha molt més per obtenir d'altres activitats, com ara la integració de noves fonts de dades. De la mateixa manera, ajudarà a desenvolupar un model que exploti tot el poder explicatiu inherent a les dades. Tanmateix, la seva força pot residir en canviar la funció objectiu o relaxar determinades limitacions. Això és difícil de veure o fer quan el seu treball és limitat. Com que un científic tècnic s'especialitza en l'optimització d'algorismes, és molt menys probable que faci qualsevol altra cosa, fins i tot si això comporta beneficis significatius.
Per anomenar els signes que apareixen quan els equips de ciència de dades actuen com a fàbriques de pins (per exemple, en actualitzacions d'estat senzilles): "esperant els canvis del canal de dades" i "esperant els recursos de ML Eng" són bloquejadors habituals. Tanmateix, crec que la influència més perillosa és allò que no es nota, perquè no et pots penedir d'allò que ja no saps. L'execució impecable i la complaença que s'obtenen a l'aconseguir l'eficiència dels processos poden emmascarar la veritat que les organitzacions no són conscients dels avantatges de formació que s'estan perdent.
La solució a aquest problema, per descomptat, és desfer-se del mètode del pin de fàbrica. Per afavorir l'aprenentatge i la iteració, els rols dels científics de dades haurien de ser genèrics però amb àmplies responsabilitats independents de la funció tècnica, és a dir, organitzar els científics de dades de manera que estiguin optimitzats per a l'aprenentatge. Això significa contractar "especialistes de pila completa": especialistes generals que poden realitzar una varietat de funcions, des del concepte fins a la modelització, la implementació i la mesura. És important tenir en compte que no estic suggerint que la contractació de talent complet hauria de reduir el nombre d'empleats. Més aviat, simplement suposaré que quan s'organitzen de manera diferent, els seus incentius s'alineen millor amb els beneficis d'aprenentatge i rendiment. Per exemple, suposem que teniu un equip de tres persones amb tres habilitats empresarials. En una fàbrica de pins, cada tècnic dedicarà un terç del seu temps a cada tasca laboral, ja que ningú més pot fer la seva feina. En una pila completa, cada generalista es dedica completament a tot el procés empresarial, l'escalada i la formació.
Amb menys persones donant suport al cicle productiu, la coordinació es redueix. El generalista es mou amb fluïdesa entre les funcions, ampliant la canalització de dades per afegir més dades, provant noves funcions als models, desplegant noves versions a la producció per a mesuraments causals i repetint passos tan ràpidament com sorgeixen noves idees. Per descomptat, la camioneta realitza diferents funcions de manera seqüencial i no en paral·lel. Després de tot, només és una persona. Tanmateix, la realització d'una tasca sol requereix només una fracció del temps necessari per accedir a un altre recurs especialitzat. Per tant, el temps d'iteració disminueix.
El nostre generalista pot no ser tan hàbil com un especialista en una funció laboral concreta, però no ens esforcem per aconseguir la perfecció funcional o petites millores incrementals. Més aviat, ens esforcem per aprendre i descobrir cada cop més reptes professionals amb un impacte gradual. Amb un context holístic per a una solució completa, veu oportunitats que un especialista perdria. Té més idees i més possibilitats. Ell també falla. Tanmateix, el cost del fracàs és baix i els beneficis de l'aprenentatge són alts. Aquesta asimetria afavoreix una ràpida iteració i recompensa l'aprenentatge.
És important tenir en compte que la quantitat d'autonomia i diversitat d'habilitats que ofereixen els científics de la pila completa depèn en gran mesura de la robustesa de la plataforma de dades sobre la qual treballar. Una plataforma de dades ben dissenyada fa abstracte dels científics de dades de les complexitats de la contenidorització, el processament distribuït, la fallada automàtica i altres conceptes informàtics avançats. A més de l'abstracció, una plataforma de dades robusta pot proporcionar una connectivitat perfecta a la infraestructura experimental, automatitzar la supervisió i les alertes, permetre l'escala automàtica i la visualització dels resultats algorísmics i la depuració. Aquests components estan dissenyats i construïts pels enginyers de la plataforma de dades, el que significa que no es transmeten del científic de dades a l'equip de desenvolupament de la plataforma de dades. És l'especialista en ciència de dades el responsable de tot el codi utilitzat per executar la plataforma.
A mi també em va interessar una vegada la divisió funcional del treball mitjançant l'eficiència dels processos, però a través d'assaig i error (no hi ha millor manera d'aprendre), vaig descobrir que els rols típics faciliten millor l'aprenentatge i la innovació i proporcionen les mètriques adequades: descobrir i crear moltes més oportunitats de negoci que un enfocament especialitzat. (Una manera més eficaç d'aprendre sobre aquest enfocament de l'organització que l'assaig i error que vaig passar és llegir el llibre d'Amy Edmondson Col·laboració en equip: com les organitzacions aprenen, innovan i competeixen en l'economia del coneixement).
Hi ha alguns supòsits importants que poden fer que aquest enfocament d'organització sigui més o menys fiable en algunes empreses. El procés d'iteració redueix el cost d'assaig i error. Si el cost de l'error és elevat, és possible que vulgueu reduir-los (però això no es recomana per a aplicacions mèdiques o de fabricació). A més, si esteu tractant amb petabytes o exabytes de dades, és possible que es requereixi l'especialització en enginyeria de dades. De la mateixa manera, si mantenir les capacitats empresarials en línia i la seva disponibilitat és més important que millorar-les, l'excel·lència funcional pot superar l'aprenentatge. Finalment, el model de pila completa es basa en les opinions de les persones que en coneixen. No són unicorns; pots trobar-los o preparar-los tu mateix. No obstant això, tenen una gran demanda i atraure-los i retenir-los requerirà una compensació competitiva, valors corporatius sòlids i un treball desafiant. Assegureu-vos que la vostra cultura d'empresa ho pot donar suport.
Tot i això dit, crec que el model de pila completa ofereix les millors condicions inicials. Comenceu amb ells, i després avançar conscientment cap a una divisió funcional del treball només quan sigui absolutament necessari.
Hi ha altres desavantatges de l'especialització funcional. Això pot comportar la pèrdua de responsabilitat i passivitat per part dels treballadors. El mateix Smith critica la divisió del treball, suggerint que condueix a l'amortització del talent, és a dir. els treballadors es tornen ignorants i es retrauen, ja que els seus rols es limiten a unes quantes tasques repetitives. Tot i que l'especialització pot proporcionar eficiència del procés, és menys probable que inspiri els treballadors.
Al seu torn, els rols versàtils proporcionen totes les coses que impulsen la satisfacció laboral: autonomia, domini i propòsit. L'autonomia és que no depenen de res per aconseguir l'èxit. El domini rau en forts avantatges competitius. I el sentit de propòsit rau en l'oportunitat d'incidir en el negoci que creen. Si aconseguim que la gent s'entusiasme amb la seva feina i tingui un gran impacte a l'empresa, aleshores tota la resta anirà al seu lloc.
Font: www.habr.com