{"id":92100,"date":"2020-08-23T07:42:02","date_gmt":"2020-08-23T05:42:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru"},"modified":"2020-08-23T07:42:02","modified_gmt":"2020-08-23T05:42:02","slug":"kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru","title":{"rendered":"Come le aziende possono scegliere gli strumenti per i data engineer senza trasformare tutto in uno zoo tecnologico: esperienza di PROFI.RU","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>L'editore di Netology ha parlato con il team leader del gruppo BI in <noindex><a rel=\"nofollow\" href=\"https:\/\/profi.ru\/\">Profi.ru<\/a><\/noindex> Pavel Sayapin sulle sfide che affrontano i data engineer nel suo team, quali strumenti utilizzano e come avvicinarsi alla scelta degli strumenti per risolvere problemi legati ai dati, inclusi quelli non convenzionali. Pavel \u00e8 docente nel corso \"<noindex><a rel=\"nofollow\" href=\"https:\/\/netology.ru\/programs\/data-engineer?utm_source=habr&amp;utm_medium=externalblog&amp;utm_campaign=bds_deg_ou_habr&amp;utm_content=21082020_instrumdataeng\">Data Engineer<\/a><\/noindex>\u00bb.\u00a0<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h2>Cosa fanno i data engineer in Profi.ru<\/h2>\n<p>\nProfi.ru \u00e8 un servizio che facilita l'incontro tra clienti e specialisti di diversi settori. Nel database del servizio ci sono oltre 900.000 specialisti per 700 tipologie di servizi: tutor, riparatori, allenatori, esperti di bellezza, artisti e altri. Ogni giorno vengono registrati oltre 10.000 nuovi ordini \u2014 tutto ci\u00f2 genera circa 100 milioni di eventi al giorno. Mantenere l'ordine in una quantit\u00e0 cos\u00ec grande di dati \u00e8 impossibile senza data engineer professionisti.\u00a0\u00a0<\/p>\n<p>Idealmente, un Data Engineer sviluppa una cultura del lavoro con i dati, grazie alla quale l'azienda pu\u00f2 ottenere profitti aggiuntivi o ridurre i costi. Porta valore al business, lavorando in team e fungendo da anello importante tra i vari partecipanti \u2014 dai sviluppatori ai consumatori business delle relazioni. Tuttavia, in ogni azienda le responsabilit\u00e0 possono variare, quindi analizziamo questi aspetti attraverso l'esempio di Profi.ru.<\/p>\n<h3>Raccolgono dati per supportare le decisioni e li forniscono all'utente finale \u2014 top manager, product manager, analista\u00a0<\/h3>\n<p>\nI dati devono essere comprensibili per prendere decisioni e facili da usare. Non dovrebbe essere necessario cercare una descrizione o formulare complicate query SQL che considerano vari fattori. L'immagine ideale \u00e8 che l'utente guarda il dashboard e trova tutto ci\u00f2 di cui ha bisogno. Se mancano dati in qualche segmento, l'utente accede al database e con una semplice query SQL ottiene ci\u00f2 che serve.<\/p>\n<p><img decoding=\"async\" alt=\"Come le aziende possono scegliere gli strumenti per i data engineer senza trasformare tutto in uno zoo tecnologico: esperienza di PROFI.RU\" src=\"\/wp-content\/uploads\/2020\/08\/84beecc4cca0505513bc77218a3ef433.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Il posto del processo di Data Quality nella struttura complessiva del data warehouse<\/i><\/p>\n<p>Un'importanza particolare \u00e8 dedicata alla documentazione esplicativa sul lavoro con i dati. Questo semplifica il lavoro sia per il data engineer (che non viene distratto da domande) sia per l'utente dei dati (che pu\u00f2 trovare da solo le risposte ai suoi interrogativi). In Profi.ru questi documenti sono raccolti su un forum interno.<\/p>\n<p>Per comodit\u00e0 si intende anche la velocit\u00e0 di accesso ai dati. Velocit\u00e0 = disponibilit\u00e0 in un solo passo, clic \u2014 dashboard. Ma nella pratica la situazione \u00e8 pi\u00f9 complessa.\u00a0<\/p>\n<p>Lo stesso Tableau, dal punto di vista dell'utente finale del dashboard, non permette di visualizzare tutte le possibili dimensioni. L'utente si accontenta dei filtri forniti dal creatore del dashboard. Questo genera due scenari:\u00a0<\/p>\n<ul>\n<li>Il creatore realizza molteplici segmenti per il dashboard \u27f6 il numero di pagine aumenta considerevolmente. Questo riduce l'accessibilit\u00e0 dei dati: diventa difficile capire dove si trovano le informazioni.\u00a0<\/li>\n<li>Il creatore crea solo segmenti chiave. Trovare informazioni \u00e8 pi\u00f9 facile, ma per segmenti leggermente meno standard, bisogner\u00e0 comunque andare nella base dati o consultare gli analisti. Anche questo influisce negativamente sull'accessibilit\u00e0.\u00a0<\/li>\n<\/ul>\n<p><\/p>\n<blockquote><p>L'accessibilit\u00e0 \u00e8 un concetto ampio. Si tratta della disponibilit\u00e0 dei dati nella forma adeguata, della possibilit\u00e0 di ottenere informazioni dai dashboard e del necessario taglio dei dati.<\/p><\/blockquote>\n<p><\/p>\n<h3>Accumula i dati da tutte le fonti in un unico luogo<\/h3>\n<p>\nLe fonti di dati possono essere interne ed esterne. Ad esempio, per alcune aziende che dipendono da report meteorologici, \u00e8 necessario raccogliere e conservare dati da fonti esterne.\u00a0<\/p>\n<p>\u00c8 importante archiviare le informazioni indicando la fonte, e assicurarsi che i dati siano facilmente reperibili. In Profi.ru, questa funzione \u00e8 risolta attraverso documentazione automatizzata. La documentazione delle fonti di dati interne utilizza file YML.<\/p>\n<h3>Creano dashboard<\/h3>\n<p>\nLa visualizzazione dei dati \u00e8 meglio realizzarla con uno strumento professionale, ad esempio, Tableau.\u00a0<\/p>\n<p>La maggior parte delle persone prende decisioni in modo emotivo \u2014 la chiarezza visiva e l'estetica sono fondamentali. Lo stesso Excel non \u00e8 molto adatto per la visualizzazione, in quanto non copre tutte le esigenze degli utenti. Per esempio, un product manager ama immergersi nei numeri, ma in modo da trovare comodo farlo. Questo gli consente di risolvere i propri compiti, e non di pensare a come ottenere informazioni e raccogliere metriche.<\/p>\n<blockquote><p>Una visualizzazione dei dati di qualit\u00e0 consente di prendere decisioni pi\u00f9 facilmente e rapidamente.<\/p><\/blockquote>\n<p>\u00a0<br \/>\nMaggiore \u00e8 il grado di una persona, pi\u00f9 acuta \u00e8 la necessit\u00e0 di avere a disposizione, sul telefono, dati aggregati. I dettagli non servono ai top manager \u2014 \u00e8 importante controllare la situazione complessiva, e il BI \u00e8 uno strumento utile per questo.<\/p>\n<p><img decoding=\"async\" alt=\"Come le aziende possono scegliere gli strumenti per i data engineer senza trasformare tutto in uno zoo tecnologico: esperienza di PROFI.RU\" src=\"\/wp-content\/uploads\/2020\/08\/f3428b2418887220fa2f2ef8078d3b05.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Esempio di dashboard per product manager di Profi.ru (una delle schede). Per motivi di riservatezza, i nomi delle metriche e degli assi sono nascosti.<\/i><\/p>\n<h2>Esempi di compiti reali\u00a0<\/h2>\n<p><\/p>\n<h3>Compito 1 \u2014 trasferire i dati dai sistemi originali (operativi) a un data warehouse o ETL<\/h3>\n<p>\nUno dei compiti di routine di un data engineer.\u00a0<\/p>\n<p>A tal fine possono essere utilizzati:<\/p>\n<ul>\n<li>script personalizzati eseguiti tramite cron o con l'aiuto di un orchestratore speciale come Airflow o Prefect;\u00a0<\/li>\n<li>soluzioni ETL open source: Pentaho Data Integration, Talend Data Studio e altre;<\/li>\n<li>soluzioni proprietarie: Informatica PowerCenter, SSIS e altre;<\/li>\n<li>soluzioni cloud: Matillion, Panoply e altre.\u00a0<\/li>\n<\/ul>\n<p>\nNel formato pi\u00f9 semplice, il compito si risolve scrivendo un file YML di circa 20 righe. Ci vogliono circa 5 minuti.\u00a0<\/p>\n<p>Nel caso pi\u00f9 complesso, quando \u00e8 necessario aggiungere una nuova fonte \u2014 ad esempio, un nuovo database \u2014 pu\u00f2 richiedere fino a diversi giorni.\u00a0<\/p>\n<p>In Profi, questo semplice compito \u2014 con un processo ben collaudato \u2014 consiste nei seguenti passaggi:<\/p>\n<ul>\n<li>Chiarire con il cliente quali dati sono necessari e dove si trovano.<\/li>\n<li>Capire se ci sono accessi a questi dati.<\/li>\n<li>Se non ci sono accessi, richiederli agli amministratori.<\/li>\n<li>Aggiungere un nuovo ramo in Git con il codice del compito in Jira.<\/li>\n<li>Creare una migrazione per l'aggiunta di dati al modello di ancoraggio tramite uno script Python interattivo.<\/li>\n<li>Aggiungere i file di caricamento (file YML con la descrizione di dove provengono i dati e in quale tabella vengono inseriti).<\/li>\n<li>Testare nell'ambiente di staging.<\/li>\n<li>Caricare i dati nel repository.<\/li>\n<li>Creare una pull request.<\/li>\n<li>Sostenere la revisione del codice.<\/li>\n<li>Dopo aver superato la revisione del codice, i dati vengono caricati nel ramo master e distribuiti automaticamente in produzione (CI\/CD).<\/li>\n<\/ul>\n<p><\/p>\n<h3>Compito 2 \u2014 posizionare in modo conveniente i dati caricati<\/h3>\n<p>\nUn altro compito frequente \u00e8 posizionare i dati caricati in modo che l'utente finale (o lo strumento BI) possa lavorarci comodamente, senza dover compiere movimenti superflui per svolgere la maggior parte delle attivit\u00e0. In altre parole, costruire o aggiornare il Dimension Data Store (DDS).\u00a0<\/p>\n<p>A tal fine possono essere utilizzate soluzioni dal primo compito, poich\u00e9 anche questo \u00e8 un processo ETL. Nella variante pi\u00f9 semplice, l'aggiornamento del DDS avviene tramite script SQL.<\/p>\n<h3>Compito 3 \u2014 di tipo atipico<\/h3>\n<p>\nIn Profi nasce l'analisi in streaming. Viene generata una grande quantit\u00e0 di eventi dalle squadre di prodotto \u2014 li registriamo in ClickHouse. Tuttavia, non \u00e8 possibile inserire record singoli in grandi quantit\u00e0, quindi \u00e8 necessario raggruppare i record in batch. Questo significa che non si pu\u00f2 scrivere direttamente \u2014 \u00e8 necessario un gestore intermedio.<\/p>\n<p>Utilizziamo un motore basato su Apache Flink. Per ora, l'ordine delle operazioni \u00e8 il seguente: il motore elabora il flusso di eventi in ingresso \u27f6 li memorizza in pacchetti su ClickHouse \u27f6 calcola in tempo reale il numero di eventi negli ultimi 15 minuti \u27f6 li trasmette a un servizio che determina se ci sono anomalie - confronta i valori degli ultimi 15 minuti con una retrospettiva di 3 mesi \u27f6 se ci sono anomalie, invia una notifica su Slack.<\/p>\n<p><img decoding=\"async\" alt=\"Come le aziende possono scegliere gli strumenti per i data engineer senza trasformare tutto in uno zoo tecnologico: esperienza di PROFI.RU\" src=\"\/wp-content\/uploads\/2020\/08\/5a62fe7561cd9b7c319b5f3ba658d1ef.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Schema per l'analisi frontale (parte del caricamento)<\/i><\/p>\n<p>Il framework Apache Flink garantisce la consegna almeno una volta. Tuttavia, esiste la possibilit\u00e0 di duplicati. Nel caso di RabbitMQ, questo pu\u00f2 essere risolto utilizzando il Correlation ID. In questo modo si garantisce una consegna unica \u27f6 integrit\u00e0 dei dati.<\/p>\n<p>Calcoliamo il numero di eventi ancora una volta con Apache Flink, visualizzando i dati tramite un dashboard personalizzato, scritto in NodeJS, + frontend in ReactJS. Una rapida ricerca non ha fornito soluzioni simili. Inoltre, il codice si \u00e8 rivelato semplice: la scrittura non ha richiesto molto tempo.<\/p>\n<p>Il monitoraggio \u00e8 piuttosto tecnico. Analizziamo le anomalie per prevenire problemi nelle fasi iniziali. Alcune metriche globali significative dell'azienda non sono ancora incluse nel monitoraggio, poich\u00e9 il settore dell'analisi in streaming \u00e8 ancora in fase di sviluppo.<\/p>\n<h2>Strumenti principali per i data engineer<\/h2>\n<p>\nLe mansioni dei data engineer sono pi\u00f9 o meno chiare, ora parliamo un po' degli strumenti utilizzati per affrontarle. Naturalmente, gli strumenti possono (e devono) variare tra le diverse aziende: tutto dipende dal volume dei dati, dalla loro velocit\u00e0 di arrivo e dalla loro eterogeneit\u00e0. Pu\u00f2 anche dipendere dalle preferenze di un esperto verso un particolare strumento, solamente perch\u00e9 ha esperienza con esso e lo conosce bene. In Profi.ru ci siamo concentrati su queste opzioni \u2192<\/p>\n<h3>Per la visualizzazione dei dati - Tableau, Metabase<\/h3>\n<p>\nAbbiamo scelto Tableau da tempo. Questo sistema consente di analizzare rapidamente grandi volumi di dati, senza richiedere un'implementazione costosa. Per noi \u00e8 comodo, bello e familiare - lavoriamo spesso con esso.<\/p>\n<p>Pochi conoscono Metabase, ma \u00e8 molto buono per la prototipazione.\u00a0<\/p>\n<p>Degli strumenti di visualizzazione, si pu\u00f2 ancora parlare di Superset di Airbnb. La sua caratteristica principale \u00e8 la possibilit\u00e0 di molte connessioni a database e opportunit\u00e0 di visualizzazione. Tuttavia, per l'utente medio risulta meno conveniente rispetto a Metabase: non \u00e8 possibile unire le tabelle, per farlo \u00e8 necessario creare viste separate.\u00a0<\/p>\n<p>In Metabase \u00e8 possibile unire le tabelle; inoltre, il servizio lo fa automaticamente tenendo conto dello schema del database. Anche l'interfaccia di Metabase \u00e8 pi\u00f9 semplice e gradevole.<\/p>\n<p>Ci sono davvero molti strumenti: cerca semplicemente il tuo.<\/p>\n<h3>Per lo storage dei dati: ClickHouse, Vertica<\/h3>\n<p>\nClickHouse \u00e8 uno strumento gratuito e veloce per memorizzare eventi di prodotto. Qui gli analisti possono eseguire analisi autonome (se dispongono dei dati sufficienti) oppure i data engineer prendono gli aggregati e li caricano nuovamente in Vertica per costruire le vetrine.<\/p>\n<p>Vertica \u00e8 un prodotto fantastico e utile per visualizzare le vetrine finali.\u00a0<\/p>\n<h3>Per la gestione dei flussi di dati e per l'elaborazione: Airflow<\/h3>\n<p>\nCarichiamo i dati tramite strumenti da console. Ad esempio, tramite il client fornito con MySQL, in questo modo le operazioni risultano pi\u00f9 rapide.\u00a0<\/p>\n<p>Il vantaggio degli strumenti da console \u00e8 la velocit\u00e0. I dati non vengono trasferiti attraverso la memoria dello stesso processo Python. Gli svantaggi sono la riduzione del controllo sui dati che transitano da un database all'altro.<\/p>\n<h3>Il linguaggio di programmazione principale \u00e8 Python<\/h3>\n<p>\nPython ha una barriera d'ingresso molto pi\u00f9 bassa e in azienda ci sono competenze relative a questo linguaggio. Un'altra ragione \u00e8 che i DAG di Airflow vengono scritti in Python. Questi script sono semplicemente wrapper sui caricamenti, il lavoro principale viene svolto tramite script da console.\u00a0<\/p>\n<p>Utilizziamo Java per lo sviluppo di analisi in tempo reale.<\/p>\n<h2>L'approccio nella scelta degli strumenti per i dati \u00e8 quello di evitare di creare uno zoo tecnologico.<\/h2>\n<p>\nCi sono molti strumenti sul mercato per lavorare con i dati in ogni fase: dalla loro generazione all'esposizione su un dashboard per il consiglio di amministrazione. Non \u00e8 sorprendente che alcune aziende possano avere una serie di soluzioni non collegate, il cosiddetto zoo tecnologico.<\/p>\n<p>Uno zoo tecnologico \u00e8 composto da strumenti che svolgono le stesse funzioni. Ad esempio, Kafka e RabbitMQ per la messaggistica o Grafana e Zeppelin per la visualizzazione.\u00a0<\/p>\n<p><img decoding=\"async\" alt=\"Come le aziende possono scegliere gli strumenti per i data engineer senza trasformare tutto in uno zoo tecnologico: esperienza di PROFI.RU\" src=\"\/wp-content\/uploads\/2020\/08\/d246be323dda92b5f6306c1fb3c85589.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i><noindex><a rel=\"nofollow\" href=\"http:\/\/mattturck.com\/wp-content\/uploads\/2019\/07\/2019_Matt_Turck_Big_Data_Landscape_Final_Fullsize.png\">Mappa delle tecnologie e delle aziende nel campo dei dati e dell'IA<\/a><\/noindex> \u00e8 evidente quante soluzioni duplicative possano esistere<\/i><\/p>\n<p>In molti possono anche utilizzare diversi strumenti ETL per scopi personali. In Profi si presenta proprio questa situazione. L'ETL principale \u00e8 su Airflow, ma qualcuno utilizza Pentaho per caricamenti personali. Testano ipotesi e non hanno bisogno di passare questi dati attraverso ingegneri. Gli strumenti di \"self-service\" sono principalmente utilizzati da specialisti abbastanza esperti che si occupano di attivit\u00e0 di ricerca, esplorando nuovi percorsi di sviluppo del prodotto. Il loro set di dati per l'analisi \u00e8 interessante principalmente per loro, e inoltre, cambia costantemente. Pertanto, non ha senso caricare questi dati sulla piattaforma principale.\u00a0<\/p>\n<p>Tornando allo zoo. Spesso l'uso di tecnologie duplicate \u00e8 legato al fattore umano. Team interni isolati sono abituati a lavorare con uno strumento piuttosto che con un altro che l'altra squadra potrebbe non utilizzare. E a volte l'autonomia \u00e8 l'unica strada per risolvere compiti particolari. Ad esempio, se il team R&amp;D ha bisogno di testare qualcosa usando uno strumento specifico \u2014 \u00e8 semplicemente comodo, qualcuno del team l'ha gi\u00e0 utilizzato o c'\u00e8 un altro motivo. Aspettare che un amministratore di sistema installi e configuri questo strumento richiede tempo. Inoltre, gli amministratori ponderati e meticolosi devono anche dimostrare che \u00e8 davvero necessario. Cos\u00ec, il team installa lo strumento sulle proprie macchine virtuali e risolve le proprie esigenze specifiche.<\/p>\n<blockquote><p>Uno zoo di soluzioni non \u00e8 un problema, a patto che non richieda un notevole dispendio di risorse da parte dell'amministratore per supportare lo strumento. \u00c8 importante considerare come l'uso dello strumento influisce sulle risorse di supporto.\u00a0<\/p><\/blockquote>\n<p>\nUn'altra ragione comune per cui emergono nuovi strumenti \u00e8 il desiderio di provare un prodotto sconosciuto in un'area abbastanza nuova, dove non esistono ancora standard o raccomandazioni validate. L'ingegnere dei dati, come lo sviluppatore, deve sempre esplorare nuovi strumenti nella speranza di trovare soluzioni pi\u00f9 efficienti per le sfide attuali o per essere aggiornato su ci\u00f2 che offre il mercato.<\/p>\n<p>La tentazione di provare nuovi strumenti \u00e8 davvero grande. Ma per fare una scelta sensata, \u00e8 necessaria prima di tutto l'autodisciplina. Questa aiuta a non lasciarsi sopraffare completamente dagli impulsi esplorativi e a considerare le possibilit\u00e0 dell'azienda nel supporto infrastrutturale per il nuovo strumento.\u00a0<\/p>\n<blockquote><p>Non bisogna utilizzare la tecnologia solo per il gusto di farlo. \u00c8 meglio affrontare la questione in modo pragmatica: compito \u27f6 insieme di strumenti che possono risolvere quel compito.<\/p><\/blockquote>\n<p>\u00a0E poi valutare ciascuno di essi e scegliere il migliore. Ad esempio, questo strumento pu\u00f2 risolvere il compito in modo pi\u00f9 efficace, ma non ci sono competenze su di esso, e questo \u00e8 leggermente meno efficace, ma in azienda ci sono persone che sanno come usarlo. Questo strumento \u00e8 a pagamento, ma facile da mantenere e usare, mentre questo \u00e8 un open source alla moda, ma per il suo supporto sono necessari amministratori fissi. Si presentano tali dicotomie, per risolvere le quali \u00e8 necessaria una mente lucida.<\/p>\n<blockquote><p>La scelta dello strumento \u00e8 per met\u00e0 un salto di fede, per met\u00e0 un'esperienza personale. Non c'\u00e8 certezza assoluta che lo strumento si adatter\u00e0.<\/p><\/blockquote>\n<p>Ad esempio, in Profi abbiamo iniziato con Pentaho, perch\u00e9 c'era competenza su questo strumento, ma alla fine si \u00e8 rivelata una scelta errata. Il repository interno di Pentaho, man mano che il progetto cresceva, ha iniziato a rallentare notevolmente il lavoro. Per salvare i dati, a proposito, ci volevano un minuto, e se hai l'abitudine di salvare costantemente il lavoro, il tempo semplicemente sfuggiva dalle mani. A questo si aggiungeva un avvio complicato e le attivit\u00e0 programmate \u2014 il computer si bloccava.\u00a0<\/p>\n<p>La sofferenza \u00e8 finita dopo il passaggio a Airflow \u2014 uno strumento popolare, con una grande comunit\u00e0.\u00a0<\/p>\n<blockquote><p>La presenza di una comunit\u00e0 per il servizio o lo strumento \u00e8 importante per risolvere compiti difficili \u2014 si pu\u00f2 chiedere consiglio ai colleghi.<\/p><\/blockquote>\n<p>Se l'azienda \u00e8 matura e dispone di risorse, vale la pena considerare l'acquisto di supporto tecnico. Questo aiuter\u00e0 a risolvere rapidamente i problemi e a ricevere raccomandazioni sull'uso del prodotto.<\/p>\n<p>Parlando dell'approccio alla scelta, in Profi si seguono i seguenti principi:<\/p>\n<ul>\n<li><b>Non prendere decisioni da soli<\/b>. Quando una persona sceglie qualcosa, \u00e8 automaticamente convinta di avere ragione. Altro \u00e8 convincere gli altri, quando bisogna portare argomenti seri a sostegno. Questo aiuta anche a vedere i punti deboli dello strumento.<\/li>\n<li><b>Consultare il principale specialista dei dati (dialogo verticale)<\/b>. Questo pu\u00f2 essere il Chief Data Engineer o il responsabile del team BI. I vertici vedono la situazione in modo pi\u00f9 ampio.\u00a0<\/li>\n<li><b>Comunicare con altri team (dialogo orizzontale)<\/b>. Quali strumenti utilizzano e quanto sono efficaci? Forse uno strumento di un collega pu\u00f2 risolvere anche le vostre esigenze, evitando di dover creare uno zoo di soluzioni.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Competenze interne come valida alternativa a un fornitore esterno di servizi<\/h3>\n<p>\nUn approccio alla scelta degli strumenti pu\u00f2 essere considerato anche l'utilizzo delle competenze interne dell'azienda.\u00a0<\/p>\n<p>Spesso si presentano situazioni in cui un'azienda ha una sfida complessa, ma non ha i fondi per realizzarla. La sfida \u00e8 ampia e importante e, idealmente, sarebbe meglio coinvolgere un fornitore esterno che abbia l'esperienza adeguata. Ma poich\u00e9 non ci sono queste possibilit\u00e0 (fondi), viene affidata l'attivit\u00e0 al team interno. Inoltre, di solito le aziende ripongono maggiore fiducia nei loro dipendenti se questi hanno gi\u00e0 dimostrato la loro efficacia.<\/p>\n<p>Esempi di tali attivit\u00e0, in cui una nuova direzione si sviluppa grazie ai dipendenti, includono l'esecuzione di test di carico e la creazione di un data warehouse. Soprattutto il data warehouse, poich\u00e9 \u00e8 una storia unica per ogni azienda. Non \u00e8 possibile acquistarlo, si pu\u00f2 solo assumere esperti esterni che lo costruiscano con il supporto del team interno.\u00a0\u00a0<\/p>\n<p>A proposito, man mano che la nuova direzione si sviluppa, il team pu\u00f2 rendersi conto che la necessit\u00e0 di un fornitore di servizi esterno \u00e8 venuta meno.<\/p>\n<p>In Profi, l'implementazione di BI \u00e8 stata in-house. La principale difficolt\u00e0 \u00e8 stata che l'azienda voleva lanciare BI rapidamente. Ma per costruire un progetto del genere era necessario tempo: sviluppare competenze, caricare dati, costruire un modello di data warehouse comodo, scegliere gli strumenti e apprenderli.<\/p>\n<p>La fase principale \u2014 quella intensa \u2014 in cui tutto veniva costruito e prendeva forma, \u00e8 durata circa un anno. Il progetto si sviluppa ancora oggi.\u00a0<\/p>\n<blockquote><p>Quando si costruisce un data warehouse aziendale \u00e8 importante aderire a standard elevati, difendere le proprie posizioni e non fare le cose in modo approssimativo a favore del business.\u00a0<\/p>\n<p>Con grande dolore abbiamo dovuto rifare gran parte del progetto, che all'epoca doveva essere fatto in fretta.<\/p><\/blockquote>\n<p>\u00a0Ma a volte l'approccio \"veloce\" \u00e8 ragionevole. Ad esempio, nello sviluppo di prodotti, pu\u00f2 essere persino l'unico modo corretto. \u00c8 necessario procedere rapidamente, testare le ipotesi di prodotto e altro ancora. Ma il sistema di archiviazione deve essere basato su un'architettura solida, altrimenti non potr\u00e0 adattarsi rapidamente alla crescita del business e il progetto si fermer\u00e0.<\/p>\n<p>In questo progetto complesso il nostro leader ha dato un grande aiuto, sostenendo l'andamento dei lavori, spiegando alla direzione cosa stiamo facendo, ottenendo risorse e semplicemente proteggendoci. Senza un tale supporto, non sono sicuro che saremmo riusciti a lanciare il progetto.<\/p>\n<p>In queste situazioni, giocano un ruolo importante i cosiddetti early adopters, ovvero coloro che sono disposti a provare cose nuove, tra top manager, analisti e product manager. Affinch\u00e9 un argomento grezzo prenda piede, sono necessari dei pionieri che confermino che tutto funziona e che sia comodo da usare. <\/p>\n<p><i>Se qualcuno vuole condividere la soluzione del terzo problema di cui sopra - benvenuto \ud83d\ude42<\/i><br \/>\n<br \/>Fonte: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/netologyru\/blog\/516060\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0420\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u041d\u0435\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043b\u0430 \u0441 \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b BI \u0432 Profi.ru \u041f\u0430\u0432\u043b\u043e\u043c \u0421\u0430\u044f\u043f\u0438\u043d\u044b\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432 \u0435\u0433\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u0447\u0442\u043e \u0437\u0430 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438 \u043a\u0430\u043a \u0436\u0435 \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u043e\u0439\u0442\u0438 \u043a \u0432\u044b\u0431\u043e\u0440\u0443 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u0430\u0442\u0430-\u0437\u0430\u0434\u0430\u0447, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043d\u0435\u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445. \u041f\u0430\u0432\u0435\u043b \u2014 \u043f\u0440\u0435\u043f\u043e\u0434\u0430\u0432\u0430\u0442\u0435\u043b\u044c \u043d\u0430 \u043a\u0443\u0440\u0441\u0435 \u00ab\u0414\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u00bb.\u00a0 \u0427\u0435\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432 Profi.ru Profi.ru \u2014 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":92101,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-92100","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0420\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u041d\u0435\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043b\u0430 \u0441 \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b BI \u0432 Profi.ru \u041f\u0430\u0432\u043b\u043e\u043c \u0421\u0430\u044f\u043f\u0438\u043d\u044b\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432 \u0435\u0433\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u0447\u0442\u043e \u0437\u0430.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"it_IT\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0438 \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0441\u0451 \u0432 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0437\u043e\u043e\u043f\u0430\u0440\u043a: \u043e\u043f\u044b\u0442 PROFI.RU | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0420\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u041d\u0435\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043b\u0430 \u0441 \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b BI \u0432 Profi.ru \u041f\u0430\u0432\u043b\u043e\u043c \u0421\u0430\u044f\u043f\u0438\u043d\u044b\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432 \u0435\u0433\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u0447\u0442\u043e \u0437\u0430.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-23T05:42:02+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-23T05:42:02+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Come le aziende possono scegliere gli strumenti per i data engineer e non trasformare tutto in uno zoo tecnologico: l'esperienza di PROFI.RU | ProHoster","description":"L'editor di Netology ha parlato con il team leader del team BI in Profi.ru, Pavel Sayapin, riguardo a quali compiti affrontano i data engineer nel suo team, cosa che.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0438 \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0441\u0451 \u0432 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0437\u043e\u043e\u043f\u0430\u0440\u043a: \u043e\u043f\u044b\u0442 PROFI.RU | ProHoster","og:description":"\u0420\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u041d\u0435\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043b\u0430 \u0441 \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b BI \u0432 Profi.ru \u041f\u0430\u0432\u043b\u043e\u043c \u0421\u0430\u044f\u043f\u0438\u043d\u044b\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432 \u0435\u0433\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u0447\u0442\u043e \u0437\u0430.","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-23T05:42:02+00:00","article:modified_time":"2020-08-23T05:42:02+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"92100","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:15:35","updated":"2022-09-30 01:22:25","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/92100","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=92100"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/92100\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/92101"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=92100"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=92100"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=92100"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}