{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester di grandi e piccoli dati: tendenze, teoria, la mia storia","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ciao a tutti, mi chiamo Alessandro e sono un ingegnere della qualit\u00e0 dei dati, che si occupa di controllare la qualit\u00e0 dei dati. In questo articolo parler\u00f2 di come sono arrivato a questo punto e perch\u00e9 nel 2020 questa area del testing ha raggiunto il suo apice. <\/p>\n

\"Tester
\n<\/a><\/noindex><\/p>\n

Tendenza globale <\/h2>\n

\nIl mondo di oggi sta vivendo un'altra rivoluzione tecnologica, uno degli aspetti di questa \u00e8 l'uso dei dati accumulati da parte di diverse aziende per alimentare il loro ciclo di vendita, profitto e PR. Sembra che avere buoni dati (di qualit\u00e0) e menti capaci di trasformarli in denaro (elaborarli correttamente, visualizzarli, costruire modelli di machine learning, ecc.) sia diventato oggi la chiave del successo per molti. Se 15-20 anni fa lavorare intensamente sull'accumulo e la monetizzazione dei dati era appannaggio principalmente delle grandi aziende, oggi \u00e8 alla portata di quasi tutte le aziende sensate. <\/p>\n

Di conseguenza, alcuni anni fa, tutti i portali di ricerca lavoro nel mondo si sono riempiti di offerte per Data Scientist, perch\u00e9 si era convinti che assumere un professionista del genere potesse portare alla creazione di un super modello di machine learning, prevedere il futuro e compiere un \u201csalto quantico\u201d per l'azienda. Col tempo, le persone hanno capito che questo approccio non funziona quasi mai, poich\u00e9 non tutti i dati che arrivano a questo tipo di specialisti sono adeguati per l'allenamento dei modelli. <\/p>\n

E sono iniziate le richieste da parte dei Data Scientists: \u00abAcquistiamo ancora dati da questi e da quelli\u2026\u00bb, \u00abCi mancano dati\u2026\u00bb, \u00abServono ancora un po' di dati e possibilmente di alta qualit\u00e0\u2026\u00bb. Sulla base di queste richieste, si sono instaurate numerose interazioni tra le aziende che possiedono vari set di dati. Naturalmente, questo ha richiesto un'organizzazione tecnica del processo: connettersi alla fonte dei dati, scaricarli, verificare che siano stati caricati completamente e cos\u00ec via. Il numero di questi processi \u00e8 aumentato e oggi abbiamo una grande necessit\u00e0 di un'altra categoria di specialisti: ingegneri della Data Quality \u2014 coloro che monitorano il flusso dei dati nel sistema (data pipelines), la qualit\u00e0 dei dati in entrata e in uscita, estraendo conclusioni sulla loro adeguatezza, integrit\u00e0 e altre caratteristiche. <\/p>\n

La tendenza verso ingegneri della qualit\u00e0 dei dati ci \u00e8 arrivata dagli Stati Uniti, dove, nel bel mezzo dell'era capitalista, nessuno \u00e8 disposto a perdere la battaglia per i dati. Qui di seguito ho presentato screenshot di due dei siti di ricerca lavoro pi\u00f9 popolari negli USA: www.monster.com<\/a><\/noindex> e www.dice.com<\/a><\/noindex> \u2014 sui quali sono visualizzati i dati aggiornati al 17 marzo 2020 sul numero di offerte di lavoro ricevute, in base alle parole chiave: Data Quality e Data Scientist. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21416 offerte
\nData Quality \u2013 41104 offerte<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 offerte
\nData Quality \u2013 2020 offerte<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\n\u00c8 ovvio che queste professioni non competono affatto tra loro. Con gli screenshot ho semplicemente voluto illustrare la situazione attuale del mercato del lavoro in termini di richieste per ingegneri della qualit\u00e0 dei dati, di cui ora c'\u00e8 molta pi\u00f9 necessit\u00e0 rispetto ai Data Scientist. <\/p>\n

Nel giugno 2019, EPAM, in risposta alle esigenze del moderno mercato IT, ha separato l'area della qualit\u00e0 dei dati in una pratica autonoma. Gli ingegneri della qualit\u00e0 dei dati gestiscono i dati durante il loro lavoro quotidiano, verificano il loro comportamento in nuove condizioni e sistemi, controllano la pertinenza dei dati, la loro sufficienza e attualit\u00e0. Nonostante tutto ci\u00f2, nella pratica, gli ingegneri della qualit\u00e0 dei dati dedicano davvero poco tempo al testing funzionale classico, MA<\/u> questo dipende molto dal progetto (far\u00f2 un esempio pi\u00f9 avanti). <\/p>\n

Le responsabilit\u00e0 degli ingegneri della qualit\u00e0 dei dati non si limitano a controlli manuali\/automatici di routine su \"nulls, count e sums\" nelle tabelle del DB, ma richiedono una comprensione profonda delle esigenze aziendali del cliente e, di conseguenza, la capacit\u00e0 di trasformare i dati disponibili in informazioni commerciali utili. <\/p>\n

Teoria della qualit\u00e0 dei dati<\/h2>\n

\n\"Tester<\/p>\n

Per avere una visione pi\u00f9 completa del ruolo di un ingegnere della qualit\u00e0 dei dati, analizziamo cos'\u00e8 la qualit\u00e0 dei dati in teoria. <\/p>\n

Qualit\u00e0 dei dati<\/b> \u2014 \u00e8 una delle fasi del Data Management (un intero mondo che vi lasciamo per un autoapprendimento) e si occupa dell'analisi dei dati secondo i seguenti criteri: <\/p>\n

\"Tester
\nNon credo sia necessario scomporre ogni punto (in teoria chiamati \"data dimensions\"), sono ben descritti nell'immagine. Ma il processo di testing non implica la copia rigorosa di queste caratteristiche nei test case e la loro verifica. Nella qualit\u00e0 dei dati, come in qualsiasi altro tipo di testing, \u00e8 necessario partire prima di tutto dai requisiti di qualit\u00e0 dei dati concordati con gli stakeholder del progetto che prendono decisioni aziendali. <\/p>\n

<\/p>\n

A seconda del progetto, un ingegnere Data Quality pu\u00f2 svolgere diverse funzioni, da un semplice tester automatizzato che effettua una valutazione superficiale della qualit\u00e0 dei dati, a un professionista che esegue una profilazione approfondita in base ai criteri sopra menzionati. <\/p><\/blockquote>\n

Una descrizione molto dettagliata dei processi di Data Management, Data Quality e argomenti correlati \u00e8 fornita nel libro intitolato \u00abDAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u00bb<\/i>. Consiglio vivamente questo libro come introduzione a questo tema (il link lo trovate alla fine dell'articolo).<\/p>\n

La mia storia<\/h2>\n

\nNel settore IT, ho iniziato come Junior Tester in aziende di prodotto per diventare Lead Data Quality Engineer in EPAM. Dopo circa due anni di lavoro come tester, ero fermamente convinto di aver svolto ogni tipo di testing: regressivo, funzionale, di stress, di stabilit\u00e0, di sicurezza, UI, ecc., e di aver utilizzato un gran numero di strumenti di testing, lavorando con tre linguaggi di programmazione: Java, Scala, Python. <\/p>\n

<\/p>\n

Ripensando al passato, capisco il perch\u00e9 della mia variegata esperienza professionale: ho partecipato a progetti focalizzati sulla gestione dei dati, grandi e piccoli. Questo mi ha introdotto a una vasta gamma di strumenti e opportunit\u00e0 di crescita.<\/p><\/blockquote>\n

Per apprezzare la variet\u00e0 di strumenti e possibilit\u00e0 di acquisire nuove conoscenze e competenze, basta guardare l'immagine qui sotto, che mostra i pi\u00f9 popolari nel mondo \u00abData & AI\u00bb.<\/p>\n

\"Tester
\nTali illustrazioni sono prodotte annualmente da uno dei noti venture capitalist, Matt Turck, proveniente dallo sviluppo software. Ecco link<\/a><\/noindex> il suo blog e la societ\u00e0 di venture capital<\/a><\/noindex>, dove lavora come partner. <\/p>\n

Ho registrato una rapida crescita professionale, soprattutto quando ero l'unico tester del progetto o, perlomeno, all'inizio di un progetto. In quel momento, sei responsabile dell'intero processo di testing e non hai la possibilit\u00e0 di fare un passo indietro, solo di andare avanti. Inizialmente questo mi spaventava, ma ora vedo chiaramente tutti i vantaggi di questa esperienza: <\/p>\n