{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester di big e small data: tendenze, teoria, la mia storia","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ciao a tutti, mi chiamo Alessandro e sono un ingegnere della qualit\u00e0 dei dati che si occupa di verificare i dati per la loro qualit\u00e0. In questo articolo parler\u00f2 di come sono arrivato a questo punto e perch\u00e9 nel 2020 questa area di testing \u00e8 diventata cos\u00ec importante. <\/p>\n

\"Tester
\n<\/a><\/noindex><\/p>\n

Tendenza globale <\/h2>\n

\nIl mondo di oggi sta vivendo una nuova rivoluzione tecnologica, uno degli aspetti della quale \u00e8 l'utilizzo da parte delle varie aziende dei dati accumulati per alimentare il loro ciclo di vendite, profitti e pubblicit\u00e0. Si ritiene che avere buoni dati (di qualit\u00e0) e menti capaci di trasformarli in denaro (elaborandoli correttamente, visualizzandoli, costruendo modelli di machine learning ecc.) sia oggi la chiave del successo per molti. Se 15-20 anni fa il lavoro con i dati e la loro monetizzazione era appannaggio principalmente delle grandi aziende, oggi \u00e8 una questione di quasi tutte le aziende razionali. <\/p>\n

In questo contesto, alcuni anni fa tutti i portali dedicati alla ricerca di lavoro in tutto il mondo sono stati invasi da offerte di lavoro per Data Scientist, poich\u00e9 tutti erano convinti che assumendo uno specialista di questo tipo si potesse costruire un super modello di machine learning, prevedere il futuro e compiere un \"salto quantico\" per l'azienda. Col tempo, le persone hanno capito che questo approccio non funziona quasi mai, poich\u00e9 non tutti i dati che arrivano in mano a tali specialisti sono adatti per addestrare modelli. <\/p>\n

E cominciarono le richieste da parte dei Data Scientist: \u00abCompriamo ancora dati da questi e da quelli...\u00bb, \u00abCi mancano i dati\u2026\u00bb, \u00abServono ancora un po' di dati, meglio se di qualit\u00e0\u2026\u00bb. Sulla base di queste richieste, iniziarono a formarsi numerose interazioni tra le aziende che possedevano vari set di dati. Naturalmente, questo richiese un'organizzazione tecnica di questo processo: collegarsi alla fonte dei dati, estrarli, verificare che fossero caricati per intero, ecc. Il numero di tali processi inizi\u00f2 a crescere e ai giorni nostri abbiamo ottenuto un'enorme richiesta di un altro tipo di specialisti: ingegneri per la qualit\u00e0 dei dati \u2014 coloro che monitorerebbero il flusso di dati nel sistema (data pipelines), la qualit\u00e0 dei dati in ingresso e in uscita, estraendo conclusioni sulla loro sufficienza, integrit\u00e0 e altre caratteristiche. <\/p>\n

La tendenza verso gli ingegneri della Data Quality ci \u00e8 giunta dagli Stati Uniti, dove nel pieno dell'era capitalista, nessuno \u00e8 pronto a perdere la battaglia per i dati. Di seguito ho presentato degli screenshot di due dei siti di ricerca lavoro pi\u00f9 popolari negli Stati Uniti: www.monster.com<\/a><\/noindex> e www.dice.com<\/a><\/noindex> \u2014 sui quali sono visualizzati i dati aggiornati al 17 marzo 2020 riguardo al numero di offerte di lavoro pubblicate, a partire dalle parole chiave: Data Quality e Data Scientist. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21416 offerte di lavoro
\nData Quality \u2013 41104 offerte di lavoro<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 offerte di lavoro
\nData Quality \u2013 2020 offerte di lavoro<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\n\u00c8 evidente che queste professioni non competono in alcun modo l'una con l'altra. Gli screenshot sono stati utilizzati solo per illustrare la situazione attuale del mercato del lavoro per quanto riguarda la domanda di ingegneri della Data Quality, di cui c'\u00e8 attualmente una richiesta molto maggiore rispetto ai Data Scientists. <\/p>\n

Nel giugno 2019, EPAM, rispondendo alle esigenze del moderno mercato IT, ha separato la pratica della Data Quality in un'area specifica. Gli ingegneri della Data Quality, nel corso della loro attivit\u00e0 quotidiana, gestiscono i dati, ne verificano il comportamento in nuove condizioni e sistemi, controllano la rilevanza dei dati, la loro sufficienza e attualit\u00e0. Nonostante ci\u00f2, in senso pratico, gli ingegneri della Data Quality dedicano effettivamente poco tempo ai test funzionali classici, MA<\/u> questo dipende molto dal progetto (un esempio lo presenter\u00f2 in seguito). <\/p>\n

Le responsabilit\u00e0 di un ingegnere Data Quality non si limitano solo a controlli manuali o automatici di routine su \u00abnulls, count e sums\u00bb nelle tabelle del database, ma richiedono una profonda comprensione delle esigenze aziendali del cliente e, di conseguenza, la capacit\u00e0 di trasformare i dati disponibili in informazioni utili per il business. <\/p>\n

Teoria della Data Quality<\/h2>\n

\n\"Tester<\/p>\n

Per avere un'idea pi\u00f9 completa del ruolo di un ingegnere di questo tipo, vediamo cos'\u00e8 la Data Quality in teoria. <\/p>\n

Data Quality<\/b> \u00e8 una delle fasi della Data Management (un intero mondo che vi lasceremo esplorare autonomamente) e si occupa dell'analisi dei dati secondo i seguenti criteri: <\/p>\n

\"Tester
\nNon credo sia necessario decifrare ciascun punto (in teoria chiamati \u00abdata dimensions\u00bb), sono ben descritti nell'immagine. Tuttavia, il processo di test non implica una copia rigorosa di queste caratteristiche nei test-case e la loro verifica. Nella Data Quality, come in qualsiasi altro tipo di test, \u00e8 fondamentale partire dai requisiti di qualit\u00e0 dei dati concordati con i partecipanti al progetto che prendono decisioni aziendali. <\/p>\n

<\/p>\n

A seconda del progetto, un ingegnere Data Quality pu\u00f2 svolgere diverse funzioni: da semplice tester automatizzato con una valutazione superficiale della qualit\u00e0 dei dati, fino a una persona che conduce un profilo approfondito secondo le caratteristiche sopra indicate. <\/p><\/blockquote>\n

Una descrizione molto dettagliata dei processi di Data Management, Data Quality e correlati \u00e8 ben descritta nel libro intitolato \u00abDAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u00bb<\/i>. Raccomando vivamente questo libro come introduzione a questo tema (trovate il link alla fine dell'articolo).<\/p>\n

La mia storia<\/h2>\n

\nNell'industria IT sono passato da Junior tester in aziende di prodotto a Lead Data Quality Engineer nella societ\u00e0 EPAM. Gi\u00e0 dopo circa due anni di lavoro come tester, ero fermamente convinto di aver svolto tutti i tipi di test: regressione, funzionale, stress, stabilit\u00e0, sicurezza, UI, ecc. \u2014 e ho provato un gran numero di strumenti di testing, lavorando nel frattempo in tre linguaggi di programmazione: Java, Scala, Python. <\/p>\n

<\/p>\n

Guardando indietro, capisco perch\u00e9 il mio insieme di competenze professionali sia cos\u00ec vario: ho partecipato a progetti legati alla gestione dei dati, grandi e piccoli. \u00c8 proprio questo che mi ha portato nel mondo di un gran numero di strumenti e opportunit\u00e0 di crescita.<\/p><\/blockquote>\n

Per apprezzare la variet\u00e0 degli strumenti e delle opportunit\u00e0 di acquisire nuove conoscenze e abilit\u00e0, basta dare un'occhiata all'immagine qui sotto, che mostra i pi\u00f9 popolari nel mondo di \u00abData & AI\u00bb.<\/p>\n

\"Tester
\nQuesto tipo di illustrazioni \u00e8 realizzato ogni anno da uno dei noti investitori di venture capital, Matt Turck, proveniente dallo sviluppo software. Ecco link<\/a><\/noindex> al suo blog e alla sua azienda di venture capital<\/a><\/noindex>, dove lavora come partner. <\/p>\n

Ho avuto una crescita professionale particolarmente rapida quando ero l'unico tester in un progetto, o almeno all'inizio del progetto. In quel momento si \u00e8 responsabile dell'intero processo di test e non si ha modo di fare marcia indietro, solo di andare avanti. Inizialmente questo era spaventoso, ma ora mi sono chiare tutte le posizioni positive di tale prova: <\/p>\n