{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Testeur de grandes et petites donn\u00e9es : tendances, th\u00e9orie, mon histoire","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Bonjour \u00e0 tous, je m'appelle Alexandre, et je suis ing\u00e9nieur en qualit\u00e9 des donn\u00e9es, sp\u00e9cialis\u00e9 dans la v\u00e9rification de la qualit\u00e9 des donn\u00e9es. Dans cet article, je vais vous expliquer comment je suis arriv\u00e9 l\u00e0 et pourquoi, en 2020, ce domaine du test est devenu tr\u00e8s en vogue. <\/p>\n

\"Testeur
\n<\/a><\/noindex><\/p>\n

Tendance mondiale <\/h2>\n

\nLe monde d'aujourd'hui traverse une nouvelle r\u00e9volution technologique, dont l'un des aspects est l'utilisation par diverses entreprises des donn\u00e9es accumul\u00e9es pour faire avancer leur propre moteur de vente, de profits et de communication. Il semble que la possession de bonnes (qualitatives) donn\u00e9es, ainsi que des esprits capables de les transformer en argent (traitement ad\u00e9quat, visualisation, construction de mod\u00e8les d'apprentissage automatique, etc.), soit la cl\u00e9 du succ\u00e8s pour beaucoup aujourd'hui. Il y a 15 \u00e0 20 ans, la gestion des donn\u00e9es accumul\u00e9es et leur mon\u00e9tisation \u00e9taient principalement l'apanage des grandes entreprises, alors qu'aujourd'hui, c'est devenu le lot de presque toutes les entreprises sens\u00e9es. <\/p>\n

De ce fait, il y a quelques ann\u00e9es, tous les portails de recherche d'emploi \u00e0 travers le monde ont \u00e9t\u00e9 inond\u00e9s d'offres d'emploi pour des Data Scientists, car tout le monde \u00e9tait convaincu qu'en engageant un tel sp\u00e9cialiste, on pourrait construire un super mod\u00e8le d'apprentissage automatique, pr\u00e9dire l'avenir et r\u00e9aliser un \u00ab bond quantique \u00bb pour l'entreprise. Avec le temps, les gens ont compris que cette approche ne fonctionne que dans de rares cas, car toutes les donn\u00e9es qui parviennent \u00e0 ces sp\u00e9cialistes ne sont pas forc\u00e9ment adapt\u00e9es \u00e0 l'entra\u00eenement de mod\u00e8les. <\/p>\n

Et les demandes des Data Scientists ont commenc\u00e9 : \u00ab Achetons encore plus de donn\u00e9es chez ceux-ci et ceux-l\u00e0... \u00bb, \u00ab Nous manquons de donn\u00e9es... \u00bb, \u00ab Nous avons besoin de quelques donn\u00e9es suppl\u00e9mentaires, de pr\u00e9f\u00e9rence de qualit\u00e9... \u00bb. Sur la base de ces demandes, de nombreuses interactions entre les entreprises d\u00e9tenant tel ou tel ensemble de donn\u00e9es ont commenc\u00e9 \u00e0 se structurer. Naturellement, cela a exig\u00e9 une organisation technique de ce processus \u2014 se connecter \u00e0 la source de donn\u00e9es, les extraire, v\u00e9rifier qu'elles ont \u00e9t\u00e9 charg\u00e9es dans leur int\u00e9gralit\u00e9, etc. Le nombre de tels processus a commenc\u00e9 \u00e0 cro\u00eetre, et aujourd'hui nous avons un besoin immense d'un autre type de sp\u00e9cialistes \u2014 les ing\u00e9nieurs en qualit\u00e9 des donn\u00e9es \u2014 ceux qui surveilleraient le flux de donn\u00e9es dans le syst\u00e8me (data pipelines), la qualit\u00e9 des donn\u00e9es \u00e0 l'entr\u00e9e et \u00e0 la sortie, et feraient des conclusions sur leur suffisance, leur int\u00e9grit\u00e9 et d'autres caract\u00e9ristiques. <\/p>\n

La tendance des ing\u00e9nieurs en Data Quality nous vient des \u00c9tats-Unis, o\u00f9, dans la pleine \u00e8re capitaliste, personne n'est pr\u00eat \u00e0 perdre la bataille des donn\u00e9es. Voici des captures d'\u00e9cran de deux des sites d'emploi les plus populaires aux \u00c9tats-Unis : www.monster.com<\/a><\/noindex> et www.dice.com<\/a><\/noindex> \u2014 qui montrent des donn\u00e9es en date du 17 mars 2020 concernant le nombre d'offres d'emploi obtenues, par mots-cl\u00e9s : Data Quality et Data Scientist. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21416 offres
\nData Quality \u2013 41104 offres<\/p>\n

\"Testeur
\n\"Testeur<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 offres
\nData Quality \u2013 2020 offres<\/p>\n

\"Testeur
\n\"Testeur<\/p>\n

\nIl est \u00e9vident que ces professions ne sont en aucun cas en concurrence l'une avec l'autre. Avec ces captures d'\u00e9cran, je voulais simplement illustrer la situation actuelle du march\u00e9 du travail en ce qui concerne la demande d'ing\u00e9nieurs en Data Quality, qui sont actuellement beaucoup plus recherch\u00e9s que les Data Scientists. <\/p>\n

En juin 2019, EPAM, r\u00e9agissant aux besoins du march\u00e9 IT moderne, a s\u00e9par\u00e9 la direction Data Quality en une pratique distincte. Les ing\u00e9nieurs en Data Quality, dans le cadre de leur travail quotidien, g\u00e8rent les donn\u00e9es, v\u00e9rifient leur comportement dans de nouvelles conditions et syst\u00e8mes, contr\u00f4lent la pertinence, la suffisance et l'actualit\u00e9 des donn\u00e9es. Pourtant, dans un sens pratique, les ing\u00e9nieurs en Data Quality consacrent r\u00e9ellement un peu de temps aux tests fonctionnels classiques, MAIS<\/u> cela d\u00e9pend fortement du projet (je donnerai un exemple plus loin). <\/p>\n

Les responsabilit\u00e9s des ing\u00e9nieurs en Data Quality ne se limitent pas seulement aux v\u00e9rifications manuelles\/automatis\u00e9es routini\u00e8res sur les \u00ab nulls, count et sums \u00bb dans les tables de bases de donn\u00e9es, mais n\u00e9cessitent une compr\u00e9hension approfondie des besoins commerciaux du client et, par cons\u00e9quent, la capacit\u00e9 de transformer les donn\u00e9es existantes en informations commerciales exploitables. <\/p>\n

La th\u00e9orie de la Data Quality<\/h2>\n

\n\"Testeur<\/p>\n

Pour mieux comprendre le r\u00f4le d'un tel ing\u00e9nieur, examinons ce qu'est la Data Quality en th\u00e9orie. <\/p>\n

Data Quality<\/b> \u2014 l'une des \u00e9tapes de la gestion des donn\u00e9es (un monde entier que nous vous laisserons explorer par vous-m\u00eame) et est responsable de l'analyse des donn\u00e9es selon les crit\u00e8res suivants : <\/p>\n

\"Testeur
\nJe pense qu'il n'est pas n\u00e9cessaire d'expliquer chacun des points (appel\u00e9s en th\u00e9orie \u00abdata dimensions\u00bb), ils sont d\u00e9j\u00e0 bien d\u00e9crits sur l'image. Mais le processus de test ne n\u00e9cessite pas de copier strictement ces caract\u00e9ristiques dans des tests et de les v\u00e9rifier. Dans la qualit\u00e9 des donn\u00e9es, comme dans tout autre type de test, il faut d'abord s'appuyer sur les exigences de qualit\u00e9 des donn\u00e9es, convenues avec les participants du projet qui prennent des d\u00e9cisions commerciales. <\/p>\n

<\/p>\n

Selon le projet, un ing\u00e9nieur en qualit\u00e9 des donn\u00e9es peut remplir diff\u00e9rentes fonctions : d'un simple testeur automatis\u00e9 avec une \u00e9valuation superficielle de la qualit\u00e9 des donn\u00e9es, \u00e0 une personne r\u00e9alisant un profilage approfondi selon les caract\u00e9ristiques mentionn\u00e9es ci-dessus. <\/p><\/blockquote>\n

Une description tr\u00e8s d\u00e9taill\u00e9e des processus de gestion des donn\u00e9es, de la qualit\u00e9 des donn\u00e9es et des domaines connexes est bien pr\u00e9sent\u00e9e dans le livre intitul\u00e9 \u00abDAMA-DMBOK: Data Management Body of Knowledge: 2\u00e8me \u00c9dition\u00bb<\/i>. Je recommande vivement ce livre comme introduction \u00e0 ce sujet (le lien vers celui-ci se trouve \u00e0 la fin de l'article).<\/p>\n

Mon histoire<\/h2>\n

\nDans l'industrie informatique, je suis pass\u00e9 de Junior testeur dans des entreprises de produits \u00e0 Lead Data Quality Engineer chez EPAM. Apr\u00e8s environ deux ans de travail en tant que testeur, j'\u00e9tais convaincu que je r\u00e9alisais tous les types de test : r\u00e9gression, fonctionnel, stress, stabilit\u00e9, s\u00e9curit\u00e9, UI, etc. \u2014 et j'ai essay\u00e9 un grand nombre d'outils de test tout en travaillant sur trois langages de programmation : Java, Scala, Python. <\/p>\n

<\/p>\n

En r\u00e9fl\u00e9chissant au pass\u00e9, je comprends pourquoi l'ensemble de mes comp\u00e9tences professionnelles est si vari\u00e9 \u2014 j'ai particip\u00e9 \u00e0 des projets li\u00e9s au travail avec des donn\u00e9es, grandes et petites. C'est exactement cela qui m'a conduit dans un monde rempli d'outils et de possibilit\u00e9s de croissance.<\/p><\/blockquote>\n

Pour appr\u00e9cier la vari\u00e9t\u00e9 des outils et des possibilit\u00e9s d'acqu\u00e9rir de nouvelles connaissances et comp\u00e9tences, il suffit de jeter un \u0153il \u00e0 l'image ci-dessous qui montre les plus populaires dans le monde de la \u00abData & AI\u00bb.<\/p>\n

\"Testeur
\nCe type d'illustrations est r\u00e9alis\u00e9 chaque ann\u00e9e par l'un des c\u00e9l\u00e8bres capital-risqueurs Matt Turck, issu du d\u00e9veloppement logiciel. Voici lien<\/a><\/noindex> son blog et la firme de capital-risque<\/a><\/noindex>, o\u00f9 il travaille en tant que partenaire. <\/p>\n

J'ai particuli\u00e8rement beaucoup progress\u00e9 professionnellement lorsque j'\u00e9tais le seul testeur du projet, ou du moins au d\u00e9but du projet. \u00c0 ce moment-l\u00e0, il faut \u00eatre responsable de l'ensemble du processus de test, et il n'y a pas de retour en arri\u00e8re, seulement en avant. Au d\u00e9but, cela faisait peur, mais maintenant je vois clairement tous les avantages de cette \u00e9preuve : <\/p>\n