{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Hallo zusammen, ich bin Alexander, und ich bin Data Quality Engineer, der sich mit der \u00dcberpr\u00fcfung der Datenqualit\u00e4t besch\u00e4ftigt. In diesem Artikel geht es darum, wie ich dazu gekommen bin und warum dieses Testfeld im Jahr 2020 auf der H\u00f6he seines Trends war. <\/p>\n

\"Tester
\n<\/a><\/noindex><\/p>\n

Weltweiter Trend <\/h2>\n

\nDie heutige Welt erlebt eine weitere technologische Revolution, von deren Aspekten die Nutzung gesammelter Daten durch Unternehmen zur F\u00f6rderung ihres Verkaufs-, Gewinn- und PR-Motors geh\u00f6rt. Es scheint, dass die Verf\u00fcgbarkeit guter (qualitativer) Daten sowie f\u00e4higer K\u00f6pfe, die daraus Geld machen k\u00f6nnen (sie richtig bearbeiten, visualisieren, Modelle f\u00fcr maschinelles Lernen entwickeln usw.), heute der Schl\u00fcssel zum Erfolg f\u00fcr viele ist. Wenn vor 15-20 Jahren haupts\u00e4chlich gro\u00dfe Unternehmen mit der Datensammlung und deren Monetarisierung besch\u00e4ftigt waren, ist dies heute das Anliegen praktisch aller vern\u00fcnftigen Unternehmen. <\/p>\n

In diesem Zusammenhang f\u00fcllten vor einigen Jahren alle Jobportale weltweit ihre Stellenangebote mit Data Scientists, da alle \u00fcberzeugt waren, dass sie mit einem solchen Spezialisten im Team ein Supermodell f\u00fcr maschinelles Lernen aufbauen, die Zukunft vorhersagen und einen \"quantensprung\" f\u00fcr das Unternehmen vollziehen k\u00f6nnten. Im Laufe der Zeit erkannten die Leute, dass dieser Ansatz fast nirgendwo funktioniert, da l\u00e4ngst nicht alle Daten, die in die H\u00e4nde solcher Spezialisten gelangen, zum Training von Modellen geeignet sind. <\/p>\n

Und es begannen die Anfragen von Data Scientists: \u201eLass uns noch mehr Daten von diesen und jenen kaufen\u2026\u201c, \u201eUns fehlen Daten\u2026\u201c, \u201eWir brauchen noch ein paar Daten, und zwar qualitativ hochwertige\u2026\u201c. Basierend auf diesen Anfragen begannen sich zahlreiche Interaktionen zwischen Unternehmen zu entwickeln, die \u00fcber bestimmte Datens\u00e4tze verf\u00fcgen. Selbstverst\u00e4ndlich erforderte dies eine technische Organisation dieses Prozesses \u2014 sich mit der Datenquelle zu verbinden, sie herunterzuladen, zu \u00fcberpr\u00fcfen, ob sie vollst\u00e4ndig geladen sind usw. Die Anzahl solcher Prozesse nahm zu, und heute haben wir einen enormen Bedarf an einem anderen Fachgebiet \u2014 Data Quality Ingenieuren \u2014 diejenigen, die den Datenfluss im System (Data Pipelines), die Datenqualit\u00e4t beim Eingang und Ausgang \u00fcberwachen, um Schlussfolgerungen \u00fcber deren ausreichende Menge, Integrit\u00e4t und andere Eigenschaften zu ziehen. <\/p>\n

Der Trend zu Data Quality Ingenieuren kam zu uns aus den USA, wo in der Bl\u00fctezeit des Kapitalismus niemand bereit ist, die Datenbattle zu verlieren. Unten habe ich Screenshots von zwei der beliebtesten Jobportale in den USA dargestellt: www.monster.com<\/a><\/noindex> und www.dice.com<\/a><\/noindex> \u2014 auf denen die Daten zum Stand vom 17. M\u00e4rz 2020 \u00fcber die Anzahl der ver\u00f6ffentlichten Stellenangebote, erhalten durch die Schl\u00fcsselw\u00f6rter: Data Quality und Data Scientist, angezeigt werden. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21416 Stellenangebote
\nData Quality \u2013 41104 Stellenangebote<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 Stellenangebote
\nData Quality \u2013 2020 Stellenangebote<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nEs ist offensichtlich, dass diese Berufe keineswegs miteinander konkurrieren. Mit den Screenshots wollte ich lediglich die aktuelle Situation auf dem Arbeitsmarkt bez\u00fcglich der Nachfrage nach Data Quality Ingenieuren veranschaulichen, die jetzt deutlich mehr ben\u00f6tigt werden als Data Scientists. <\/p>\n

Im Juni 2019 hat EPAM auf die Bed\u00fcrfnisse des modernen IT-Marktes reagiert und die Data Quality Sparte zu einer eigenst\u00e4ndigen Praxis gemacht. Data Quality Ingenieure verwalten im Rahmen ihrer t\u00e4glichen Arbeit Daten, pr\u00fcfen deren Verhalten in neuen Bedingungen und Systemen und \u00fcberwachen die Relevanz, Angemessenheit und Aktualit\u00e4t der Daten. Dabei widmen Data Quality Ingenieure in der praktischen Realit\u00e4t tats\u00e4chlich wenig Zeit klassischen funktionalen Tests, ABER<\/u> das h\u00e4ngt stark vom Projekt ab (ein Beispiel werde ich sp\u00e4ter anf\u00fchren). <\/p>\n

Die Aufgaben eines Data Quality Ingenieurs beschr\u00e4nken sich nicht nur auf routinem\u00e4\u00dfige manuelle\/automatisierte Pr\u00fcfungen auf \u201enulls, count und sums\u201c in Datenbanktabellen, sondern erfordern ein tiefes Verst\u00e4ndnis der Gesch\u00e4ftsanliegen des Kunden und entsprechend die F\u00e4higkeit, die vorliegenden Daten in verwertbare Gesch\u00e4ftsinformationen zu transformieren. <\/p>\n

Theorie der Data Quality<\/h2>\n

\n\"Tester<\/p>\n

Um die Rolle eines solchen Ingenieurs umfassend zu begreifen, lassen Sie uns kl\u00e4ren, was Data Quality in der Theorie bedeutet. <\/p>\n

Data Quality<\/b> ist ein Teilbereich des Data Managements (eine ganze Welt, die wir Ihnen zur selbstst\u00e4ndigen Erkundung \u00fcberlassen) und ist verantwortlich f\u00fcr die Datenanalyse nach folgenden Kriterien: <\/p>\n

\"Tester
\nIch denke, es ist nicht notwendig, jeden der Punkte (theoretisch als \u201edata dimensions\u201c bezeichnet) zu entschl\u00fcsseln, sie sind auf dem Bild recht gut beschrieben. Der Testprozess selbst erfordert jedoch nicht, dass diese Merkmale strikt in Testf\u00e4llen kopiert und \u00fcberpr\u00fcft werden. In der Datenqualit\u00e4t, wie bei jeder anderen Art von Tests, sollte man sich in erster Linie an den mit den Projektbeteiligten, die Gesch\u00e4ftsentscheidungen treffen, vereinbarten Anforderungen an die Datenqualit\u00e4t orientieren. <\/p>\n

<\/p>\n

Je nach Projekt kann ein Data Quality Engineer unterschiedliche Funktionen aus\u00fcben: von einem einfachen Tester mit automatisiertem Testen und oberfl\u00e4chlicher Bewertung der Datenqualit\u00e4t bis hin zu einer Person, die eine tiefgehende Profilierung nach den oben genannten Merkmalen durchf\u00fchrt. <\/p><\/blockquote>\n

Eine sehr detaillierte Beschreibung der Prozesse im Datenmanagement, der Datenqualit\u00e4t und verwandter Themen ist in einem Buch mit dem Titel \u201eDAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u201c<\/i>. Ich empfehle dieses Buch sehr als Einf\u00fchrung in dieses Thema (einen Link dazu finden Sie am Ende des Artikels).<\/p>\n

Meine Geschichte<\/h2>\n

\nIn der IT-Branche habe ich den Weg vom Junior Tester in Produktunternehmen bis zum Lead Data Quality Engineer bei EPAM eingeschlagen. Bereits nach etwa zwei Jahren als Tester war ich fest davon \u00fcberzeugt, dass ich alle Arten von Tests durchgef\u00fchrt habe: Regressionstests, Funktionstests, Stresstests, Stabilit\u00e4tstests, Sicherheitstests, UI usw. \u2014 und ich habe eine gro\u00dfe Anzahl von Testtools ausprobiert und dabei in drei Programmiersprachen gearbeitet: Java, Scala, Python. <\/p>\n

<\/p>\n

Wenn ich zur\u00fcckblicke, verstehe ich, warum mein Set an beruflichen F\u00e4higkeiten so vielf\u00e4ltig geworden ist \u2013 ich war an Projekten beteiligt, die mit gro\u00dfen und kleinen Daten zu tun hatten. Genau das hat mich in die Welt zahlreicher Werkzeuge und Wachstumschancen gebracht.<\/p><\/blockquote>\n

Um die Vielfalt an Werkzeugen und M\u00f6glichkeiten zur Erlangung neuer Kenntnisse und F\u00e4higkeiten zu sch\u00e4tzen, gen\u00fcgt ein Blick auf das folgende Bild, das die bekanntesten davon aus der Welt von \u201eData & AI\u201c zeigt.<\/p>\n

\"Tester
\nSolche Illustrationen werden j\u00e4hrlich von einem der bekannten Venture Capitalists, Matt Turck, einem ehemaligen Softwareentwickler, erstellt. Hier ist Link<\/a><\/noindex> sein Blog und die Venture Capital Firma<\/a><\/noindex>, in der er als Partner arbeitet. <\/p>\n

Ich bin besonders schnell professionell gewachsen, als ich der einzige Tester im Projekt war, oder zumindest am Anfang des Projekts. In einem solchen Moment bist du f\u00fcr den gesamten Testprozess verantwortlich und hast keine M\u00f6glichkeit, zur\u00fcckzutreten, nur nach vorne. Zu Beginn machte mir das Angst, aber jetzt sind mir alle Vorteile dieser Erfahrung offensichtlich. <\/p>\n