{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Hallo zusammen, ich bin Alexander, ein Data Quality Engineer, der sich mit der \u00dcberpr\u00fcfung der Datenqualit\u00e4t besch\u00e4ftigt. In diesem Artikel werde ich dar\u00fcber sprechen, wie ich dazu gekommen bin und warum dieses Testfeld im Jahr 2020 im Aufwind war. <\/p>\n<p><img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/0691d5a78bcbc8f4f102eafbbef20c0a.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h2>Globaler Trend <\/h2>\n<p>\nDie heutige Welt erlebt eine weitere technologische Revolution, in deren Rahmen verschiedene Unternehmen gesammelte Daten nutzen, um ihren Verkaufsrhythmus, Gewinne und PR voranzutreiben. Es scheint, dass die Verf\u00fcgbarkeit von guten (qualitativen) Daten sowie f\u00e4higen K\u00f6pfen, die diese in Geld verwandeln k\u00f6nnen (richtig verarbeiten, visualisieren, Machine Learning-Modelle erstellen usw.), heute der Schl\u00fcssel zum Erfolg f\u00fcr viele ist. W\u00e4hrend vor 15-20 Jahren vor allem gro\u00dfe Unternehmen intensiv mit Datensammlung und -monetarisierung besch\u00e4ftigt waren, ist dies heute eine Aufgabe f\u00fcr fast alle rational denkenden Unternehmen. <\/p>\n<p>Vor einigen Jahren haben alle weltweit auf Besch\u00e4ftigung spezialisierten Portale begonnen, sich mit Stellenanzeigen f\u00fcr Data Scientists zu \u00fcberfluten, da viele \u00fcberzeugt waren, dass man mit einem solchen Spezialisten im Team ein Supermodell f\u00fcr maschinelles Lernen entwickeln, die Zukunft vorhersagen und einen \"quantensprung\" f\u00fcr das Unternehmen erzielen k\u00f6nnte. Mit der Zeit wurde jedoch klar, dass dieser Ansatz nahezu \u00fcberall nicht funktioniert, da nicht alle Daten, die diesen Fachleuten zur Verf\u00fcgung stehen, f\u00fcr das Training von Modellen geeignet sind. <\/p>\n<p>\u0418 \u043d\u0430\u0447\u0430\u043b\u0438\u0441\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043e\u0442 Data Scientists: \u00ab\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043a\u0443\u043f\u0438\u043c \u0435\u0449\u0451 \u0434\u0430\u043d\u043d\u044b\u0445 \u0443 \u044d\u0442\u0438\u0445 \u0438 \u0443 \u0442\u0435\u0445.\u2026\u00bb, \u00ab\u041d\u0430\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0445&#8230;\u00bb, \u00ab\u041d\u0443\u0436\u043d\u043e \u0435\u0449\u0451 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445&#8230;\u00bb. \u041e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u044d\u0442\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445, \u0441\u0442\u0430\u043b\u0438 \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043c\u043d\u043e\u0433\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u043c\u0438, \u0432\u043b\u0430\u0434\u0435\u044e\u0449\u0438\u043c\u0438 \u0442\u0435\u043c \u0438\u043b\u0438 \u0438\u043d\u044b\u043c \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u044d\u0442\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u2014 \u043f\u043e\u0434\u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c\u0441\u044f \u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432\u044b\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u0445, \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0447\u0442\u043e \u043e\u043d\u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u043e\u0431\u044a\u0451\u043c\u0435 \u0438 \u0442. \u043f. \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0430\u043a\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 \u0441\u0442\u0430\u043b\u043e \u0440\u0430\u0441\u0442\u0438, \u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043e\u0433\u0440\u043e\u043c\u043d\u0443\u044e \u043f\u043e\u0442\u0440\u0435\u0431\u043d\u043e\u0441\u0442\u044c \u0432 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u0445 \u2014 Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u0445 \u2014 \u0442\u0435\u0445 \u043a\u0442\u043e \u0441\u043b\u0435\u0434\u0438\u043b \u0431\u044b \u0437\u0430 \u043f\u043e\u0442\u043e\u043a\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 (data pipelines), \u0437\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435, \u0434\u0435\u043b\u0430\u043b \u0431\u044b \u0432\u044b\u0432\u043e\u0434\u044b \u043e\u0431 \u0438\u0445 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u0440\u043e\u0447\u0438\u0445 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u0445. <\/p>\n<p>Der Trend zu Data Quality Engineers kam zu uns aus den USA, wo im H\u00f6hepunkt des kapitalistischen Booms niemand bereit ist, die Schlacht um Daten zu verlieren. Unten habe ich Screenshots von zwei der beliebtesten Jobportale in den USA eingef\u00fcgt: <noindex><a rel=\"nofollow\" href=\"https:\/\/www.monster.com\">www.monster.com<\/a><\/noindex> und <noindex><a rel=\"nofollow\" href=\"https:\/\/www.dice.com\">www.dice.com<\/a><\/noindex> \u2014 auf denen die Daten zum Stand am 17. M\u00e4rz 2020 \u00fcber die Anzahl der ver\u00f6ffentlichten Stellenangebote f\u00fcr die Schl\u00fcsselw\u00f6rter: Data Quality und Data Scientist angezeigt werden. <\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/www.monster.com\">www.monster.com<\/a><\/noindex><\/p>\n<p>Data Scientists \u2013 21.416 Stellenangebote<br \/>\nData Quality \u2013 41.104 Stellenangebote<\/p>\n<p><img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/8578f2d1e600791e166ed6e8a7068015.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/3ff69acc3c7e0d649eae0808b1b535be.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/www.dice.com\">www.dice.com<\/a><\/noindex> <\/p>\n<p>Data Scientists \u2013 404 Stellenangebote<br \/>\nData Quality \u2013 2.020 Stellenangebote<\/p>\n<p><img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/b35a9b423ba4bef8736659580e3c281e.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/2c29b83bbe2361089de5a0ab65017300.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>\nEs ist offensichtlich, dass diese Berufe in keiner Weise miteinander konkurrieren. Mit Screenshots wollte ich einfach die aktuelle Situation auf dem Arbeitsmarkt in Bezug auf die Nachfrage nach Data Quality-Ingenieuren illustrieren, die derzeit deutlich h\u00f6her ist als die nach Data Scientists. <\/p>\n<p>Im Juni 2019 hat EPAM, um auf die Bed\u00fcrfnisse des modernen IT-Marktes zu reagieren, den Bereich Data Quality als separate Praxis ausgegliedert. Data Quality-Ingenieure verwalten im Rahmen ihrer t\u00e4glichen Arbeit Daten, pr\u00fcfen ihr Verhalten in neuen Bedingungen und Systemen und \u00fcberwachen die Relevanz, Angemessenheit und Aktualit\u00e4t der Daten. Dabei widmen Data Quality-Ingenieure in der praktischen Umsetzung tats\u00e4chlich etwas Zeit dem klassischen funktionalen Testing, <u>ABER<\/u> was stark vom Projekt abh\u00e4ngt (ein Beispiel werde ich gleich anf\u00fchren). <\/p>\n<p>Die Aufgaben eines Data Quality Ingenieurs beschr\u00e4nken sich nicht nur auf routinem\u00e4\u00dfige manuelle\/automatische \u00dcberpr\u00fcfungen von \u00abNullwerten, Z\u00e4hlungen und Summen\u00bb in Datenbanktabellen, sondern erfordern ein tiefes Verst\u00e4ndnis der gesch\u00e4ftlichen Bed\u00fcrfnisse des Kunden und die F\u00e4higkeit, die vorhandenen Daten in verwertbare Gesch\u00e4ftsinformationen zu transformieren. <\/p>\n<h2>Theorie der Datenqualit\u00e4t<\/h2>\n<p>\n<img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/d920a7a0435d6f3a1eb84fc16221c742.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>Um die Rolle eines solchen Ingenieurs vollst\u00e4ndig zu verstehen, lassen Sie uns kl\u00e4ren, was Data Quality theoretisch bedeutet. <\/p>\n<p><b>Datenqualit\u00e4t<\/b> ist ein Teilbereich des Data Managements (eine gesamte Welt, die wir Ihnen zur eigenst\u00e4ndigen Erforschung \u00fcberlassen) und befasst sich mit der Analyse von Daten anhand der folgenden Kriterien: <\/p>\n<p><img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/8f5e75bad69e3cb589cc0e1104ad946f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nIch denke, es ist nicht notwendig, jeden Punkt auszuleuchten (in der Theorie werden sie als \u00abDaten-Dimensionen\u00bb bezeichnet), da sie auf dem Bild gut beschrieben sind. Der Testprozess selbst sieht jedoch nicht vor, diese Merkmale eins zu eins in Testf\u00e4llen zu kopieren und zu \u00fcberpr\u00fcfen. In der Datenqualit\u00e4t, wie in jeder anderen Art des Testens, muss zun\u00e4chst von den Qualit\u00e4tsanforderungen ausgegangen werden, die mit den Projektbeteiligten, die gesch\u00e4ftliche Entscheidungen treffen, abgestimmt wurden. <\/p>\n<p><\/p>\n<blockquote><p>Je nach Projekt kann ein Data Quality Engineer unterschiedliche Funktionen \u00fcbernehmen: vom einfachen Testautomatisierer mit einer oberfl\u00e4chlichen Bewertung der Datenqualit\u00e4t bis hin zu jemandem, der eine tiefgreifende Profilierung anhand der oben genannten Merkmale durchf\u00fchrt. <\/p><\/blockquote>\n<p>Eine sehr ausf\u00fchrliche Beschreibung der Prozesse im Bereich Data Management, Data Quality und verwandter Themen ist in einem Buch mit dem Titel <i>\u201eDAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u201c<\/i>. Ich empfehle dieses Buch als Einf\u00fchrung in dieses Thema (den Link dazu finden Sie am Ende des Artikels).<\/p>\n<h2>Meine Geschichte<\/h2>\n<p>\nIn der IT-Branche habe ich den Weg vom Junior Tester in Produktunternehmen bis zum Lead Data Quality Engineer bei EPAM zur\u00fcckgelegt. Nach etwa zwei Jahren als Tester hatte ich die feste \u00dcberzeugung, dass ich alle Arten von Tests durchgef\u00fchrt hatte: Regression, Funktionalit\u00e4t, Stress, Stabilit\u00e4t, Sicherheit, UI usw. \u2014 und ich habe eine Vielzahl von Testtools ausprobiert, w\u00e4hrend ich an drei Programmiersprachen gearbeitet habe: Java, Scala, Python. <\/p>\n<p><\/p>\n<blockquote><p>Wenn ich zur\u00fcckblicke, verstehe ich, warum mein berufliches Skillset so vielf\u00e4ltig ist \u2013 ich war an Projekten beteiligt, die sich mit Daten in gro\u00dfem und kleinem Ma\u00dfstab besch\u00e4ftigten. Dies f\u00fchrte mich in die Welt zahlreicher Werkzeuge und Wachstumschancen.<\/p><\/blockquote>\n<p>Um die Vielfalt der Werkzeuge und M\u00f6glichkeiten zur Erlangung neuer Kenntnisse und F\u00e4higkeiten zu sch\u00e4tzen, gen\u00fcgt ein Blick auf das Bild unten, das die popul\u00e4rsten darunter im Bereich \u201eData &amp; AI\u201c zeigt.<\/p>\n<p><img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/e3278694195bf59b44055e1eaafd62b1.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nSolche Illustrationen erstellt j\u00e4hrlich einer der bekannten Risikokapitalgeber, Matt Turck, ein ehemaliger Softwareentwickler. Hier <noindex><a rel=\"nofollow\" href=\"https:\/\/mattturck.com\">Link<\/a><\/noindex> finden Sie seinen Blog und <noindex><a rel=\"nofollow\" href=\"https:\/\/firstmarkcap.com\/team\/matt-turck\">die Risikokapitalgesellschaft<\/a><\/noindex>, in der er als Partner t\u00e4tig ist. <\/p>\n<p>Besonders schnell wuchs ich beruflich, als ich der einzige Tester in einem Projekt war, oder zumindest am Anfang des Projekts. In solchen Momenten ist man f\u00fcr den gesamten Testprozess verantwortlich, und man hat keine M\u00f6glichkeit, zur\u00fcckzutreten, nur voranzuschreiten. Zun\u00e4chst machte mir das Angst, doch jetzt sind mir alle Vorteile dieser Herausforderung offensichtlich: <\/p>\n<ul>\n<li>Du kommunizierst mit dem gesamten Team wie nie zuvor, da es keinen Proxy f\u00fcr die Kommunikation gibt: weder einen Testmanager noch Kollegen aus der Testabteilung. <\/li>\n<li>Das Eintauchen in das Projekt wird unglaublich tief, und du hast Informationen \u00fcber alle Komponenten sowohl im Gesamtbild als auch in den Details. <\/li>\n<li>Die Entwickler sehen dich nicht mehr als 'den Typen aus dem Testing, der nicht wirklich etwas macht', sondern eher als gleichwertigen Partner, der durch automatisierte Tests und das fr\u00fchzeitige Erkennen von Bugs einen unglaublichen Nutzen f\u00fcr das Team bringt. <\/li>\n<li>Das Ergebnis ist \u2014 du bist effizienter, qualifizierter und gefragter. <\/li>\n<\/ul>\n<p>\nIm Verlauf des Projekts wurde ich in 100 % der F\u00e4lle zum Mentor f\u00fcr die neu hinzugekommenen Tester, schulte sie und gab das Wissen weiter, das ich selbst erworben hatte. Allerdings erhielt ich je nach Projekt nicht immer die Experten f\u00fcr automatisiertes Testen von der Leitung, weshalb es notwendig war, entweder sie in der Automatisierung auszubilden (f\u00fcr diejenigen, die es wollten) oder Werkzeuge zu entwickeln, die sie in ihrem Alltag nutzen konnten (z. B. Daten-Generierungstools und deren Ladefunktionen in das System, Werkzeuge f\u00fcr Lasttests\/stabilit\u00e4tstests \"schnell und einfach\" usw.). <\/p>\n<h3>Beispiel eines konkreten Projekts<\/h3>\n<p>\nLeider kann ich aufgrund von Geheimhaltungsverpflichtungen nicht detailliert \u00fcber die Projekte sprechen, an denen ich gearbeitet habe, jedoch werde ich Beispiele typischer Aufgaben eines Data Quality Engineers in einem der Projekte nennen. <\/p>\n<p>Das Ziel des Projekts war es, eine Plattform zur Aufbereitung von Daten zu schaffen, um darauf basierende Modelle f\u00fcr maschinelles Lernen zu trainieren. Der Auftraggeber war ein gro\u00dfes Pharmaunternehmen aus den USA. Technisch handelte es sich um einen Cluster <noindex><a rel=\"nofollow\" href=\"https:\/\/kubernetes.io\">Kubernetes<\/a><\/noindex>, der auf <noindex><a rel=\"nofollow\" href=\"https:\/\/aws.amazon.com\/ru\/ec2\">AWS EC2<\/a><\/noindex> Instanzen mit mehreren Mikrodiensten und dem zugrunde liegenden Open-Source-Projekt von EPAM \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/legion-platform\/legion\">Legion<\/a><\/noindex>, das auf die Bed\u00fcrfnisse des spezifischen Kunden angepasst wurde (das Projekt hat sich mittlerweile zu <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/odahu\/odahu-flow\">odahu<\/a><\/noindex>weiterentwickelt). Die ETL-Prozesse wurden mit Hilfe von <noindex><a rel=\"nofollow\" href=\"https:\/\/airflow.apache.org\">Apache Airflow<\/a><\/noindex> organisiert und \u00fcbertrugen Daten aus <noindex><a rel=\"nofollow\" href=\"https:\/\/www.salesforce.com\">SalesForce<\/a><\/noindex> des Kunden in <noindex><a rel=\"nofollow\" href=\"https:\/\/aws.amazon.com\/ru\/s3\/?nc1=h_ls\">AWS S3<\/a><\/noindex> Buckets. Anschlie\u00dfend wurde ein Docker-Image des maschinellen Lernmodells auf der Plattform bereitgestellt, das mit aktuellen Daten trainiert wurde und \u00fcber eine REST-API-Schnittstelle Vorhersagen lieferte, die f\u00fcr das Gesch\u00e4ft von Interesse waren und spezifische Aufgaben l\u00f6sten. <\/p>\n<p><b>Visuell sah das etwa so aus: <\/b><\/p>\n<p><img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/c2de3c1919f3f9ff29147fce09eb14c4.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nEs gab ausreichend funktionale Tests f\u00fcr dieses Projekt, und angesichts der Geschwindigkeit, mit der neue Funktionen entwickelt wurden, und der Notwendigkeit, das Release-Zyklus-Tempo (zweiw\u00f6chige Sprints) aufrechtzuerhalten, musste bereits fr\u00fchzeitig \u00fcber die Automatisierung der Tests der kritischsten Systemkomponenten nachgedacht werden. Der gr\u00f6\u00dfte Teil der Plattform, die auf Kubernetes basierte, wurde durch Tests automatisiert, die mit <noindex><a rel=\"nofollow\" href=\"https:\/\/robotframework.org\/\">Robot Framework<\/a><\/noindex> + Python, aber es war auch notwendig, sie zu unterst\u00fctzen und zu erweitern. Dar\u00fcber hinaus wurde zum Komfort des Kunden ein GUI zur Verwaltung der auf dem Cluster bereitgestellten Modelle des maschinellen Lernens erstellt, sowie die M\u00f6glichkeit, anzugeben, woher und wohin die Daten f\u00fcr das Training der Modelle \u00fcbertragen werden m\u00fcssen. Diese umfangreiche Erg\u00e4nzung f\u00fchrte zu einer Erweiterung der automatisierten funktionalen Tests, die \u00fcberwiegend \u00fcber REST-API-Aufrufe und eine geringe Anzahl von End-to-End-UI-Tests durchgef\u00fchrt wurden. Ungef\u00e4hr zur Mitte dieses Prozesses schloss sich uns ein manueller Tester an, der ausgezeichnete Arbeit beim Abnahmetesting der Produktversionen und bei der Kommunikation mit dem Kunden hinsichtlich der Abnahme des n\u00e4chsten Releases leistete. Au\u00dferdem konnten wir durch den neuen Spezialisten unsere Arbeit dokumentieren und einige sehr wichtige manuelle Pr\u00fcfungen hinzuf\u00fcgen, die zun\u00e4chst schwer zu automatisieren waren. <\/p>\n<p>Und schlie\u00dflich, nachdem wir Stabilit\u00e4t von der Plattform und der GUI-Erweiterung erreicht hatten, begannen wir mit dem Aufbau von ETL-Pipelines mithilfe von Apache Airflow DAGs. Die automatisierte Datenqualit\u00e4tspr\u00fcfung wurde durch das Schreiben spezieller Airflow DAGs durchgef\u00fchrt, die die Daten gem\u00e4\u00df den Ergebnissen des ETL-Prozesses \u00fcberpr\u00fcften. In diesem Projekt hatten wir das Gl\u00fcck, dass der Kunde uns Zugang zu anonymisierten Datens\u00e4tzen gew\u00e4hrte, auf denen wir getestet wurden. Wir \u00fcberpr\u00fcften die Daten zeilenweise auf Typ\u00fcbereinstimmung, das Vorhandensein fehlerhafter Daten, die Gesamtanzahl der Datens\u00e4tze vor und nach der Verarbeitung sowie den Vergleich der durch den ETL-Prozess vorgenommenen Transformationen hinsichtlich Aggregation, \u00c4nderung der Spaltennamen und mehr. Dar\u00fcber hinaus wurden diese Pr\u00fcfungen auf verschiedene Datenquellen ausgeweitet, beispielsweise auf MySQL neben SalesForce. <\/p>\n<p>Die Pr\u00fcfungen der endg\u00fcltigen Datenqualit\u00e4t wurden bereits auf der S3-Ebene durchgef\u00fchrt, wo sie gespeichert und im ready-to-use-Zustand f\u00fcr das Training von Maschinenlernmodellen waren. Um die Daten aus der finalen CSV-Datei, die im S3-Bucket gespeichert war, abzurufen und zu validieren, wurde ein Code unter Verwendung von <noindex><a rel=\"nofollow\" href=\"https:\/\/aws.amazon.com\/ru\/sdk-for-python\">boto3 Client<\/a><\/noindex>. <\/p>\n<p>Es gab auch die Anforderung des Kunden, einen Teil der Daten in einem S3-Bucket und einen anderen Teil in einem anderen S3-Bucket zu speichern. Daf\u00fcr mussten zus\u00e4tzliche Pr\u00fcfungen implementiert werden, die die Richtigkeit dieser Sortierung \u00fcberwachten. <\/p>\n<h3>Zusammengefasste Erfahrungen aus anderen Projekten<\/h3>\n<p>\nEin Beispiel f\u00fcr die allgemeinsten Aktivit\u00e4ten eines Data Quality Ingenieurs: <\/p>\n<ul>\n<li>Testdaten (g\u00fcltige, ung\u00fcltige, gro\u00dfe und kleine) \u00fcber ein automatisiertes Tool vorbereiten. <\/li>\n<li>Den vorbereiteten Datensatz in die Ausgangsquelle hochladen und dessen Einsatzbereitschaft \u00fcberpr\u00fcfen. <\/li>\n<li>ETL-Prozesse zur Verarbeitung des Datensatzes von der Ausgangsspeicherquelle in das endg\u00fcltige oder Zwischenziel starten, wobei ein bestimmter Satz von Einstellungen angewendet wird (sofern konfigurierbare Parameter f\u00fcr die ETL-Aufgabe festgelegt werden k\u00f6nnen). <\/li>\n<li>Die durch den ETL-Prozess verarbeiteten Daten auf ihre Qualit\u00e4t und \u00dcbereinstimmung mit den Gesch\u00e4ftsanforderungen \u00fcberpr\u00fcfen. <\/li>\n<\/ul>\n<p>\nDer Hauptfokus der Pr\u00fcfungen sollte nicht nur darauf liegen, dass der Datenstrom im System grunds\u00e4tzlich verarbeitet wurde und bis zum Ende gelangt ist (was Teil der funktionalen Tests ist), sondern vielmehr auf der \u00dcberpr\u00fcfung und Validierung der Daten hinsichtlich ihrer \u00dcbereinstimmung mit den erwarteten Anforderungen, der Erkennung von Anomalien und anderen Aspekten. <\/p>\n<h3>Werkzeuge<\/h3>\n<p>\nEine der Techniken zur Kontrolle dieser Daten k\u00f6nnte die Organisation von Kettenpr\u00fcfungen in jeder Phase der Datenverarbeitung sein, das sogenannte \u201edata chain\u201c \u2013 die Kontrolle der Daten vom Ursprung bis zum Endnutzungspunkt. Solche Pr\u00fcfungen werden h\u00e4ufig durch das Erstellen von SQL-Abfragen realisiert, die sicherstellen, dass diese Abfragen so leichtgewichtig wie m\u00f6glich sind und spezifische Aspekte der Datenqualit\u00e4t \u00fcberpr\u00fcfen (Tabellenmetadaten, leere Zeilen, NULL-Werte, Syntaxfehler \u2013 andere erforderliche \u00dcberpr\u00fcfungsattribute). <\/p>\n<p>Bei Regressionstests, die bereits vorhandene (unver\u00e4nderte oder geringf\u00fcgig ver\u00e4nderte) Datens\u00e4tze verwenden, k\u00f6nnen im Automatisierungscode bereits vorbereitete Pr\u00fcfschemata zur Qualit\u00e4tssicherung gespeichert werden (einschlie\u00dflich der Beschreibung der erwarteten Metadaten der Tabellen, von Objekten, die w\u00e4hrend des Tests zuf\u00e4llig ausgew\u00e4hlt werden k\u00f6nnen, und mehr). <\/p>\n<p>W\u00e4hrend des Tests ist es auch notwendig, Test-ETL-Prozesse zu schreiben, mithilfe von Frameworks wie Apache Airflow, <noindex><a rel=\"nofollow\" href=\"https:\/\/spark.apache.org\/\">Apache Spark<\/a><\/noindex> oder sogar von Black-Box-Cloud-Tools wie <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataprep\">GCP Dataprep<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\">GCP Dataflow<\/a><\/noindex> usw. Diese Situation zwingt den Testingenieur dazu, sich in die Funktionsweise der genannten Tools einzuarbeiten, um sowohl funktionale Tests (wie die bestehenden ETL-Prozesse im Projekt) effektiver durchzuf\u00fchren als auch sie zur Datenpr\u00fcfung zu nutzen. Insbesondere f\u00fcr Apache Airflow stehen bereits vorbereitete Operatoren zur Verf\u00fcgung, um mit beliebten Analyse-Datenbanken zu arbeiten, zum Beispiel <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\">GCP BigQuery<\/a><\/noindex>. Ein einfaches Beispiel f\u00fcr dessen Verwendung wurde bereits beschrieben, <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@yuu.ishikawa\/apache-airflow-as-a-data-quality-checker-416ca7f5a3ad\">hier<\/a><\/noindex>, daher m\u00f6chte ich das nicht wiederholen. <\/p>\n<p>Neben fertigen L\u00f6sungen steht es Ihnen frei, Ihre eigenen Techniken und Werkzeuge zu implementieren. Dies wird nicht nur dem Projekt zugutekommen, sondern auch dem Data Quality Engineer, der dadurch seinen technischen Horizont und seine Programmierf\u00e4higkeiten erweitert. <\/p>\n<h3>Wie es in einem realen Projekt funktioniert<\/h3>\n<p>\nEin gutes Beispiel f\u00fcr die letzten Abs\u00e4tze \u00fcber die \u201eDatenkette\u201c, ETL und die allgegenw\u00e4rtigen \u00dcberpr\u00fcfungen ist der folgende Prozess aus einem realen Projekt: <\/p>\n<p><img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/4a4cd3043b584bb3fbce4b9c3021e9f6.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nHier gelangen verschiedene Daten (nat\u00fcrlich von uns vorbereitet) in den Eingangsbereich unseres Systems: g\u00fcltige, ung\u00fcltige, gemischte usw., die dann gefiltert und in ein Zwischenlager \u00fcberf\u00fchrt werden. Anschlie\u00dfend warten sie auf eine Reihe von Transformationen und werden in ein Endlager \u00fcberf\u00fchrt, aus dem dann die Analytik, Datenvisualisierung und die Suche nach Gesch\u00e4ftseinblicken erfolgen. In einem solchen System konzentrieren wir uns, ohne die funktionale Arbeit der ETL-Prozesse zu \u00fcberpr\u00fcfen, auf die Datenqualit\u00e4t vor und nach den Transformationen sowie auf die Ergebnisse in der Analytik. <\/p>\n<p>Zusammenfassend l\u00e4sst sich sagen, dass ich unabh\u00e4ngig von den Orten, an denen ich gearbeitet habe, immer in Datenprojekten involviert war, die folgende Merkmale aufwiesen: <\/p>\n<ul>\n<li>Nur durch Automatisierung lassen sich bestimmte F\u00e4lle \u00fcberpr\u00fcfen und ein f\u00fcr das Gesch\u00e4ft akzeptabler Release-Zyklus erreichen. <\/li>\n<li>Ein Tester in einem solchen Projekt ist eines der respektiertesten Mitglieder des Teams, da er f\u00fcr jeden Teilnehmer einen enormen Nutzen bringt (Beschleunigung der Tests, gute Daten f\u00fcr Data Scientists, fr\u00fchzeitige Fehlererkennung). <\/li>\n<li>Es spielt keine Rolle, ob Sie auf eigener Hardware oder in der Cloud arbeiten \u2014 alle Ressourcen sind in einem Cluster vom Typ Hortonworks, Cloudera, Mesos, Kubernetes usw. abstrahiert. <\/li>\n<li>Die Projekte basieren auf einem Mikroservice-Ansatz, wobei verteilte und parallele Berechnungen \u00fcberwiegen. <\/li>\n<\/ul>\n<p>\nIch m\u00f6chte betonen, dass ein Tester im Bereich Data Quality seinen professionellen Fokus auf den Code des Produkts und die verwendeten Werkzeuge verlagert. <\/p>\n<h3>Besonderheiten des Data Quality Testings<\/h3>\n<p>\nDar\u00fcber hinaus habe ich folgende (sehr verallgemeinerte und ausschlie\u00dflich subjektive) Merkmale des Testens in Data (Big Data)-Projekten (Systemen) und anderen Bereichen herausgearbeitet: <\/p>\n<p><img decoding=\"async\" alt=\"Tester f\u00fcr gro\u00dfe und kleine Daten: Trends, Theorie, meine Geschichte\" src=\"\/wp-content\/uploads\/2020\/04\/8df52fbae2998e70755bf84e254db83e.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h2>N\u00fctzliche Links<\/h2>\n<p><\/p>\n<ol>\n<li>Theorie: <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/DAMA-DMBOK-Data-Management-Body-Knowledge\/dp\/1634622340\">DAMA-DMBOK: Data Management Body of Knowledge: 2. Auflage<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/training.ru\/#!\/Home?lang=ru\">Schulungszentrum<\/a><\/noindex>&nbsp;EPAM&nbsp;<\/li>\n<li>\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c\u044b\u0435&nbsp;\u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b&nbsp;\u0434\u043b\u044f&nbsp;\u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0435\u0433\u043e&nbsp;Data&nbsp;Quality&nbsp;\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430:\n<ol>\n<li>\u0411\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u043a\u0443\u0440\u0441 \u043d\u0430&nbsp;Stepik:&nbsp;<noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/551\/syllabus\">Einf\u00fchrung in Datenbanken<\/a><\/noindex>.&nbsp;<\/li>\n<li>\u041a\u0443\u0440\u0441&nbsp;\u043d\u0430&nbsp;LinkedIn Learning:&nbsp;<noindex><a rel=\"nofollow\" href=\"https:\/\/www.linkedin.com\/learning\/data-science-foundations-data-engineering\/welcome\">Grundlagen der Datenwissenschaft: Datenengineering<\/a><\/noindex>.<\/li>\n<li>Artikel:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.stickyminds.com\/article\/business-intelligence-and-data-quality\">Business Intelligence und Datenqualit\u00e4t<\/a><\/noindex>;&nbsp;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datagaps.com\/concepts\/etl-testing\">ETL-Tests<\/a><\/noindex>;&nbsp;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/panoply.io\/analytics-stack-guide\/data-profiling-best-practices\">Was ist Datenprofilierung? Prozess, Best Practices und Werkzeuge<\/a><\/noindex>;&nbsp;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.guru99.com\/software-testing-test-data.html\">Testdatengenerierung: Was ist das, wie funktioniert es, Beispiele, Werkzeuge;&nbsp;<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.testbytes.net\/blog\/5-test-data-generation-techniques-to-know\">5 Techniken zur Testdatengenerierung, die Sie kennen sollten.<\/a><\/noindex>&nbsp;<\/li>\n<\/ul>\n<\/li>\n<li>Video:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=HWaBdqmTqEA\">Konzepte zur Datenqualit\u00e4t | Datenqualit\u00e4tstutorial | Tutorial zur Datenlagerung<\/a><\/noindex>;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=avDqzhuHFkw\">Datenprofilierung mit SSIS<\/a><\/noindex>;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=r7SF5WldITk\">Datenprofilierung und Pipeline-Verarbeitung mit Spark.<\/a><\/noindex><\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n<p><\/p>\n<h2>Fazit<\/h2>\n<p>\n<b>Datenqualit\u00e4t<\/b> \u2014 ist ein sehr junges und vielversprechendes Gebiet, Teil davon zu sein, bedeutet, Teil eines Startups zu werden. Wenn Sie in die Datenqualit\u00e4t eintauchen, werden Sie mit einer Vielzahl moderner, gefragter Technologien in Kontakt kommen, aber das Wichtigste ist, dass Ihnen riesige M\u00f6glichkeiten er\u00f6ffnet werden, Ihre Ideen zu generieren und umzusetzen. Sie werden den Ansatz der kontinuierlichen Verbesserung nicht nur im Projekt, sondern auch f\u00fcr sich selbst nutzen k\u00f6nnen, w\u00e4hrend Sie sich kontinuierlich als Fachkraft weiterentwickeln.<br \/>\n<br \/>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/epam_systems\/blog\/495478\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043a \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u0451\u043b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 2020 \u0433\u043e\u0434\u0443 \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u0433\u0440\u0435\u0431\u043d\u0435 \u0432\u043e\u043b\u043d\u044b. \u041c\u0438\u0440\u043e\u0432\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0421\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u043c\u0438\u0440 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044e, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":77181,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-77180","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043a \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u0451\u043b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 2020 \u0433\u043e\u0434\u0443 \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u0433\u0440\u0435\u0431\u043d\u0435 \u0432\u043e\u043b\u043d\u044b. \u041c\u0438\u0440\u043e\u0432\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0421\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u043c\u0438\u0440 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044e, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: \u0442\u0440\u0435\u043d\u0434\u044b, \u0442\u0435\u043e\u0440\u0438\u044f, \u043c\u043e\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043a \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u0451\u043b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 2020 \u0433\u043e\u0434\u0443 \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u0433\u0440\u0435\u0431\u043d\u0435 \u0432\u043e\u043b\u043d\u044b. \u041c\u0438\u0440\u043e\u0432\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0421\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u043c\u0438\u0440 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044e, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-04-08T11:42:32+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-04-08T11:42:32+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Tester von gro\u00dfen und kleinen Daten: Trends, Theorie, meine Geschichte | ProHoster","description":"Hallo zusammen, ich bin Alexander, ein Data Quality Engineer, der die Qualit\u00e4t von Daten \u00fcberpr\u00fcft. In diesem Artikel werde ich erl\u00e4utern, wie ich dazu gekommen bin und warum 2020 dieses Testfeld im Mittelpunkt stand. Weltweites Trend: Die heutige Welt erlebt eine weitere technologische Revolution, deren einer Aspekt...","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: \u0442\u0440\u0435\u043d\u0434\u044b, \u0442\u0435\u043e\u0440\u0438\u044f, \u043c\u043e\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f | ProHoster","og:description":"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043a \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u0451\u043b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 2020 \u0433\u043e\u0434\u0443 \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u0433\u0440\u0435\u0431\u043d\u0435 \u0432\u043e\u043b\u043d\u044b. \u041c\u0438\u0440\u043e\u0432\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0421\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u043c\u0438\u0440 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044e, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-04-08T11:42:32+00:00","article:modified_time":"2020-04-08T11:42:32+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"77180","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 17:22:32","updated":"2022-10-03 00:36:00"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/77180","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=77180"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/77180\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/77181"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=77180"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=77180"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=77180"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}