{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Probador de grandes y peque\u00f1os datos: tendencias, teor\u00eda, mi historia","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Hola a todos, me llamo Alexander y soy ingeniero de Calidad de Datos, encargado de verificar la calidad de los datos. En este art\u00edculo hablar\u00e9 sobre c\u00f3mo llegu\u00e9 aqu\u00ed y por qu\u00e9, en 2020, esta \u00e1rea de pruebas estuvo en la cresta de la ola. <\/p>\n

\"Probador
\n<\/a><\/noindex><\/p>\n

Tendencia mundial <\/h2>\n

\nEl mundo de hoy est\u00e1 experimentando otra revoluci\u00f3n tecnol\u00f3gica, uno de cuyos aspectos es el uso de datos acumulados por diversas empresas para impulsar su ciclo de ventas, ganancias y relaciones p\u00fablicas. Se considera que la disponibilidad de buenos (calidad) datos, as\u00ed como de mentes expertas capaces de convertirlos en dinero (procesamiento correcto, visualizaci\u00f3n, creaci\u00f3n de modelos de aprendizaje autom\u00e1tico, etc.), se ha convertido en la clave del \u00e9xito para muchos. Si hace 15-20 a\u00f1os el trabajo intensivo con datos y su monetizaci\u00f3n era el dominio de las grandes empresas, hoy en d\u00eda es una preocupaci\u00f3n de casi todas las que piensan con claridad. <\/p>\n

Debido a esto, hace varios a\u00f1os todos los portales dedicados a la b\u00fasqueda de empleo en todo el mundo empezaron a verse inundados de ofertas para Cient\u00edficos de Datos, ya que todos estaban convencidos de que al contratar a un especialista de este tipo podr\u00edan construir un supermodelo de aprendizaje autom\u00e1tico, predecir el futuro y dar un \"salto cu\u00e1ntico\" a la empresa. Con el tiempo, las personas se dieron cuenta de que este enfoque casi no funcionaba en ning\u00fan lugar, ya que no todos los datos que caen en manos de este tipo de especialistas son adecuados para entrenar modelos. <\/p>\n

Y comenzaron las solicitudes de los Data Scientists: \"Vamos a comprar m\u00e1s datos de estos y aquellos...\", \"Nos faltan datos...\", \"Necesitamos un poco m\u00e1s de datos y, preferiblemente, de calidad...\". Bas\u00e1ndose en estas solicitudes, se comenzaron a establecer numerosas interacciones entre las empresas que poseen ciertos conjuntos de datos. Naturalmente, esto requiri\u00f3 una organizaci\u00f3n t\u00e9cnica de este proceso: conectarse a la fuente de datos, extraerlos, verificar que se hayan cargado en su totalidad, etc. La cantidad de tales procesos ha comenzado a crecer, y hoy en d\u00eda hemos llegado a una enorme necesidad de otro tipo de especialistas: ingenieros de Data Quality, aquellos que supervisar\u00edan el flujo de datos en el sistema (data pipelines), la calidad de los datos en la entrada y la salida, y har\u00edan conclusiones sobre su suficiencia, integridad y otras caracter\u00edsticas. <\/p>\n

La tendencia hacia los ingenieros de Calidad de Datos nos lleg\u00f3 de Estados Unidos, donde en medio de la era capitalista en plena ebullici\u00f3n, nadie est\u00e1 dispuesto a perder la batalla por los datos. A continuaci\u00f3n, presento capturas de pantalla de dos de los sitios de b\u00fasqueda de trabajo m\u00e1s populares en Estados Unidos: www.monster.com<\/a><\/noindex> y www.dice.com<\/a><\/noindex> \u2014 en las que se muestran los datos correspondientes al 17 de marzo de 2020 sobre la cantidad de ofertas de trabajo publicadas, obtenidas por palabras clave: Calidad de Datos y Cient\u00edfico de Datos. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Cient\u00edficos de Datos \u2013 21416 vacantes
\nCalidad de Datos \u2013 41104 vacantes<\/p>\n

\"Probador
\n\"Probador<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Cient\u00edficos de Datos \u2013 404 vacantes
\nCalidad de Datos \u2013 2020 vacantes<\/p>\n

\"Probador
\n\"Probador<\/p>\n

\nEs evidente que estas profesiones de ninguna manera compiten entre s\u00ed. Con las capturas de pantalla quer\u00eda simplemente ilustrar la situaci\u00f3n actual en el mercado laboral en cuanto a la demanda de ingenieros de Calidad de Datos, que actualmente son considerablemente m\u00e1s requeridos que los Cient\u00edficos de Datos. <\/p>\n

En junio de 2019, EPAM, respondiendo a las necesidades del moderno mercado de TI, separ\u00f3 el campo de Calidad de Datos en una pr\u00e1ctica independiente. Los ingenieros de Calidad de Datos, en el curso de su trabajo diario, gestionan los datos, verifican su comportamiento en nuevas condiciones y sistemas, y controlan la relevancia de los datos, su suficiencia y actualidad. A pesar de todo esto, en un sentido pr\u00e1ctico, los ingenieros de Calidad de Datos realmente dedican poco tiempo a las pruebas funcionales cl\u00e1sicas, PERO<\/u> esto depende mucho del proyecto (dar\u00e9 un ejemplo m\u00e1s adelante). <\/p>\n

Las responsabilidades de un ingeniero de Calidad de Datos no se limitan \u00fanicamente a revisiones manuales\/autom\u00e1ticas rutinarias sobre \"nulls, conteos y sumas\" en las tablas de la base de datos, sino que requieren una comprensi\u00f3n profunda de las necesidades comerciales del cliente y, en consecuencia, la capacidad de transformar los datos disponibles en informaci\u00f3n \u00fatil para el negocio. <\/p>\n

Teor\u00eda de la Calidad de Datos<\/h2>\n

\n\"Probador<\/p>\n

Para comprender completamente el papel de dicho ingeniero, analicemos qu\u00e9 es la Calidad de Datos en teor\u00eda. <\/p>\n

Calidad de Datos<\/b> es uno de los pasos de la Gesti\u00f3n de Datos (un mundo entero que dejaremos para que lo explore usted mismo) y se encarga del an\u00e1lisis de los datos seg\u00fan los siguientes criterios: <\/p>\n

\"Probador
\nCreo que no es necesario desglosar cada uno de los puntos (en teor\u00eda se llaman \"dimensiones de datos\"), ya que est\u00e1n bien descritos en la imagen. Sin embargo, el proceso de prueba no implica copiar estrictamente estas caracter\u00edsticas en los casos de prueba y verificarlas. En Calidad de Datos, como en cualquier otro tipo de prueba, es fundamental basarse primero en los requisitos de calidad de datos acordados con los participantes del proyecto que toman decisiones comerciales. <\/p>\n

<\/p>\n

Dependiendo del proyecto, un ingeniero de Calidad de Datos puede desempe\u00f1ar diferentes funciones: desde un simple probador automatizador con una evaluaci\u00f3n superficial de la calidad de los datos, hasta una persona que realiza un perfilado profundo bas\u00e1ndose en las caracter\u00edsticas mencionadas anteriormente. <\/p><\/blockquote>\n

Una descripci\u00f3n muy detallada de los procesos de Gesti\u00f3n de Datos, Calidad de Datos y relacionados est\u00e1 excelentemente descrita en el libro titulado \"DAMA-DMBOK: Cuerpo de Conocimientos sobre Gesti\u00f3n de Datos: 2\u00aa Edici\u00f3n\"<\/i>. Recomiendo mucho este libro como introducci\u00f3n al tema (encontrar\u00e1 el enlace al final del art\u00edculo).<\/p>\n

Mi historia<\/h2>\n

\nEn la industria de TI, he recorrido el camino desde probador Junior en empresas de productos hasta Ingeniero Principal de Calidad de Datos en la empresa EPAM. Despu\u00e9s de aproximadamente dos a\u00f1os trabajando como probador, ten\u00eda la firme convicci\u00f3n de que hab\u00eda realizado absolutamente todos los tipos de pruebas: regresi\u00f3n, funcional, de estr\u00e9s, de estabilidad, de seguridad, de UI, etc. \u2014 y hab\u00eda probado una gran cantidad de herramientas de prueba, trabajando en tres lenguajes de programaci\u00f3n: Java, Scala, Python. <\/p>\n

<\/p>\n

Al mirar hacia atr\u00e1s, entiendo por qu\u00e9 mi conjunto de habilidades profesionales es tan diverso: he participado en proyectos relacionados con el manejo de datos, grandes y peque\u00f1os. Esto me llev\u00f3 a un mundo lleno de herramientas y oportunidades de crecimiento.<\/p><\/blockquote>\n

Para apreciar la variedad de herramientas y oportunidades de adquirir nuevos conocimientos y habilidades, basta con echar un vistazo a la imagen a continuaci\u00f3n, que muestra las m\u00e1s populares en el mundo de \"Data & AI\".<\/p>\n

\"Probador
\nEste tipo de ilustraciones es producido anualmente por uno de los conocidos capitalistas de riesgo, Matt Turck, proveniente del desarrollo de software. Aqu\u00ed est\u00e1 enlace<\/a><\/noindex> a su blog y la firma de capital riesgo<\/a><\/noindex>, donde trabaja como socio. <\/p>\n

Crec\u00ed profesionalmente especialmente r\u00e1pido cuando era el \u00fanico tester en el proyecto, o al menos al comienzo del mismo. En ese momento, tienes que ser responsable de todo el proceso de pruebas, sin posibilidad de retroceder, solo avanzar. Al principio, esto asustaba, pero ahora veo claramente todas las ventajas de esta experiencia: <\/p>\n