{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"\u00bfNecesitamos un lago de datos? \u00bfY qu\u00e9 hacer con el almacenamiento de datos?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Este art\u00edculo es la traducci\u00f3n de mi art\u00edculo en Medium \u2014 Introducci\u00f3n a Data Lake<\/a><\/noindex>, que result\u00f3 ser bastante popular, probablemente debido a su simplicidad. Por eso decid\u00ed escribirlo en espa\u00f1ol y complementarlo un poco para que una persona com\u00fan, que no es especialista en datos, pueda entender qu\u00e9 es un almac\u00e9n de datos (DW), qu\u00e9 es un lago de datos (Data Lake) y c\u00f3mo coexisten juntos. <\/p>\n

\u00bfPor qu\u00e9 quise escribir sobre el lago de datos? He trabajado con datos y anal\u00edtica durante m\u00e1s de 10 a\u00f1os, y actualmente trabajo con big data en Amazon Alexa AI en Cambridge, cerca de Boston, aunque vivo en Victoria, en la isla de Vancouver, y a menudo estoy en Boston, Seattle y Vancouver, y a veces incluso doy conferencias en Mosc\u00fa. Tambi\u00e9n escribo de vez en cuando, pero principalmente en ingl\u00e9s, y ya he escrito varias libros<\/a><\/noindex>, adem\u00e1s de que tengo la necesidad de compartir tendencias de anal\u00edtica desde Am\u00e9rica del Norte, y a veces escribo en Telegram<\/a><\/noindex>.<\/p>\n

Siempre he trabajado con almacenes de datos, y desde 2015 he estado trabajando estrechamente con Amazon Web Services y, de hecho, me he enfocado en la anal\u00edtica en la nube (AWS, Azure, GCP). He observado la evoluci\u00f3n de las soluciones de anal\u00edtica desde 2007 y he trabajado en un proveedor de almacenes de datos, Teradata, implement\u00e1ndola en Sberbank, fue entonces cuando apareci\u00f3 Big Data con Hadoop. Todos comenzaron a decir que la era de los almacenes hab\u00eda terminado y que ahora todo era Hadoop, y luego se empez\u00f3 a hablar de Data Lake, de nuevo diciendo que ahora definitivamente el almac\u00e9n de datos hab\u00eda llegado a su fin. Pero afortunadamente (quiz\u00e1s para algunos desgraciadamente, quienes ganaron mucho dinero configurando Hadoop), el almac\u00e9n de datos no ha desaparecido.
\n<\/a><\/noindex>
\nEn este art\u00edculo vamos a explorar qu\u00e9 es un lago de datos. Est\u00e1 dirigido a personas que tienen poca o ninguna experiencia con almacenes de datos.<\/p>\n

\"\u00bfNecesitamos
\n
\nEn la imagen, el lago Bled, es uno de mis lagos favoritos, aunque solo he estado all\u00ed una vez, pero lo recuerdo toda mi vida. Pero hablaremos de otro tipo de lago: el lago de datos. Es posible que muchos de ustedes ya hayan escuchado este t\u00e9rmino varias veces, pero una definici\u00f3n m\u00e1s no le vendr\u00e1 mal a nadie.<\/p>\n

Primero que nada, aqu\u00ed est\u00e1n las definiciones m\u00e1s populares de Lago de Datos:<\/p>\n

\"almacenamiento de archivos de todos los tipos de datos en bruto, que est\u00e1n disponibles para an\u00e1lisis por cualquier persona en la organizaci\u00f3n\" \u2014 Martin Fowler.<\/p><\/blockquote>\n

\u00abSi piensas que un lago de datos es como una botella de agua: purificada, embotellada y envasada para un consumo f\u00e1cil, entonces un lago de datos es un enorme reservorio de agua en su estado natural. Los usuarios pueden recoger agua para s\u00ed mismos, zambullirse y explorar\u00bb \u2014 James Dixon. <\/p><\/blockquote>\n

Ahora sabemos con certeza que un lago de datos se trata de anal\u00edtica; nos permite almacenar grandes vol\u00famenes de datos en su forma original y tenemos acceso conveniente a la informaci\u00f3n.<\/p>\n

A menudo me gusta simplificar las cosas. Si puedo explicar un t\u00e9rmino complejo de manera sencilla, significa que he entendido c\u00f3mo funciona y para qu\u00e9 sirve. Por ejemplo, mientras revisaba fotos en mi iPhone, me di cuenta de que esto era un verdadero lago de datos. Incluso hice una diapositiva para conferencias:<\/p>\n

\"\u00bfNecesitamos
\n
\nEs muy simple. Tomamos una foto con el tel\u00e9fono, la imagen se guarda en el dispositivo y puede ser almacenada en iCloud (almacenamiento en la nube). Adem\u00e1s, el tel\u00e9fono recopila metadatos de la foto: qu\u00e9 se muestra, la geolocalizaci\u00f3n y la hora. Como resultado, podemos utilizar la interfaz del iPhone para encontrar nuestra foto y, adem\u00e1s, ver los indicadores. Por ejemplo, al buscar fotos con la palabra fuego (fire), encuentro 3 im\u00e1genes de una fogata. Para m\u00ed, esto es como una herramienta de Business Intelligence que funciona de manera r\u00e1pida y precisa. <\/p>\n

Y, por supuesto, no debemos olvidar la seguridad (autorizaci\u00f3n y autenticaci\u00f3n), de lo contrario, nuestros datos pueden estar f\u00e1cilmente expuestos. Hay muchas noticias sobre grandes corporaciones y startups cuyos datos han quedado al descubierto debido a la negligencia de los desarrolladores y la falta de cumplimiento de reglas simples.<\/p>\n

Incluso una imagen tan sencilla nos ayuda a visualizar qu\u00e9 es un lago de datos, sus diferencias con un almac\u00e9n de datos tradicional y sus elementos clave:<\/p>\n

    \n
  1. Carga de datos <\/b>(Ingesta) \u2014 un componente clave del lago de datos. Los datos pueden ingresar al almacenamiento de datos de dos maneras: batch (carga por intervalos) y streaming (flujo de datos).<\/li>\n
  2. Almacenamiento de archivos<\/b> (Almacenamiento) \u2014 el componente principal del Lago de Datos. Necesitamos que el almacenamiento sea f\u00e1cilmente escalable, extremadamente confiable y de bajo costo. Por ejemplo, en AWS es S3.<\/li>\n
  3. Cat\u00e1logo y B\u00fasqueda<\/b> (Cat\u00e1logo y B\u00fasqueda) \u2014 para evitar el Mar de Datos (que es cuando acumulamos todos los datos en un solo lugar, haciendo imposible trabajar con ellos), necesitamos crear una capa de metadatos para clasificar los datos, de modo que los usuarios puedan encontrar f\u00e1cilmente la informaci\u00f3n necesaria para su an\u00e1lisis. Adem\u00e1s, se pueden utilizar soluciones adicionales para la b\u00fasqueda, como ElasticSearch. La b\u00fasqueda ayuda al usuario a encontrar los datos que necesita a trav\u00e9s de interfaces f\u00e1ciles de usar.<\/li>\n
  4. Procesamiento<\/b> (Proceso) \u2014 este paso se encarga del procesamiento y transformaci\u00f3n de los datos. Podemos transformar los datos, cambiar sus estructuras, limpiarlos y mucho m\u00e1s. <\/li>\n
  5. Seguridad<\/b> (Seguridad) \u2014 es importante dedicar tiempo al dise\u00f1o de la seguridad de la soluci\u00f3n. Por ejemplo, cifrado de datos durante el almacenamiento, procesamiento y carga. Es esencial utilizar m\u00e9todos de autenticaci\u00f3n y autorizaci\u00f3n. En conclusi\u00f3n, se necesita una herramienta de auditor\u00eda.<\/li>\n<\/ol>\n

    \nDesde un punto de vista pr\u00e1ctico, podemos caracterizar un lago de datos con tres atributos:<\/p>\n

      \n
    1. Re\u00fane y almacena cualquier cosa<\/b> \u2014 el lago de datos contiene todos los datos, tanto datos crudos no procesados de cualquier per\u00edodo como datos procesados\/limpios.<\/li>\n
    2. An\u00e1lisis profundo<\/b> \u2014 el lago de datos permite a los usuarios explorar y analizar datos.<\/li>\n
    3. Acceso flexible<\/b> \u2014 el lago de datos proporciona acceso flexible para diferentes datos y varios escenarios.<\/li>\n<\/ol>\n

      \nAhora podemos hablar sobre la diferencia entre un almac\u00e9n de datos y un lago de datos. A menudo, la gente pregunta:<\/p>\n