Hoy en día sólo las personas que no tienen conexiones externas con el mundo exterior no han oído hablar de big data. En Habré, el tema del análisis de Big Data y temas relacionados es popular. Pero para los no especialistas que quieran dedicarse al estudio del Big Data, no siempre está claro qué perspectivas tiene este campo, dónde se puede aplicar el análisis del Big Data y con qué puede contar un buen analista. Intentemos resolverlo.
La cantidad de información generada por los humanos aumenta cada año. Para 2020, la cantidad de datos almacenados aumentará a 40-44 zettabytes (1 ZB ~ 1 mil millones de GB). Para 2025, hasta aproximadamente 400 zettabytes. En consecuencia, la gestión de datos estructurados y no estructurados utilizando tecnologías modernas es un área que está adquiriendo cada vez más importancia. Tanto empresas individuales como países enteros están interesados en big data.
Por cierto, fue durante el debate sobre el auge de la información y los métodos de procesamiento de datos generados por humanos cuando surgió el término Big Data. Se cree que fue propuesto por primera vez en 2008 por el editor de la revista Nature, Clifford Lynch.
Desde entonces, el mercado de Big Data ha aumentado anualmente varias decenas de por ciento. Y esta tendencia, según los expertos, continuará. Así, según estimaciones de la empresa En 2021, el mercado mundial total de análisis de big data aumentará a 67,2 millones de dólares y el crecimiento anual será de alrededor del 35,9%.
¿Por qué necesitamos análisis de big data?
Le permite identificar información extremadamente valiosa a partir de conjuntos de datos estructurados o no estructurados. Gracias a esto, una empresa puede, por ejemplo, identificar tendencias, predecir el rendimiento de la producción y optimizar sus propios costes. Está claro que para reducir costes, las empresas están dispuestas a implementar las últimas soluciones.
Tecnologías y métodos de análisis que se utilizan para analizar Big Data:
- Procesamiento de datos;
- crowdsourcing;
- mezcla e integración de datos;
- aprendizaje automático;
- redes neuronales artificiales;
- reconocimiento de patrones;
- análisis predictivo;
- modelado de simulación;
- análisis espacial;
- análisis estadístico;
- visualización de datos analíticos.
Análisis de Big Data en el mundo
Actualmente, más del 50% de las empresas de todo el mundo utilizan el análisis de big data. A pesar de que en 2015 esta cifra era sólo del 17%. Big Data es utilizado más activamente por empresas que operan en los sectores de telecomunicaciones y servicios financieros. Luego están las empresas que se especializan en tecnología sanitaria. Uso mínimo del análisis de Big Data en empresas educativas: en la mayoría de los casos, los representantes de este campo anunciaron su intención de utilizar la tecnología en un futuro próximo.
En Estados Unidos, el análisis de Big Data se utiliza de forma más activa: más del 55% de las empresas de diversos campos trabajan con esta tecnología. En Europa y Asia, la demanda de análisis de big data no es mucho menor: alrededor del 53%.
¿Y qué pasa con Rusia?
Según los analistas de IDC,. El crecimiento del mercado de este tipo de soluciones en Europa Central y del Este es bastante activo: esta cifra aumenta un 11% cada año. Para 2022, alcanzará los 5,4 millones de dólares en términos cuantitativos.
En muchos sentidos, este rápido desarrollo del mercado se debe al crecimiento de esta zona en Rusia. En 2018, los ingresos por la venta de soluciones relevantes en la Federación de Rusia representaron el 40% de la inversión total en tecnologías de procesamiento de Big Data en toda la región.
En la Federación de Rusia, las empresas de los sectores público y bancario, la industria de las telecomunicaciones y la industria son las que más gastan en el procesamiento de Big Data.
¿Qué hace y cuánto gana un analista de Big Data en Rusia?
Un analista de big data es responsable de examinar grandes cantidades de información, tanto semiestructurada como no estructurada. Para las organizaciones bancarias, se trata de transacciones, para los operadores, llamadas y tráfico, en el comercio minorista, visitas y compras de clientes. Como se mencionó anteriormente, el análisis de Big Data nos permite descubrir conexiones entre varios factores en el “historial de información en bruto”, por ejemplo, un proceso de producción o una reacción química. A partir de los datos del análisis, se desarrollan nuevos enfoques y soluciones en una variedad de áreas, desde la fabricación hasta la medicina.
Habilidades requeridas para un analista de Big Data:
- La capacidad de comprender rápidamente las características del área para la cual se está realizando el análisis y sumergirse en aspectos del área deseada. Podría ser el comercio minorista, la industria del petróleo y el gas, la medicina, etc.
- Conocimiento de métodos de análisis de datos estadísticos, construcción de modelos matemáticos (redes neuronales, redes bayesianas, análisis de clustering, regresión, factorial, de varianza y correlación, etc.).
- Ser capaz de extraer datos de diferentes fuentes, transformarlos para su análisis y cargarlos en una base de datos analítica.
- Competente en SQL.
- Conocimiento de inglés a un nivel suficiente para leer con facilidad la documentación técnica.
- Conocimiento de Python (al menos lo básico), Bash (es muy difícil prescindir de él durante el trabajo), además es deseable conocer los conceptos básicos de Java y Scala (necesarios para el uso activo de Spark, uno de los frameworks más populares para trabajar con big data).
- Capacidad para trabajar con Hadoop.
Bueno, ¿cuánto gana un analista de Big Data?
Los especialistas en Big Data ahora escasean; la demanda supera la oferta. Esto se debe a que las empresas están llegando a un entendimiento: el desarrollo requiere nuevas tecnologías y el desarrollo tecnológico requiere especialistas.
Entonces, científico de datos y análisis de datos en EE. UU. según la agencia de contratación Glassdoor. El salario medio de estos especialistas en Estados Unidos comienza en 100 dólares al año.
En Rusia, los especialistas en aprendizaje automático reciben de 130 a 300 mil rublos al mes, los analistas de big data, de 73 a 200 mil rublos al mes. Todo depende de la experiencia y las calificaciones. Por supuesto, hay vacantes con salarios más bajos y otras con salarios más altos. Máxima demanda de analistas de big data en Moscú y San Petersburgo. Moscú, lo que no es sorprendente, representa alrededor del 50% de las vacantes activas (según hh.ru). En Minsk y Kiev hay mucha menos demanda. Vale la pena señalar que algunas vacantes ofrecen horarios flexibles y trabajo remoto. Pero, en general, las empresas necesitan especialistas que trabajen en la oficina.
Con el tiempo, podemos esperar un aumento en la demanda de analistas de Big Data y representantes de especialidades relacionadas. Como se mencionó anteriormente, la escasez de personal en el sector tecnológico no ha sido cancelada. Pero, por supuesto, para convertirse en analista de Big Data es necesario estudiar y trabajar, mejorando tanto las habilidades enumeradas anteriormente como otras adicionales. Una de las oportunidades para iniciar el camino del analista de Big Data es y pruebe a trabajar con big data.
Fuente: habr.com