Hoxe só as persoas que non teñen conexións externas co mundo exterior non escoitaron falar do big data. En Habré, o tema da análise de Big Data e temas relacionados é popular. Pero para os non especialistas que queiran dedicarse ao estudo do Big Data, non sempre está claro que perspectivas ten esta área, onde se pode aplicar a analítica de Big Data e con que pode contar un bo analista. Imos tentar descifralo.
A cantidade de información xerada polos humanos aumenta cada ano. En 2020, a cantidade de datos almacenados aumentará ata os 40-44 zettabytes (1 ZB ~ 1 millóns de GB). Para 2025: ata aproximadamente 400 zettabytes. En consecuencia, a xestión de datos estruturados e non estruturados mediante tecnoloxías modernas é unha área que cobra cada vez máis importancia. Tanto empresas individuais como países enteiros están interesados no big data.
Por certo, foi durante a discusión sobre o boom da información e os métodos de procesamento de datos xerados por humanos cando xurdiu o termo Big Data. Crese que foi proposto por primeira vez en 2008 polo editor da revista Nature, Clifford Lynch.
Desde entón, o mercado de Big Data foi aumentando anualmente varias decenas por cento. E esta tendencia, segundo os expertos, continuará. Así, segundo as estimacións da empresa en 2021, o mercado global de análise de big data aumentará ata os 67,2 millóns de dólares, mentres que o crecemento anual será dun 35,9%.
Por que necesitamos análise de big data?
Permítelle identificar información moi valiosa a partir de conxuntos de datos estruturados ou non estruturados. Grazas a isto, unha empresa pode, por exemplo, identificar tendencias, prever o rendemento da produción e optimizar os seus propios custos. Está claro que para reducir custos, as empresas están dispostas a implementar as últimas solucións.
Tecnoloxías e métodos de análise que se utilizan para analizar Big Data:
- Minería de datos;
- crowdsourcing;
- mestura e integración de datos;
- aprendizaxe automática;
- redes neuronais artificiais;
- recoñecemento de patróns;
- análise preditiva;
- modelado de simulación;
- análise espacial;
- análise estatística;
- visualización de datos analíticos.
Analítica de Big Data no mundo
A analítica de big data é agora utilizada por máis do 50% das empresas en todo o mundo. A pesar de que en 2015 esta cifra era só do 17%. O Big Data é o máis utilizado polas empresas que operan nos sectores de telecomunicacións e servizos financeiros. Despois hai empresas especializadas en tecnoloxía sanitaria. Mínima utilización da analítica de Big Data nas empresas educativas: na maioría dos casos, os representantes deste ámbito anunciaron a súa intención de utilizar a tecnoloxía nun futuro próximo.
Nos Estados Unidos, a analítica de Big Data úsase máis activamente: máis do 55% das empresas de diversos campos traballan con esta tecnoloxía. En Europa e Asia, a demanda de análise de big data non é moito menor: preto do 53%.
E que pasa con Rusia?
Segundo os analistas de IDC,. O crecemento do mercado de tales solucións en Europa Central e Oriental é bastante activo, esta cifra aumenta un 11% cada ano. En 2022, alcanzará os 5,4 millóns de dólares en termos cuantitativos.
En moitos sentidos, este rápido desenvolvemento do mercado débese ao crecemento desta área en Rusia. En 2018, os ingresos pola venda de solucións relevantes na Federación Rusa ascenderon ao 40% do investimento total en tecnoloxías de procesamento de Big Data en toda a rexión.
Na Federación Rusa, as empresas dos sectores bancario e público, da industria das telecomunicacións e da industria gastan máis no procesamento de Big Data.
Que fai un analista de Big Data e canto gaña en Rusia?
Un analista de big data é responsable de examinar grandes cantidades de información, tanto semiestruturada como non estruturada. Para as organizacións bancarias trátase de transaccións, para os operadores - chamadas e tráfico, no comercio polo miúdo - visitas e compras de clientes. Como se mencionou anteriormente, a análise de Big Data permítenos descubrir conexións entre varios factores da "historia da información bruta", por exemplo, un proceso de produción ou unha reacción química. Con base nos datos da análise, desenvólvense novos enfoques e solucións en diversas áreas, desde a fabricación ata a medicina.
Habilidades necesarias para un analista de Big Data:
- A capacidade de comprender rapidamente as características da área para a que se está a realizar a análise e de mergullarse en aspectos da área desexada. Pode ser o comercio polo miúdo, a industria de petróleo e gas, a medicina, etc.
- Coñecemento de métodos de análise estatística de datos, construción de modelos matemáticos (redes neuronais, redes bayesianas, análises de clustering, regresión, factor, varianza e correlación, etc.).
- Poder extraer datos de diferentes fontes, transformalos para a súa análise e cargalos nunha base de datos analítica.
- Proficiente en SQL.
- Coñecemento de inglés a un nivel suficiente para ler facilmente a documentación técnica.
- Coñecementos de Python (polo menos o básico), Bash (é moi difícil prescindir del no proceso de traballo), ademais é desexable coñecer os conceptos básicos de Java e Scala (necesarios para o uso activo de Spark, un dos marcos máis populares para traballar con big data).
- Capacidade de traballar con Hadoop.
Ben, canto gaña un analista de Big Data?
Os especialistas en Big Data escasean agora; a demanda supera a oferta. Isto é porque os negocios están chegando a un entendemento: o desenvolvemento require novas tecnoloxías e o desenvolvemento tecnolóxico require especialistas.
Entón, Data Scientist e Data Analytics nos Estados Unidos segundo a axencia de contratación Glassdoor. O salario medio destes especialistas en América parte de 100 mil dólares ao ano.
En Rusia, os especialistas en aprendizaxe automática reciben de 130 a 300 mil rublos ao mes, os analistas de big data - de 73 a 200 mil rublos ao mes. Todo depende da experiencia e das cualificacións. Iso si, hai prazas con soldos máis baixos, e outras con máis altas. Máxima demanda de analistas de big data en Moscova e San Petersburgo. Moscova, o que non é sorprendente, representa preto do 50% das vacantes activas (segundo hh.ru). Hai moita menos demanda en Minsk e Kiev. Cabe destacar que algunhas prazas ofrecen horarios flexibles e traballo a distancia. Pero, en xeral, as empresas necesitan especialistas que traballen na oficina.
Co paso do tempo, podemos esperar un aumento da demanda de analistas de Big Data e representantes de especialidades relacionadas. Como se mencionou anteriormente, a escaseza de persoal no sector tecnolóxico non foi cancelada. Pero, por suposto, para converterse nun analista de Big Data, cómpre estudar e traballar, mellorando tanto as habilidades indicadas anteriormente como outras adicionais. Unha das oportunidades para iniciar o camiño do analista de Big Data é e proba a traballar con big data.
Fonte: www.habr.com