Avui només les persones que no tenen connexions externes amb el món exterior no han sentit parlar de big data. A Habré, el tema de l'anàlisi de Big Data i temes relacionats és popular. Però per als no especialistes que voldrien dedicar-se a l'estudi del Big Data, no sempre està clar quines perspectives té aquesta àrea, on es pot aplicar l'anàlisi de Big Data i amb què pot comptar un bon analista. Anem a intentar esbrinar-ho.
La quantitat d'informació generada pels humans augmenta cada any. El 2020, la quantitat de dades emmagatzemades augmentarà fins als 40-44 zettabytes (1 ZB ~ 1 milions de GB). El 2025, fins a uns 400 zettabytes. En conseqüència, la gestió de dades estructurades i no estructurades mitjançant tecnologies modernes és un àmbit que cada cop és més important. Tant empreses individuals com països sencers estan interessats en el big data.
Per cert, va ser durant la discussió sobre el boom de la informació i els mètodes de processament de dades generades per humans quan va sorgir el terme Big Data. Es creu que va ser proposat per primera vegada l'any 2008 per l'editor de la revista Nature, Clifford Lynch.
Des de llavors, el mercat de Big Data ha anat augmentant anualment en diverses desenes de per cent. I aquesta tendència, segons els experts, continuarà. Així, segons les estimacions de l'empresa el 2021, el mercat global d'anàlisi de grans dades augmentarà fins als 67,2 milions de dòlars. El creixement anual serà d'uns 35,9%.
Per què necessitem analítiques de big data?
Us permet identificar informació extremadament valuosa a partir de conjunts de dades estructurades o no estructurades. Gràcies a això, una empresa pot, per exemple, identificar tendències, predir el rendiment de la producció i optimitzar els seus propis costos. És evident que per reduir costos, les empreses estan disposades a implementar les últimes solucions.
Tecnologies i mètodes d'anàlisi que s'utilitzen per analitzar Big Data:
- Mineria de dades;
- crowdsourcing;
- barreja i integració de dades;
- aprenentatge automàtic;
- xarxes neuronals artificials;
- reconeixement de patró;
- anàlisi predictiva;
- modelització de simulació;
- anàlisi espacial;
- anàlisi estadística;
- visualització de dades analítiques.
Analítica de Big Data al món
Més del 50% de les empreses a tot el món utilitzen ara l'anàlisi de big data. Tot i que el 2015 aquesta xifra era només del 17%. Les empreses que operen en els sectors de les telecomunicacions i els serveis financers l'utilitzen més activament. Després hi ha empreses especialitzades en tecnologia sanitària. Mínim ús de l'anàlisi de Big Data a les empreses educatives: en la majoria dels casos, representants d'aquest camp van anunciar la seva intenció d'utilitzar la tecnologia en un futur proper.
Als Estats Units, l'anàlisi de Big Data s'utilitza més activament: més del 55% de les empreses de diferents àmbits treballen amb aquesta tecnologia. A Europa i Àsia, la demanda d'anàlisi de dades massives no és gaire menor: al voltant del 53%.
Què passa a Rússia?
Segons els analistes d'IDC,. El creixement del mercat d'aquestes solucions a Europa central i oriental és força actiu, aquesta xifra augmenta un 11% cada any. El 2022 arribarà als 5,4 milions de dòlars en termes quantitatius.
En molts sentits, aquest ràpid desenvolupament del mercat es deu al creixement d'aquesta zona a Rússia. El 2018, els ingressos de la venda de solucions rellevants a la Federació de Rússia van ascendir al 40% de la inversió total en tecnologies de processament de Big Data a tota la regió.
A la Federació Russa, les empreses del sector bancari i públic, la indústria de les telecomunicacions i la indústria gasten més en el processament de Big Data.
Què fa un analista de Big Data i quant guanya a Rússia?
Un analista de big data s'encarrega d'examinar grans quantitats d'informació, tant semiestructurada com no estructurada. Per a les organitzacions bancàries es tracta de transaccions, per als operadors -trucades i trànsit, al detall - visites i compres de clients. Com s'ha esmentat anteriorment, l'anàlisi de Big Data ens permet descobrir connexions entre diversos factors de la "història de la informació en brut", per exemple, un procés de producció o una reacció química. A partir de les dades de l'anàlisi, es desenvolupen nous enfocaments i solucions en diverses àrees, des de la fabricació fins a la medicina.
Competències necessàries per a un analista de Big Data:
- La capacitat d'entendre ràpidament les característiques de l'àrea per a la qual s'està realitzant l'anàlisi i de submergir-se en aspectes de l'àrea desitjada. Això podria ser el comerç al detall, la indústria del petroli i el gas, la medicina, etc.
- Coneixement de mètodes d'anàlisi de dades estadístiques, construcció de models matemàtics (xarxes neuronals, xarxes bayesianes, clustering, regressió, anàlisi factorial, variància i correlació, etc.).
- Ser capaç d'extreure dades de diferents fonts, transformar-les per analitzar-les i carregar-les en una base de dades analítica.
- Competència en SQL.
- Coneixement d'anglès a un nivell suficient per llegir fàcilment la documentació tècnica.
- Coneixements de Python (almenys els fonaments bàsics), Bash (és molt difícil prescindir-ne en el procés de treball), a més és desitjable conèixer els fonaments bàsics de Java i Scala (necessaris per a l'ús actiu de Spark, un dels marcs més populars per treballar amb big data).
- Capacitat de treballar amb Hadoop.
Bé, quant guanya un analista de Big Data?
Els especialistes en Big Data són escasses ara la demanda supera l'oferta. Això es deu al fet que els negocis estan arribant a una comprensió: el desenvolupament requereix noves tecnologies i el desenvolupament tecnològic requereix especialistes.
Així doncs, Data Scientist i Data Analytics als EUA segons l'agència de contractació Glassdoor. El salari mitjà d'aquests especialistes a Amèrica comença a partir de 100 mil dòlars anuals.
A Rússia, els especialistes en aprenentatge automàtic reben de 130 a 300 mil rubles al mes, analistes de big data - de 73 a 200 mil rubles al mes. Tot depèn de l'experiència i les qualificacions. Això sí, hi ha vacants amb sous més baixos, i d'altres amb més alts. Màxima demanda d'analistes de big data a Moscou i Sant Petersburg. Moscou, que no és sorprenent, representa al voltant del 50% de les vacants actives (segons hh.ru). Hi ha molta menys demanda a Minsk i Kíev. Val a dir que algunes vacants ofereixen horaris flexibles i treball a distància. Però, en general, les empreses necessiten especialistes que treballin a l'oficina.
Amb el temps, podem esperar un augment de la demanda d'analistes de Big Data i representants d'especialitats relacionades. Com s'ha esmentat anteriorment, l'escassetat de personal en el sector tecnològic no s'ha cancel·lat. Però, per descomptat, per convertir-se en analista de Big Data, cal estudiar i treballar, millorant tant les competències esmentades anteriorment com les addicionals. Una de les oportunitats per iniciar el camí de l'analista de Big Data és i provar de treballar amb big data.
Font: www.habr.com