Analiza Big Data - realități și perspective în Rusia și în lume

Astăzi, doar oamenii care nu au conexiuni externe cu lumea exterioară nu au auzit de big data. Pe Habré, subiectul analizei Big Data și subiectele conexe este popular. Dar pentru nespecialiștii care ar dori să se dedice studiului Big Data, nu este întotdeauna clar ce perspective are această zonă, unde poate fi aplicată analiza Big Data și pe ce se poate baza un analist bun. Să încercăm să ne dăm seama.

Cantitatea de informații generate de oameni crește în fiecare an. Până în 2020, cantitatea de date stocate va crește la 40-44 zettabytes (1 ZB ~ 1 miliard GB). Până în 2025 - până la aproximativ 400 zettabytes. În consecință, gestionarea datelor structurate și nestructurate folosind tehnologii moderne este un domeniu care devine din ce în ce mai important. Atât companiile individuale, cât și țări întregi sunt interesate de big data.

Apropo, în timpul discuției despre boom-ul informațional și despre metodele de prelucrare a datelor generate de oameni a apărut termenul de Big Data. Se crede că a fost propus pentru prima dată în 2008 de editorul revistei Nature, Clifford Lynch.

De atunci, piața Big Data a crescut anual cu câteva zeci de procente. Și această tendință, potrivit experților, va continua. Astfel, conform estimărilor companiei Frost & Sullivan în 2021, piața globală totală de analiză a datelor mari va crește la 67,2 miliarde USD. Creșterea anuală va fi de aproximativ 35,9%.

De ce avem nevoie de analize de date mari?

Vă permite să identificați informații extrem de valoroase din seturi de date structurate sau nestructurate. Datorită acestui fapt, o afacere poate, de exemplu, să identifice tendințele, să prezică performanța producției și să își optimizeze propriile costuri. Este clar că pentru a reduce costurile, companiile sunt pregătite să implementeze cele mai noi soluții.

Tehnologii și metode de analiză care sunt utilizate pentru analiza Big Data:

• Exploatarea datelor;
• crowdsourcing;
• amestecarea și integrarea datelor;
• învățare automată;
• rețele neuronale artificiale;
• recunoasterea formelor;
• analize predictive;
• modelare prin simulare;
• analiza spatiala;
• analize statistice;
• vizualizarea datelor analitice.

Analiza Big Data în lume

Analiza datelor mari este utilizată acum de peste 50% dintre companiile din întreaga lume. În ciuda faptului că în 2015 această cifră era de doar 17%. Big Data este cel mai activ utilizat de companiile care operează în sectoarele telecomunicațiilor și serviciilor financiare. Apoi sunt companii specializate în tehnologia sănătății. Utilizarea minimă a analizei Big Data în companiile educaționale: în majoritatea cazurilor, reprezentanții acestui domeniu și-au anunțat intenția de a utiliza tehnologia în viitorul apropiat.

În Statele Unite, analiza Big Data este utilizată cel mai activ: peste 55% dintre companiile din diverse domenii lucrează cu această tehnologie. În Europa și Asia, cererea de analiză a datelor mari nu este cu mult mai mică - aproximativ 53%.

Și ce zici de Rusia?

Potrivit analiștilor IDC, Rusia este cea mai mare piață regională pentru soluții de analiză Big Data. Creșterea pieței pentru astfel de soluții în Europa Centrală și de Est este destul de activă, această cifră crește cu 11% în fiecare an. Până în 2022, va ajunge la 5,4 miliarde de dolari în termeni cantitativi.

În multe privințe, această dezvoltare rapidă a pieței se datorează creșterii acestei zone în Rusia. În 2018, veniturile din vânzarea soluțiilor relevante în Federația Rusă s-au ridicat la 40% din investiția totală în tehnologiile de procesare a datelor Big din întreaga regiune.

În Federația Rusă, companiile din sectorul bancar și public, industria telecomunicațiilor și industria cheltuiesc cel mai mult pentru procesarea Big Data.

Ce face un Big Data Analyst și cât câștigă în Rusia?

Un analist de date mari este responsabil pentru examinarea unor cantități mari de informații, atât semi-structurate, cât și nestructurate. Pentru organizațiile bancare acestea sunt tranzacții, pentru operatori - apeluri și trafic, în retail - vizite la clienți și achiziții. După cum am menționat mai sus, analiza Big Data ne permite să descoperim conexiuni între diverși factori din „istoria informației brute”, de exemplu, un proces de producție sau o reacție chimică. Pe baza datelor de analiză, noi abordări și soluții sunt dezvoltate într-o varietate de domenii - de la producție la medicină.

Abilități necesare unui analist Big Data:

• Abilitatea de a înțelege rapid caracteristicile din zona pentru care se efectuează analiza și de a vă scufunda în aspecte ale zonei dorite. Acesta ar putea fi comerțul cu amănuntul, industria petrolului și gazelor, medicamentele etc.
• Cunoașterea metodelor de analiză statistică a datelor, construcție de modele matematice (rețele neuronale, rețele bayesiene, analize de clustering, regresie, factori, varianță și corelație etc.).
• Fiți capabil să extrageți date din diferite surse, să le transformați pentru analiză și să le încărcați într-o bază de date analitică.
• Cunoștință în SQL.
• Cunoașterea limbii engleze la un nivel suficient pentru a citi cu ușurință documentația tehnică.
• Cunoașterea Python (cel puțin elementele de bază), Bash (este foarte greu să te descurci fără el în procesul de lucru), plus este de dorit să cunoști elementele de bază ale Java și Scala (necesare pentru utilizarea activă a Spark, unul dintre cele mai populare cadre pentru lucrul cu date mari).
• Abilitatea de a lucra cu Hadoop.

Ei bine, cât câștigă un analist Big Data?

Specialiștii în Big Data sunt acum puțini; cererea depășește oferta. Acest lucru se datorează faptului că afacerile ajung la o înțelegere: dezvoltarea necesită tehnologii noi, iar dezvoltarea tehnologiei necesită specialiști.

Deci, Data Scientist și Data Analytics în SUA a intrat în top 3 cele mai bune profesii din 2017 potrivit agenției de recrutare Glassdoor. Salariul mediu al acestor specialiști în America începe de la 100 de mii de dolari pe an.

În Rusia, specialiștii în învățarea automată primesc de la 130 la 300 de mii de ruble pe lună, analiștii de date mari - de la 73 la 200 de mii de ruble pe lună. Totul depinde de experiență și calificare. Desigur, sunt posturi vacante cu salarii mai mici, iar altele cu altele mai mari. Cerere maximă pentru analiști de date mari din Moscova și Sankt Petersburg. Moscova, ceea ce nu este surprinzător, reprezintă aproximativ 50% din posturile vacante active (conform hh.ru). Cererea este mult mai mică în Minsk și Kiev. Este de remarcat faptul că unele posturi vacante oferă program flexibil și lucru la distanță. Dar, în general, companiile au nevoie de specialiști care lucrează la birou.

În timp, ne putem aștepta la o creștere a cererii de analiști Big Data și reprezentanți ai specialităților conexe. După cum sa menționat mai sus, lipsa de personal în sectorul tehnologiei nu a fost anulată. Dar, desigur, pentru a deveni analist Big Data, trebuie să studiezi și să lucrezi, îmbunătățind atât abilitățile enumerate mai sus, cât și pe cele suplimentare. Una dintre oportunitățile de a începe calea analistului Big Data este înscrieți-vă la un curs de la Geekbrains și încercați să lucrați cu date mari.

Sursa: www.habr.com