Sot vetëm njerëzit që nuk kanë lidhje të jashtme me botën e jashtme nuk kanë dëgjuar për të dhëna të mëdha. Në Habré, tema e analitikës së të dhënave të mëdha dhe temave të ngjashme është e njohur. Por për jo-specialistët që do të donin t'i përkushtoheshin studimit të të dhënave të mëdha, nuk është gjithmonë e qartë se çfarë perspektive ka kjo fushë, ku mund të zbatohet analitika e të dhënave të mëdha dhe në çfarë mund të mbështetet një analist i mirë. Le të përpiqemi ta kuptojmë.
Sasia e informacionit të gjeneruar nga njerëzit rritet çdo vit. Deri në vitin 2020, sasia e të dhënave të ruajtura do të rritet në 40-44 zetabajt (1 ZB ~ 1 miliard GB). Deri në vitin 2025 - deri në afërsisht 400 zetabajt. Prandaj, menaxhimi i të dhënave të strukturuara dhe të pastrukturuara duke përdorur teknologji moderne është një fushë që po bëhet gjithnjë e më e rëndësishme. Si kompanitë individuale ashtu edhe vende të tëra janë të interesuara për të dhëna të mëdha.
Nga rruga, ishte gjatë diskutimit të bumit të informacionit dhe metodave të përpunimit të të dhënave të krijuara nga njeriu që lindi termi Big Data. Besohet se për herë të parë u propozua në vitin 2008 nga redaktori i revistës Nature, Clifford Lynch.
Që atëherë, tregu i të dhënave të mëdha është rritur çdo vit me disa dhjetëra përqind. Dhe ky trend, sipas ekspertëve, do të vazhdojë. Kështu, sipas vlerësimeve të kompanisë në vitin 2021, tregu i përgjithshëm global i analitikës së të dhënave të mëdha do të rritet në 67,2 miliardë dollarë. Rritja vjetore do të jetë rreth 35,9%.
Pse na duhen analitika e të dhënave të mëdha?
Kjo ju lejon të identifikoni informacion jashtëzakonisht të vlefshëm nga grupe të dhënash të strukturuara ose të pastrukturuara. Falë kësaj, një biznes mund, për shembull, të identifikojë tendencat, të parashikojë performancën e prodhimit dhe të optimizojë kostot e veta. Është e qartë se për të ulur kostot, kompanitë janë të gatshme të zbatojnë zgjidhjet më të fundit.
Teknologjitë dhe metodat e analizës që përdoren për të analizuar të dhënat e mëdha:
- Minierat e të Dhënave;
- Crowdsourcing;
- përzierjen dhe integrimin e të dhënave;
- mësimi i makinës;
- rrjete nervore artificiale;
- njohja e modelit;
- analitikë parashikuese;
- modelimi simulues;
- analiza hapësinore;
- Analiza statistikore;
- vizualizimi i të dhënave analitike.
Analitika e të dhënave të mëdha në botë
Analitika e të dhënave të mëdha tani përdoret nga më shumë se 50% e kompanive në mbarë botën. Pavarësisht se në vitin 2015 kjo shifër ishte vetëm 17%. Big Data përdoret më aktivisht nga kompanitë që operojnë në sektorët e telekomunikacionit dhe shërbimeve financiare. Pastaj ka kompani që specializohen në teknologjinë e kujdesit shëndetësor. Përdorimi minimal i analitikës së të dhënave të mëdha në kompanitë arsimore: në shumicën e rasteve, përfaqësues të kësaj fushe shpallën synimin e tyre për të përdorur teknologjinë në të ardhmen e afërt.
Në Shtetet e Bashkuara, analitika e të dhënave të mëdha përdoret në mënyrë më aktive: më shumë se 55% e kompanive nga fusha të ndryshme punojnë me këtë teknologji. Në Evropë dhe Azi, kërkesa për analitikë të të dhënave të mëdha nuk është shumë më e ulët - rreth 53%.
Dhe çfarë lidhje me Rusinë?
Sipas analistëve të IDC,. Rritja e tregut për zgjidhje të tilla në Evropën Qendrore dhe Lindore është mjaft aktive, kjo shifër rritet me 11% çdo vit. Deri në vitin 2022, ai do të arrijë në 5,4 miliardë dollarë në terma sasiorë.
Në shumë mënyra, ky zhvillim i shpejtë i tregut është për shkak të rritjes së kësaj zone në Rusi. Në vitin 2018, të ardhurat nga shitja e zgjidhjeve përkatëse në Federatën Ruse arritën në 40% të investimit total në teknologjitë e përpunimit të të dhënave të mëdha në të gjithë rajonin.
Në Federatën Ruse, kompanitë nga sektori bankar dhe publik, industria e telekomunikacionit dhe industria shpenzojnë më së shumti në përpunimin e të dhënave të mëdha.
Çfarë bën një analist i të dhënave të mëdha dhe sa fiton ai në Rusi?
Një analist i të dhënave të mëdha është përgjegjës për ekzaminimin e sasive të mëdha të informacionit, gjysmë të strukturuar dhe të pastrukturuar. Për organizatat bankare këto janë transaksione, për operatorët - thirrje dhe trafik, në shitje me pakicë - vizita dhe blerje të klientëve. Siç u përmend më lart, analiza e të dhënave të mëdha na lejon të zbulojmë lidhjet midis faktorëve të ndryshëm në "historinë e informacionit të papërpunuar", për shembull, një proces prodhimi ose një reaksion kimik. Bazuar në të dhënat e analizës, janë zhvilluar qasje dhe zgjidhje të reja në një sërë fushash - nga prodhimi në mjekësi.
Aftësitë e nevojshme për një analist të të dhënave të mëdha:
- Aftësia për të kuptuar shpejt tiparet në zonën për të cilën po kryhet analiza dhe për të zhytur veten në aspekte të zonës së dëshiruar. Kjo mund të jetë shitja me pakicë, industria e naftës dhe gazit, mjekësia, etj.
- Njohja e metodave të analizës së të dhënave statistikore, ndërtimi i modeleve matematikore (rrjetet nervore, rrjetet Bayesian, grupimi, regresioni, analizat e faktorëve, variancës dhe korrelacionit etj.).
- Të jetë në gjendje të nxjerrë të dhëna nga burime të ndryshme, t'i transformojë ato për analizë dhe t'i ngarkojë ato në një bazë të dhënash analitike.
- Të aftë në SQL.
- Njohuri të gjuhës angleze në një nivel të mjaftueshëm për të lexuar lehtësisht dokumentacionin teknik.
- Njohuri të Python (të paktën bazat), Bash (është shumë e vështirë të bëhet pa të në procesin e punës), plus është e dëshirueshme të njihni bazat e Java dhe Scala (të nevojshme për përdorimin aktiv të Spark, një nga kornizat më të njohura për të punuar me të dhëna të mëdha).
- Aftësi për të punuar me Hadoop.
Epo, sa fiton një analist i Big Data?
Specialistët e Big Data tani janë në mungesë; kërkesa e kalon ofertën. Kjo për shkak se biznesi po arrin të kuptojë: zhvillimi kërkon teknologji të reja dhe zhvillimi i teknologjisë kërkon specialistë.
Pra, shkencëtar i të dhënave dhe analiza e të dhënave në SHBA sipas agjencisë së rekrutimit Glassdoor. Paga mesatare e këtyre specialistëve në Amerikë fillon nga 100 mijë dollarë në vit.
Në Rusi, specialistët e mësimit të makinerive marrin nga 130 në 300 mijë rubla në muaj, analistët e të dhënave të mëdha - nga 73 në 200 mijë rubla në muaj. E gjitha varet nga përvoja dhe kualifikimet. Sigurisht që ka vende të lira pune me paga më të ulëta, e të tjera me më të larta. Kërkesa maksimale për analistët e të dhënave të mëdha në Moskë dhe Shën Petersburg. Moska, e cila nuk është për t'u habitur, përbën rreth 50% të vendeve të lira aktive (sipas hh.ru). Shumë më pak kërkesa ka në Minsk dhe Kiev. Vlen të theksohet se disa vende të lira ofrojnë orar fleksibël dhe punë në distancë. Por në përgjithësi, kompanitë kanë nevojë për specialistë që punojnë në zyrë.
Me kalimin e kohës, mund të presim një rritje të kërkesës për analistë të Big Data dhe përfaqësues të specialiteteve përkatëse. Siç u përmend më lart, mungesa e personelit në sektorin e teknologjisë nuk është anuluar. Por, sigurisht, për t'u bërë një analist i Big Data, duhet të studiosh dhe të punosh, duke përmirësuar si aftësitë e listuara më sipër ashtu edhe ato shtesë. Një nga mundësitë për të nisur rrugën e analistit të Big Data është dhe provoni dorën tuaj për të punuar me të dhëna të mëdha.
Burimi: www.habr.com