Îro tenê kesên ku bi cîhana derve re têkiliyên wan ên derve tune, daneyên mezin nebihîstin. Li ser Habré, mijara analîtîkên Daneyên Mezin û mijarên têkildar populer e. Lê ji bo ne-pisporên ku dixwazin xwe bidin lêkolîna Daneyên Mezin, her gav ne diyar e ka çi perspektîfên vê deverê hene, li ku derê analîtîkên Daneyên Mezin dikare were sepandin û vekolerek baş dikare li ser çi hesab bike. Werin em hewl bidin ku wê fêhm bikin.
Agahiyên ku ji hêla mirovan ve têne çêkirin her sal zêde dibe. Heya sala 2020-an, mîqdara daneya hilanîn dê bibe 40-44 zetabytes (1 ZB ~ 1 mîlyar GB). Heya sala 2025 - bi qasî 400 zetabytes. Li gorî vê yekê, bi karanîna teknolojiyên nûjen birêvebirina daneyên birêkûpêk û nesazkirî qadek e ku her ku diçe girîngtir dibe. Hem pargîdaniyên kesane û hem jî hemî welat bi daneyên mezin re eleqedar dibin.
Bi awayê, di dema nîqaşa geşbûna agahdarî û awayên hilberandina daneyên ku ji hêla mirovan ve hatî çêkirin de peyva Daneyên Mezin derket holê. Tê bawer kirin ku ew yekem car di sala 2008 de ji hêla edîtorê kovara Nature, Clifford Lynch ve hate pêşniyar kirin.
Ji hingê ve, bazara Daneyên Mezin her sal ji sedî çend deh zêde dibe. Û ev meyl, li gorî pisporan, dê berdewam bike. Bi vî rengî, li gorî texmînên pargîdanî di sala 2021-an de, tevahî bazara analîtîkên daneyên mezin ên gerdûnî dê bigihîje 67,2 mîlyar dolar. Mezinbûna salane dê bi qasî 35,9% be.
Çima em hewceyê analîtîkên daneyên mezin in?
Ew dihêle hûn agahdariya pir bi qîmet ji berhevokên daneya sazkirî an nesazkirî nas bikin. Bi saya vê yekê, karsaziyek dikare, mînakî, meylên nas bike, performansa hilberînê pêşbîn bike û lêçûnên xwe xweşbîn bike. Eşkere ye ku ji bo kêmkirina mesrefan, pargîdan amade ne ku çareseriyên herî dawî bicîh bînin.
Teknolojî û rêbazên analîzê yên ku ji bo analîzkirina Daneyên Mezin têne bikar anîn:
- Daneyên Madenê;
- crowdsourcing;
- tevlihevkirina daneyan û entegrasyonê;
- fêrbûna makîneyê;
- torên neuralî yên sûnî;
- naskirina nimûne;
- analîtîkên pêşdîtin;
- simulation modeling;
- analîzên mekan;
- analîza statîkî;
- dîtbarîkirina daneyên analîtîk.
Analîtîkên Daneyên Mezin ên li cîhanê
Analîtîkên daneyên mezin naha ji hêla zêdetirî 50% pargîdaniyên li çaraliyê cîhanê ve têne bikar anîn. Digel ku di sala 2015an de ev rêje tenê %17 bû. Daneyên Mezin herî çalak ji hêla pargîdaniyên ku di sektorên telekomunikasyon û karûbarên darayî de dixebitin têne bikar anîn. Dûv re pargîdaniyên ku di teknolojiya lênihêrîna tenduristiyê de pispor in hene. Bikaranîna hindiktirîn analîtîkên Big Data di pargîdaniyên perwerdehiyê de: di pir rewşan de, nûnerên vê qadê niyeta xwe ya karanîna teknolojiyê di pêşerojek nêzîk de ragihandin.
Li Dewletên Yekbûyî, analîtîkên Daneyên Mezin herî çalak tê bikar anîn: ji% 55 zêdetir pargîdaniyên ji cûrbecûr qadan bi vê teknolojiyê re dixebitin. Li Ewropa û Asyayê, daxwaziya analîtîkên daneyên mezin ne pir kêm e - li ser 53%.
About li ser Rûsyayê çi ye?
Li gorî analîstên IDC,. Mezinbûna bazara çareseriyên weha li Ewropaya Navîn û Rojhilatê pir çalak e, ev hejmar her sal ji sedî 11 zêde dibe. Di sala 2022 de, ew ê di warê mîqdar de bigihîje 5,4 mîlyar dolar.
Bi gelek awayan, ev pêşkeftina bilez a bazarê ji ber mezinbûna vê deverê li Rûsyayê ye. Di sala 2018 de, dahata ji firotina çareseriyên têkildar li Federasyona Rûsyayê 40% ji veberhênana giştî ya di teknolojiyên hilberandina Daneyên Mezin de li seranserê herêmê ye.
Li Federasyona Rûsyayê, pargîdaniyên ji sektorên banking û gelemperî, pîşesaziya telekomunikasyonê û pîşesaziyê herî zêde li ser hilanîna Daneyên Mezin xerc dikin.
Analîstek Daneyên Mezin çi dike û çiqas li Rûsyayê qezenc dike?
Analîstek daneya mezin berpirsiyar e ku lêkolînek pirfireh agahiyê, hem nîv-sazkirî û hem jî nesazkirî. Ji bo rêxistinên bankê ev danûstendin in, ji bo operatoran - bang û trafîkê, di firotanê de - serdan û kirînên xerîdar. Wekî ku li jor behs kir, analîza Daneyên Mezin dihêle ku em di "dîroka agahdariya xav" de têkiliyên di navbera faktorên cihêreng de kifş bikin, mînakî, pêvajoyek hilberînê an reaksiyonek kîmyewî. Li ser bingeha daneyên analîzê, nêzîkatî û çareseriyên nû di warên cûrbecûr de têne pêşve xistin - ji hilberînê heya derman.
Zehmetiyên ku ji bo analîstek Daneyên Mezin hewce ne:
- Kapasîteya ku meriv zû taybetmendiyên li devera ku analîz lê tê kirin fam bike, û xwe di aliyên qada xwestî de bihelîne. Ev dikare firotanê, pîşesaziya neft û gazê, derman, hwd.
- Zanîna rêbazên analîzkirina daneyên îstatîstîkî, avakirina modelên matematîkî (torên neuralî, torên Bayesian, kombûn, paşveçûn, faktor, veguheztin û analîzên pêwendiyê, hwd.).
- Dikarin daneyan ji çavkaniyên cihêreng derxînin, wê ji bo analîzê veguherînin, û wê di nav databasek analîtîk de bar bikin.
- Di SQL de şareza.
- Zanîna Englishngilîzî di astek têra xwendina belgeyên teknîkî de bi hêsanî.
- Zanîna Python (bi kêmanî bingehên bingehîn), Bash (di pêvajoya xebatê de bê wê kirin pir dijwar e), ji bilî vê yekê jî tê xwestin ku bingehên Java û Scala zanibin (ji bo karanîna çalak a Spark, yek ji wan hewce ne. çarçoveyên herî populer ên ji bo xebata bi daneyên mezin).
- Kapasîteya ku bi Hadoop re bixebite.
Welê, analîstek Daneyên Mezin çiqas qezenc dike?
Pisporên Daneyên Mezin naha kêmasî ne; daxwaz ji peydakirinê zêdetir e. Ev ji ber ku karsazî têgihîştinek tê: pêşkeftin teknolojiyên nû hewce dike, û pêşkeftina teknolojiyê pisporan hewce dike.
Ji ber vê yekê, Zanyarê Daneyên û Daneyên Daneyên li Dewletên Yekbûyî li gorî ajansa kargêrkirinê Glassdoor. Meaşê navînî yê van pisporan li Amerîka salê ji 100 hezar dolar dest pê dike.
Li Rûsyayê, pisporên fêrbûna makîneyê mehê ji 130 heta 300 hezar rubleyan, analîstên daneyên mezin - mehê ji 73 heta 200 hezar rûbil distînin. Ew hemî bi ezmûn û jêhatîbûnê ve girêdayî ye. Bê guman, valahiyên bi mûçeyên kêmtir hene, û yên din bi yên bilindtir in. Daxwaza herî zêde ji bo analîstên daneyên mezin ên li Moskow û St. Moskow, ku ne ecêb e, bi qasî 50% ji valahiyên çalak pêk tê (li gorî hh.ru). Li Minsk û Kyivê pir kêm daxwaz heye. Hêjayî gotinê ye ku hin cîhên vala demjimêrên nerm û xebata dûr pêşkêşî dikin. Lê bi gelemperî, pargîdan hewceyê pisporên ku di nivîsgehê de dixebitin hewce ne.
Bi demê re, em dikarin li bendê bin ku daxwazek ji bo analîstên Daneyên Mezin û nûnerên pisporên têkildar zêde bibe. Wekî ku li jor behs kir, kêmbûna personelê di sektora teknolojiyê de nehatiye betal kirin. Lê, bê guman, ji bo ku hûn bibin analîstek Daneyên Mezin, hûn hewce ne ku bixwînin û bixebitin, hem jêhatîyên ku li jor hatine destnîşan kirin hem jî yên din baştir bikin. Yek ji wan fersendên destpêkirina riya analîstê Daneyên Mezin e û destê xwe biceribînin ku bi daneyên mezin re bixebitin.
Source: www.habr.com