Ma már csak azok nem hallottak a big data-ról, akiknek nincs külső kapcsolatuk a külvilággal. Habrén népszerű a Big Data elemzés és a kapcsolódó témák témaköre. Ám azoknak a nem szakembereknek, akik a Big Data tanulmányozásának szeretnének szentelni magukat, nem mindig világos, milyen kilátások vannak ezen a területen, hol lehet alkalmazni a Big Data elemzését, és mire számíthat egy jó elemző. Próbáljuk meg kitalálni.
Az emberek által generált információ mennyisége évről évre növekszik. 2020-ra a tárolt adatok mennyisége 40-44 zettabájtra (1 ZB ~ 1 milliárd GB) nő. 2025-re - körülbelül 400 zettabájtig. Ennek megfelelően a strukturált és strukturálatlan adatok modern technológiákkal történő kezelése egyre fontosabb terület. Az egyes cégek és egész országok egyaránt érdeklődnek a big data iránt.
Egyébként az információs boom és az ember által generált adatok feldolgozásának módszerei kapcsán merült fel a Big Data kifejezés. Úgy gondolják, hogy először 2008-ban javasolta a Nature folyóirat szerkesztője, Clifford Lynch.
Azóta a Big Data piac évente több tíz százalékkal növekszik. És ez a tendencia a szakértők szerint folytatódni fog. Így a cég becslései szerint 2021-ben a globális big data elemzési piac teljes volumene 67,2 milliárd dollárra nő, az éves növekedés pedig körülbelül 35,9%.
Miért van szükségünk nagy adatelemzésre?
Lehetővé teszi rendkívül értékes információk azonosítását strukturált vagy strukturálatlan adatkészletekből. Ennek köszönhetően egy vállalkozás például felismerheti a trendeket, előre jelezheti a termelési teljesítményt és optimalizálhatja saját költségeit. Nyilvánvaló, hogy a költségek csökkentése érdekében a cégek készek a legújabb megoldások bevezetésére.
A Big Data elemzéséhez használt technológiák és elemzési módszerek:
- Adatbányászat;
- crowdsourcing;
- adatkeverés és -integráció;
- gépi tanulás;
- mesterséges idegi hálózat;
- mintafelismerés;
- prediktív analitika;
- szimulációs modellezés;
- térbeli elemzés;
- Statisztikai analízis;
- analitikai adatok megjelenítése.
Big Data elemzése a világban
A nagy adatelemzést mára a vállalatok több mint 50%-a használja világszerte. Annak ellenére, hogy 2015-ben ez az arány még csak 17% volt. A Big Data-t legaktívabban a távközlési és pénzügyi szolgáltatási szektorban működő cégek használják. Aztán vannak olyan cégek, amelyek egészségügyi technológiára szakosodtak. A Big Data analitika minimális használata az oktatási cégeknél: a legtöbb esetben e terület képviselői jelentették be technológiahasználati szándékukat a közeljövőben.
Az Egyesült Államokban a Big Data elemzését használják a legaktívabban: a különféle területeken működő vállalatok több mint 55%-a dolgozik ezzel a technológiával. Európában és Ázsiában a nagy adatelemzés iránti kereslet nem sokkal alacsonyabb - körülbelül 53%.
És mi van Oroszországgal?
Az IDC elemzői szerint. Az ilyen megoldások piacának növekedése Közép- és Kelet-Európában meglehetősen aktív, ez a szám évente 11%-kal növekszik. 2022-re ez mennyiségileg eléri az 5,4 milliárd dollárt.
A piac ilyen gyors fejlődése sok szempontból ennek a területnek az oroszországi növekedésének köszönhető. 2018-ban az Orosz Föderációban a releváns megoldások értékesítéséből származó bevétel a teljes régió Big Data feldolgozási technológiákba történő beruházásának 40%-át tette ki.
Az Orosz Föderációban a banki és állami szektor, a távközlési ipar és az ipar vállalatai költenek a legtöbbet a Big Data feldolgozására.
Mit csinál egy Big Data elemző és mennyit keres Oroszországban?
A big data elemző feladata hatalmas mennyiségű információ vizsgálata, mind félig strukturált, mind strukturálatlan. Banki szervezeteknél ezek tranzakciók, szolgáltatóknál - hívások és forgalom, kiskereskedelemben - ügyféllátogatások és vásárlások. Ahogy fentebb említettük, a Big Data elemzése lehetővé teszi, hogy összefüggéseket fedezzünk fel a „nyers információs történelem” különböző tényezői között, például egy gyártási folyamat vagy egy kémiai reakció között. Az elemzési adatok alapján új megközelítések és megoldások születnek a legkülönfélébb területeken – a gyártástól az orvostudományig.
A Big Data elemzőhöz szükséges készségek:
- Képes gyorsan megérteni annak a területnek a jellemzőit, amelyre vonatkozóan az elemzést végzik, és elmerülni a kívánt terület szempontjaiban. Ez lehet kiskereskedelem, olaj- és gázipar, gyógyszeripar stb.
- Statisztikai adatelemzési módszerek ismerete, matematikai modellek felépítése (neurális hálózatok, Bayes-hálózatok, klaszterezés, regressziós, faktor-, variancia- és korrelációs elemzések stb.).
- Legyen képes a különböző forrásokból származó adatok kinyerésére, elemzésre történő átalakítására és analitikai adatbázisba való betöltésére.
- SQL-ben jártas.
- Angol nyelvtudás olyan szintű, amely elegendő a műszaki dokumentáció könnyű olvasásához.
- Python ismerete (legalábbis az alapok), Bash (nagyon nehéz nélküle a munka során), valamint kívánatos a Java és a Scala alapjainak ismerete (szükséges a Spark aktív használatához, az egyik legnépszerűbb keretrendszerek a big data kezeléséhez).
- Képes a Hadoop-pal dolgozni.
Nos, mennyit keres egy Big Data elemző?
A Big Data specialistákból ma már hiány van, a kereslet meghaladja a kínálatot. Ennek oka, hogy a vállalkozások egyre jobban megértik: a fejlesztéshez új technológiákra van szükség, a technológiai fejlesztéshez pedig szakemberekre van szükség.
Tehát Data Scientist és Data Analytics az Egyesült Államokban a Glassdoor toborzóiroda szerint. Ezeknek a szakembereknek az átlagos fizetése Amerikában évi 100 ezer dollártól kezdődik.
Oroszországban a gépi tanulással foglalkozó szakemberek havi 130-300 ezer rubelt, a nagy adatelemzők havi 73-200 ezer rubelt kapnak. Minden a tapasztalattól és a képzettségtől függ. Természetesen vannak betöltetlen állások alacsonyabb fizetéssel, mások magasabb fizetéssel. Maximális kereslet a big data elemzők iránt Moszkvában és Szentpéterváron. Moszkva, ami nem meglepő, az aktív betöltetlen állások mintegy 50%-át teszi ki (a hh.ru szerint). Minszkben és Kijevben jóval kisebb a kereslet. Érdemes megjegyezni, hogy egyes állások rugalmas munkaidőt és távmunkát kínálnak. De általában a cégeknek olyan szakemberekre van szükségük, akik az irodában dolgoznak.
Idővel a Big Data elemzői és a kapcsolódó szakterületek képviselői iránti kereslet növekedésére számíthatunk. Mint fentebb említettük, a technológiai szektorban tapasztalható munkaerőhiány nem szűnt meg. De természetesen ahhoz, hogy Big Data elemzővé váljon, tanulnia és dolgoznia kell, fejlesztve mind a fent felsorolt, mind a további készségeket. A Big Data elemzői út elindításának egyik lehetősége az és próbálja ki magát a big data kezelésében.
Forrás: will.com