నేడు బయటి ప్రపంచంతో బాహ్య సంబంధాలు లేని వ్యక్తులు మాత్రమే పెద్ద డేటా గురించి వినలేదు. హాబ్రేలో, బిగ్ డేటా అనలిటిక్స్ మరియు సంబంధిత అంశాల అంశం ప్రజాదరణ పొందింది. కానీ బిగ్ డేటా అధ్యయనానికి తమను తాము అంకితం చేయాలనుకునే నాన్-స్పెషలిస్ట్‌లకు, ఈ ప్రాంతం ఎలాంటి అవకాశాలను కలిగి ఉంది, బిగ్ డేటా అనలిటిక్స్‌ను ఎక్కడ అన్వయించవచ్చు మరియు మంచి విశ్లేషకుడు దేనిపై ఆధారపడగలరో ఎల్లప్పుడూ స్పష్టంగా తెలియదు. దాన్ని గుర్తించడానికి ప్రయత్నిద్దాం.
మానవులు సృష్టించే సమాచారం ప్రతి సంవత్సరం పెరుగుతుంది. 2020 నాటికి, నిల్వ చేయబడిన డేటా మొత్తం 40-44 జెట్టాబైట్‌లకు (1 ZB ~ 1 బిలియన్ GB) పెరుగుతుంది. 2025 నాటికి - దాదాపు 400 జెటాబైట్‌ల వరకు. తదనుగుణంగా, ఆధునిక సాంకేతిక పరిజ్ఞానాన్ని ఉపయోగించి నిర్మాణాత్మక మరియు నిర్మాణాత్మక డేటాను నిర్వహించడం అనేది చాలా ముఖ్యమైన అంశం. వ్యక్తిగత కంపెనీలు మరియు మొత్తం దేశాలు రెండూ పెద్ద డేటాపై ఆసక్తి కలిగి ఉన్నాయి.
మార్గం ద్వారా, ఇది సమాచార విజృంభణ మరియు మానవ-ఉత్పత్తి డేటాను ప్రాసెస్ చేసే పద్ధతుల చర్చ సమయంలో బిగ్ డేటా అనే పదం ఉద్భవించింది. దీనిని 2008లో నేచర్ జర్నల్ ఎడిటర్ క్లిఫోర్డ్ లించ్ మొదటిసారిగా ప్రతిపాదించారని నమ్ముతారు.
అప్పటి నుండి, బిగ్ డేటా మార్కెట్ ఏటా అనేక పదుల శాతం పెరుగుతోంది. మరియు ఈ ధోరణి, నిపుణుల అభిప్రాయం ప్రకారం, కొనసాగుతుంది. కాబట్టి, కంపెనీ అంచనాల ప్రకారం 2021లో, మొత్తం గ్లోబల్ బిగ్ డేటా అనలిటిక్స్ మార్కెట్ వార్షిక వృద్ధి 67,2% $35,9 బిలియన్లకు పెరుగుతుంది.
మనకు పెద్ద డేటా అనలిటిక్స్ ఎందుకు అవసరం?
నిర్మాణాత్మక లేదా నిర్మాణాత్మక డేటా సెట్ల నుండి చాలా విలువైన సమాచారాన్ని గుర్తించడానికి ఇది మిమ్మల్ని అనుమతిస్తుంది. దీనికి ధన్యవాదాలు, ఒక వ్యాపారం, ఉదాహరణకు, ట్రెండ్‌లను గుర్తించగలదు, ఉత్పత్తి పనితీరును అంచనా వేయగలదు మరియు దాని స్వంత ఖర్చులను ఆప్టిమైజ్ చేస్తుంది. ఖర్చులను తగ్గించుకోవడానికి, కంపెనీలు సరికొత్త పరిష్కారాలను అమలు చేయడానికి సిద్ధంగా ఉన్నాయని స్పష్టమైంది.
బిగ్ డేటాను విశ్లేషించడానికి ఉపయోగించే సాంకేతికతలు మరియు విశ్లేషణ పద్ధతులు:
- డేటా మైనింగ్;
- క్రౌడ్ సోర్సింగ్;
- డేటా మిక్సింగ్ మరియు ఇంటిగ్రేషన్;
- యంత్ర అభ్యాస;
- కృత్రిమ నాడీ నెట్వర్క్లు;
- నమూనా గుర్తింపు;
- ప్రిడిక్టివ్ అనలిటిక్స్;
- అనుకరణ మోడలింగ్;
- ప్రాదేశిక విశ్లేషణ;
- గణాంక విశ్లేషణ;
- విశ్లేషణాత్మక డేటా యొక్క విజువలైజేషన్.
ప్రపంచంలో బిగ్ డేటా అనలిటిక్స్
బిగ్ డేటా అనలిటిక్స్ ఇప్పుడు ప్రపంచవ్యాప్తంగా 50% కంటే ఎక్కువ కంపెనీలు ఉపయోగిస్తున్నాయి. 2015 లో ఈ సంఖ్య 17% మాత్రమే ఉన్నప్పటికీ. టెలికమ్యూనికేషన్స్ మరియు ఫైనాన్షియల్ సర్వీసెస్ సెక్టార్‌లలో పనిచేస్తున్న కంపెనీలు బిగ్ డేటాను అత్యంత చురుకుగా ఉపయోగిస్తాయి. ఆ తర్వాత హెల్త్‌కేర్ టెక్నాలజీలో నైపుణ్యం కలిగిన కంపెనీలు ఉన్నాయి. విద్యా సంస్థలలో బిగ్ డేటా అనలిటిక్స్ యొక్క కనీస ఉపయోగం: చాలా సందర్భాలలో, ఈ ఫీల్డ్ యొక్క ప్రతినిధులు సమీప భవిష్యత్తులో సాంకేతికతను ఉపయోగించాలనే తమ ఉద్దేశ్యాన్ని ప్రకటించారు.
యునైటెడ్ స్టేట్స్లో, బిగ్ డేటా అనలిటిక్స్ అత్యంత చురుకుగా ఉపయోగించబడుతుంది: వివిధ రంగాలకు చెందిన 55% కంటే ఎక్కువ కంపెనీలు ఈ సాంకేతికతతో పని చేస్తాయి. యూరప్ మరియు ఆసియాలో, పెద్ద డేటా అనలిటిక్స్ కోసం డిమాండ్ చాలా తక్కువగా లేదు - దాదాపు 53%.
రష్యాలో ఏమిటి?
IDC విశ్లేషకుల ప్రకారం,. మధ్య మరియు తూర్పు ఐరోపాలో ఇటువంటి పరిష్కారాల కోసం మార్కెట్ వృద్ధి చాలా చురుకుగా ఉంది, ఈ సంఖ్య ప్రతి సంవత్సరం 11% పెరుగుతుంది. 2022 నాటికి, ఇది పరిమాణాత్మక పరంగా $5,4 బిలియన్లకు చేరుకుంటుంది.
అనేక విధాలుగా, మార్కెట్ యొక్క ఈ వేగవంతమైన అభివృద్ధి రష్యాలో ఈ ప్రాంతం యొక్క పెరుగుదల కారణంగా ఉంది. 2018లో, రష్యన్ ఫెడరేషన్‌లో సంబంధిత పరిష్కారాల అమ్మకం ద్వారా వచ్చే ఆదాయం మొత్తం ప్రాంతంలో బిగ్ డేటా ప్రాసెసింగ్ టెక్నాలజీలలో మొత్తం పెట్టుబడిలో 40%.
రష్యన్ ఫెడరేషన్‌లో, బ్యాంకింగ్ మరియు పబ్లిక్ సెక్టార్‌లు, టెలికమ్యూనికేషన్స్ పరిశ్రమ మరియు పరిశ్రమలకు చెందిన కంపెనీలు బిగ్ డేటా ప్రాసెసింగ్‌పై అత్యధికంగా ఖర్చు చేస్తాయి.
బిగ్ డేటా అనలిస్ట్ ఏమి చేస్తాడు మరియు అతను రష్యాలో ఎంత సంపాదిస్తాడు?
సెమీ స్ట్రక్చర్డ్ మరియు అన్‌స్ట్రక్చర్డ్ రెండింటిలోనూ పెద్ద మొత్తంలో సమాచారాన్ని పరిశీలించడానికి పెద్ద డేటా అనలిస్ట్ బాధ్యత వహిస్తాడు. బ్యాంకింగ్ సంస్థల కోసం ఇవి లావాదేవీలు, ఆపరేటర్లకు - కాల్‌లు మరియు ట్రాఫిక్, రిటైల్‌లో - కస్టమర్ సందర్శనలు మరియు కొనుగోళ్లు. పైన పేర్కొన్నట్లుగా, బిగ్ డేటా విశ్లేషణ "ముడి సమాచార చరిత్ర"లో వివిధ కారకాల మధ్య కనెక్షన్‌లను కనుగొనడానికి అనుమతిస్తుంది, ఉదాహరణకు, ఉత్పత్తి ప్రక్రియ లేదా రసాయన ప్రతిచర్య. విశ్లేషణ డేటా ఆధారంగా, కొత్త విధానాలు మరియు పరిష్కారాలు వివిధ రంగాలలో అభివృద్ధి చేయబడ్డాయి - తయారీ నుండి ఔషధం వరకు.
బిగ్ డేటా అనలిస్ట్‌కు అవసరమైన నైపుణ్యాలు:
- విశ్లేషణ నిర్వహించబడుతున్న ప్రాంతంలోని లక్షణాలను త్వరగా అర్థం చేసుకోగల సామర్థ్యం మరియు కావలసిన ప్రాంతం యొక్క అంశాలలో మునిగిపోతుంది. ఇది రిటైల్, చమురు మరియు గ్యాస్ పరిశ్రమ, ఔషధం మొదలైనవి కావచ్చు.
- గణాంక డేటా విశ్లేషణ, గణిత నమూనాల నిర్మాణం (న్యూరల్ నెట్వర్క్లు, బయేసియన్ నెట్వర్క్లు, క్లస్టరింగ్, రిగ్రెషన్, ఫ్యాక్టర్, వైవిధ్యం మరియు సహసంబంధ విశ్లేషణలు మొదలైనవి) యొక్క పద్ధతుల పరిజ్ఞానం.
- విభిన్న మూలాధారాల నుండి డేటాను సంగ్రహించగలగాలి, దానిని విశ్లేషణ కోసం మార్చగలవు మరియు దానిని విశ్లేషణాత్మక డేటాబేస్‌లో లోడ్ చేయగలవు.
- SQLలో ప్రావీణ్యం.
- సాంకేతిక డాక్యుమెంటేషన్‌ను సులభంగా చదవడానికి తగిన స్థాయిలో ఆంగ్ల పరిజ్ఞానం.
- పైథాన్ (కనీసం ప్రాథమిక అంశాలు), బాష్ (పని ప్రక్రియలో అది లేకుండా చేయడం చాలా కష్టం), అంతేకాకుండా జావా మరియు స్కాలా యొక్క ప్రాథమికాలను తెలుసుకోవడం మంచిది (స్పార్క్ యొక్క క్రియాశీల ఉపయోగం కోసం అవసరం, వాటిలో ఒకటి పెద్ద డేటాతో పని చేయడానికి అత్యంత ప్రజాదరణ పొందిన ఫ్రేమ్‌వర్క్‌లు).
- హడూప్‌తో పని చేసే సామర్థ్యం.
సరే, బిగ్ డేటా అనలిస్ట్ ఎంత సంపాదిస్తాడు?
బిగ్ డేటా స్పెషలిస్ట్‌లు ఇప్పుడు డిమాండ్‌ను మించి సరఫరా చేస్తున్నారు; వ్యాపారం ఒక అవగాహనకు రావడమే దీనికి కారణం: అభివృద్ధికి కొత్త సాంకేతికతలు అవసరం మరియు సాంకేతిక అభివృద్ధికి నిపుణులు అవసరం.
కాబట్టి, USAలో డేటా సైంటిస్ట్ మరియు డేటా అనలిటిక్స్ రిక్రూటింగ్ ఏజెన్సీ గ్లాస్‌డోర్ ప్రకారం. అమెరికాలో ఈ నిపుణుల సగటు జీతం సంవత్సరానికి $100 వేల నుండి మొదలవుతుంది.
రష్యాలో, మెషిన్ లెర్నింగ్ నిపుణులు నెలకు 130 నుండి 300 వేల రూబిళ్లు, పెద్ద డేటా విశ్లేషకులు - నెలకు 73 నుండి 200 వేల రూబిళ్లు అందుకుంటారు. ఇదంతా అనుభవం మరియు అర్హతలపై ఆధారపడి ఉంటుంది. వాస్తవానికి, తక్కువ జీతాలతో ఖాళీలు ఉన్నాయి, మరియు ఇతర వాటితో ఎక్కువ. మాస్కో మరియు సెయింట్ పీటర్స్‌బర్గ్‌లో పెద్ద డేటా విశ్లేషకులకు గరిష్ట డిమాండ్. మాస్కో, ఇది ఆశ్చర్యం కలిగించదు, దాదాపు 50% క్రియాశీల ఖాళీలు (hh.ru ప్రకారం) ఉన్నాయి. మిన్స్క్ మరియు కైవ్‌లలో చాలా తక్కువ డిమాండ్ ఉంది. కొన్ని ఖాళీలు సౌకర్యవంతమైన గంటలు మరియు రిమోట్ పనిని అందిస్తాయి. కానీ సాధారణంగా, కంపెనీలకు కార్యాలయంలో పనిచేసే నిపుణులు అవసరం.
కాలక్రమేణా, బిగ్ డేటా విశ్లేషకులు మరియు సంబంధిత స్పెషాలిటీల ప్రతినిధులకు డిమాండ్ పెరుగుతుందని మేము ఆశించవచ్చు. పైన చెప్పినట్లుగా, సాంకేతిక రంగంలో సిబ్బంది కొరత రద్దు చేయబడలేదు. అయితే, బిగ్ డేటా అనలిస్ట్ కావడానికి, మీరు పైన పేర్కొన్న నైపుణ్యాలు మరియు అదనపు వాటిని రెండింటినీ మెరుగుపరచడం ద్వారా అధ్యయనం మరియు పని చేయాలి. బిగ్ డేటా అనలిస్ట్ యొక్క మార్గాన్ని ప్రారంభించడానికి అవకాశాలలో ఒకటి మరియు పెద్ద డేటాతో పని చేయడానికి మీ చేతిని ప్రయత్నించండి.
మూలం: www.habr.com