اڄ رڳو اهي ماڻهو جن جو ٻاهرئين دنيا سان ڪو به واسطو نه آهي، انهن وڏي ڊيٽا بابت نه ٻڌو آهي. Habré تي، بگ ڊيٽا اينالائيٽڪس ۽ لاڳاپيل عنوانن جو موضوع مشهور آهي. پر غير ماهرن لاءِ جيڪي پاڻ کي بگ ڊيٽا جي مطالعي لاءِ وقف ڪرڻ چاهين ٿا، اهو هميشه واضح ناهي ته هن علائقي جا ڪهڙا امڪان آهن، جتي بگ ڊيٽا اينالائيٽڪس لاڳو ٿي سگهن ٿا ۽ ڪهڙو سٺو تجزيه نگار ڳڻائي سگهي ٿو. اچو ته ان کي سمجهڻ جي ڪوشش ڪريون.
انسان پاران پيدا ڪيل معلومات جو مقدار هر سال وڌائي ٿو. 2020 تائين، ذخيرو ٿيل ڊيٽا جو مقدار 40-44 زيٽابائٽس (1 ZB ~ 1 بلين GB) تائين وڌي ويندو. 2025 تائين - لڳ ڀڳ 400 زيٽا بائيٽ تائين. ان جي مطابق، منظم ۽ غير منظم ٿيل ڊيٽا کي جديد ٽيڪنالاجي استعمال ڪندي هڪ علائقو آهي جيڪو وڌندڙ اهم ٿي رهيو آهي. ٻئي انفرادي ڪمپنيون ۽ سمورا ملڪ وڏي ڊيٽا ۾ دلچسپي رکن ٿا.
رستي ۾، اها معلومات جي بوم ۽ انساني ٺاهيل ڊيٽا کي پروسيس ڪرڻ جي طريقن جي بحث دوران هئي ته بگ ڊيٽا جو اصطلاح پيدا ٿيو. اهو يقين آهي ته اهو پهريون ڀيرو 2008 ۾ پيش ڪيو ويو هو جرنل فطرت جي ايڊيٽر، ڪلفورڊ لنچ.
ان وقت کان وٺي، بگ ڊيٽا مارڪيٽ هر سال ڪيترن ئي ڏهن سيڪڙو کان وڌي رهيو آهي. ۽ اهو رجحان، ماهرن جي مطابق، جاري رهندو. اهڙيء طرح، ڪمپني جي اندازي مطابق 2021 ۾، ڪل عالمي وڏي ڊيٽا اينالائيٽڪس مارڪيٽ 67,2 بلين ڊالر تائين وڌي ويندي، سالياني واڌ تقريباً 35,9 سيڪڙو ٿيندي.
اسان کي وڏي ڊيٽا اينالائيٽڪس جي ضرورت ڇو آهي؟
اهو توهان کي منظم يا غير منظم ٿيل ڊيٽا سيٽن مان انتهائي قيمتي معلومات جي سڃاڻپ ڪرڻ جي اجازت ڏئي ٿو. انهي جي مهرباني، هڪ ڪاروبار ڪري سگهي ٿو، مثال طور، رجحانات جي نشاندهي ڪري، پيداوار جي ڪارڪردگي جي اڳڪٿي ڪري سگهي ٿو ۽ پنهنجي خرچن کي بهتر ڪري سگهي ٿو. اهو واضح آهي ته قيمت کي گهٽائڻ لاء، ڪمپنيون جديد حل لاڳو ڪرڻ لاء تيار آهن.
ٽيڪنالاجي ۽ تجزيي جا طريقا جيڪي استعمال ڪيا وڃن ٿا بگ ڊيٽا جو تجزيو ڪرڻ لاءِ:
- ڊيٽا مائننگ؛
- ڪراؤڊ سورسنگ؛
- ڊيٽا جي ميلاپ ۽ انضمام؛
- مشين سکيا؛
- مصنوعي اعصاب نيٽ ورڪ؛
- نموني جي سڃاڻپ؛
- اڳڪٿي ڪندڙ تجزياتي؛
- نقلي ماڊلنگ؛
- مقامي تجزيو؛
- شمارياتي تجزيو؛
- تجزياتي ڊيٽا جي تصور.
دنيا ۾ بگ ڊيٽا اينالائيٽڪس
بگ ڊيٽا اينالائيٽڪس هاڻي استعمال ڪيو ويندو آهي 50 سيڪڙو کان وڌيڪ ڪمپنيون سڄي دنيا ۾. ان حقيقت جي باوجود ته 2015 ۾ اهو انگ صرف 17 سيڪڙو هو. بگ ڊيٽا سڀ کان وڌيڪ فعال طور تي استعمال ڪيو ويندو آهي ڪمپنين پاران ڪم ڪندڙ ٽيليڪميونيڪيشن ۽ مالي خدمتن جي شعبن ۾. پوءِ اتي ڪمپنيون آهن جيڪي ماهر آهن صحت جي ٽيڪنالاجي ٽيڪنالاجي. تعليمي ڪمپنين ۾ بگ ڊيٽا اينالائيٽڪس جو گهٽ ۾ گهٽ استعمال: اڪثر ڪيسن ۾، هن فيلڊ جي نمائندن ويجهي مستقبل ۾ ٽيڪنالاجي استعمال ڪرڻ جو ارادو ڪيو.
آمريڪا ۾، بگ ڊيٽا اينالائيٽڪس تمام گهڻو استعمال ڪيو ويندو آهي: 55 سيڪڙو کان وڌيڪ ڪمپنيون مختلف شعبن مان هن ٽيڪنالاجي سان ڪم ڪن ٿيون. يورپ ۽ ايشيا ۾، وڏي ڊيٽا اينالائيٽڪس جي طلب تمام گهٽ نه آهي - اٽڪل 53٪.
روس ۾ ڇا جي باري ۾؟
IDC تجزيه نگارن جي مطابق،. مرڪزي ۽ اڀرندي يورپ ۾ اهڙي حل لاء مارڪيٽ جي ترقي ڪافي سرگرم آهي، اهو انگ هر سال 11٪ وڌائي ٿو. 2022 تائين، اهو مقدار جي لحاظ کان 5,4 بلين ڊالر تائين پهچي ويندو.
ڪيترن ئي طريقن سان، مارڪيٽ جي هن تيز ترقي روس ۾ هن علائقي جي ترقي جي ڪري آهي. 2018 ۾، روسي فيڊريشن ۾ لاڳاپيل حلن جي وڪرو مان آمدني سڄي علائقي ۾ بگ ڊيٽا پروسيسنگ ٽيڪنالاجيز ۾ مجموعي سيڙپڪاري جو 40٪ تائين پهچايو ويو.
روسي فيڊريشن ۾، بينڪن ۽ سرڪاري شعبن مان ڪمپنيون، ٽيليڪميونيڪيشن انڊسٽري ۽ صنعت تمام گهڻو خرچ ڪن ٿا بگ ڊيٽا پروسيسنگ تي.
هڪ بگ ڊيٽا تجزيه نگار ڇا ڪندو آهي ۽ روس ۾ ڪيترو ڪمائي ٿو؟
هڪ وڏو ڊيٽا تجزيه نگار ذميوار آهي معلومات جي وسيع مقدار کي جانچڻ لاءِ، ٻئي نيم منظم ۽ غير منظم. بئنڪنگ تنظيمن لاءِ اهي ٽرانزيڪشن آهن، آپريٽرن لاءِ - ڪالون ۽ ٽرئفڪ، پرچون ۾ - گراهڪ جا دورا ۽ خريداريون. جيئن مٿي ذڪر ڪيو ويو آهي، بگ ڊيٽا جو تجزيو اسان کي اجازت ڏئي ٿو ته مختلف عنصرن جي وچ ۾ ڪنيڪشن ڳولڻ جي "خام معلومات جي تاريخ" ۾، مثال طور، هڪ پيداوار جي عمل يا ڪيميائي رد عمل. تجزياتي ڊيٽا جي بنياد تي، مختلف علائقن ۾ نوان طريقا ۽ حل ٺاهيا ويا آهن - پيداوار کان وٺي دوا تائين.
وڏي ڊيٽا تجزيه نگار لاءِ گهربل مهارتون:
- هن علائقي جي خاصيتن کي جلدي سمجهڻ جي صلاحيت جنهن لاءِ تجزيو ڪيو پيو وڃي، ۽ پاڻ کي گهربل علائقي جي پهلوئن ۾ غرق ڪرڻ جي صلاحيت. اهو ٿي سگهي ٿو پرچون، تيل ۽ گئس جي صنعت، دوا، وغيره.
- انگن اکرن جي تجزيي جي طريقن جي ڄاڻ، رياضياتي ماڊل جي تعمير (نيرل نيٽ ورڪ، بيزين نيٽ ورڪ، ڪلسترنگ، ريگريشن، فيڪٽر، ويرينس ۽ باهمي تجزيا، وغيره).
- مختلف ذريعن مان ڊيٽا ڪڍڻ جي قابل ٿي، ان کي تجزيو لاء تبديل ڪريو، ۽ ان کي تجزياتي ڊيٽابيس ۾ لوڊ ڪريو.
- SQL ۾ ماهر.
- ٽيڪنيڪل دستاويزن کي آساني سان پڙهڻ لاءِ ڪافي سطح تي انگريزي جو علم.
- پٿون جو علم (گهٽ ۾ گهٽ بنيادي شيون)، بش (ڪم جي عمل ۾ ان کان سواءِ ڪرڻ تمام ڏکيو آهي)، ان سان گڏ جاوا ۽ اسڪالا (اسپارڪ جي فعال استعمال لاءِ ضروري آهي) جي بنيادي ڳالهين کي ڄاڻڻ ضروري آهي. وڏي ڊيٽا سان ڪم ڪرڻ لاء سڀ کان وڌيڪ مشهور فريم ورڪ).
- Hadoop سان ڪم ڪرڻ جي صلاحيت.
چڱو، هڪ بگ ڊيٽا تجزيهڪار ڪيترو ڪمائي ٿو؟
بگ ڊيٽا جا ماهر ھاڻي گھٽ سپلائي ۾ آھن؛ طلب سپلائي کان وڌيڪ آھي. اهو ئي سبب آهي جو ڪاروبار هڪ سمجھ ۾ اچي رهيو آهي: ترقي نئين ٽيڪنالاجي جي ضرورت آهي، ۽ ٽيڪنالاجي ترقي ماهرن جي ضرورت آهي.
تنهن ڪري، آمريڪا ۾ ڊيٽا سائنسدان ۽ ڊيٽا تجزياتي ڀرتي ڪندڙ ايجنسي Glassdoor جي مطابق. آمريڪا ۾ انهن ماهرن جي سراسري تنخواه $100 هزار هر سال کان شروع ٿئي ٿي.
روس ۾، مشين سکيا جا ماهر هر مهيني 130 کان 300 هزار روبل وصول ڪن ٿا، وڏي ڊيٽا تجزيهڪار - 73 کان 200 هزار روبل هر مهيني تائين. اهو سڀ ڪجهه تجربو ۽ قابليت تي منحصر آهي. يقينن، اتي خالي آهن گهٽ تنخواه سان، ۽ ٻيا اعلي آهن. ماسڪو ۽ سينٽ پيٽرسبرگ ۾ وڏي ڊيٽا تجزيه نگارن جي وڌ ۾ وڌ طلب. ماسڪو، جيڪا تعجب جي ڳالهه ناهي، تقريبن 50٪ فعال خالي جايون (hh.ru مطابق). منسک ۽ ڪيف ۾ تمام گهٽ طلب آهي. اهو قابل ذڪر آهي ته ڪجهه خالي جايون لچڪدار ڪلاڪ ۽ ريموٽ ڪم پيش ڪن ٿيون. پر عام طور تي، ڪمپنين کي ماهرن جي ضرورت آهي جيڪي آفيس ۾ ڪم ڪن ٿا.
وقت سان گڏ، اسان بگ ڊيٽا جي تجزيه نگارن ۽ لاڳاپيل خاصيتن جي نمائندن جي طلب ۾ واڌ جي توقع ڪري سگهون ٿا. جيئن مٿي ذڪر ڪيو ويو آهي، ٽيڪنالاجي شعبي ۾ اهلڪارن جي کوٽ کي رد نه ڪيو ويو آهي. پر، يقيناً، هڪ بگ ڊيٽا تجزيه نگار بڻجڻ لاءِ، توهان کي مطالع ڪرڻ ۽ ڪم ڪرڻ جي ضرورت آهي، مٿي ڄاڻايل صلاحيتن کي بهتر ڪرڻ ۽ اضافي صلاحيتن کي. بگ ڊيٽا تجزيه نگار جي واٽ شروع ڪرڻ جو هڪ موقعو آهي ۽ وڏي ڊيٽا سان ڪم ڪرڻ تي پنهنجو هٿ آزمايو.
جو ذريعو: www.habr.com