امروزه تنها افرادی که هیچ ارتباط خارجی با دنیای خارج ندارند، درباره کلان داده چیزی نشنیده اند. در Habré، موضوع تجزیه و تحلیل داده های بزرگ و موضوعات مرتبط محبوب است. اما برای افراد غیرمتخصصی که می‌خواهند خود را وقف مطالعه کلان داده‌ها کنند، همیشه مشخص نیست که این حوزه چه چشم‌اندازی دارد، کجا می‌توان تجزیه و تحلیل داده‌های بزرگ را به کار برد و یک تحلیلگر خوب روی چه چیزی می‌تواند حساب کند. بیایید سعی کنیم آن را بفهمیم.
میزان اطلاعات تولید شده توسط انسان هر سال افزایش می یابد. تا سال 2020، مقدار داده های ذخیره شده به 40-44 زتابایت (1 ZB ~ 1 میلیارد گیگابایت) افزایش خواهد یافت. تا سال 2025 - تا حدود 400 زتابایت. بر این اساس، مدیریت داده‌های ساختاریافته و بدون ساختار با استفاده از فناوری‌های مدرن، حوزه‌ای است که اهمیت روزافزونی پیدا می‌کند. هم شرکت ها و هم کل کشورها به داده های بزرگ علاقه مند هستند.
به هر حال، در جریان بحث رونق اطلاعات و روش های پردازش داده های تولید شده توسط انسان بود که اصطلاح Big Data به وجود آمد. اعتقاد بر این است که اولین بار در سال 2008 توسط سردبیر مجله نیچر، کلیفورد لینچ، پیشنهاد شد.
از آن زمان، بازار کلان داده سالانه چندین ده درصد افزایش یافته است. و این روند به گفته کارشناسان ادامه خواهد داشت. بنابراین، با توجه به برآورد شرکت در سال 2021، کل بازار جهانی تجزیه و تحلیل کلان داده به 67,2 میلیارد دلار افزایش خواهد یافت. رشد سالانه حدود 35,9٪ خواهد بود.
چرا به تجزیه و تحلیل داده های بزرگ نیاز داریم؟
این به شما امکان می دهد اطلاعات بسیار ارزشمند را از مجموعه داده های ساختاریافته یا بدون ساختار شناسایی کنید. به لطف این، یک کسب و کار می تواند، برای مثال، روندها را شناسایی کند، عملکرد تولید را پیش بینی کند و هزینه های خود را بهینه کند. واضح است که به منظور کاهش هزینه ها، شرکت ها آماده اجرای آخرین راهکارها هستند.
فن آوری ها و روش های تجزیه و تحلیلی که برای تجزیه و تحلیل داده های بزرگ استفاده می شود:
- داده کاوی؛
- جمع سپاری؛
- اختلاط و ادغام داده ها؛
- فراگیری ماشین؛
- شبکه های عصبی مصنوعی؛
- الگو شناسی؛
- تجزیه و تحلیل پیش بینی کننده؛
- مدل سازی شبیه سازی؛
- تحلیل فضایی؛
- تحلیل آماری؛
- تجسم داده های تحلیلی
تجزیه و تحلیل داده های بزرگ در جهان
در حال حاضر بیش از 50 درصد از شرکت ها در سراسر جهان از تجزیه و تحلیل داده های بزرگ استفاده می کنند. با وجود این واقعیت که در سال 2015 این رقم تنها 17 درصد بود. Big Data بیشتر توسط شرکت هایی که در بخش های مخابراتی و خدمات مالی فعالیت می کنند استفاده می شود. سپس شرکت هایی هستند که در فناوری مراقبت های بهداشتی تخصص دارند. استفاده حداقلی از تجزیه و تحلیل داده های بزرگ در شرکت های آموزشی: در اغلب موارد نمایندگان این حوزه قصد خود را برای استفاده از فناوری در آینده نزدیک اعلام کردند.
در ایالات متحده، تجزیه و تحلیل داده های بزرگ به طور فعال استفاده می شود: بیش از 55٪ از شرکت ها در زمینه های مختلف با این فناوری کار می کنند. در اروپا و آسیا، تقاضا برای تجزیه و تحلیل داده های بزرگ بسیار کمتر نیست - حدود 53٪.
و در مورد روسیه چطور؟
به گفته تحلیلگران IDC،. رشد بازار چنین راه حل هایی در اروپای مرکزی و شرقی کاملاً فعال است، این رقم هر سال 11 درصد افزایش می یابد. تا سال 2022، از نظر کمی به 5,4 میلیارد دلار خواهد رسید.
از بسیاری جهات، این توسعه سریع بازار به دلیل رشد این منطقه در روسیه است. در سال 2018، درآمد حاصل از فروش راه حل های مربوطه در فدراسیون روسیه 40٪ از کل سرمایه گذاری در فناوری های پردازش داده های بزرگ در کل منطقه بود.
در فدراسیون روسیه، شرکت‌هایی از بخش‌های بانکی و دولتی، صنعت مخابرات و صنعت بیشترین هزینه را برای پردازش داده‌های بزرگ می‌کنند.
یک تحلیلگر کلان داده در روسیه چه کار می کند و چقدر درآمد دارد؟
یک تحلیلگر کلان داده مسئول بررسی حجم وسیعی از اطلاعات، اعم از نیمه ساختاریافته و بدون ساختار است. برای سازمان های بانکی اینها تراکنش ها، برای اپراتورها - تماس ها و ترافیک، در خرده فروشی ها - بازدید و خرید مشتری است. همانطور که در بالا ذکر شد، تجزیه و تحلیل داده های بزرگ به ما اجازه می دهد تا ارتباط بین عوامل مختلف را در "تاریخچه اطلاعات خام" کشف کنیم، به عنوان مثال، یک فرآیند تولید یا یک واکنش شیمیایی. بر اساس داده های تجزیه و تحلیل، رویکردها و راه حل های جدید در زمینه های مختلف - از تولید تا پزشکی - توسعه یافته است.
مهارت های مورد نیاز برای یک تحلیلگر کلان داده:
- توانایی درک سریع ویژگی های منطقه ای که تجزیه و تحلیل برای آن انجام می شود و غوطه ور شدن در جنبه های منطقه مورد نظر. این می تواند خرده فروشی، صنعت نفت و گاز، دارو و غیره باشد.
- آشنایی با روش های تحلیل داده های آماری، ساخت مدل های ریاضی (شبکه های عصبی، شبکه های بیزی، خوشه بندی، رگرسیون، تحلیل عاملی، واریانس و همبستگی و ...).
- قادر به استخراج داده ها از منابع مختلف، تبدیل آن برای تجزیه و تحلیل و بارگذاری آن ها در پایگاه داده تحلیلی باشد.
- مسلط به SQL
- دانش زبان انگلیسی در سطح کافی برای خواندن آسان اسناد فنی.
- دانش پایتون (حداقل اصول اولیه)، Bash (بدون آن در فرآیند کار بسیار دشوار است)، به علاوه دانستن اصول اولیه جاوا و اسکالا (برای استفاده فعال از Spark، یکی از موارد مورد نیاز) مطلوب است. محبوب ترین چارچوب ها برای کار با داده های بزرگ).
- توانایی کار با Hadoop.
خوب، یک تحلیلگر کلان داده چقدر درآمد دارد؟
متخصصان کلان داده اکنون با کمبود مواجه هستند؛ تقاضا از عرضه بیشتر است. این به این دلیل است که تجارت در حال رسیدن به درک است: توسعه به فناوری های جدید نیاز دارد و توسعه فناوری به متخصصان نیاز دارد.
بنابراین، دانشمند داده و تجزیه و تحلیل داده در ایالات متحده آمریکا به گفته آژانس استخدام Glassdoor. متوسط حقوق این متخصصان در آمریکا از 100 هزار دلار در سال شروع می شود.
در روسیه، متخصصان یادگیری ماشین از 130 تا 300 هزار روبل در ماه، تحلیلگران داده های بزرگ - از 73 تا 200 هزار روبل در ماه دریافت می کنند. همه چیز به تجربه و صلاحیت بستگی دارد. البته جای خالی با حقوق کمتر و برخی دیگر با حقوق بالاتر وجود دارد. حداکثر تقاضا برای تحلیلگران کلان داده در مسکو و سن پترزبورگ. مسکو، که جای تعجب نیست، حدود 50 درصد از مشاغل خالی فعال را به خود اختصاص داده است (طبق گزارش hh.ru). تقاضای بسیار کمتری در مینسک و کیف وجود دارد. شایان ذکر است که برخی از مشاغل خالی ساعات کاری انعطاف پذیر و کار از راه دور را ارائه می دهند. اما به طور کلی شرکت ها به متخصصانی نیاز دارند که در دفتر کار کنند.
با گذشت زمان، می توان انتظار افزایش تقاضا برای تحلیلگران Big Data و نمایندگان تخصص های مرتبط را داشت. همانطور که در بالا ذکر شد، کمبود پرسنل در بخش فناوری لغو نشده است. اما، البته، برای تبدیل شدن به یک تحلیلگر کلان داده، باید مطالعه و کار کنید و مهارت های ذکر شده در بالا و مهارت های اضافی را بهبود بخشید. یکی از فرصت ها برای شروع مسیر تحلیلگر کلان داده است و دست خود را در کار با داده های بزرگ امتحان کنید.
منبع: www.habr.com