افول دوران کلان داده

بسیاری از نویسندگان خارجی موافقند که دوران کلان داده به پایان رسیده است. و در این مورد، اصطلاح Big Data به فناوری های مبتنی بر Hadoop اشاره دارد. بسیاری از نویسندگان حتی می توانند با اطمینان تاریخ خروج Big Data از این دنیا را نام ببرند و این تاریخ 05.06.2019/XNUMX/XNUMX است.

در این روز مهم چه گذشت؟

در این روز، MAPR قول داد در صورتی که نتواند بودجه ای برای عملیات بیشتر پیدا کند، کار خود را متوقف خواهد کرد. MAPR بعداً توسط HP در آگوست 2019 خریداری شد. اما با بازگشت به ژوئن، نمی توان به تراژدی این دوره برای بازار کلان داده توجه نکرد. در این ماه شاهد سقوط قیمت سهام CLOUDERA، یک بازیگر پیشرو در بازار بودیم که در ژانویه همان سال با HORTOWORKS مزمن سودآور ادغام شد. سقوط بسیار قابل توجه بود و به 43 درصد رسید؛ در نهایت، سرمایه CLOUDERA از 4,1 به 1,4 میلیارد دلار کاهش یافت.

نمی توان نگفت که شایعات حباب در زمینه فناوری های مبتنی بر Hadoop از دسامبر 2014 به گوش می رسد، اما شجاعانه تقریباً پنج سال دیگر ادامه داشت. این شایعات بر اساس امتناع گوگل، شرکتی که فناوری Hadoop از آن سرچشمه گرفت، از اختراع آن بود. اما این فناوری در طول انتقال شرکت ها به ابزارهای پردازش ابری و توسعه سریع هوش مصنوعی ریشه دوانید. بنابراین، با نگاهی به گذشته، می توان با اطمینان گفت که مرگ مورد انتظار بود.

بنابراین، دوران کلان داده به پایان رسیده است، اما در فرآیند کار بر روی داده های بزرگ، شرکت ها به تمام نکات ظریف کار روی آن، مزایایی که Big Data می تواند برای تجارت به ارمغان بیاورد، و همچنین یاد گرفته اند که از مصنوعی استفاده کنند. هوش برای استخراج ارزش از داده های خام

جالب تر این است که چه چیزی جایگزین این فناوری می شود و چگونه فناوری های تجزیه و تحلیل بیشتر توسعه می یابند.

تجزیه و تحلیل افزوده شده

در طول رویدادهایی که شرح داده شد، شرکت‌هایی که در زمینه تجزیه و تحلیل داده‌ها کار می‌کنند، ساکت ننشستند. چه چیزی را می توان بر اساس اطلاعات مربوط به تراکنش هایی که در سال 2019 رخ داده است، قضاوت کرد. در این سال، بزرگترین معامله در بازار انجام شد - خرید پلت فرم تحلیلی Tableau توسط Salesforce به مبلغ 15,7 میلیارد دلار. معامله کوچکتری بین گوگل و لوکر اتفاق افتاد. و البته، نمی توان به خرید پلتفرم کلان داده Attunity توسط Qlik اشاره کرد.

رهبران بازار BI و کارشناسان گارتنر از تغییری چشمگیر در رویکردهای تحلیل داده ها خبر می دهند؛ این تغییر بازار BI را به طور کامل نابود می کند و منجر به جایگزینی هوش مصنوعی با هوش مصنوعی می شود. در این زمینه، لازم به ذکر است که اختصار AI "هوش مصنوعی" نیست بلکه "هوش افزوده" است. بیایید نگاهی دقیق‌تر به آنچه در پشت کلمات "Augmented Analytics" وجود دارد، بیندازیم.

تجزیه و تحلیل افزوده، مانند واقعیت افزوده، بر چندین فرض کلی استوار است:

• توانایی برقراری ارتباط با استفاده از NLP (پردازش زبان طبیعی)، یعنی. به زبان انسان؛
• استفاده از هوش مصنوعی، به این معنی که داده ها توسط هوش ماشینی از قبل پردازش می شوند.
• و البته توصیه هایی در دسترس کاربر سیستم که توسط هوش مصنوعی ایجاد شده است.

به گفته سازندگان پلتفرم‌های تحلیلی، استفاده از آن‌ها برای کاربرانی که مهارت‌های خاصی مانند دانش SQL یا زبان برنامه‌نویسی مشابه ندارند، آموزش‌های آماری یا ریاضی ندارند، زبان‌های رایج را ندارند، در دسترس خواهد بود. متخصص در پردازش داده ها و کتابخانه های مربوطه. چنین افرادی که «دانشمندان داده شهروندی» نامیده می شوند، فقط باید صلاحیت های تجاری برجسته داشته باشند. وظیفه آن‌ها این است که از نکات و پیش‌بینی‌هایی که هوش مصنوعی به آن‌ها می‌دهد، بینش‌های کسب‌وکار را دریافت کنند و می‌توانند با استفاده از NLP حدس‌های خود را اصلاح کنند.

با توصیف روند کار کاربران با سیستم های این کلاس می توان تصویر زیر را تصور کرد. فردی که سر کار می آید و برنامه مربوطه را راه اندازی می کند، علاوه بر مجموعه معمول گزارش ها و داشبوردهایی که می توان با استفاده از رویکردهای استاندارد (مرتب سازی، گروه بندی، انجام عملیات حسابی) آنالیز کرد، نکات و توصیه هایی را مشاهده می کند، چیزی شبیه به: برای دستیابی به KPI، تعداد فروش، باید بر روی محصولات دسته «باغبانی» تخفیف اعمال کنید. علاوه بر این، یک شخص می تواند با یک پیام رسان شرکتی تماس بگیرد: Skype، Slack و غیره. می توانید از ربات سوالاتی را به صورت متنی یا صوتی بپرسید: "پنج مشتری سودآور را به من بدهید." پس از دریافت پاسخ مناسب باید با توجه به تجربه کاری خود بهترین تصمیم را گرفته و برای شرکت سود به ارمغان آورد.

اگر یک قدم به عقب برگردید و به ترکیب اطلاعات در حال تجزیه و تحلیل نگاه کنید و در این مرحله، محصولات تجزیه و تحلیل افزوده می توانند زندگی افراد را آسان تر کنند. در حالت ایده‌آل، فرض بر این است که کاربر فقط باید محصول تحلیلی را به منابع اطلاعات مورد نظر نشان دهد و خود برنامه از ایجاد یک مدل داده، پیوند جداول و کارهای مشابه مراقبت می‌کند.

همه اینها قبل از هر چیز باید "دمکراتیک شدن" داده ها را تضمین کند. هر شخصی می تواند کل مجموعه اطلاعات موجود در شرکت را تجزیه و تحلیل کند. فرآیند تصمیم گیری باید با روش های تحلیل آماری پشتیبانی شود. زمان دسترسی به داده ها باید حداقل باشد، بنابراین نیازی به نوشتن اسکریپت ها و پرس و جوهای SQL نیست. و البته، می‌توانید در هزینه‌های متخصصان علوم داده با حقوق بالا صرفه‌جویی کنید.

به طور فرضی، فناوری چشم اندازهای بسیار روشنی را برای تجارت ارائه می دهد.

چه چیزی جایگزین کلان داده می شود؟

اما، در واقع، من مقاله خود را با داده های بزرگ شروع کردم. و من نمی‌توانستم این موضوع را بدون یک گشت و گذار کوتاه در ابزارهای مدرن BI توسعه دهم، که اساس آن اغلب Big Data است. اکنون سرنوشت کلان داده به وضوح مشخص شده است و آن فناوری ابری است. من روی تراکنش‌های انجام شده با فروشندگان BI تمرکز کردم تا نشان دهم که اکنون هر سیستم تحلیلی دارای فضای ذخیره‌سازی ابری است و سرویس‌های ابری دارای BI به‌عنوان بخش جلویی هستند.

با فراموش نکردن ستون هایی در زمینه پایگاه های داده مانند ORACLE و مایکروسافت، باید به مسیر انتخابی آنها برای توسعه تجارت توجه داشت و این همان ابر است. همه خدمات ارائه شده را می توان در فضای ابری یافت، اما برخی از خدمات ابری دیگر در محل در دسترس نیستند. آنها کار قابل توجهی روی استفاده از مدل‌های یادگیری ماشین انجام داده‌اند، کتابخانه‌هایی را در دسترس کاربران ایجاد کرده‌اند، و رابط‌هایی را برای سهولت کار با مدل‌ها از انتخاب آنها تا تنظیم زمان شروع، پیکربندی کرده‌اند.

یکی دیگر از مزایای مهم استفاده از خدمات ابری که توسط سازندگان بیان می شود، در دسترس بودن مجموعه داده های تقریبا نامحدود در هر موضوعی برای مدل های آموزشی است.

با این حال، این سوال پیش می‌آید: فناوری‌های ابری تا کجا در کشور ما ریشه خواهند داشت؟

منبع: www.habr.com