در سال 2008، BigData یک اصطلاح جدید و روند مد بود. در سال 2019، BigData یک هدف فروش، منبع سود و دلیلی برای قبوض جدید است.
پاییز گذشته، دولت روسیه لایحه ای را برای تنظیم کلان داده ها ارائه کرد. ممکن است افراد از روی اطلاعات شناسایی نشوند، اما ممکن است بنا به درخواست مقامات فدرال این کار را انجام دهند. پردازش BigData برای اشخاص ثالث فقط پس از اطلاع Roskomnadzor است. شرکت هایی که بیش از 100 هزار آدرس شبکه دارند مشمول قانون می شوند. و البته، جایی که بدون رجیستر - قرار است یکی با لیستی از اپراتورهای پایگاه داده ایجاد شود. و اگر قبلاً این Big Data توسط همه جدی گرفته نمی شد ، اکنون باید در نظر گرفته شود.
من به عنوان مدیر یک شرکت توسعه دهنده صورتحساب که این داده های بزرگ را پردازش می کند، نمی توانم پایگاه داده را نادیده بگیرم. من به داده های بزرگ از طریق منشور اپراتورهای مخابراتی فکر خواهم کرد، که از سیستم های صورتحساب آنها هر روز جریان اطلاعات در مورد هزاران مشترک عبور می کند.
قضیه
بیایید مانند یک مسئله ریاضی شروع کنیم: ابتدا ثابت می کنیم که داده های اپراتورهای مخابراتی را می توان BigDat نامید. به طور معمول، داده های بزرگ با سه ویژگی VVV مشخص می شوند، اگرچه در تفسیرهای آزاد تعداد "Vs" به هفت رسید.
جلد. MVNO Rostelecom به تنهایی به بیش از یک میلیون مشترک خدمات ارائه می دهد. اپراتورهای میزبان کلیدی داده های 44 تا 78 میلیون نفر را مدیریت می کنند. ترافیک هر ثانیه در حال افزایش است: در سه ماهه اول سال 2019، مشترکان قبلاً به 3,3 میلیارد گیگابایت از تلفن های همراه دسترسی داشته اند.
سرعت. هیچ کس نمی تواند بهتر از آمار در مورد پویایی به شما بگوید، بنابراین من پیش بینی های سیسکو را بررسی می کنم. تا سال 2021، 20 درصد از ترافیک IP به ترافیک تلفن همراه خواهد رفت - این میزان در عرض پنج سال تقریباً سه برابر خواهد شد. یک سوم اتصالات تلفن همراه M2M خواهد بود - توسعه اینترنت اشیا منجر به افزایش شش برابری در اتصالات خواهد شد. اینترنت اشیا نه تنها سودآور، بلکه منابع فشرده نیز خواهد شد، بنابراین برخی از اپراتورها فقط بر روی آن تمرکز خواهند کرد. و کسانی که اینترنت اشیا را به عنوان یک سرویس جداگانه توسعه دهند، ترافیک مضاعف دریافت خواهند کرد.
تنوع. تنوع یک مفهوم ذهنی است، اما اپراتورهای مخابراتی تقریباً همه چیز را در مورد مشترکین خود می دانند. از مشخصات نام و گذرنامه گرفته تا مدل تلفن، خریدها، مکان های بازدید شده و علایق. طبق قانون Yarovaya، فایل های رسانه ای به مدت شش ماه ذخیره می شوند. بنابراین بیایید آن را به عنوان یک اصل بدیهی در نظر بگیریم که داده های جمع آوری شده متنوع هستند.
نرم افزار و روش
ارائه دهندگان یکی از مصرف کنندگان اصلی BigData هستند، بنابراین بیشتر تکنیک های تجزیه و تحلیل داده های بزرگ در صنعت مخابرات قابل اجرا هستند. سوال دیگر این است که چه کسی آماده سرمایه گذاری در توسعه ML، AI، Deep Learning، سرمایه گذاری در مراکز داده و داده کاوی است. کار تمام عیار با پایگاه داده شامل زیرساخت ها و یک تیم است که هزینه های آن را همه نمی توانند بپردازند. شرکت‌هایی که قبلاً یک انبار شرکتی دارند یا در حال توسعه روش‌های حاکمیت داده هستند، باید روی BigData شرط بندی کنند. برای کسانی که هنوز برای سرمایه گذاری بلندمدت آماده نیستند، به شما توصیه می کنم که معماری نرم افزار را به تدریج ایجاد کرده و اجزای سازنده را یکی یکی نصب کنید. می توانید ماژول های سنگین و Hadoop را برای آخر بگذارید. تعداد کمی از مردم راه حل آماده ای را برای مشکلاتی مانند کیفیت داده و داده کاوی خریداری می کنند؛ شرکت ها به طور کلی سیستم را بر اساس مشخصات و نیازهای خاص خود سفارشی می کنند - خودشان یا با کمک توسعه دهندگان.
اما هر صورتحساب را نمی توان برای کار با BigData تغییر داد. یا بهتر است بگوییم، نه تنها همه چیز را می توان اصلاح کرد. افراد کمی می توانند این کار را انجام دهند.
سه نشانه که یک سیستم صورتحساب شانس تبدیل شدن به یک ابزار پردازش پایگاه داده را دارد:
- مقیاس پذیری افقی نرم افزار باید انعطاف پذیر باشد - ما در مورد داده های بزرگ صحبت می کنیم. افزایش در مقدار اطلاعات باید با افزایش متناسب در سخت افزار در خوشه درمان شود.
- تحمل خطا. سیستم‌های پیش‌پرداخت جدی معمولاً به‌طور پیش‌فرض تحمل خطا دارند: صورتحساب به‌صورت خوشه‌ای در چندین موقعیت جغرافیایی مستقر می‌شود تا به‌طور خودکار یکدیگر را بیمه کنند. همچنین باید کامپیوترهای کافی در کلاستر Hadoop وجود داشته باشد تا یک یا چند مورد از کار بیفتند.
- محل. داده ها باید در یک سرور ذخیره و پردازش شوند، در غیر این صورت می توانید در انتقال داده ها خراب شوید. یکی از روش‌های محبوب Map-Reduce: فروشگاه‌های HDFS، فرآیندهای Spark. در حالت ایده آل، نرم افزار باید به طور یکپارچه در زیرساخت مرکز داده ادغام شود و بتواند سه کار را به صورت یکجا انجام دهد: جمع آوری، سازماندهی و تجزیه و تحلیل اطلاعات.
تیم
اینکه این برنامه چه، چگونه و برای چه هدفی کلان داده را پردازش کند، توسط تیم تصمیم می گیرد. اغلب شامل یک نفر - یک دانشمند داده است. اگرچه به نظر من حداقل بسته کارمندان برای Big Data شامل مدیر محصول، مهندس داده و مدیر نیز می شود. اولین نفر خدمات را درک می کند، زبان فنی را به زبان انسانی ترجمه می کند و بالعکس. مهندس داده مدل‌ها را با استفاده از جاوا/اسکالا و آزمایش‌هایی با یادگیری ماشین زنده می‌کند. مدیر مراحل را هماهنگ می کند، اهداف تعیین می کند و کنترل می کند.
مشکلات
از طرف تیم BigData است که معمولاً هنگام جمع آوری و پردازش داده ها مشکلاتی ایجاد می شود. برنامه باید توضیح دهد که چه چیزی را جمع آوری کند و چگونه آن را پردازش کند - برای توضیح این موضوع، ابتدا باید خودتان آن را درک کنید. اما برای ارائه دهندگان، همه چیز به این سادگی نیست. من در مورد مشکلات با استفاده از مثال وظیفه کاهش ریزش مشترک صحبت می کنم - این همان چیزی است که اپراتورهای مخابراتی در وهله اول با کمک Big Data سعی در حل آن دارند.
تعیین اهداف. مشخصات فنی به خوبی نوشته شده و درک متفاوت از اصطلاحات درد صدها ساله نه تنها برای فریلنسرها بوده است. حتی مشترکین "افتاده" را می توان به روش های مختلف تفسیر کرد - به عنوان کسانی که به مدت یک ماه، شش ماه یا یک سال از خدمات اپراتور استفاده نکرده اند. و برای ایجاد یک MVP بر اساس داده‌های تاریخی، باید فراوانی بازگشت مشترکین از Churn را درک کنید - کسانی که اپراتورهای دیگر را امتحان کردند یا شهر را ترک کردند و از شماره دیگری استفاده کردند. سوال مهم دیگر: چه مدت قبل از خروج مشترک، باید ارائه دهنده این موضوع را تعیین کند و اقدام کند؟ شش ماه خیلی زود است، یک هفته خیلی دیر.
جایگزینی مفاهیم به طور معمول، اپراتورها یک مشتری را با شماره تلفن شناسایی می کنند، بنابراین منطقی است که علائم باید با استفاده از آن آپلود شوند. حساب شخصی یا شماره درخواست خدمات شما چطور؟ باید تصمیم گرفت که کدام واحد به عنوان مشتری گرفته شود تا داده های سیستم اپراتور تغییر نکند. ارزیابی ارزش مشتری نیز مشکوک است - کدام مشترک برای شرکت ارزشمندتر است، کدام کاربر برای حفظ آن به تلاش بیشتری نیاز دارد، و کدام یک در هر صورت "از بین خواهند رفت" و هیچ فایده ای برای صرف منابع برای آنها وجود ندارد.
فقدان اطلاعات. همه کارمندان ارائه‌دهنده نمی‌توانند به تیم BigData توضیح دهند که به طور خاص بر ریزش مشترکین تأثیر می‌گذارد و عوامل ممکن در صورتحساب چگونه محاسبه می‌شوند. حتی اگر یکی از آنها را نامگذاری کنند - ARPU - معلوم می شود که می توان آن را به روش های مختلف محاسبه کرد: یا با پرداخت های دوره ای مشتری یا با هزینه های صورتحساب خودکار. و در روند کار، یک میلیون سوال دیگر مطرح می شود. آیا این مدل همه مشتریان را پوشش می‌دهد، قیمت حفظ مشتری چقدر است، آیا فکر کردن به مدل‌های جایگزین فایده‌ای دارد و با مشتریانی که به اشتباه به‌طور مصنوعی حفظ شده‌اند، چه باید کرد.
تعیین هدف. من سه نوع خطای نتیجه را می شناسم که باعث می شود اپراتورها از پایگاه داده ناامید شوند.
- ارائه‌دهنده روی BigData سرمایه‌گذاری می‌کند، گیگابایت اطلاعات را پردازش می‌کند، اما به نتیجه‌ای می‌رسد که می‌توانست ارزان‌تر به دست آورد. از نمودارها و مدل های ساده، تحلیل های اولیه استفاده می شود. هزینه چندین برابر بیشتر است، اما نتیجه یکسان است.
- اپراتور داده های چند وجهی را به عنوان خروجی دریافت می کند، اما نحوه استفاده از آن را نمی داند. تجزیه و تحلیل وجود دارد - در اینجا قابل درک و حجیم است، اما فایده ای ندارد. نتیجه نهایی، که نمی‌تواند شامل هدف «پردازش داده‌ها» باشد، هنوز فکر نشده است. پردازش کافی نیست - تجزیه و تحلیل باید مبنایی برای به روز رسانی فرآیندهای تجاری شود.
- موانع استفاده از تجزیه و تحلیل BigData می تواند فرآیندهای تجاری قدیمی و نرم افزارهای نامناسب برای اهداف جدید باشد. این بدان معنی است که آنها در مرحله آماده سازی اشتباه کردند - آنها از طریق الگوریتم اقدامات و مراحل معرفی Big Data به کار فکر نکردند.
برای چه؟
صحبت از نتایج. من روش‌های استفاده و کسب درآمد از داده‌های بزرگ را که اپراتورهای مخابراتی از قبل استفاده می‌کنند، مرور خواهم کرد.
ارائه دهندگان نه تنها خروجی مشترکان، بلکه بار روی ایستگاه های پایه را نیز پیش بینی می کنند.
- اطلاعات در مورد حرکات مشترک، فعالیت و خدمات فرکانس تجزیه و تحلیل می شود. نتیجه: کاهش تعداد اضافه بارها به دلیل بهینه سازی و نوسازی مناطق مشکل دار زیرساخت.
- اپراتورهای مخابراتی هنگام باز کردن نقاط فروش از اطلاعات مربوط به موقعیت جغرافیایی مشترکین و تراکم ترافیک استفاده می کنند. بنابراین، تجزیه و تحلیل BigData قبلاً توسط MTS و VimpelCom برای برنامه ریزی مکان دفاتر جدید استفاده می شود.
- ارائه دهندگان داده های بزرگ خود را با ارائه آن به اشخاص ثالث کسب درآمد می کنند. مشتریان اصلی اپراتورهای BigData بانک های تجاری هستند. آنها با استفاده از پایگاه داده، فعالیت‌های مشکوک سیم کارت مشترک را که کارت‌ها به آن مرتبط هستند، رصد می‌کنند و از خدمات امتیازدهی، تأیید و نظارت ریسک استفاده می‌کنند. و در سال 2017، دولت مسکو برای برنامه ریزی زیرساخت های فنی و حمل و نقل، پویایی حرکت را بر اساس داده های BigData از Tele2 درخواست کرد.
- تجزیه و تحلیل BigData یک معدن طلا برای بازاریابان است که در صورت تمایل می توانند کمپین های تبلیغاتی شخصی سازی شده برای هزاران گروه مشترک ایجاد کنند. شرکت های مخابراتی پروفایل های اجتماعی، علایق مصرف کننده و الگوهای رفتاری مشترکین را جمع آوری می کنند و سپس از BigData جمع آوری شده برای جذب مشتریان جدید استفاده می کنند. اما برای برنامه ریزی تبلیغات و روابط عمومی در مقیاس بزرگ، صورتحساب همیشه عملکرد کافی ندارد: این برنامه باید به طور همزمان عوامل زیادی را به موازات اطلاعات دقیق در مورد مشتریان در نظر بگیرد.
در حالی که برخی هنوز BigData را یک عبارت خالی می دانند، چهار بزرگ در حال حاضر از آن درآمد کسب می کنند. MTS 14 میلیارد روبل از پردازش کلان داده در شش ماه درآمد کسب می کند و Tele2 درآمد حاصل از پروژه ها را سه و نیم برابر افزایش داد. BigData در حال تبدیل شدن از یک روند به یک امر ضروری است که بر اساس آن کل ساختار اپراتورهای مخابراتی بازسازی خواهد شد.
منبع: www.habr.com