বিগ ডেটা বিগ বিলিং: টেলিকমে বিগডেটা সম্পর্কে

2008 সালে BigData একটি নতুন শব্দ এবং একটি ফ্যাশনেবল প্রবণতা ছিল। 2019 সালে, BigData হল বিক্রয়ের একটি বস্তু, লাভের উৎস এবং নতুন বিলের কারণ।

গত পতনে, রাশিয়ান সরকার বড় ডেটা নিয়ন্ত্রণের জন্য একটি বিল শুরু করেছিল। তথ্য থেকে লোকেদের সনাক্ত করা নিষিদ্ধ, তবে ফেডারেল কর্তৃপক্ষের অনুরোধে এটি করার অনুমতি দেওয়া হয়েছে। তৃতীয় পক্ষের জন্য BigData প্রক্রিয়াকরণ - শুধুমাত্র Roskomnadzor-এর বিজ্ঞপ্তির পরে। 100 হাজারের বেশি নেটওয়ার্ক ঠিকানা সহ কোম্পানি আইনের আওতায় পড়ে। এবং, অবশ্যই, যেখানে রেজিস্ট্রি ছাড়াই - এটি ডাটাবেস অপারেটরগুলির একটি তালিকা সহ একটি তৈরি করার কথা। এবং এর আগে যদি বিগডাটাকে সবাই গুরুত্ব সহকারে না নেয় তবে এখন এটির সাথে হিসাব করতে হবে।

আমি, বিলিং ডেভেলপমেন্ট কোম্পানির ডিরেক্টর হিসেবে যেটি এই BigData প্রক্রিয়া করে, ডাটাবেসটিকে উপেক্ষা করতে পারি না। আমি টেলিকম অপারেটরদের প্রিজমের মাধ্যমে বিগ ডেটা সম্পর্কে চিন্তা করব, যাদের বিলিং সিস্টেমের মাধ্যমে প্রতিদিন হাজার হাজার গ্রাহকের তথ্য প্রবাহিত হয়।

উপপাদ্য

চলুন শুরু করা যাক, একটি গণিত সমস্যা হিসাবে: প্রথমে, আমরা প্রমাণ করি যে টেলিকম অপারেটরদের ডেটা বিগড্যাট বলা যেতে পারে। স্ট্যান্ডার্ড বড় ডেটা তিনটি VVV বৈশিষ্ট্য দ্বারা চিহ্নিত করা হয়, যদিও বিনামূল্যে ব্যাখ্যায় "V" এর সংখ্যা সাত পর্যন্ত পৌঁছেছে।

আয়তন Rostelecom এর MVNO একাই এক মিলিয়নেরও বেশি গ্রাহককে সেবা দেয়। মূল হোস্ট অপারেটররা 44 মিলিয়ন থেকে 78 মিলিয়ন লোকের ডেটা প্রক্রিয়া করে। প্রতি সেকেন্ডে ট্রাফিক বাড়ছে: 2019 সালের প্রথম ত্রৈমাসিকে, গ্রাহকরা ইতিমধ্যেই মোবাইল ফোন থেকে 3,3 বিলিয়ন জিবি সার্ফ করেছেন।

বেগ। পরিসংখ্যানের চেয়ে ভাল কেউ গতিশীলতা সম্পর্কে বলবে না, তাই আমি সিসকোর পূর্বাভাসের মধ্য দিয়ে যাব। 2021 সালের মধ্যে, 20% আইপি ট্র্যাফিক মোবাইল ট্রাফিকের কাছে যাবে - এটি পাঁচ বছরে প্রায় তিনগুণ হবে। মোবাইল সংযোগের এক তৃতীয়াংশ M2M-এ থাকবে - IoT-এর বিকাশের ফলে সংযোগের সংখ্যা ছয়গুণ বৃদ্ধি পাবে। ইন্টারনেট অফ থিংস কেবল লাভজনকই নয়, সম্পদ-নিবিড়ও হয়ে উঠবে, তাই কিছু অপারেটর কেবল এটিতে ফোকাস করবে। এবং যারা আইওটি একটি পৃথক পরিষেবা হিসাবে বিকাশ করবে তারা দ্বিগুণ ট্রাফিক পাবে।

বৈচিত্র্য। বৈচিত্র্য একটি বিষয়গত ধারণা, কিন্তু টেলিকম অপারেটররা তাদের গ্রাহকদের সম্পর্কে প্রায় সবকিছুই জানে। নাম এবং পাসপোর্টের বিবরণ থেকে ফোন মডেল, কেনাকাটা, পরিদর্শন করা স্থান এবং আগ্রহ। ইয়ারোভায়া আইন অনুসারে, মিডিয়া ফাইলগুলি ছয় মাসের জন্য সংরক্ষণ করা হয়। সুতরাং আসুন এটিকে একটি স্বতঃসিদ্ধ হিসাবে নেওয়া যাক যে সংগৃহীত ডেটা বৈচিত্র্যময়।

সফটওয়্যার এবং পদ্ধতি

প্রদানকারীরা BigData-এর অন্যতম প্রধান গ্রাহক, তাই বেশিরভাগ বড় ডেটা বিশ্লেষণ কৌশল টেলিকম শিল্পে প্রযোজ্য। আরেকটি প্রশ্ন হল কে এমএল, এআই, ডিপ লার্নিং, ডেটা সেন্টার এবং ডেটা মাইনিং-এর উন্নয়নে বিনিয়োগ করতে প্রস্তুত। ডাটাবেসের সাথে পূর্ণাঙ্গ কাজের মধ্যে রয়েছে অবকাঠামো এবং একটি দল, যার খরচ সবাই বহন করতে পারে না। যেসব ব্যবসায় ইতিমধ্যেই কর্পোরেট স্টোরেজ আছে বা ডেটা গভর্নেন্স পদ্ধতি তৈরি করছে তাদের BigData-এ বাজি ধরা উচিত। যারা এখনও দীর্ঘমেয়াদী বিনিয়োগের জন্য প্রস্তুত নন, তাদের জন্য আমি আপনাকে ধীরে ধীরে সফ্টওয়্যার আর্কিটেকচার তৈরি করতে এবং একের পর এক উপাদান ইনস্টল করার পরামর্শ দিচ্ছি। ভারী মডিউল এবং Hadoop শেষ জন্য ছেড়ে দেওয়া যেতে পারে. খুব কম লোকই ডেটা কোয়ালিটি এবং ডেটা মাইনিং-এর মতো কাজের জন্য একটি রেডিমেড সলিউশন কেনেন, বেশিরভাগ কোম্পানিগুলি তাদের নিজস্ব বা ডেভেলপারদের সাহায্যে তাদের নির্দিষ্টতা এবং প্রয়োজনের জন্য সিস্টেমটিকে কাস্টমাইজ করে।

কিন্তু BigData এর সাথে কাজ করার জন্য কোনো বিলিং পরিবর্তন করা যাবে না। বরং শুধু সবাই সংশোধন করতে পারে না। খুব কম লোকই এটা করতে পারে।

তিনটি লক্ষণ যে বিলিং সিস্টেমের একটি ডাটাবেস প্রক্রিয়াকরণ টুল হওয়ার সুযোগ রয়েছে:

• অনুভূমিক মাপযোগ্যতা। সফ্টওয়্যার নমনীয় হতে হবে - আমরা বড় ডেটা সম্পর্কে কথা বলছি। তথ্যের পরিমাণ বৃদ্ধিকে ক্লাস্টারে হার্ডওয়্যারের আনুপাতিক বৃদ্ধির সাথে বিবেচনা করা উচিত।
• দোষ সহনশীলতা। গুরুতর প্রিপেইড সিস্টেমগুলি সাধারণত ডিফল্টভাবে ত্রুটি-সহনশীল হয়: বিলিংকে কয়েকটি ভূ-অবস্থানে একটি ক্লাস্টারে স্থাপন করা হয় যাতে তারা একে অপরকে স্বয়ংক্রিয়ভাবে বীমা করে। এক বা একাধিক ব্যর্থ হলে Hadoop ক্লাস্টারে পর্যাপ্ত কম্পিউটার থাকা উচিত।
• এলাকা। একই সার্ভারে ডেটা সংরক্ষণ এবং প্রক্রিয়াজাত করা আবশ্যক, অন্যথায় আপনি ডেটা স্থানান্তর বন্ধ করতে পারেন। জনপ্রিয় ম্যাপ-রিডুস অ্যাপ্রোচ স্কিমগুলির মধ্যে একটি: HDFS স্টোর, স্পার্ক প্রসেস। আদর্শভাবে, সফ্টওয়্যারটিকে নির্বিঘ্নে ডেটা সেন্টার অবকাঠামোতে সংহত করা উচিত এবং একটিতে তিনটি জিনিস করতে সক্ষম হওয়া উচিত: তথ্য সংগ্রহ, সংগঠিত এবং বিশ্লেষণ করা।

টীম

কী, কীভাবে এবং কী উদ্দেশ্যে প্রোগ্রামটি বড় ডেটা প্রক্রিয়া করবে তা দল দ্বারা নির্ধারিত হয়। প্রায়শই এটি এক ব্যক্তি নিয়ে গঠিত - একজন ডেটা বিজ্ঞানী। যদিও, আমার মতে, BigData-এর জন্য কর্মচারীদের ন্যূনতম প্যাকেজে একজন প্রোডাক্ট ম্যানেজার, একজন ডেটা ইঞ্জিনিয়ার এবং একজন ম্যানেজার অন্তর্ভুক্ত থাকে। প্রথমটি পরিষেবাগুলি বোঝে, প্রযুক্তিগত ভাষাকে মানুষের মধ্যে অনুবাদ করে এবং এর বিপরীতে। Data Engineer Java/Scala এর মাধ্যমে মডেলগুলোকে জীবন্ত করে তোলে এবং মেশিন লার্নিং এর সাথে পরীক্ষা করে। নেতা সমন্বয় করে, লক্ষ্য নির্ধারণ করে, পর্যায়গুলি নিয়ন্ত্রণ করে।

সমস্যার

এটি BigData দলের পক্ষ থেকে যে ডেটা সংগ্রহ এবং প্রক্রিয়াকরণের সময় সাধারণত সমস্যা দেখা দেয়। প্রোগ্রামটি কী সংগ্রহ করতে হবে এবং কীভাবে প্রক্রিয়া করতে হবে তা ব্যাখ্যা করা দরকার - এটি ব্যাখ্যা করার জন্য, আপনাকে প্রথমে এটি নিজেকে বুঝতে হবে। কিন্তু প্রদানকারীরা এত সহজ নয়। আমি গ্রাহকদের বহিঃপ্রবাহ হ্রাস করার কাজের উদাহরণ ব্যবহার করে সমস্যাগুলির কথা বলছি - এটি এই কাজটি যা টেলিকম অপারেটররা প্রথম স্থানে বিগডেটার সাহায্যে সমাধান করার চেষ্টা করছে।

লক্ষ্য নির্ধারণ. দক্ষতার সাথে রচিত TOR এবং শর্তাবলীর ভিন্ন উপলব্ধি শুধুমাত্র ফ্রিল্যান্সারদের জন্যই নয় শতাব্দী-পুরনো যন্ত্রণা। এমনকি "হারানো" গ্রাহকদের বিভিন্ন উপায়ে ব্যাখ্যা করা যেতে পারে - যেমন এক মাস, ছয় মাস বা এক বছরের জন্য অপারেটরের পরিষেবাগুলি ব্যবহার না করা৷ এবং ঐতিহাসিক ডেটার উপর ভিত্তি করে একটি এমভিপি তৈরি করতে, আপনাকে বহিঃপ্রবাহ থেকে গ্রাহকদের ফেরতের ফ্রিকোয়েন্সি বুঝতে হবে - যারা অন্য অপারেটরদের সংযোগের চেষ্টা করেছেন বা শহর ছেড়েছেন এবং একটি ভিন্ন নম্বর ব্যবহার করেছেন। আরেকটি গুরুত্বপূর্ণ প্রশ্ন: গ্রাহকের প্রত্যাশিত প্রস্থানের কতক্ষণ আগে প্রদানকারীর এটি নির্ধারণ করা উচিত এবং পদক্ষেপ নেওয়া উচিত? অর্ধেক বছর খুব তাড়াতাড়ি, এক সপ্তাহ ইতিমধ্যেই অনেক দেরি হয়ে গেছে।

ধারণার প্রতিস্থাপন। সাধারণত, অপারেটররা একটি ক্লায়েন্টকে ফোন নম্বর দ্বারা সনাক্ত করে, তাই এটি যৌক্তিক যে এটি দ্বারা চিহ্ন আপলোড করা উচিত। একটি ব্যক্তিগত অ্যাকাউন্ট বা পরিষেবা আবেদন নম্বর সম্পর্কে কি? কোন ইউনিটকে ক্লায়েন্ট হিসাবে নেওয়া উচিত তা নির্ধারণ করা প্রয়োজন যাতে অপারেটরের সিস্টেমে ডেটা আলাদা না হয়। একটি ক্লায়েন্টের মূল্য অনুমান করাও প্রশ্নবিদ্ধ - কোন গ্রাহক কোম্পানির জন্য বেশি মূল্যবান, কোন ব্যবহারকারীকে ধরে রাখার জন্য আরও প্রচেষ্টার প্রয়োজন এবং কোনটি যেকোন ক্ষেত্রে "পড়ে যাবে" এবং তাদের জন্য সম্পদ ব্যয় করার কোন মানে হয় না।

তথ্যহীনতা. সমস্ত প্রদানকারীর কর্মীরা বিগডেটা দলকে ব্যাখ্যা করতে সক্ষম হয় না যে গ্রাহকদের বহিঃপ্রবাহকে ঠিক কী প্রভাবিত করে এবং বিলিংয়ে কীভাবে সম্ভাব্য কারণগুলি বিবেচনা করা হয়। এমনকি যদি তাদের মধ্যে একটির নাম দেওয়া হয় - ARPU - এটি দেখা যাচ্ছে যে এটি বিভিন্ন উপায়ে গণনা করা যেতে পারে: হয় পর্যায়ক্রমিক গ্রাহক অর্থপ্রদানের মাধ্যমে বা স্বয়ংক্রিয় বিলিং চার্জ দ্বারা। এবং এই প্রক্রিয়ায়, আরও এক মিলিয়ন প্রশ্ন উঠছে। মডেলটি কি সমস্ত গ্রাহককে কভার করে, একজন গ্রাহককে ধরে রাখার খরচ কী, বিকল্প মডেলগুলির মাধ্যমে চিন্তা করা কি অর্থপূর্ণ এবং ভুলভাবে কৃত্রিমভাবে ধরে রাখা গ্রাহকদের সাথে কী করতে হবে।

লক্ষ্য নির্ধারণ. আমি তিন ধরণের ফলাফল-সম্পর্কিত ত্রুটি সম্পর্কে জানি যা অপারেটরদের ডাটাবেসের সাথে হতাশ হয়ে পড়ে।

1. প্রদানকারী বিগডেটাতে বিনিয়োগ করে, গিগাবাইট তথ্য প্রক্রিয়া করে, কিন্তু এমন একটি ফলাফল পায় যা সস্তায় পাওয়া যেত। সহজ স্কিম এবং মডেল, আদিম বিশ্লেষণ ব্যবহার করা হয়. খরচ অনেক গুণ বেশি, কিন্তু ফলাফল একই।
2. অপারেটর আউটপুটে বহুমুখী ডেটা পায়, কিন্তু সেগুলি কীভাবে ব্যবহার করতে হয় তা বুঝতে পারে না। বিশ্লেষণ আছে - এখানে এটি, বোধগম্য এবং বিশাল, কিন্তু এটি থেকে শূন্য বোধ আছে। শেষ ফলাফলটি চিন্তা করা হয় না, যা "ডেটা প্রক্রিয়াকরণ" এর লক্ষ্য নিয়ে গঠিত হতে পারে না। প্রক্রিয়াকরণ যথেষ্ট নয় - বিশ্লেষণগুলি ব্যবসায়িক প্রক্রিয়াগুলি আপডেট করার জন্য ভিত্তি হওয়া উচিত।
3. বিগডেটা অ্যানালিটিক্স ব্যবহারে একটি বাধা পুরানো ব্যবসায়িক প্রক্রিয়া এবং সফ্টওয়্যার হতে পারে যা নতুন উদ্দেশ্যে উপযুক্ত নয়। এর মানে হল যে তারা প্রস্তুতির পর্যায়ে ভুল করেছে - তারা অ্যাকশনের অ্যালগরিদম এবং কাজের মধ্যে BigData প্রবর্তনের ধাপগুলি নিয়ে ভাবেনি।

কি জন্য?

ফলাফলের কথা বলছি। আমি BigData ব্যবহার এবং নগদীকরণের উপায়গুলি নিয়ে যাব, যা টেলিকম অপারেটররা ইতিমধ্যেই ব্যবহার করছে৷
সরবরাহকারীরা কেবলমাত্র গ্রাহকদের বহিঃপ্রবাহই নয়, বেস স্টেশনগুলিতে লোডেরও পূর্বাভাস দেয়।

1. গ্রাহকদের গতিবিধি, কার্যকলাপ এবং ফ্রিকোয়েন্সি পরিষেবাগুলির তথ্য বিশ্লেষণ করা হয়। ফলাফল: অবকাঠামোর সমস্যা ক্ষেত্রগুলির অপ্টিমাইজেশন এবং আধুনিকীকরণের কারণে ওভারলোডের সংখ্যা হ্রাস।
2. টেলিকম অপারেটররা বিক্রয়ের পয়েন্ট খোলার সময় গ্রাহকদের ভৌগলিক অবস্থান এবং ট্রাফিক ঘনত্ব সম্পর্কে তথ্য ব্যবহার করে। তাই বিগডেটা অ্যানালিটিক্স ইতিমধ্যেই MTS এবং Vimpelcom দ্বারা নতুন অফিসের অবস্থান পরিকল্পনা করতে ব্যবহার করা হয়েছে।
3. প্রদানকারীরা তৃতীয় পক্ষের সংস্থাগুলিকে অফার করে তাদের নিজস্ব বড় ডেটা নগদীকরণ করে৷ বিগডাটা অপারেটরদের প্রধান গ্রাহকরা হল বাণিজ্যিক ব্যাঙ্ক৷ ডাটাবেসের সাহায্যে, তারা গ্রাহকের সিম কার্ডের সন্দেহজনক কার্যকলাপগুলি ট্র্যাক করে যার সাথে কার্ডগুলি লিঙ্ক করা হয়েছে, ঝুঁকি স্কোরিং, যাচাইকরণ এবং পর্যবেক্ষণ পরিষেবাগুলি ব্যবহার করে৷ এবং 2017 সালে, মস্কো সরকার প্রযুক্তিগত এবং পরিবহন পরিকাঠামো পরিকল্পনা করার জন্য Tele2 থেকে BigData ডেটা অনুযায়ী গতিশীলতার জন্য অনুরোধ করেছিল।
4. বিগডেটা অ্যানালিটিক্স হল বিপণনকারীদের জন্য একটি সোনার খনি যারা তারা চাইলে হাজার হাজার গ্রাহক গ্রুপের জন্য ব্যক্তিগতকৃত বিজ্ঞাপন প্রচার তৈরি করতে পারে। টেলিকম কোম্পানিগুলি সামাজিক প্রোফাইল, ভোক্তাদের আগ্রহ এবং গ্রাহকদের আচরণগত ধরণগুলিকে একত্রিত করে এবং তারপরে নতুন গ্রাহকদের আকৃষ্ট করতে সংগৃহীত BigData ব্যবহার করে। কিন্তু প্রচার এবং জনসংযোগের বড় আকারের পরিকল্পনার জন্য, বিলিংয়ে সর্বদা যথেষ্ট কার্যকারিতা থাকে না: প্রোগ্রামটিকে একই সাথে গ্রাহকদের সম্পর্কে বিস্তারিত তথ্যের সমান্তরালে অনেকগুলি বিষয় বিবেচনা করতে হবে।

যদিও কেউ এখনও বিগডাটাকে একটি খালি বাক্যাংশ হিসাবে বিবেচনা করে, বিগ ফোর ইতিমধ্যেই এতে অর্থ উপার্জন করছে। MTS ছয় মাসে বড় ডেটা প্রসেসিং করে 14 বিলিয়ন রুবেল আয় করে এবং Tele2 প্রকল্প থেকে আয় সাড়ে তিনগুণ বাড়িয়েছে। BigData একটি প্রবণতা থেকে একটি অবশ্যই থাকাতে পরিণত হচ্ছে, যার অধীনে টেলিকম অপারেটরগুলির সম্পূর্ণ কাঠামো পুনর্নির্মাণ করা হবে৷

উত্স: www.habr.com