Năm 2008 BigData là một thuật ngữ mới và là một xu hướng thời thượng. Năm 2019, BigData là đối tượng bán hàng, nguồn lợi nhuận và là lý do cho các hóa đơn mới.
Mùa thu năm ngoái, chính phủ Nga đã khởi xướng dự luật quản lý dữ liệu lớn. Việc xác định danh tính con người từ thông tin bị cấm nhưng được phép thực hiện theo yêu cầu của chính quyền liên bang. Xử lý BigData cho bên thứ ba - chỉ sau khi có thông báo của Roskomnadzor. Các công ty có hơn 100 nghìn địa chỉ mạng phải tuân theo luật này. Và, tất nhiên, ở những nơi không có cơ quan đăng ký - nó phải tạo một cơ quan có danh sách các nhà khai thác cơ sở dữ liệu. Và nếu trước đó BigData không được mọi người coi trọng thì bây giờ nó sẽ phải tính đến.
Tôi, với tư cách là giám đốc của công ty phát triển thanh toán xử lý BigData này, không thể bỏ qua cơ sở dữ liệu. Tôi sẽ nghĩ về dữ liệu lớn qua lăng kính của các nhà khai thác viễn thông, thông qua hệ thống thanh toán của họ truyền thông tin về hàng nghìn thuê bao mỗi ngày.
Định lý
Hãy bắt đầu, như trong một bài toán: đầu tiên, chúng ta chứng minh rằng dữ liệu của các nhà khai thác viễn thông có thể được gọi là BigDat. Dữ liệu lớn tiêu chuẩn được đặc trưng bởi ba tính năng VVV, mặc dù theo cách hiểu tự do, số lượng chữ "V" lên tới bảy.
âm lượng. Chỉ riêng MVNO của Rostelecom đã phục vụ hơn một triệu thuê bao. Các nhà khai thác máy chủ chính xử lý dữ liệu từ 44 triệu đến 78 triệu người. Lưu lượng truy cập đang tăng lên mỗi giây: trong quý đầu tiên của năm 2019, các thuê bao đã lướt 3,3 tỷ GB từ điện thoại di động.
Vận tốc. Không có gì tốt hơn số liệu thống kê sẽ cho biết về động lực, vì vậy tôi sẽ xem qua các dự báo của Cisco. Đến năm 2021, 20% lưu lượng IP sẽ chuyển sang lưu lượng truy cập trên thiết bị di động - con số này sẽ tăng gần gấp ba sau 2 năm. Một phần ba kết nối di động sẽ trên MXNUMXM - sự phát triển của IoT sẽ dẫn đến kết nối tăng gấp sáu lần. Internet of Things sẽ không chỉ mang lại lợi nhuận mà còn tiêu tốn nhiều tài nguyên, vì vậy một số nhà khai thác sẽ chỉ tập trung vào nó. Và những người phát triển IoT như một dịch vụ riêng biệt sẽ nhận được lưu lượng truy cập gấp đôi.
Đa dạng. Đa dạng là một khái niệm chủ quan, nhưng các nhà khai thác viễn thông thực sự biết hầu hết mọi thứ về thuê bao của họ. Từ tên và chi tiết hộ chiếu đến kiểu điện thoại, giao dịch mua hàng, địa điểm đã ghé thăm và sở thích. Theo luật Yarovaya, các tệp phương tiện được lưu trữ trong sáu tháng. Vì vậy, hãy coi đó như một tiên đề rằng dữ liệu được thu thập rất đa dạng.
Phần mềm và phương pháp
Các nhà cung cấp là một trong những khách hàng chính của BigData nên hầu hết các kỹ thuật phân tích dữ liệu lớn đều có thể áp dụng cho ngành viễn thông. Một câu hỏi khác là ai sẵn sàng đầu tư phát triển ML, AI, Deep Learning, đầu tư vào trung tâm dữ liệu và khai thác dữ liệu. Công việc chính thức với cơ sở dữ liệu bao gồm cơ sở hạ tầng và một nhóm, chi phí mà không phải ai cũng có thể mua được. Nên đặt cược vào BigData đối với các doanh nghiệp đã có hệ thống lưu trữ doanh nghiệp hoặc phát triển phương pháp Quản trị dữ liệu. Đối với những người chưa sẵn sàng đầu tư dài hạn, tôi khuyên bạn nên xây dựng dần dần kiến trúc phần mềm và cài đặt từng thành phần một. Các mô-đun nặng và Hadoop có thể được để lại cuối cùng. Rất ít người mua giải pháp làm sẵn cho các nhiệm vụ như Chất lượng dữ liệu và Khai thác dữ liệu, hầu hết các công ty tùy chỉnh hệ thống để phù hợp với đặc điểm và nhu cầu cụ thể của họ - tự họ hoặc với sự trợ giúp của các nhà phát triển.
Nhưng không phải bất kỳ khoản thanh toán nào cũng có thể được sửa đổi để hoạt động với BigData. Đúng hơn là không chỉ ai cũng có thể sửa đổi. Rất ít người có thể làm được điều đó.
Ba dấu hiệu cho thấy hệ thống thanh toán có cơ hội trở thành công cụ xử lý cơ sở dữ liệu:
- Khả năng mở rộng theo chiều ngang. Phần mềm phải linh hoạt – chúng ta đang nói về dữ liệu lớn. Sự gia tăng lượng thông tin cần được xử lý bằng sự gia tăng tỷ lệ phần cứng trong cụm.
- Khả năng chịu lỗi. Theo mặc định, các hệ thống trả trước nghiêm túc thường có khả năng chịu lỗi: tính năng thanh toán được triển khai trong một cụm ở một số vị trí địa lý để chúng tự động bảo hiểm cho nhau. Cũng cần có đủ máy tính trong cụm Hadoop trong trường hợp một hoặc nhiều máy tính bị lỗi.
- Địa phương. Dữ liệu phải được lưu trữ và xử lý trên cùng một máy chủ, nếu không bạn có thể bị hỏng khi truyền dữ liệu. Một trong những sơ đồ tiếp cận Map-Reduce phổ biến: cửa hàng HDFS, quy trình Spark. Lý tưởng nhất là phần mềm phải tích hợp liền mạch vào cơ sở hạ tầng của trung tâm dữ liệu và có thể thực hiện ba việc trong một: thu thập, sắp xếp và phân tích thông tin.
Đội
Chương trình sẽ xử lý dữ liệu lớn với mục đích gì, như thế nào và vì mục đích gì do nhóm quyết định. Thường thì nó bao gồm một người - một nhà khoa học dữ liệu. Mặc dù, theo tôi, gói nhân viên tối thiểu cho BigData cũng bao gồm Người quản lý sản phẩm, Kỹ sư dữ liệu và người quản lý. Người đầu tiên hiểu dịch vụ, dịch ngôn ngữ kỹ thuật sang tiếng người và ngược lại. Kỹ sư dữ liệu biến các mô hình thành hiện thực bằng Java/Scala và thử nghiệm với Machine Learning. Người lãnh đạo điều phối, đặt ra mục tiêu, điều khiển các công đoạn.
Vấn đề
Về phía nhóm BigData, các vấn đề thường phát sinh khi thu thập và xử lý dữ liệu. Chương trình cần được giải thích những gì cần thu thập và cách xử lý - để giải thích điều này, trước tiên bạn phải tự hiểu nó. Nhưng các nhà cung cấp không đơn giản như vậy. Tôi đang nói về các vấn đề bằng cách sử dụng ví dụ về nhiệm vụ giảm lượng thuê bao chảy ra - đây là nhiệm vụ mà các nhà khai thác viễn thông đang cố gắng giải quyết với sự trợ giúp của BigData ngay từ đầu.
Đặt mục tiêu. TOR được biên soạn thành thạo và cách hiểu khác nhau về các thuật ngữ là nỗi đau kéo dài hàng thế kỷ không chỉ đối với những người làm việc tự do. Ngay cả những người đăng ký "mất" cũng có thể được hiểu theo nhiều cách khác nhau - như không sử dụng dịch vụ của nhà điều hành trong một tháng, sáu tháng hoặc một năm. Và để tạo MVP dựa trên dữ liệu lịch sử, bạn cần hiểu tần suất quay trở lại của những người đăng ký từ luồng đi - những người đã thử kết nối của các nhà khai thác khác hoặc rời khỏi thành phố và sử dụng một số khác. Một câu hỏi quan trọng khác: nhà cung cấp nên xác định điều này và thực hiện hành động trong bao lâu trước khi thuê bao rời đi dự kiến? Nửa năm là quá sớm, một tuần đã là quá muộn.
Thay thế các khái niệm. Thông thường, các nhà khai thác xác định khách hàng bằng số điện thoại, vì vậy điều hợp lý là các biển báo phải được khách hàng tải lên. Thế còn tài khoản cá nhân hoặc số ứng dụng dịch vụ thì sao? Cần phải quyết định đơn vị nào sẽ được lấy làm khách hàng để dữ liệu trong hệ thống của nhà điều hành không khác nhau. Việc ước tính giá trị của một khách hàng cũng là một vấn đề - người đăng ký nào có giá trị hơn đối với công ty, người dùng nào cần nhiều nỗ lực hơn để giữ chân và người đăng ký nào sẽ “rớt” trong mọi trường hợp và việc dành nguồn lực cho họ là vô nghĩa.
Thiếu thông tin. Không phải tất cả nhân viên của nhà cung cấp đều có thể giải thích cho nhóm BigData điều gì ảnh hưởng chính xác đến lượng người đăng ký rời đi và cách xem xét các yếu tố có thể có trong quá trình thanh toán. Ngay cả khi một trong số chúng được đặt tên - ARPU - hóa ra nó có thể được tính theo nhiều cách khác nhau: bằng các khoản thanh toán định kỳ của khách hàng hoặc bằng các khoản phí thanh toán tự động. Và trong quá trình đó, hàng triệu câu hỏi khác nảy sinh. Mô hình này có bao gồm tất cả khách hàng hay không, chi phí để giữ chân một khách hàng là bao nhiêu, việc suy nghĩ về các mô hình thay thế có hợp lý không và phải làm gì với những khách hàng đã bị giữ chân một cách sai trái.
Thiết lập mục tiêu. Tôi biết có ba loại lỗi liên quan đến kết quả khiến người vận hành cảm thấy khó chịu với cơ sở dữ liệu.
- Nhà cung cấp đầu tư vào BigData, xử lý hàng gigabyte thông tin nhưng nhận được kết quả lẽ ra có thể thu được rẻ hơn. Các sơ đồ và mô hình đơn giản, phân tích nguyên thủy được sử dụng. Chi phí cao hơn nhiều lần nhưng kết quả vẫn như nhau.
- Người vận hành nhận được dữ liệu nhiều mặt ở đầu ra nhưng không hiểu cách sử dụng chúng. Có phân tích - đây rồi, dễ hiểu và đồ sộ, nhưng chẳng có ý nghĩa gì từ nó. Kết quả cuối cùng không được nghĩ ra, không thể bao gồm mục tiêu “xử lý dữ liệu”. Xử lý là chưa đủ - phân tích phải trở thành cơ sở để cập nhật quy trình kinh doanh.
- Trở ngại cho việc sử dụng phân tích BigData có thể là các quy trình kinh doanh và phần mềm lỗi thời, không phù hợp với các mục đích mới. Điều này có nghĩa là họ đã mắc sai lầm ở giai đoạn chuẩn bị - họ không nghĩ đến thuật toán hành động và các giai đoạn đưa BigData vào công việc.
Tại sao
Nói đến kết quả. Tôi sẽ tìm hiểu các cách sử dụng và kiếm tiền từ BigData mà các nhà khai thác viễn thông đang sử dụng.
Các nhà cung cấp không chỉ dự đoán lượng thuê bao đi mà còn cả lượng tải trên các trạm gốc.
- Thông tin về sự di chuyển của thuê bao, hoạt động và dịch vụ tần số được phân tích. Kết quả: giảm số lượng quá tải do tối ưu hóa và hiện đại hóa các khu vực có vấn đề của cơ sở hạ tầng.
- Các nhà khai thác viễn thông sử dụng thông tin về vị trí địa lý của thuê bao và mật độ lưu lượng truy cập khi mở điểm bán hàng. Vì vậy, phân tích BigData đã được MTS và Vimpelcom sử dụng để lên kế hoạch đặt địa điểm cho các văn phòng mới.
- Các nhà cung cấp kiếm tiền từ dữ liệu lớn của riêng họ bằng cách cung cấp dữ liệu đó cho các công ty bên thứ ba. Khách hàng chính của các nhà khai thác BigData là các ngân hàng thương mại. Với sự trợ giúp của cơ sở dữ liệu, họ theo dõi các hoạt động đáng ngờ trên thẻ SIM của thuê bao mà thẻ được liên kết, sử dụng các dịch vụ chấm điểm, xác minh và giám sát rủi ro. Và vào năm 2017, chính quyền Moscow đã yêu cầu động lực di chuyển theo dữ liệu BigData từ Tele2 để quy hoạch cơ sở hạ tầng kỹ thuật và giao thông.
- Phân tích BigData là mỏ vàng dành cho các nhà tiếp thị, những người có thể tạo chiến dịch quảng cáo được cá nhân hóa cho hàng nghìn nhóm người đăng ký nếu họ muốn. Các công ty viễn thông tổng hợp hồ sơ xã hội, sở thích của người tiêu dùng và mô hình hành vi của người đăng ký, sau đó sử dụng BigData được thu thập để thu hút khách hàng mới. Nhưng để lập kế hoạch khuyến mãi, PR quy mô lớn, không phải lúc nào việc thanh toán cũng có đủ chức năng: chương trình phải tính đến đồng thời nhiều yếu tố song song với thông tin chi tiết về khách hàng.
Trong khi ai đó vẫn coi BigData là một cụm từ trống rỗng thì Big Four đã kiếm tiền từ nó. MTS kiếm được 14 tỷ rúp khi xử lý dữ liệu lớn trong sáu tháng và Tele2 đã tăng doanh thu từ các dự án lên gấp ba lần rưỡi. BigData đang chuyển từ xu hướng thành tất yếu, theo đó toàn bộ cơ cấu các nhà khai thác viễn thông sẽ được xây dựng lại.
Nguồn: www.habr.com