빅데이터 빅빌링: 통신분야 빅데이터에 대하여

2008년에는 빅데이터(BigData)가 새로운 용어이자 유행 트렌드였습니다. 2019년 빅데이터는 판매의 대상이자 수익의 원천이자 신규 청구서의 근거가 됩니다.

지난 가을, 러시아 정부는 빅데이터를 규제하는 법안을 발의했습니다. 개인은 정보에서 식별되지 않을 수 있지만 연방 당국의 요청에 따라 식별될 수 있습니다. 제100자를 위한 BigData 처리는 Roskomnadzor에 통보한 후에만 이루어집니다. 네트워크 주소가 XNUMX만 개가 넘는 회사는 법의 적용을 받습니다. 그리고 물론, 레지스터가 없는 경우에는 데이터베이스 운영자 목록을 사용하여 레지스터를 생성해야 합니다. 그리고 이전에는 모든 사람이 이 빅 데이터를 심각하게 받아들이지 않았다면 이제는 이를 고려해야 합니다.

바로 이 빅데이터를 처리하는 빌링 개발회사의 이사인 나로서는 데이터베이스를 무시할 수 없다. 매일 수천 명의 가입자에 대한 정보가 흐르는 결제 시스템을 통해 통신 사업자의 프리즘을 통해 빅 데이터에 대해 생각해 보겠습니다.

정리

수학 문제처럼 시작해 보겠습니다. 먼저 통신 사업자의 데이터를 BigDat이라고 부를 수 있음을 증명합니다. 일반적으로 빅데이터는 세 가지 VVV 특성을 특징으로 하지만, 자유로운 해석에서는 "V"의 수가 XNUMX개에 달합니다.

용량. Rostelecom의 MVNO만으로도 백만 명이 넘는 가입자에게 서비스를 제공하고 있습니다. 주요 호스트 운영자는 44만~78만 명의 데이터를 처리합니다. 트래픽은 매초마다 증가하고 있습니다. 2019년 3,3분기에 가입자는 이미 휴대폰을 통해 XNUMX억 GB에 액세스했습니다.

속도. 통계보다 역학관계를 더 잘 알려줄 수 있는 사람은 없으므로 Cisco의 예측을 살펴보겠습니다. 2021년까지 IP 트래픽의 20%가 모바일 트래픽으로 전달될 것이며, 이는 2년 안에 거의 XNUMX배가 될 것입니다. 모바일 연결의 XNUMX분의 XNUMX은 MXNUMXM이 될 것입니다. IoT의 발전으로 인해 연결이 XNUMX배 증가할 것입니다. 사물 인터넷은 수익성이 높을 뿐만 아니라 리소스 집약적이기 때문에 일부 운영자는 사물 인터넷에만 집중할 것입니다. 그리고 IoT를 별도의 서비스로 개발하는 사람들은 트래픽을 두 배로 받게 됩니다.

다양성. 다양성은 주관적인 개념이지만 통신 사업자는 실제로 가입자에 대한 거의 모든 것을 알고 있습니다. 이름과 여권 정보부터 휴대폰 모델, 구매 항목, 방문한 장소, 관심 분야까지. Yarovaya 법률에 따라 미디어 파일은 XNUMX개월 동안 저장됩니다. 그러니 수집되는 데이터가 다양하다는 것을 공리로 삼아보자.

소프트웨어 및 방법론

제공업체는 빅데이터의 주요 소비자 중 하나이므로 대부분의 빅데이터 분석 기술은 통신 산업에 적용 가능합니다. 또 다른 질문은 누가 ML, AI, 딥 러닝 개발에 투자하고 데이터 센터 및 데이터 마이닝에 투자할 준비가 되어 있는지입니다. 데이터베이스를 사용한 본격적인 작업은 인프라와 팀으로 구성되며 모든 사람이 비용을 감당할 수는 없습니다. 이미 기업 웨어하우스를 보유하고 있거나 데이터 거버넌스 방법론을 개발 중인 기업은 빅데이터에 투자해야 합니다. 아직 장기적인 투자를 할 준비가 되지 않은 분들은 소프트웨어 아키텍처를 점진적으로 구축하고 구성 요소를 하나씩 설치하는 것이 좋습니다. 무거운 모듈과 Hadoop은 마지막으로 남겨두어도 됩니다. 데이터 품질 및 데이터 마이닝과 같은 문제에 대해 기성 솔루션을 구입하는 사람은 거의 없으며, 일반적으로 회사는 자체적으로 또는 개발자의 도움을 받아 특정 사양 및 요구 사항에 맞게 시스템을 사용자 정의합니다.

그러나 BigData와 함께 작동하도록 모든 청구를 수정할 수 있는 것은 아닙니다. 또는 오히려 모든 것이 수정될 수 있는 것은 아닙니다. 이것을 할 수 있는 사람은 거의 없습니다.

청구 시스템이 데이터베이스 처리 도구가 될 수 있는 기회가 있다는 세 가지 징후:

• 수평적 확장성. 소프트웨어는 유연해야 합니다. 우리는 빅데이터에 대해 이야기하고 있습니다. 정보량의 증가는 클러스터의 하드웨어 증가에 비례하여 처리되어야 합니다.
• 결함 허용. 심각한 선불 시스템은 일반적으로 기본적으로 내결함성이 있습니다. 청구는 여러 지리적 위치의 클러스터에 배포되어 자동으로 서로를 보장합니다. 또한 하나 이상의 컴퓨터가 실패할 경우를 대비하여 Hadoop 클러스터에 충분한 컴퓨터가 있어야 합니다.
• 소재지. 데이터는 하나의 서버에 저장되고 처리되어야 합니다. 그렇지 않으면 데이터 전송이 중단될 수 있습니다. 널리 사용되는 Map-Reduce 접근 방식 중 하나: HDFS 저장소, Spark 프로세스. 이상적으로 소프트웨어는 데이터 센터 인프라에 원활하게 통합되어야 하며 정보 수집, 구성 및 분석이라는 세 가지 작업을 하나로 수행할 수 있어야 합니다.

팀

프로그램이 빅데이터를 처리할 내용, 방법, 목적은 팀에서 결정합니다. 종종 데이터 과학자 한 사람으로 구성됩니다. 제 생각에는 빅 데이터의 최소 직원 패키지에는 제품 관리자, 데이터 엔지니어 및 관리자도 포함됩니다. 첫 번째는 서비스를 이해하고 기술 언어를 인간 언어로 번역하며 그 반대의 경우도 마찬가지입니다. 데이터 엔지니어는 Java/Scala를 사용하고 머신러닝을 실험하여 모델에 생명을 불어넣습니다. 관리자는 목표를 조정하고 설정하며 단계를 제어합니다.

문제

데이터를 수집하고 처리할 때 일반적으로 문제가 발생하는 것은 BigData 팀 측입니다. 프로그램은 무엇을 수집하고 어떻게 처리하는지 설명해야 합니다. 이를 설명하려면 먼저 스스로 이해해야 합니다. 그러나 공급자에게는 상황이 그렇게 간단하지 않습니다. 가입자 이탈을 줄이는 과제를 예로 들어 문제를 이야기하고 있는데, 통신사업자들이 애초에 빅데이터를 활용해 해결하려고 하는 부분이다.

목표 설정. 잘 작성된 기술 사양과 용어에 대한 다양한 이해는 프리랜서뿐만 아니라 수세기 동안의 고통이었습니다. "삭제된" 가입자라도 다른 방식으로 해석될 수 있습니다. 즉, 한 달, XNUMX개월 또는 XNUMX년 동안 운영자의 서비스를 사용하지 않은 가입자로 해석될 수 있습니다. 그리고 과거 데이터를 기반으로 MVP를 만들려면 이탈로 인한 가입자 반환 빈도(다른 사업자를 이용했거나 도시를 떠나 다른 번호를 사용한 가입자)를 이해해야 합니다. 또 다른 중요한 질문: 가입자가 떠날 것으로 예상되기 전에 공급자는 이를 결정하고 조치를 취해야 합니까? XNUMX개월은 너무 이르고, 일주일은 너무 늦다.

개념의 대체. 일반적으로 운영자는 전화번호로 고객을 식별하므로 이를 사용하여 표지판을 업로드하는 것이 논리적입니다. 귀하의 개인 계정이나 서비스 신청 번호는 어떻습니까? 운영자 시스템의 데이터가 변하지 않도록 어떤 장치를 클라이언트로 사용해야 하는지 결정해야 합니다. 클라이언트의 가치를 평가하는 것도 의문의 여지가 있습니다. 어떤 가입자가 회사에 더 가치가 있는지, 어떤 사용자를 유지하기 위해 더 많은 노력이 필요한지, 어떤 경우에 "탈락"할 것이며 그들에게 리소스를 소비할 필요가 없습니다.

정보가 부족합니다. 모든 제공업체 직원이 구독자 이탈에 구체적으로 영향을 미치는 요소와 청구 가능한 요소가 어떻게 계산되는지 BigData 팀에 설명할 수 있는 것은 아닙니다. ARPU 중 하나를 지정하더라도 정기적인 고객 결제 또는 자동 청구 요금 등 다양한 방법으로 계산할 수 있는 것으로 나타났습니다. 그리고 작업 과정에서 백만 가지 다른 질문이 발생합니다. 모델이 모든 고객을 포괄하는지, 고객을 유지하는 데 드는 비용은 얼마인지, 대체 모델을 통해 생각할 여지가 있는지, 실수로 인위적으로 유지된 고객을 어떻게 처리해야 하는지 등을 설명합니다.

목표 설정. 나는 운영자가 데이터베이스에 대해 불만을 갖게 만드는 세 가지 유형의 결과 오류를 알고 있습니다.

1. 공급자는 BigData에 투자하고 기가바이트의 정보를 처리하지만 더 저렴하게 얻을 수 있는 결과를 얻습니다. 간단한 다이어그램과 모델, 기본 분석이 사용됩니다. 비용은 몇 배나 높지만 결과는 동일합니다.
2. 운영자는 다면적인 데이터를 출력으로 수신하지만 이를 사용하는 방법을 이해하지 못합니다. 분석이 있습니다. 여기에는 이해할 수 있고 방대하지만 쓸모가 없습니다. '데이터 처리'라는 목표를 이룰 수 없는 최종 결과는 아직 고려되지 않았습니다. 처리하는 것만으로는 충분하지 않습니다. 분석은 비즈니스 프로세스를 업데이트하는 기반이 되어야 합니다.
3. BigData 분석 사용에 대한 장애물은 새로운 목적에 적합하지 않은 오래된 비즈니스 프로세스와 소프트웨어일 수 있습니다. 즉, 준비 단계에서 실수를 저질렀다는 의미입니다. 행동 알고리즘과 빅 데이터를 업무에 도입하는 단계를 충분히 생각하지 않았습니다.

무엇을 위해

결과에 대해 말하면. 통신사업자들이 이미 활용하고 있는 빅데이터 활용 및 수익화 방법에 대해 알아보겠습니다.
사업자들은 가입자 유출뿐 아니라 기지국 부하도 예측한다.

1. 가입자 이동, 활동 및 주파수 서비스에 대한 정보가 분석됩니다. 결과: 인프라 문제 영역의 최적화 및 현대화로 인한 과부하 수 감소.
2. 통신 사업자는 POS를 개설할 때 가입자의 지리적 위치와 트래픽 밀도에 대한 정보를 사용합니다. 따라서 MTS와 VimpelCom에서는 이미 BigData 분석을 사용하여 새 사무실 위치를 계획하고 있습니다.
3. 제공업체는 자신의 빅데이터를 제2017자에게 제공하여 수익을 창출합니다. 빅데이터 사업자의 주요 고객은 상업은행이다. 데이터베이스를 사용하여 카드가 연결된 가입자의 SIM 카드의 의심스러운 활동을 모니터링하고 위험 점수, 검증 및 모니터링 서비스를 사용합니다. 그리고 2년 모스크바 정부는 기술 및 운송 인프라 계획을 위해 TeleXNUMX에 BigData 데이터를 기반으로 한 이동 역학을 요청했습니다.
4. 빅데이터 분석은 원하는 경우 수천 명의 가입자 그룹을 대상으로 개인화된 광고 캠페인을 만들 수 있는 마케터에게 금광입니다. 통신사는 가입자의 소셜 프로필, 소비자 관심도, 행동 패턴을 집계하고, 수집된 빅데이터를 활용하여 신규 고객을 유치합니다. 그러나 대규모 판촉 및 PR 계획의 경우 청구서에 항상 충분한 기능이 있는 것은 아닙니다. 프로그램은 클라이언트에 대한 세부 정보와 동시에 여러 요소를 동시에 고려해야 합니다.

일부에서는 여전히 BigData를 빈 문구로 간주하지만 Big 14는 이미 이를 통해 수익을 창출하고 있습니다. MTS는 빅데이터 처리를 통해 2개월 만에 XNUMX억 루블을 벌었고 TeleXNUMX는 프로젝트 수익을 XNUMX배 늘렸습니다. 빅데이터는 트렌드에서 머스트해브(Must Have)로 바뀌고 있으며, 이를 통해 통신사업자 전체 구조가 재구축될 예정이다.

출처 : habr.com