ในปี 2008 BigData เป็นคำใหม่และเทรนด์แฟชั่น ในปี 2019 BigData เป็นเป้าหมายในการขาย แหล่งที่มาของผลกำไร และเหตุผลในการเรียกเก็บเงินใหม่
ฤดูใบไม้ร่วงที่แล้ว รัฐบาลรัสเซียได้ริเริ่มร่างกฎหมายเพื่อควบคุมข้อมูลขนาดใหญ่ อาจไม่สามารถระบุตัวบุคคลได้จากข้อมูล แต่อาจระบุได้ตามคำขอของหน่วยงานรัฐบาลกลาง การประมวลผล BigData สำหรับบุคคลที่สามจะเกิดขึ้นหลังจากได้รับแจ้งจาก Roskomnadzor เท่านั้น บริษัทที่มีที่อยู่เครือข่ายมากกว่า 100 ที่อยู่อยู่ภายใต้กฎหมาย และแน่นอนว่าหากไม่มีการลงทะเบียน - ควรสร้างรายการที่มีรายชื่อผู้ดำเนินการฐานข้อมูล และหากเมื่อก่อน Big Data นี้ไม่ได้ถูกใครจริงจังกัน ตอนนี้ก็ต้องถูกนำมาพิจารณา
ฉันในฐานะผู้อำนวยการของบริษัทผู้พัฒนาการเรียกเก็บเงินที่ประมวลผลข้อมูลขนาดใหญ่นี้ ไม่สามารถละเลยฐานข้อมูลได้ ฉันจะคิดถึงข้อมูลขนาดใหญ่ผ่านปริซึมของผู้ให้บริการโทรคมนาคม ซึ่งระบบการเรียกเก็บเงินมีข้อมูลเกี่ยวกับสมาชิกหลายพันรายที่ส่งผ่านทุกวัน
ทฤษฎีบท
เรามาเริ่มกันในโจทย์คณิตศาสตร์กันก่อน อันดับแรกเราพิสูจน์ว่าข้อมูลของผู้ให้บริการโทรคมนาคมสามารถเรียกว่า BigDat ได้ โดยทั่วไปแล้ว ข้อมูลขนาดใหญ่จะมีลักษณะเฉพาะของ VVV สามลักษณะ แม้ว่าในการตีความอย่างอิสระ จำนวน "Vs" จะสูงถึงเจ็ดก็ตาม
ปริมาณ. MVNO ของ Rostelecom เพียงอย่างเดียวให้บริการสมาชิกมากกว่าหนึ่งล้านคน ผู้ดำเนินการโฮสต์หลักจัดการข้อมูลสำหรับผู้คน 44 ถึง 78 ล้านคน ปริมาณการใช้ข้อมูลเพิ่มขึ้นทุกวินาที: ในไตรมาสแรกของปี 2019 สมาชิกได้เข้าถึง 3,3 พันล้าน GB จากโทรศัพท์มือถือแล้ว
ความเร็ว. ไม่มีใครสามารถบอกคุณเกี่ยวกับไดนามิกได้ดีไปกว่าสถิติ ดังนั้นฉันจะดูการคาดการณ์ของ Cisco ภายในปี 2021 ทราฟฟิก IP 20% จะไปที่ทราฟฟิกบนมือถือ ซึ่งจะเพิ่มขึ้นเกือบสามเท่าในห้าปี หนึ่งในสามของการเชื่อมต่อมือถือจะเป็น M2M - การพัฒนา IoT จะทำให้การเชื่อมต่อเพิ่มขึ้นหกเท่า Internet of Things ไม่เพียงแต่จะทำกำไรได้เท่านั้น แต่ยังต้องใช้ทรัพยากรเป็นจำนวนมากด้วย ดังนั้นผู้ให้บริการบางรายจึงมุ่งเน้นไปที่มันเท่านั้น และผู้ที่พัฒนา IoT เป็นบริการแยกต่างหากจะได้รับปริมาณข้อมูลสองเท่า
ความหลากหลาย. ความหลากหลายเป็นแนวคิดส่วนตัว แต่ผู้ให้บริการโทรคมนาคมรู้เกือบทุกอย่างเกี่ยวกับสมาชิกของตนจริงๆ ตั้งแต่ชื่อและรายละเอียดหนังสือเดินทางไปจนถึงรุ่นโทรศัพท์ การซื้อ สถานที่เยี่ยมชม และความสนใจ ตามกฎหมาย Yarovaya ไฟล์สื่อจะถูกเก็บไว้เป็นเวลาหกเดือน สมมติว่าเป็นสัจพจน์ที่ว่าข้อมูลที่รวบรวมนั้นมีความหลากหลาย
ซอฟต์แวร์และวิธีการ
ผู้ให้บริการเป็นหนึ่งในผู้บริโภคหลักของ BigData ดังนั้นเทคนิคการวิเคราะห์ Big Data ส่วนใหญ่จะนำไปประยุกต์ใช้กับอุตสาหกรรมโทรคมนาคมได้ อีกคำถามคือใครพร้อมลงทุนในการพัฒนา ML, AI, Deep Learning, ลงทุนในศูนย์ข้อมูล และ Data Mining งานเต็มรูปแบบกับฐานข้อมูลประกอบด้วยโครงสร้างพื้นฐานและทีมงานซึ่งมีต้นทุนที่ทุกคนไม่สามารถจ่ายได้ องค์กรที่มีคลังสินค้าขององค์กรอยู่แล้วหรือกำลังพัฒนาวิธีการกำกับดูแลข้อมูลควรเดิมพันกับ BigData สำหรับผู้ที่ยังไม่พร้อมสำหรับการลงทุนระยะยาว แนะนำให้ค่อยๆ สร้างสถาปัตยกรรมซอฟต์แวร์และติดตั้งส่วนประกอบทีละชิ้น คุณสามารถทิ้งโมดูลขนาดใหญ่และ Hadoop ไว้เป็นลำดับสุดท้ายได้ มีคนไม่กี่คนที่ซื้อโซลูชันสำเร็จรูปสำหรับปัญหาต่างๆ เช่น คุณภาพข้อมูลและการขุดข้อมูล โดยทั่วไปบริษัทต่างๆ จะปรับแต่งระบบตามข้อกำหนดและความต้องการเฉพาะของตน - ด้วยตนเองหรือด้วยความช่วยเหลือจากนักพัฒนา
แต่ไม่ใช่ว่าทุกการเรียกเก็บเงินจะสามารถแก้ไขได้เพื่อให้ทำงานกับ BigData ได้ หรือไม่เพียงแต่ทุกอย่างเท่านั้นที่สามารถปรับเปลี่ยนได้ มีเพียงไม่กี่คนที่สามารถทำได้
สัญญาณสามประการที่แสดงว่าระบบการเรียกเก็บเงินมีโอกาสที่จะกลายเป็นเครื่องมือประมวลผลฐานข้อมูล:
- ความสามารถในการขยายแนวนอน ซอฟต์แวร์ต้องมีความยืดหยุ่น - เรากำลังพูดถึงข้อมูลขนาดใหญ่ การเพิ่มขึ้นของปริมาณข้อมูลควรได้รับการปฏิบัติโดยการเพิ่มฮาร์ดแวร์ในคลัสเตอร์ตามสัดส่วน
- ความอดทนต่อความผิดพลาด ระบบการชำระเงินล่วงหน้าที่ร้ายแรงมักจะทนทานต่อข้อผิดพลาดโดยค่าเริ่มต้น: การเรียกเก็บเงินจะถูกปรับใช้ในคลัสเตอร์ในที่ตั้งทางภูมิศาสตร์หลายแห่งเพื่อให้ประกันซึ่งกันและกันโดยอัตโนมัติ ควรมีคอมพิวเตอร์เพียงพอในคลัสเตอร์ Hadoop ในกรณีที่เกิดข้อผิดพลาดอย่างน้อยหนึ่งเครื่อง
- ถิ่น. ข้อมูลจะต้องถูกจัดเก็บและประมวลผลบนเซิร์ฟเวอร์เดียว ไม่เช่นนั้นการถ่ายโอนข้อมูลอาจเสียหายได้ หนึ่งในแผนแนวทาง Map-Reduce ที่ได้รับความนิยม: ร้านค้า HDFS, กระบวนการ Spark ตามหลักการแล้ว ซอฟต์แวร์ควรผสานรวมเข้ากับโครงสร้างพื้นฐานของศูนย์ข้อมูลได้อย่างราบรื่น และสามารถทำสามสิ่งได้ในที่เดียว ได้แก่ รวบรวม จัดระเบียบ และวิเคราะห์ข้อมูล
ทีม
ทีมงานจะเป็นผู้ตัดสินใจเกี่ยวกับสิ่งที่ อย่างไร และเพื่อวัตถุประสงค์ใดที่โปรแกรมจะประมวลผลข้อมูลขนาดใหญ่ บ่อยครั้งประกอบด้วยบุคคลหนึ่งคน – นักวิทยาศาสตร์ข้อมูล แม้ว่าในความคิดของฉัน แพคเกจพนักงานขั้นต่ำสำหรับ Big Data ยังรวมถึงผู้จัดการผลิตภัณฑ์ วิศวกรข้อมูล และผู้จัดการด้วย คนแรกเข้าใจบริการ แปลภาษาทางเทคนิคเป็นภาษามนุษย์ และในทางกลับกัน วิศวกรข้อมูลทำให้โมเดลมีชีวิตขึ้นมาโดยใช้ Java/Scala และการทดลองด้วย Machine Learning ผู้จัดการประสานงาน กำหนดเป้าหมาย และควบคุมขั้นตอนต่างๆ
ปัญหา
เป็นส่วนหนึ่งของทีมงาน BigData ที่มักจะเกิดปัญหาในการเก็บรวบรวมและประมวลผลข้อมูล โปรแกรมจำเป็นต้องอธิบายว่าจะรวบรวมอะไรและวิธีดำเนินการอย่างไร - เพื่ออธิบายสิ่งนี้ คุณต้องเข้าใจด้วยตัวเองก่อน แต่สำหรับผู้ให้บริการ สิ่งต่างๆ ไม่ใช่เรื่องง่ายนัก ฉันกำลังพูดถึงปัญหาโดยใช้ตัวอย่างงานลดการปั่นป่วนของสมาชิก - นี่คือสิ่งที่ผู้ให้บริการโทรคมนาคมพยายามแก้ไขด้วยความช่วยเหลือของ Big Data ในตอนแรก
ตั้งเป้าหมาย. ข้อกำหนดทางเทคนิคที่เขียนมาอย่างดีและความเข้าใจคำศัพท์ที่แตกต่างกันเป็นความเจ็บปวดที่มีมานานหลายศตวรรษ ไม่เพียงแต่สำหรับฟรีแลนซ์เท่านั้น แม้แต่สมาชิกที่ "ลดลง" ก็สามารถตีความได้หลายวิธี - เนื่องจากผู้ที่ไม่ได้ใช้บริการของผู้ให้บริการเป็นเวลาหนึ่งเดือน หกเดือน หรือหนึ่งปี และในการสร้าง MVP ตามข้อมูลในอดีต คุณต้องเข้าใจความถี่ในการกลับมาของสมาชิกจากการเลิกใช้งาน - ผู้ที่ลองใช้โอเปอเรเตอร์รายอื่นหรือออกจากเมืองและใช้หมายเลขอื่น คำถามสำคัญอีกข้อ: ผู้ให้บริการควรพิจารณาเรื่องนี้และดำเนินการนานแค่ไหนก่อนที่สมาชิกจะออกเดินทาง หกเดือนเร็วเกินไป หนึ่งสัปดาห์ก็สายเกินไป
การทดแทนแนวคิด โดยทั่วไปแล้ว ผู้ปฏิบัติงานจะระบุลูกค้าด้วยหมายเลขโทรศัพท์ ดังนั้นจึงมีเหตุผลที่ควรอัปโหลดป้ายโดยใช้หมายเลขดังกล่าว แล้วบัญชีส่วนตัวหรือหมายเลขใบสมัครบริการของคุณล่ะ? มีความจำเป็นต้องตัดสินใจว่าควรใช้หน่วยใดเป็นไคลเอนต์ เพื่อให้ข้อมูลในระบบของผู้ปฏิบัติงานไม่แตกต่างกัน การประเมินมูลค่าของลูกค้าก็เป็นที่น่าสงสัยเช่นกัน - สมาชิกรายใดมีค่ามากกว่าสำหรับ บริษัท ผู้ใช้รายใดต้องใช้ความพยายามมากขึ้นในการรักษาไว้ และรายใดจะ "หลุดออกไป" ไม่ว่าในกรณีใด ๆ และไม่มีประโยชน์ที่จะใช้จ่ายทรัพยากรกับพวกเขา
ขาดข้อมูล. พนักงานผู้ให้บริการบางรายไม่สามารถอธิบายให้ทีม BigData ทราบถึงสิ่งที่ส่งผลต่อการเลิกใช้งานสมาชิกโดยเฉพาะ และวิธีคำนวณปัจจัยที่เป็นไปได้ในการเรียกเก็บเงิน แม้ว่าพวกเขาจะตั้งชื่อหนึ่งในนั้นว่า ARPU แต่ปรากฎว่าสามารถคำนวณได้หลายวิธี: โดยการชำระเงินของลูกค้าเป็นงวดหรือโดยการเรียกเก็บเงินอัตโนมัติ และในกระบวนการทำงาน คำถามอีกมากมายก็เกิดขึ้น แบบจำลองนี้ครอบคลุมลูกค้าทั้งหมดหรือไม่ ราคาในการรักษาลูกค้าไว้มีราคาเท่าใด มีประเด็นใดในการคิดผ่านแบบจำลองอื่น ๆ และจะทำอย่างไรกับลูกค้าที่ถูกเก็บรักษาไว้อย่างไม่ถูกต้อง
ตั้งเป้าหมาย. ฉันทราบถึงข้อผิดพลาดของผลลัพธ์สามประเภทที่ทำให้ผู้ปฏิบัติงานหงุดหงิดกับฐานข้อมูล
- ผู้ให้บริการลงทุนใน BigData ประมวลผลข้อมูลกิกะไบต์ แต่ได้ผลลัพธ์ที่ถูกกว่า ไดอะแกรมและแบบจำลองอย่างง่าย ใช้การวิเคราะห์แบบดั้งเดิม ค่าใช้จ่ายสูงกว่าหลายเท่า แต่ผลลัพธ์ก็เหมือนเดิม
- ตัวดำเนินการได้รับข้อมูลหลายแง่มุมเป็นเอาต์พุต แต่ไม่เข้าใจวิธีใช้งาน มีการวิเคราะห์ - นี่มันเข้าใจง่ายและกว้างขวาง แต่ก็ไม่มีประโยชน์ ผลลัพธ์สุดท้ายซึ่งไม่สามารถประกอบด้วยเป้าหมายของ "การประมวลผลข้อมูล" ยังไม่ได้รับการไตร่ตรองอย่างละเอียด การประมวลผลยังไม่เพียงพอ การวิเคราะห์ควรกลายเป็นพื้นฐานสำหรับการอัปเดตกระบวนการทางธุรกิจ
- อุปสรรคในการใช้การวิเคราะห์ BigData อาจเป็นกระบวนการทางธุรกิจที่ล้าสมัยและซอฟต์แวร์ที่ไม่เหมาะสมกับวัตถุประสงค์ใหม่ ซึ่งหมายความว่าพวกเขาทำผิดพลาดในขั้นตอนการเตรียมการ - พวกเขาไม่ได้คิดผ่านอัลกอริธึมของการกระทำและขั้นตอนในการนำ Big Data มาใช้ในการทำงาน
ทำไม
พูดถึงผลลัพธ์. ฉันจะอธิบายวิธีการใช้และสร้างรายได้จาก Big Data ที่ผู้ให้บริการโทรคมนาคมใช้อยู่แล้ว
ผู้ให้บริการคาดการณ์ไม่เพียงแต่การไหลออกของสมาชิกเท่านั้น แต่ยังรวมถึงภาระงานบนสถานีฐานด้วย
- มีการวิเคราะห์ข้อมูลเกี่ยวกับความเคลื่อนไหวของสมาชิก กิจกรรม และความถี่ของบริการ ผลลัพธ์: การลดจำนวนการโอเวอร์โหลดเนื่องจากการเพิ่มประสิทธิภาพและความทันสมัยของพื้นที่ปัญหาของโครงสร้างพื้นฐาน
- ผู้ประกอบการโทรคมนาคมใช้ข้อมูลเกี่ยวกับตำแหน่งทางภูมิศาสตร์ของสมาชิกและความหนาแน่นของการจราจรเมื่อเปิดจุดขาย ดังนั้น MTS และ VimpelCom จึงใช้การวิเคราะห์ BigData เพื่อวางแผนที่ตั้งสำนักงานใหม่
- ผู้ให้บริการสร้างรายได้จากข้อมูลขนาดใหญ่ของตนเองโดยเสนอให้กับบุคคลที่สาม ลูกค้าหลักของผู้ให้บริการ BigData คือ ธนาคารพาณิชย์ พวกเขาใช้ฐานข้อมูลในการตรวจสอบกิจกรรมที่น่าสงสัยของซิมการ์ดของผู้สมัครสมาชิกที่เชื่อมโยงกับการ์ด และใช้บริการการให้คะแนนความเสี่ยง การตรวจสอบ และการตรวจสอบ และในปี 2017 รัฐบาลมอสโกได้ร้องขอพลวัตการเคลื่อนไหวโดยอาศัยข้อมูล BigData จาก Tele2 เพื่อวางแผนโครงสร้างพื้นฐานทางเทคนิคและการขนส่ง
- การวิเคราะห์ BigData เป็นขุมทองสำหรับนักการตลาดที่สามารถสร้างแคมเปญโฆษณาส่วนบุคคลสำหรับกลุ่มสมาชิกได้มากถึงหลายพันกลุ่มหากพวกเขาเลือก บริษัทโทรคมนาคมจะรวบรวมโปรไฟล์ทางสังคม ความสนใจของผู้บริโภค และรูปแบบพฤติกรรมของสมาชิก จากนั้นใช้ BigData ที่รวบรวมไว้เพื่อดึงดูดลูกค้าใหม่ แต่สำหรับการส่งเสริมการขายขนาดใหญ่และการวางแผนประชาสัมพันธ์ การเรียกเก็บเงินไม่ได้มีฟังก์ชันการทำงานที่เพียงพอเสมอไป: โปรแกรมจะต้องคำนึงถึงปัจจัยหลายอย่างพร้อมกันพร้อมกับข้อมูลโดยละเอียดเกี่ยวกับลูกค้า
ในขณะที่บางคนยังถือว่า BigData เป็นวลีที่ว่างเปล่า แต่ Big Four ก็สร้างรายได้จากมันแล้ว MTS สร้างรายได้ 14 พันล้านรูเบิลจากการประมวลผลข้อมูลขนาดใหญ่ในหกเดือน และ Tele2 เพิ่มรายได้จากโครงการสามเท่าครึ่ง BigData กำลังเปลี่ยนจากเทรนด์ไปสู่สิ่งที่ต้องมี โดยโครงสร้างทั้งหมดของผู้ให้บริการโทรคมนาคมจะถูกสร้างขึ้นใหม่
ที่มา: will.com