2008 онд BigData нь шинэ нэр томъёо, загварлаг чиг хандлага байсан. 2019 онд BigData нь борлуулалтын объект, ашгийн эх үүсвэр, шинэ үнэт цаасны шалтгаан болж байна.
Өнгөрсөн намар ОХУ-ын Засгийн газар их дататай холбоотой хуулийн төслийг санаачилсан. Мэдээллийн дагуу хувь хүмүүсийг тодорхойлох боломжгүй боловч холбооны эрх баригчдын хүсэлтээр үүнийг хийж болно. Гуравдагч этгээдэд зориулж BigData-г боловсруулах нь зөвхөн Роскомнадзорт мэдэгдсний дараа л хийгддэг. 100 мянга гаруй сүлжээний хаягтай компаниуд хуулийн хүрээнд үйлчилдэг. Мэдээжийн хэрэг, бүртгэлгүй бол мэдээллийн сангийн операторуудын жагсаалттай нэгийг үүсгэх ёстой. Хэрэв өмнө нь энэ Big Data-г хүн бүр нухацтай авч үздэггүй байсан бол одоо үүнийг анхаарч үзэх хэрэгтэй болно.
Би энэхүү том өгөгдлийг боловсруулдаг тооцооны хөгжүүлэгч компанийн захирлын хувьд мэдээллийн санг үл тоомсорлож чадахгүй. Би том өгөгдлийн талаар өдөр бүр олон мянган захиалагчдын тухай мэдээллийн урсгалыг тооцооны системээр дамжуулдаг харилцаа холбооны операторуудын призмээр бодох болно.
Теорем
Математикийн асуудлын нэгэн адил эхэлцгээе: эхлээд харилцаа холбооны операторуудын өгөгдлийг BigDat гэж нэрлэж болохыг баталж байна. Дүрмээр бол том өгөгдөл нь гурван VVV шинж чанараар тодорхойлогддог боловч чөлөөт тайлбарт "V"-ийн тоо долоод хүрдэг.
Эзлэхүүн. Зөвхөн Ростелекомын MVNO нь сая гаруй захиалагчдад үйлчилдэг. Гол хост операторууд 44-78 сая хүний мэдээллийг боловсруулдаг. Траффик секунд тутамд нэмэгдэж байна: 2019 оны эхний улиралд захиалагчид гар утаснаасаа 3,3 тэрбум ГБ-д хандсан байна.
Хурд. Хэн ч танд статистикаас илүү динамикийн талаар хэлж чадахгүй, тиймээс би Cisco-ийн таамаглалыг судлах болно. 2021 он гэхэд IP урсгалын 20% нь гар утасны траффик руу шилжих болно - таван жилийн дараа энэ нь бараг гурав дахин нэмэгдэх болно. Гар утасны холболтын гуравны нэг нь M2M байх болно - IoT-ийн хөгжил нь холболтыг зургаа дахин нэмэгдүүлэхэд хүргэнэ. Зүйлсийн интернет нь зөвхөн ашигтай төдийгүй нөөц ихтэй болох тул зарим операторууд зөвхөн үүнд анхаарлаа хандуулах болно. IoT-ийг тусдаа үйлчилгээ болгон хөгжүүлэгчид давхар траффик хүлээн авах болно.
Янз бүрийн. Олон талт байдал нь субъектив ойлголт боловч харилцаа холбооны операторууд өөрсдийн захиалагчдын талаар бараг бүгдийг мэддэг. Нэр, паспортын мэдээллээс авахуулаад утасны загвар, худалдан авалт, очсон газар, сонирхсон зүйлс. Яровая хуулийн дагуу хэвлэл мэдээллийн файлыг зургаан сарын турш хадгалдаг. Тиймээс цуглуулсан өгөгдөл нь олон янз байдаг гэдгийг аксиом гэж үзье.
Програм хангамж, арга зүй
Үйлчилгээ үзүүлэгчид нь BigData-ийн гол хэрэглэгчдийн нэг тул ихэнх том мэдээллийн шинжилгээний аргуудыг харилцаа холбооны салбарт ашиглах боломжтой. Өөр нэг асуулт бол ML, AI, Deep Learning хөгжүүлэх, дата төв, дата олборлолтод хөрөнгө оруулахад хэн бэлэн байна вэ? Мэдээллийн сантай иж бүрэн ажил нь дэд бүтэц, багаас бүрддэг бөгөөд зардлыг хүн бүр төлж чадахгүй. Байгууллагын агуулахтай эсвэл Өгөгдлийн засаглалын арга зүйг боловсруулж байгаа аж ахуйн нэгжүүд BigData дээр бооцоо тавих хэрэгтэй. Урт хугацааны хөрөнгө оруулалтад хараахан бэлэн болоогүй байгаа хүмүүст зориулж програм хангамжийн бүтцийг аажмаар бий болгож, бүрэлдэхүүн хэсгүүдийг нэг нэгээр нь суулгахыг зөвлөж байна. Та хүнд модулиуд болон Hadoop-ыг хамгийн сүүлд үлдээж болно. Өгөгдлийн чанар, өгөгдөл олборлолт зэрэг асуудлыг шийдэх бэлэн шийдлийг цөөн хүмүүс худалдаж авдаг; компаниуд ерөнхийдөө системийг өөрсдийн онцлог шинж чанар, хэрэгцээнд тохируулан өөрчилдөг - өөрсдөө эсвэл хөгжүүлэгчдийн тусламжтайгаар.
Гэхдээ тооцоо бүрийг BigData-тай ажиллахын тулд өөрчлөх боломжгүй. Өөрөөр хэлбэл, зөвхөн бүх зүйлийг өөрчлөх боломжгүй юм. Цөөхөн хүн үүнийг хийж чадна.
Тооцооны систем нь мэдээллийн сан боловсруулах хэрэгсэл болох боломжтой гэсэн гурван шинж тэмдэг:
- Хэвтээ өргөтгөх чадвар. Програм хангамж нь уян хатан байх ёстой - бид том мэдээллийн тухай ярьж байна. Мэдээллийн хэмжээг нэмэгдүүлэх нь кластер дахь техник хангамжийг пропорциональ нэмэгдүүлэх замаар шийдвэрлэх ёстой.
- Алдааг тэсвэрлэх чадвар. Урьдчилсан төлбөрт ноцтой системүүд нь ихэвчлэн алдааг тэсвэрлэдэг: төлбөр тооцоог хэд хэдэн газарзүйн байршилд кластерт байрлуулдаг бөгөөд ингэснээр тэд бие биенээ автоматаар даатгадаг. Нэг буюу хэд хэдэн бүтэлгүйтсэн тохиолдолд Hadoop кластерт хангалттай компьютер байх ёстой.
- Орон нутаг. Мэдээллийг нэг сервер дээр хадгалж, боловсруулах ёстой, эс тэгвээс та өгөгдөл дамжуулахад эвдэрч болзошгүй. Map-Reduce хандлагын алдартай схемүүдийн нэг: HDFS дэлгүүрүүд, Spark процессууд. Хамгийн тохиромжтой нь программ хангамж нь дата төвийн дэд бүтцэд бүрэн нийцэж, мэдээлэл цуглуулах, цэгцлэх, дүн шинжилгээ хийх гэсэн гурван зүйлийг нэг дор хийх чадвартай байх ёстой.
баг
Програм нь том өгөгдлийг юу, хэрхэн, ямар зорилгоор боловсруулах вэ гэдгийг баг шийддэг. Ихэнхдээ энэ нь нэг хүнээс бүрддэг - өгөгдөл судлаач. Хэдийгээр миний бодлоор Big Data-д зориулсан ажилчдын хамгийн бага багцад Бүтээгдэхүүний менежер, мэдээллийн инженер, менежер багтдаг. Эхнийх нь үйлчилгээг ойлгодог, техникийн хэлийг хүний хэл рүү, эсрэгээр нь орчуулдаг. Өгөгдлийн инженер нь Java/Scala болон Machine Learning-ийн туршилтуудыг ашиглан загваруудыг амьдралд хүргэдэг. Менежер нь үе шатуудыг зохицуулж, зорилго тавьж, хянадаг.
Асуудал
Мэдээлэл цуглуулах, боловсруулахад ихэвчлэн асуудал гардаг нь BigData багийнхан юм. Хөтөлбөр нь юу цуглуулж, хэрхэн боловсруулах талаар тайлбарлах хэрэгтэй - үүнийг тайлбарлахын тулд эхлээд өөрөө ойлгох хэрэгтэй. Гэхдээ үйлчилгээ үзүүлэгчдийн хувьд бүх зүйл тийм ч хялбар биш юм. Би захиалагчдын алдагдлыг бууруулах даалгаврын жишээг ашиглан асуудлын талаар ярьж байна - энэ бол харилцаа холбооны операторууд Big Data-ийн тусламжтайгаар шийдвэрлэх гэж оролдсон зүйл юм.
Зорилго тавих. Сайн бичигдсэн техникийн үзүүлэлтүүд, нэр томъёоны өөр өөр ойлголт нь зөвхөн чөлөөт ажилчдын хувьд олон зууны турш үргэлжилсэн зовлон байсаар ирсэн. Бүр "унасан" захиалагчдыг өөр өөр байдлаар тайлбарлаж болно - нэг сар, зургаан сар эсвэл нэг жилийн турш операторын үйлчилгээг ашиглаагүй хүмүүс. Түүхэн өгөгдөл дээр үндэслэн MVP-ийг бий болгохын тулд та бусад операторуудыг туршиж үзсэн эсвэл хотыг орхиж, өөр дугаар ашигласан захиалагчдын өгөөжийн давтамжийг ойлгох хэрэгтэй. Өөр нэг чухал асуулт: захиалагч гарахаас хэр удаан өмнө үйлчилгээ үзүүлэгч үүнийг тодорхойлж, арга хэмжээ авах ёстой вэ? Зургаан сар дэндүү эрт, долоо хоног бол хэтэрхий оройтсон.
Үзэл баримтлалыг орлуулах. Ер нь операторууд үйлчлүүлэгчээ утасны дугаараар нь тодорхойлдог тул түүгээр дамжуулан тэмдгүүдийг байршуулах нь зүйтэй. Таны хувийн данс эсвэл үйлчилгээний өргөдлийн дугаарын талаар юу хэлэх вэ? Операторын систем дэх өгөгдөл өөрчлөгдөхгүйн тулд аль нэгжийг үйлчлүүлэгчээр авахаа шийдэх шаардлагатай. Үйлчлүүлэгчийн үнэ цэнийг үнэлэх нь бас эргэлзээтэй байдаг - аль захиалагч нь компанийн хувьд илүү үнэ цэнэтэй, аль хэрэглэгч хадгалахын тулд илүү их хүчин чармайлт шаарддаг, аль нь ямар ч тохиолдолд "унадаг" бөгөөд тэдэнд нөөц зарцуулах нь утгагүй юм.
Мэдээлэл дутмаг. Үйлчилгээ үзүүлэгчийн бүх ажилчид BigData-ийн багт захиалагчийн алдагдалд юу нөлөөлдөг, тооцооны боломжит хүчин зүйлсийг хэрхэн тооцдог талаар тайлбарлаж чаддаггүй. Тэдний аль нэгийг нь - ARPU гэж нэрлэсэн ч гэсэн үүнийг янз бүрийн аргаар тооцоолж болно: үйлчлүүлэгчийн тогтмол төлбөр, эсвэл автомат төлбөрийн хураамж. Мөн ажлын явцад сая өөр асуулт гарч ирдэг. Загвар нь бүх үйлчлүүлэгчийг хамарч чадаж байна уу, үйлчлүүлэгчээ авч үлдэхийн тулд ямар үнэтэй вэ, өөр загваруудыг бодож үзэх нь зүйтэй болов уу, андуурч зохиомлоор хадгалагдсан үйлчлүүлэгчийг яах вэ.
Зорилго тавих. Операторуудыг мэдээллийн санд бухимдуулдаг гурван төрлийн үр дүнгийн алдааг би мэднэ.
- Үйлчилгээ үзүүлэгч нь BigData-д хөрөнгө оруулалт хийж, гигабайт мэдээллийг боловсруулдаг боловч илүү хямд үр дүнд хүрэх боломжтой. Энгийн диаграмм ба загвар, анхдагч аналитик ашигладаг. Зардал нь хэд дахин өндөр боловч үр дүн нь адилхан.
- Оператор олон талт өгөгдлийг гаралт болгон хүлээн авдаг боловч үүнийг хэрхэн ашиглахаа ойлгодоггүй. Аналитик байдаг - энэ нь ойлгомжтой бөгөөд том хэмжээтэй боловч энэ нь ашиггүй юм. "Өгөгдөл боловсруулах" зорилгоос бүрдэх боломжгүй эцсийн үр дүнг сайтар бодож үзээгүй байна. Боловсруулахад хангалттай биш - аналитик нь бизнесийн үйл явцыг шинэчлэх үндэс суурь болох ёстой.
- BigData аналитикийг ашиглахад тулгарч буй саад бэрхшээл нь хуучирсан бизнесийн үйл явц, шинэ зорилгод тохиромжгүй програм хангамж байж болно. Энэ нь тэд бэлтгэлийн үе шатанд алдаа гаргасан гэсэн үг юм - тэд үйлдлийн алгоритм, Big Data-г ажилд нэвтрүүлэх үе шатуудыг сайтар бодож үзээгүй.
Яагаад
Үр дүнгийн талаар ярьж байна. Би харилцаа холбооны операторуудын ашиглаж байгаа Big Data-г ашиглах, мөнгө олох арга замуудыг авч үзэх болно.
Үйлчилгээ үзүүлэгчид зөвхөн захиалагчдын гадагш урсгалыг төдийгүй үндсэн станцуудын ачааллыг урьдчилан таамаглаж байна.
- Захиалагчийн хөдөлгөөн, үйл ажиллагаа, давтамжийн үйлчилгээний талаархи мэдээлэлд дүн шинжилгээ хийдэг. Үр дүн: дэд бүтцийн асуудалтай газруудыг оновчтой болгох, шинэчлэхтэй холбоотойгоор хэт ачааллын тоог бууруулсан.
- Харилцаа холбооны операторууд худалдааны цэгүүдийг нээхдээ захиалагчдын газарзүйн байршил, замын хөдөлгөөний нягтрал зэрэг мэдээллийг ашигладаг. Тиймээс BigData аналитикийг MTS болон VimpelCom компаниуд шинэ оффисуудын байршлыг төлөвлөхөд аль хэдийн ашигладаг.
- Үйлчилгээ үзүүлэгчид гуравдагч этгээдэд санал болгосноор өөрсдийн том өгөгдлийг мөнгөжүүлдэг. BigData операторуудын гол үйлчлүүлэгчид нь арилжааны банкууд байдаг. Мэдээллийн санг ашиглан тэд картууд холбогдсон захиалагчийн SIM картын сэжигтэй үйл ажиллагааг хянаж, эрсдэлийн үнэлгээ, баталгаажуулалт, хяналтын үйлчилгээг ашигладаг. Мөн 2017 онд Москвагийн засгийн газар техникийн болон тээврийн дэд бүтцийг төлөвлөхийн тулд Tele2-ээс BigData мэдээлэлд үндэслэн хөдөлгөөний динамикийг хүсэв.
- BigData аналитик нь маркетеруудад зориулсан алтны уурхай бөгөөд хэрэв тэд хүсвэл мянга мянган захиалагчийн бүлгүүдэд зориулсан хувийн сурталчилгааны кампанит ажил үүсгэж чаддаг. Харилцаа холбооны компаниуд нийгмийн профайл, хэрэглэгчийн сонирхол, захиалагчдын зан үйлийн хэв маягийг нэгтгэж, дараа нь цуглуулсан BigData-г шинэ хэрэглэгчдийг татахын тулд ашигладаг. Гэхдээ томоохон хэмжээний сурталчилгаа, PR төлөвлөлтийн хувьд төлбөр тооцоо нь үргэлж хангалттай ажиллагаатай байдаггүй: хөтөлбөр нь үйлчлүүлэгчдийн талаархи дэлгэрэнгүй мэдээлэлтэй зэрэгцэн олон хүчин зүйлийг нэгэн зэрэг харгалзан үзэх ёстой.
Зарим нь BigData-г хоосон хэллэг гэж үздэг бол Их Дөрөв аль хэдийн түүгээр мөнгө олж байна. MTS нь зургаан сарын хугацаанд их хэмжээний мэдээлэл боловсруулснаар 14 тэрбум рублийн орлого олдог бөгөөд Tele2 төслийн орлогыг гурав, хагас дахин нэмэгдүүлсэн. BigData нь харилцаа холбооны операторуудын бүтцийг бүхэлд нь сэргээн босгох чиг хандлагаас зайлшгүй байх ёстой зүйл болж хувирч байна.
Эх сурвалж: www.habr.com