2008 දී BigData නව යෙදුමක් සහ විලාසිතාමය ප්‍රවණතාවක් විය. 2019 දී, BigData යනු විකිණීමේ වස්තුවක්, ලාභ ප්‍රභවයක් සහ නව බිල්පත් සඳහා අවස්ථාවකි.
පසුගිය වැටීම, රුසියානු රජය විශාල දත්ත නියාමනය කිරීම සඳහා පනතක් ආරම්භ කළේය. තොරතුරු වලින් පුද්ගලයින් හඳුනා ගැනීම තහනම් කර ඇත, නමුත් ෆෙඩරල් බලධාරීන්ගේ ඉල්ලීම පරිදි මෙය කිරීමට අවසර ඇත. තෙවන පාර්ශවයන් සඳහා BigData සැකසීම - Roskomnadzor දැනුම් දීමෙන් පසුව පමණි. ජාල ලිපින 100 කට වඩා ඇති සමාගම් නීතියට යටත් වේ. තවද, ඇත්ත වශයෙන්ම, රෙජිස්ට්‍රි නොමැති තැන - එය දත්ත සමුදා ක්රියාකරුවන්ගේ ලැයිස්තුවක් සහිත එකක් නිර්මාණය කිරීමට නියමිතය. ඊට පෙර BigData සෑම කෙනෙකුම බැරෑරුම් ලෙස නොගත්තේ නම්, දැන් එය ගණනය කිරීමට සිදුවනු ඇත.
මට, මෙම BigData සකසන බිල්පත් සංවර්ධන සමාගමේ අධ්‍යක්ෂවරයා ලෙස, දත්ත සමුදාය නොසලකා හැරිය නොහැක. මම විශාල දත්ත ගැන සිතන්නේ ටෙලිකොම් ක්රියාකරුවන්ගේ ප්‍රිස්මය හරහා, ඔවුන්ගේ බිල්පත් පද්ධති හරහා දිනපතා ග්රාහකයින් දහස් ගණනක් පිළිබඳ තොරතුරු ගමන් කරයි.
ප්රමේයය
ගණිත ගැටලුවකදී මෙන් අපි ආරම්භ කරමු: පළමුව, අපි ටෙලිකොම් ක්රියාකරුවන්ගේ දත්ත BigDat ලෙස හැඳින්විය හැකි බව ඔප්පු කරමු. සම්මත විශාල දත්ත VVV විශේෂාංග තුනකින් සංලක්ෂිත වේ, නමුත් නිදහස් පරිවර්ථනවලදී "V" සංඛ්‍යාව XNUMX දක්වා ළඟා විය.
පරිමාව. Rostelecom හි MVNO පමණක් මිලියනයකට වඩා ග්‍රාහකයින්ට සේවය කරයි. ප්‍රධාන සත්කාරක ක්රියාකරුවන් මිලියන 44 සිට මිලියන 78 දක්වා පුද්ගලයින් දත්ත සකසයි. සෑම තත්පරයකම ගමනාගමනය වර්ධනය වේ: 2019 පළමු කාර්තුවේදී ග්රාහකයින් දැනටමත් ජංගම දුරකථන වලින් බිලියන 3,3 GB පමණ සැරිසැරීමට සමත් වී ඇත.
ප්‍රවේගය. සංඛ්‍යාලේඛනවලට වඩා හොඳ කිසිවෙක් ගතිකත්වය ගැන නොකියනු ඇත, එබැවින් මම සිස්කෝගේ අනාවැකි හරහා යන්නෙමි. 2021 වන විට, IP ගමනාගමනයෙන් 20% ක් ජංගම ගමනාගමනයට යයි - එය වසර පහකින් තුන් ගුණයකින් වැඩි වනු ඇත. ජංගම සම්බන්ධතා වලින් තුනෙන් එකක් M2M මත පවතිනු ඇත - IoT සංවර්ධනය සම්බන්ධතා හය ගුණයකින් වැඩි කිරීමට හේතු වේ. ඉන්ටර්නෙට් ඔෆ් තින්ග්ස් ලාභදායි පමණක් නොව, සම්පත්-දැඩි දෙයක් බවට පත් වනු ඇත, එබැවින් සමහර ක්රියාකරුවන් එය කෙරෙහි පමණක් අවධානය යොමු කරනු ඇත. තවද IoT වෙනම සේවාවක් ලෙස සංවර්ධනය කරන අයට ඩබල් ට්‍රැෆික් ලැබෙනු ඇත.
විවිධත්වය. විවිධත්වය යනු ආත්මීය සංකල්පයකි, නමුත් ටෙලිකොම් ක්රියාකරුවන් සැබවින්ම ඔවුන්ගේ ග්රාහකයින් ගැන සෑම දෙයක්ම පාහේ දනී. නම සහ විදේශ ගමන් බලපත්‍රයේ විස්තර සිට දුරකථන ආකෘතිය, මිලදී ගැනීම්, ගිය ස්ථාන සහ රුචිකත්වයන් දක්වා. Yarovaya නීතියට අනුව, මාධ්ය ගොනු මාස හයක් සඳහා ගබඩා කර ඇත. ඒ නිසා එකතු කරන ලද දත්ත විවිධ බව අපි axiom එකක් ලෙස ගනිමු.
මෘදුකාංග සහ ක්‍රමවේදය
සපයන්නන් යනු BigData හි ප්‍රධාන පාරිභෝගිකයන්ගෙන් එකකි, එබැවින් බොහෝ විශාල දත්ත විශ්ලේෂණ ශිල්පීය ක්රම ටෙලිකොම් කර්මාන්තයට අදාළ වේ. තවත් ප්‍රශ්නයක් නම් ML, AI, Deep Learning සංවර්ධනය, දත්ත මධ්‍යස්ථාන සහ දත්ත කැණීම් සඳහා ආයෝජනය කිරීමට සූදානම් වන්නේ කවුද යන්නයි. දත්ත සමුදාය සමඟ සම්පූර්ණ වැඩ කටයුතු යටිතල පහසුකම් සහ කණ්ඩායමකින් සමන්විත වන අතර, එහි පිරිවැය සෑම කෙනෙකුටම දැරිය නොහැක. දැනටමත් ආයතනික ගබඩා කර ඇති හෝ දත්ත පාලන ක්‍රමවේදය දියුණු කරන ව්‍යවසායන් සඳහා BigData මත ඔට්ටු ඇල්ලීම වටී. දිගුකාලීන ආයෝජන සඳහා තවමත් සූදානම් නැති අය සඳහා, මම ක්රම ක්රමයෙන් මෘදුකාංග ගෘහ නිර්මාණ ශිල්පය ගොඩනඟා සංරචක එකින් එක ස්ථාපනය කිරීමට උපදෙස් දෙන්නෙමි. බර මොඩියුල සහ Hadoop අන්තිම සඳහා ඉතිරි කළ හැක. දත්ත ගුණාත්මකභාවය සහ දත්ත කැණීම වැනි කාර්යයන් සඳහා සූදානම් කළ විසඳුමක් මිල දී ගන්නේ ස්වල්ප දෙනෙකි, බොහෝ විට සමාගම් ඔවුන්ගේ විශේෂතා සහ අවශ්‍යතා වලට සරිලන පරිදි පද්ධතිය රිසිකරණය කරයි - ඔවුන්ගේම හෝ සංවර්ධකයින්ගේ සහාය ඇතිව.
නමුත් BigData සමඟ වැඩ කිරීමට කිසිදු බිල්පතක් වෙනස් කළ නොහැක. ඒ වෙනුවට, සෑම කෙනෙකුටම පමණක් වෙනස් කළ නොහැක. ස්වල්ප දෙනෙකුට එය කළ හැකිය.
බිල්පත් පද්ධතියට දත්ත සමුදාය සැකසීමේ මෙවලමක් වීමට අවස්ථාවක් ඇති බවට සංඥා තුනක්:
- තිරස් පරිමාණය. මෘදුකාංග නම්යශීලී විය යුතුය - අපි විශාල දත්ත ගැන කතා කරමු. තොරතුරු ප්රමාණයේ වැඩි වීමක් පොකුරේ දෘඪාංගයේ සමානුපාතික වැඩි වීමක් සමඟ සැලකිය යුතුය.
- වැරදි ඉවසීම. බරපතල පෙරගෙවුම් පද්ධති සාමාන්‍යයෙන් පෙරනිමියෙන් දෝෂ වලට ඔරොත්තු දෙයි: බිල්පත් ස්වයංක්‍රීයව එකිනෙකා රක්ෂණය වන පරිදි භූ ස්ථාන කිහිපයක පොකුරක් තුළ යොදවා ඇත. එකක් හෝ කිහිපයක් අසමත් වුවහොත් Hadoop පොකුරේ ප්රමාණවත් පරිගණක ද තිබිය යුතුය.
- ප්‍රදේශය. එකම සේවාදායකයේ දත්ත ගබඩා කර සැකසිය යුතුය, එසේ නොමැතිනම් ඔබට දත්ත මාරු කිරීමේදී කැඩී යා හැක. ජනප්‍රිය Map-Reduce ප්‍රවේශ යෝජනා ක්‍රමවලින් එකක්: HDFS ගබඩා, Spark processes. ඉතා මැනවින්, මෘදුකාංගය දත්ත මධ්‍යස්ථාන යටිතල ව්‍යුහයට බාධාවකින් තොරව ඒකාබද්ධ විය යුතු අතර එකකින් කරුණු තුනක් කළ හැකිය: තොරතුරු රැස් කිරීම, සංවිධානය කිරීම සහ විශ්ලේෂණය කිරීම.
කණ්ඩායම
වැඩසටහන විශාල දත්ත සකසන්නේ කුමක්ද, කෙසේද සහ කුමන අරමුණක් සඳහාද යන්න කණ්ඩායම විසින් තීරණය කරනු ලැබේ. බොහෝ විට එය එක් පුද්ගලයෙකුගෙන් සමන්විත වේ - දත්ත විද්යාඥයෙක්. කෙසේ වෙතත්, මගේ මතය අනුව, BigData සඳහා සේවකයින්ගේ අවම පැකේජයට නිෂ්පාදන කළමනාකරුවෙකු, දත්ත ඉංජිනේරුවෙකු සහ කළමනාකරුවෙකු ඇතුළත් වේ. පළමුවැන්නා සේවාවන් තේරුම් ගනී, තාක්ෂණික භාෂාව මිනිසාට සහ අනෙක් අතට පරිවර්තනය කරයි. Data Engineer විසින් Java/Scala සමඟින් ආකෘති ජීවයට ගෙනෙන අතර Machine Learning සමඟ අත්හදා බැලීම් කරයි. නායකයා සම්බන්ධීකරණය කරයි, ඉලක්ක තබා, අදියර පාලනය කරයි.
ගැටළු
දත්ත රැස් කිරීමේදී සහ සැකසීමේදී සාමාන්‍යයෙන් ගැටළු ඇතිවන්නේ BigData කණ්ඩායමේ පැත්තෙන් ය. එකතු කළ යුතු දේ සහ ක්‍රියාත්මක කරන්නේ කෙසේද යන්න වැඩසටහනට පැහැදිලි කළ යුතුය - මෙය පැහැදිලි කිරීම සඳහා, ඔබ මුලින්ම එය ඔබම තේරුම් ගත යුතුය. නමුත් සපයන්නන් එතරම් සරල නැත. මම කතා කරන්නේ ග්‍රාහකයින්ගේ පිටතට ගලායාම අඩු කිරීමේ කාර්යයේ උදාහරණය භාවිතා කරමින් ගැටළු ගැන ය - ටෙලිකොම් ක්රියාකරුවන් ප්‍රථමයෙන් BigData ආධාරයෙන් විසඳීමට උත්සාහ කරන්නේ මෙම කාර්යයයි.
ඉලක්ක තැබීම. දක්ෂ ලෙස රචනා කරන ලද TOR සහ පද පිළිබඳ විවිධ අවබෝධය නිදහස් සේවකයින්ට පමණක් නොව සියවස් ගණනාවක් පැරණි වේදනාවකි. "අහිමි වූ" ග්රාහකයින් පවා විවිධ ආකාරවලින් අර්ථ දැක්විය හැකිය - මාසයක්, මාස හයක් හෝ වසරක් සඳහා ක්රියාකරුගේ සේවාවන් භාවිතා නොකිරීම ලෙස. සහ ඓතිහාසික දත්ත මත පදනම්ව MVP නිර්මාණය කිරීම සඳහා, ඔබ පිටතට ගලා යාමෙන් ග්රාහකයින් ආපසු පැමිණීමේ වාර ගණන තේරුම් ගත යුතුය - වෙනත් ක්රියාකරුවන් සම්බන්ධ කිරීමට උත්සාහ කළ හෝ නගරයෙන් පිටව ගොස් වෙනත් අංකයක් භාවිතා කළ අය. තවත් වැදගත් ප්‍රශ්නයක්: ග්‍රාහකයාගේ අපේක්ෂිත පිටවීමට කොපමණ කලකට පෙර සැපයුම්කරු මෙය තීරණය කර ක්‍රියා කළ යුතුද? වසර භාගයක් කල් වැඩියි, සතියක් දැනටමත් ප්‍රමාද වැඩියි.
සංකල්ප ආදේශ කිරීම. සාමාන්‍යයෙන්, ක්රියාකරුවන් දුරකථන අංකයෙන් සේවාදායකයකු හඳුනා ගනී, එබැවින් එය මඟින් සලකුණු උඩුගත කිරීම තර්කානුකූල ය. පුද්ගලික ගිණුමක් හෝ සේවා අයදුම්පත් අංකයක් ගැන කුමක් කිව හැකිද? ක්රියාකරුගේ පද්ධතියේ දත්ත වෙනස් නොවන පරිදි සේවාලාභියෙකු ලෙස ගත යුත්තේ කුමන ඒකකයද යන්න තීරණය කිරීම අවශ්ය වේ. සේවාදායකයාගේ වටිනාකම තක්සේරු කිරීම ද ප්‍රශ්නාර්ථයකි - සමාගමට වඩා වටිනා ග්‍රාහකයා කුමක්ද, කුමන පරිශීලකයාට රඳවා ගැනීමට වැඩි උත්සාහයක් අවශ්‍යද, සහ ඕනෑම අවස්ථාවක “වැටෙන්නේ” සහ ඔවුන් වෙනුවෙන් සම්පත් වියදම් කිරීම තේරුමක් නැත.
තොරතුරු නොමැතිකම. ග්‍රාහකයින්ගේ පිටතට ගලායාමට හරියටම බලපාන්නේ කුමක්ද සහ බිල්පත් කිරීමේදී හැකි සාධක සලකා බලන්නේ කෙසේද යන්න BigData කණ්ඩායමට පැහැදිලි කිරීමට සියලුම සැපයුම්කරුවන්ගේ සේවකයින්ට හැකියාවක් නැත. ඒවායින් එකක් නම් කර ඇතත් - ARPU - එය විවිධ ආකාරවලින් ගණනය කළ හැකි බව පෙනේ: වරින් වර පාරිභෝගික ගෙවීම් මගින් හෝ ස්වයංක්‍රීය බිල්පත් ගාස්තු මගින්. තවද මෙම ක්‍රියාවලියේදී තවත් ප්‍රශ්න මිලියනයක් පැන නගී. මෙම ආකෘතිය සියලුම පාරිභෝගිකයින් ආවරණය කරයිද, පාරිභෝගිකයෙකු රඳවා තබා ගැනීමේ පිරිවැය කුමක්ද, විකල්ප මාදිලි හරහා සිතීම අර්ථවත්ද සහ වැරදි ලෙස කෘතිමව රඳවාගෙන සිටින පාරිභෝගිකයින් සමඟ කුමක් කළ යුතුද?
ඉලක්ක සැකසීම. දත්ත සමුදාය සමඟ ක්රියාකරුවන් කලකිරීමට හේතු වන ප්‍රතිඵල ආශ්‍රිත දෝෂ වර්ග තුනක් ගැන මම දනිමි.
- සපයන්නා BigData හි ආයෝජනය කරයි, ගිගාබයිට් තොරතුරු සකසයි, නමුත් ලාභදායී ලෙස ලබා ගත හැකි ප්‍රතිඵලයක් ලබා ගනී. සරල යෝජනා ක්රම සහ ආකෘති, ප්රාථමික විශ්ලේෂණ භාවිතා කරනු ලැබේ. පිරිවැය බොහෝ ගුණයකින් වැඩි ය, නමුත් ප්රතිඵලය සමාන වේ.
- ප්‍රතිදානයේදී ක්‍රියාකරුට බහුවිධ දත්ත ලැබේ, නමුත් ඒවා භාවිතා කරන්නේ කෙසේදැයි නොතේරේ. විශ්ලේෂණ තිබේ - මෙන්න එය තේරුම් ගත හැකි සහ විශාලයි, නමුත් එයින් ශුන්‍ය හැඟීමක් ඇත. අවසාන ප්රතිඵලය "දත්ත සැකසීමේ" ඉලක්කයෙන් සමන්විත විය නොහැකි, සිතා නැත. සැකසීම ප්රමාණවත් නොවේ - ව්‍යාපාර ක්‍රියාවලි යාවත්කාලීන කිරීම සඳහා විශ්ලේෂණ පදනම විය යුතුය.
- BigData විශ්ලේෂණ භාවිතයට බාධාවක් විය හැක්කේ යල් පැන ගිය ව්‍යාපාරික ක්‍රියාවලීන් සහ නව අරමුණු සඳහා සුදුසු නොවන මෘදුකාංග ය. මෙයින් අදහස් කරන්නේ ඔවුන් සූදානම් වීමේ අදියරේදී වැරදි කළ බවයි - ඔවුන් ක්‍රියාවන්ගේ ඇල්ගොරිතම සහ BigData වැඩට හඳුන්වා දීමේ අදියර ගැන සිතුවේ නැත.
ඇයි
ප්‍රතිඵල ගැන කතා කරනවා. මම දැනටමත් ටෙලිකොම් ක්රියාකරුවන් භාවිතා කරන BigData භාවිතා කිරීමේ සහ මුදල් ඉපැයීමේ ක්රම හරහා යන්නෙමි.
සැපයුම්කරුවන් ග්‍රාහකයින්ගේ පිටතට ගලායාම පමණක් නොව, මූලික ස්ථාන මත පැටවීම ද පුරෝකථනය කරයි.
- ග්‍රාහකයින්ගේ චලනය, ක්‍රියාකාරකම් සහ සංඛ්‍යාත සේවා පිළිබඳ තොරතුරු විශ්ලේෂණය කෙරේ. ප්රතිඵලය: යටිතල ව්‍යුහයේ ගැටලුකාරී ප්‍රදේශ ප්‍රශස්ත කිරීම සහ නවීකරණය කිරීම හේතුවෙන් අධික බර පැටවීම් ගණන අඩු කිරීම.
- ටෙලිකොම් ක්රියාකරුවන් විකුණුම් ස්ථාන විවෘත කිරීමේදී ග්‍රාහකයින්ගේ භූ පිහිටීම සහ ගමනාගමන ඝනත්වය පිළිබඳ තොරතුරු භාවිතා කරයි. එබැවින් නව කාර්යාලවල පිහිටීම සැලසුම් කිරීම සඳහා දැනටමත් MTS සහ Vimpelcom විසින් BigData විශ්ලේෂණ භාවිතා කරයි.
- සපයන්නන් ඔවුන්ගේම විශාල දත්ත තෙවන පාර්ශවීය සමාගම් වෙත ලබා දීමෙන් මුදල් උපයති. BigData ක්රියාකරුවන්ගේ ප්‍රධාන ගනුදෙනුකරුවන් වාණිජ බැංකු වේ. දත්ත සමුදායේ ආධාරයෙන්, ඔවුන් කාඩ්පත් සම්බන්ධ කර ඇති ග්‍රාහකයාගේ සිම් කාඩ්පතේ සැක කටයුතු ක්‍රියාකාරකම් නිරීක්ෂණය කරයි, අවදානම් ලකුණු කිරීම, සත්‍යාපනය සහ අධීක්ෂණ සේවා භාවිතා කරයි. 2017 දී, මොස්කව් රජය තාක්ෂණික සහ ප්‍රවාහන යටිතල පහසුකම් සැලසුම් කිරීම සඳහා Tele2 වෙතින් BigData දත්ත වලට අනුව චලනය වීමේ ගතිකතාවයන් ඉල්ලා සිටියේය.
- BigData විශ්ලේෂණ යනු ඔවුන්ට අවශ්ය නම් ග්‍රාහක කණ්ඩායම් දහස් ගණනක් සඳහා පුද්ගලීකරණය කළ දැන්වීම් ප්‍රචාරණ නිර්මාණය කළ හැකි අලෙවිකරුවන් සඳහා රන් ආකරයකි. ටෙලිකොම් සමාගම් සමාජ පැතිකඩ, පාරිභෝගික අවශ්‍යතා සහ ග්‍රාහකයින්ගේ හැසිරීම් රටා එකතු කරයි, ඉන්පසු නව පාරිභෝගිකයින් ආකර්ෂණය කර ගැනීමට එකතු කරන ලද BigData භාවිතා කරයි. නමුත් ප්රවර්ධනය සහ PR හි විශාල පරිමාණ සැලසුම් කිරීම සඳහා, බිල්පත් කිරීම සඳහා සෑම විටම ප්රමාණවත් ක්රියාකාරිත්වයක් නොමැත: වැඩසටහන පාරිභෝගිකයින් පිළිබඳ සවිස්තරාත්මක තොරතුරු සමග සමාන්තරව බොහෝ සාධක එකවර සැලකිල්ලට ගත යුතුය.
යමෙක් තවමත් BigData හිස් වැකියක් ලෙස සලකන අතර, Big Four දැනටමත් එයින් මුදල් උපයමින් සිටී. මාස හයක් තුළ විශාල දත්ත සැකසීමෙන් MTS රූබල් බිලියන 14 ක් උපයන අතර Tele2 ව්‍යාපෘති වලින් ලැබෙන ආදායම තුනහමාරකින් වැඩි කළේය. BigData ප්‍රවණතාවක සිට තිබිය යුතුම දෙයක් බවට හැරෙමින් පවතින අතර, ඒ යටතේ ටෙලිකොම් ක්රියාකරුවන්ගේ සමස්ත ව්‍යුහයම නැවත ගොඩනැංවනු ඇත.
මූලාශ්රය: www.habr.com