እ.ኤ.አ. በ 2008 BigData አዲስ ቃል እና ፋሽን አዝማሚያ ነበር። በ2019፣ BigData የሚሸጥ ነገር፣ የትርፍ ምንጭ እና ለአዳዲስ ሂሳቦች ምክንያት ነው።
ባለፈው የበልግ ወቅት፣ የሩሲያ መንግስት ትልቅ መረጃን ለመቆጣጠር የሚያስችል ህግ አነሳ። ሰዎችን ከመረጃው መለየት የተከለከለ ነው, ነገር ግን በፌዴራል ባለስልጣናት ጥያቄ ይህን ማድረግ ተፈቅዶለታል. ለሶስተኛ ወገኖች BigData በማዘጋጀት ላይ - ከ Roskomnadzor ማሳወቂያ በኋላ ብቻ። ከ 100 ሺህ በላይ የኔትወርክ አድራሻዎች ያላቸው ኩባንያዎች በህጉ ስር ይወድቃሉ. እና በእርግጥ ፣ ያለ መዝገቦች - ከዳታቤዝ ኦፕሬተሮች ዝርዝር ጋር መፍጠር አለበት ። እና ከዚያ በፊት BigData በሁሉም ሰው በቁም ነገር ካልተወሰደ አሁን መቆጠር አለበት።
እኔ፣ ይህን BigData የሚያስኬድ የሂሳብ አከፋፈል ልማት ኩባንያ ዳይሬክተር እንደመሆኔ፣ የውሂብ ጎታውን ችላ ማለት አልችልም። በየእለቱ በሺዎች የሚቆጠሩ ተመዝጋቢዎች መረጃ ስለሚፈሱ የሂሳብ አከፋፈል ስርዓታቸው በቴሌኮም ኦፕሬተሮች ፕሪዝም ስለ ትልቅ መረጃ አስባለሁ።
ቲዎረም
እንደ ሂሳብ ችግር እንጀምር፡ በመጀመሪያ የቴሌኮም ኦፕሬተሮች መረጃ ቢግ ዳት ተብሎ ሊጠራ እንደሚችል እናረጋግጣለን። መደበኛ ትልቅ መረጃ በሶስት የቪቪቪ ባህሪያት ተለይቷል, ምንም እንኳን በነጻ ትርጓሜዎች የ "V" ቁጥር እስከ ሰባት ደርሷል.
የድምጽ መጠን. የ Rostelecom MVNO ብቻ ከአንድ ሚሊዮን በላይ ተመዝጋቢዎችን ያገለግላል። ቁልፍ አስተናጋጅ ኦፕሬተሮች መረጃን ከ44 ሚሊዮን እስከ 78 ሚሊዮን ሰዎች ያዘጋጃሉ። ትራፊክ በየሰከንዱ እያደገ ነው፡ በ2019 የመጀመሪያ ሩብ አመት ተመዝጋቢዎች ከሞባይል ስልኮች 3,3 ቢሊዮን ጂቢ ሰርፈዋል።
ፍጥነት. ከስታስቲክስ የተሻለ ማንም ስለ ተለዋዋጭ ሁኔታው አይናገርም, ስለዚህ በሲስኮ ትንበያዎች ውስጥ አልፋለሁ. እ.ኤ.አ. በ 2021 ፣ 20% የአይፒ ትራፊክ ወደ የሞባይል ትራፊክ ይሄዳል - በአምስት ዓመታት ውስጥ በሦስት እጥፍ ሊጨምር ይችላል። አንድ ሦስተኛው የሞባይል ግንኙነቶች በ M2M ላይ ይሆናሉ - የ IoT እድገት ወደ ግንኙነቶች ስድስት እጥፍ ይጨምራል። የነገሮች በይነመረብ ትርፋማ ብቻ ሳይሆን ሃብት ተኮር ስለሚሆን አንዳንድ ኦፕሬተሮች በእሱ ላይ ብቻ ያተኩራሉ። እና IoTን እንደ የተለየ አገልግሎት የሚያዳብሩ ሰዎች ድርብ ትራፊክ ይቀበላሉ።
ልዩነት. ልዩነት ተጨባጭ ጽንሰ-ሀሳብ ነው, ነገር ግን የቴሌኮም ኦፕሬተሮች ስለ ተመዝጋቢዎቻቸው ሁሉንም ነገር በትክክል ያውቃሉ. ከስም እና የፓስፖርት ዝርዝሮች እስከ ስልክ ሞዴል፣ ግዢዎች፣ የተጎበኙ ቦታዎች እና ፍላጎቶች። በያሮቫያ ህግ መሰረት የሚዲያ ፋይሎች ለስድስት ወራት ይቀመጣሉ. ስለዚህ የተሰበሰቡት መረጃዎች የተለያዩ መሆናቸውን እንደ አክሲየም እንውሰድ።
ሶፍትዌር እና ዘዴ
አቅራቢዎች የBigData ዋነኛ ተጠቃሚዎች ናቸው, ስለዚህ አብዛኛዎቹ ትላልቅ የመረጃ ትንተና ዘዴዎች ለቴሌኮም ኢንዱስትሪ ተፈጻሚ ይሆናሉ. ሌላው ጥያቄ በ ML, AI, Deep Learning, በመረጃ ማእከሎች እና በመረጃ ማዕድን ልማት ላይ ኢንቨስት ለማድረግ ማን ዝግጁ ነው. ከመረጃ ቋቱ ጋር የተሟላ ሥራ መሠረተ ልማትን እና ቡድንን ያቀፈ ነው ፣ ሁሉም ሰው የማይችለውን ወጪ። አስቀድመው የድርጅት ማከማቻ ላላቸው ወይም የውሂብ አስተዳደር ዘዴን ላዳበሩ ኢንተርፕራይዞች በBigData ላይ መወራረድ ተገቢ ነው። ለረጅም ጊዜ ኢንቨስትመንቶች ገና ዝግጁ ላልሆኑ, የሶፍትዌር አርክቴክቸርን ቀስ በቀስ እንዲገነቡ እና ክፍሎችን አንድ በአንድ እንዲጭኑ እመክራችኋለሁ. ከባድ ሞጁሎች እና Hadoop ለመጨረሻ ጊዜ ሊተዉ ይችላሉ። እንደ ዳታ ጥራት እና ዳታ ማዕድን ላሉ ተግባራት ዝግጁ የሆነ መፍትሄ የሚገዙት ጥቂት ሰዎች፣ በአብዛኛው ኩባንያዎች ስርዓቱን ከፍላጎታቸው እና ፍላጎቶቻቸው ጋር እንዲጣጣሙ ያበጃሉ - በራሳቸው ወይም በገንቢዎች እገዛ።
ነገር ግን ከBigData ጋር ለመስራት የትኛውንም የክፍያ መጠየቂያ መቀየር አይቻልም። ይልቁንስ ሁሉም ሰው ብቻ አይደለም ማስተካከል የሚችለው። ጥቂት ሰዎች ሊያደርጉት ይችላሉ.
የሂሳብ አከፋፈል ስርዓቱ የውሂብ ጎታ ማቀናበሪያ መሳሪያ የመሆን እድል እንዳለው የሚያሳዩ ሶስት ምልክቶች፡-
- አግድም መስፋፋት. ሶፍትዌሩ ተለዋዋጭ መሆን አለበት - ስለ ትልቅ ውሂብ ነው እየተነጋገርን ያለነው. የመረጃው መጠን መጨመር በክላስተር ውስጥ ባለው የሃርድዌር ተመጣጣኝ ጭማሪ መታከም አለበት።
- ስህተትን መታገስ. ከባድ የቅድመ ክፍያ ስርዓቶች በነባሪነት ብዙውን ጊዜ ስህተትን ይቋቋማሉ፡ የሂሳብ አከፋፈል በበርካታ ጂኦግራፊያዊ አካባቢዎች ውስጥ በክላስተር ውስጥ ተዘርግቷል ስለዚህም እርስ በርስ በራስ-ሰር ዋስትና ይሰጣሉ። አንድ ወይም ከዚያ በላይ ካልተሳካ በሃዱፕ ክላስተር ውስጥ በቂ ኮምፒውተሮች ሊኖሩ ይገባል።
- አካባቢ። ውሂቡ በተመሳሳዩ አገልጋይ ላይ መቀመጥ እና መከናወን አለበት ፣ አለበለዚያ በመረጃ ማስተላለፍ ላይ ብልሽት መሄድ ይችላሉ። ከታዋቂው የካርታ-ቅነሳ አቀራረብ እቅዶች አንዱ፡ HDFS መደብሮች፣ የስፓርክ ሂደቶች። በሐሳብ ደረጃ፣ ሶፍትዌሩ ያለምንም እንከን በዳታ ሴንተር መሠረተ ልማት ውስጥ በመዋሃድ ሦስት ነገሮችን በአንድ ማድረግ መቻል አለበት፡ መረጃ መሰብሰብ፣ ማደራጀትና መተንተን።
ቡድን
ምን ፣ እንዴት እና ለምን ዓላማ ፕሮግራሙ ትልቅ መረጃን እንደሚያስኬድ የሚወሰነው በቡድኑ ነው። ብዙውን ጊዜ አንድ ሰው ያካትታል - የውሂብ ሳይንቲስት. ምንም እንኳን በእኔ አስተያየት የBigData አነስተኛው የሰራተኞች ጥቅል የምርት አስተዳዳሪን፣ ዳታ መሐንዲስ እና ስራ አስኪያጅን ያካትታል። የመጀመሪያው አገልግሎቶቹን ይረዳል, ቴክኒካዊ ቋንቋውን ወደ ሰው ይተረጉመዋል እና በተቃራኒው. የመረጃ መሐንዲሱ ሞዴሎችን በጃቫ/ስካላ እና በማሽን መማር ላይ ሙከራዎችን ያመጣል። መሪው ያስተባብራል, ግቦችን ያወጣል, ደረጃዎችን ይቆጣጠራል.
ችግሮች
መረጃ በሚሰበስብበት እና በሚሰራበት ጊዜ ችግሮች የሚፈጠሩት በBigData ቡድን በኩል ነው። መርሃግብሩ ምን መሰብሰብ እንዳለበት እና እንዴት እንደሚሰራ ማብራራት አለበት - ይህንን ለማብራራት በመጀመሪያ እርስዎ እራስዎ ሊረዱት ይገባል. ግን አቅራቢዎች በጣም ቀላል አይደሉም. ስለ ችግሮቹ እየተናገርኩ ያለሁት የደንበኝነት ተመዝጋቢዎችን ፍሰት የመቀነስ ተግባርን በምሳሌነት በመጠቀም ነው - ይህንን ተግባር ነው የቴሌኮም ኦፕሬተሮች በመጀመሪያ በቢግ ዳታ እርዳታ ለመፍታት እየሞከሩ ያሉት።
ግቦችን ማዘጋጀት. በብቃት የተቀናበረ TOR እና የቃላቶች የተለያየ ግንዛቤ ለፍሪላንስ ብቻ ሳይሆን ለዘመናት የቆየ ህመም ነው። "የጠፉ" ተመዝጋቢዎች እንኳን በተለያየ መንገድ ሊተረጎሙ ይችላሉ - የኦፕሬተሩን አገልግሎት ለአንድ ወር ፣ ለስድስት ወር ወይም ለአንድ ዓመት እንደማይጠቀሙ ። እና በታሪካዊ መረጃ ላይ የተመሠረተ ኤምቪፒ ለመፍጠር ፣ የሌሎች ኦፕሬተሮችን ግንኙነት የሞከሩ ወይም ከተማዋን ለቀው እና የተለየ ቁጥር የተጠቀሙ - ተመዝጋቢዎችን ከውጪ የሚመለሱበትን ድግግሞሽ መረዳት ያስፈልግዎታል። ሌላ አስፈላጊ ጥያቄ: ከተመዝጋቢው የሚጠበቀው መነሳት በፊት አቅራቢው ይህንን መወሰን እና እርምጃ መውሰድ ያለበት ለምን ያህል ጊዜ ነው? ግማሽ ዓመት በጣም ቀደም ነው, አንድ ሳምንት በጣም ዘግይቷል.
የፅንሰ ሀሳቦች መተካት. ብዙውን ጊዜ ኦፕሬተሮች ደንበኛን በስልክ ቁጥር ይለያሉ፣ ስለዚህ ምልክቶች በእሱ መጫን አለባቸው የሚለው ምክንያታዊ ነው። ስለ የግል መለያ ወይም የአገልግሎት ማመልከቻ ቁጥርስ? በኦፕሬተሩ ስርዓት ውስጥ ያለው መረጃ እንዳይለያይ የትኛው ክፍል እንደ ደንበኛ መወሰድ እንዳለበት መወሰን ያስፈልጋል ። የደንበኛውን ዋጋ መገመት እንዲሁ በጥያቄ ውስጥ ነው - የትኛው የደንበኝነት ተመዝጋቢ ለኩባንያው የበለጠ ዋጋ ያለው ፣ የትኛው ተጠቃሚ ለማቆየት የበለጠ ጥረት የሚፈልግ ፣ እና የትኛው በማንኛውም ሁኔታ “ይወድቃል” እና በእነሱ ላይ ሀብቶችን ማውጣት ምንም ትርጉም የለውም።
የመረጃ እጥረት. ሁሉም የአቅራቢዎች ሰራተኞች የደንበኝነት ተመዝጋቢዎችን ፍሰት በትክክል ምን እንደሚጎዳ እና በሂሳብ አከፋፈል ላይ እንዴት እንደሚታሰቡ ለBigData ቡድን ማስረዳት አይችሉም። ከመካከላቸው አንዱ ስም ቢሰጠውም - ARPU - በተለያዩ መንገዶች ሊሰላ ይችላል-በየጊዜው የደንበኛ ክፍያዎች ወይም በራስ ሰር የክፍያ ክፍያዎች። እና በሂደቱ ውስጥ አንድ ሚሊዮን ጥያቄዎች ይነሳሉ. ሞዴሉ ሁሉንም ደንበኞች ይሸፍናል ፣ ደንበኛን ለማቆየት የሚያስከፍለው ዋጋ ምን ያህል ነው ፣ በአማራጭ ሞዴሎች ማሰብ ምክንያታዊ ነው ፣ እና በስህተት ሰው ሰራሽ በሆነ መንገድ ከተያዙ ደንበኞች ጋር ምን መደረግ እንዳለበት።
ግብ ቅንብር። ኦፕሬተሮች በመረጃ ቋቱ እንዲበሳጩ የሚያደርጉ ሦስት ዓይነት ከውጤት ጋር የተያያዙ ስህተቶችን አውቃለሁ።
- አቅራቢው በቢግ ዳታ ኢንቨስት ያደርጋል፣ ጊጋባይት መረጃን ያስኬዳል፣ ነገር ግን በርካሽ ሊገኝ የሚችል ውጤት ይቀበላል። ቀላል እቅዶች እና ሞዴሎች, ጥንታዊ ትንታኔዎች ጥቅም ላይ ይውላሉ. ዋጋው ብዙ እጥፍ ከፍ ያለ ነው, ነገር ግን ውጤቱ አንድ ነው.
- ኦፕሬተሩ በውጤቱ ላይ ብዙ ገፅታ ያለው ውሂብ ይቀበላል, ነገር ግን እንዴት እንደሚጠቀሙበት አይረዳም. ትንታኔዎች አሉ - እዚህ ፣ ለመረዳት የሚቻል እና ሰፊ ነው ፣ ግን ከእሱ ምንም ስሜት የለም። የመጨረሻው ውጤት አልታሰበም, እሱም "መረጃውን የማካሄድ" ግብን ማካተት አይችልም. ማቀነባበር በቂ አይደለም - ትንታኔዎች የንግድ ሂደቶችን ለማዘመን መሰረት መሆን አለባቸው.
- የBigData Analytics አጠቃቀም እንቅፋት ጊዜ ያለፈበት የንግድ ሂደቶች እና ለአዳዲስ ዓላማዎች የማይመች ሶፍትዌር ሊሆን ይችላል። ይህ ማለት በዝግጅት ደረጃ ላይ ተሳስተዋል - የእርምጃዎችን ስልተ ቀመር እና BigDataን ወደ ሥራ የማስተዋወቅ ደረጃዎችን አላሰቡም ።
ለምን?
ስለ ውጤት መናገር። የቴሌኮም ኦፕሬተሮች ቀድሞውንም እየተጠቀሙበት ያለውን BigData አጠቃቀም እና ገቢ መፍጠር መንገዶችን እቃኛለሁ።
አቅራቢዎች የተመዝጋቢዎችን ፍሰት ብቻ ሳይሆን በመሠረት ጣቢያዎች ላይ ያለውን ጭነት ጭምር ይተነብያሉ።
- ስለ ተመዝጋቢዎች እንቅስቃሴ ፣ እንቅስቃሴ እና ድግግሞሽ አገልግሎቶች መረጃ ተተነተነ። ውጤት፡ የመሠረተ ልማት ችግር ያለባቸውን አካባቢዎች ማመቻቸት እና ማዘመን በመኖሩ ምክንያት ከመጠን በላይ የመጫን ብዛት መቀነስ።
- የቴሌኮም ኦፕሬተሮች የሽያጭ ቦታዎችን በሚከፍቱበት ጊዜ ስለ ተመዝጋቢዎች ጂኦግራፊያዊ አቀማመጥ እና የትራፊክ ጥግግት መረጃን ይጠቀማሉ። ስለዚህ የBigData Analytics አዲስ ቢሮዎች የሚገኙበትን ቦታ ለማቀድ አስቀድሞ በኤምቲኤስ እና ቪምፔልኮም ጥቅም ላይ ውሏል።
- አቅራቢዎች የራሳቸውን ትልቅ ውሂብ ለሶስተኛ ወገን ድርጅቶች በማቅረብ ገቢ ይፈጥራሉ። የBigData ኦፕሬተሮች ዋና ደንበኞች የንግድ ባንኮች ናቸው። በመረጃ ቋቱ በመታገዝ ካርዶቹ የተገናኙበትን የደንበኝነት ተመዝጋቢ ሲም ካርድ አጠራጣሪ እንቅስቃሴዎችን ይከታተላሉ፣ የአደጋ ነጥብ፣ የማረጋገጫ እና የክትትል አገልግሎቶችን ይጠቀማሉ። እ.ኤ.አ. በ 2017 የሞስኮ መንግስት የቴክኒክ እና የትራንስፖርት መሠረተ ልማት ለማቀድ በቢግ ዳታ ከቴሌ 2 መረጃ መሠረት የእንቅስቃሴውን ተለዋዋጭነት ጠይቋል ።
- የBigData Analytics ከፈለጉ እስከ በሺዎች ለሚቆጠሩ የደንበኝነት ተመዝጋቢ ቡድኖች ግላዊ የሆነ የማስታወቂያ ዘመቻ መፍጠር ለሚችሉ ገበያተኞች የወርቅ ማዕድን ነው። የቴሌኮም ኩባንያዎች የማህበራዊ መገለጫዎችን፣ የሸማቾችን ፍላጎቶች እና የተመዝጋቢዎችን ባህሪ ያዋህዳሉ፣ እና አዲስ ደንበኞችን ለመሳብ የተሰበሰበውን BigData ይጠቀማሉ። ነገር ግን ለትላልቅ ማስተዋወቂያ እና PR እቅድ ፣የሂሳብ አከፋፈል ሁል ጊዜ በቂ ተግባር አይኖረውም-ፕሮግራሙ በተመሳሳይ ጊዜ ስለ ደንበኞች ዝርዝር መረጃ ጋር በትይዩ ብዙ ነገሮችን ግምት ውስጥ ማስገባት አለበት።
አንድ ሰው አሁንም BigDataን እንደ ባዶ ሐረግ ቢቆጥርም፣ ቢግ አራቱም ቀድሞውንም ገንዘብ እያገኙበት ነው። MTS በስድስት ወራት ውስጥ ትላልቅ መረጃዎችን በማዘጋጀት 14 ቢሊዮን ሩብል ያገኘ ሲሆን ቴሌ 2 ደግሞ ከፕሮጀክቶች የሚገኘውን ገቢ በሶስት ተኩል ጊዜ ጨምሯል። BigData ከአዝማሚያ ወደ የግድ እየተለወጠ ነው፣ በዚህ ስር አጠቃላይ የቴሌኮም ኦፕሬተሮች መዋቅር እንደገና ይገነባል።
ምንጭ: hab.com