બિગ ડેટા બિગ બિલિંગ: ટેલિકોમમાં બિગડેટા વિશે

2008 માં, BigData એક નવો શબ્દ અને ફેશનેબલ ટ્રેન્ડ હતો. 2019 માં, BigData એ વેચાણનો એક પદાર્થ છે, નફાનો સ્ત્રોત છે અને નવા બિલ માટેનું કારણ છે.

ગયા પાનખરમાં, રશિયન સરકારે મોટા ડેટાને નિયંત્રિત કરવા માટે એક બિલ શરૂ કર્યું. માહિતી પરથી વ્યક્તિઓને ઓળખી શકાતી નથી, પરંતુ ફેડરલ સત્તાવાળાઓની વિનંતી પર તે કરી શકે છે. તૃતીય પક્ષો માટે બિગડેટાની પ્રક્રિયા માત્ર Roskomnadzor ની સૂચના પછી જ થાય છે. 100 હજારથી વધુ નેટવર્ક એડ્રેસ ધરાવતી કંપનીઓ કાયદા હેઠળ આવે છે. અને, અલબત્ત, આપણે રજિસ્ટ્રી વિના ક્યાં હોઈશું? તે ડેટાબેઝ ઓપરેટરોની સૂચિ સાથે એક બનાવવાનું માનવામાં આવે છે. અને જો આ પહેલા બિગડેટાને દરેક વ્યક્તિએ ગંભીરતાથી ન લીધું હોય, તો હવે તેને ધ્યાનમાં લેવું પડશે.

હું, બિલિંગ ડેવલપર કંપનીના ડિરેક્ટર તરીકે, જે આ ખૂબ જ મોટા ડેટા પર પ્રક્રિયા કરે છે, ડેટાબેઝને અવગણી શકતો નથી. હું ટેલિકોમ ઓપરેટર્સના પ્રિઝમ દ્વારા મોટા ડેટા વિશે વિચારીશ, જેની બિલિંગ સિસ્ટમ્સ દ્વારા દરરોજ હજારો સબ્સ્ક્રાઇબર્સ વિશેની માહિતીનો પ્રવાહ પસાર થાય છે.

પ્રમેય

ચાલો, ગણિતની સમસ્યાની જેમ શરૂ કરીએ: પહેલા આપણે સાબિત કરીએ છીએ કે ટેલિકોમ ઓપરેટર્સના ડેટાને BigDat કહી શકાય. સામાન્ય રીતે, મોટા ડેટાને ત્રણ VVV લાક્ષણિકતાઓ દ્વારા વર્ગીકૃત કરવામાં આવે છે, જોકે મફત અર્થઘટનમાં "Vs" ની સંખ્યા સાત સુધી પહોંચી છે.

વોલ્યુમ. Rostelecom ના MVNO એકલા એક મિલિયન કરતાં વધુ સબ્સ્ક્રાઇબર્સને સેવા આપે છે. કી હોસ્ટ ઓપરેટરો 44 થી 78 મિલિયન લોકો માટે ડેટા હેન્ડલ કરે છે. ટ્રાફિક દર સેકન્ડે વધી રહ્યો છે: 2019 ના પ્રથમ ક્વાર્ટરમાં, સબ્સ્ક્રાઇબર્સ પહેલેથી જ મોબાઇલ ફોન્સથી 3,3 બિલિયન GB એક્સેસ કરી ચૂક્યા છે.

વેગ. આંકડા કરતાં વધુ સારી ગતિશીલતા વિશે તમને કોઈ કહી શકશે નહીં, તેથી હું સિસ્કોની આગાહીઓમાંથી પસાર થઈશ. 2021 સુધીમાં, 20% IP ટ્રાફિક મોબાઇલ ટ્રાફિકમાં જશે - તે પાંચ વર્ષમાં લગભગ ત્રણ ગણો થશે. મોબાઇલ કનેક્શનનો ત્રીજો ભાગ M2M હશે - IoTના વિકાસથી કનેક્શન્સમાં છ ગણો વધારો થશે. વસ્તુઓનું ઇન્ટરનેટ માત્ર નફાકારક જ નહીં, પણ સંસાધન-સઘન પણ બનશે, તેથી કેટલાક ઓપરેટરો ફક્ત તેના પર ધ્યાન કેન્દ્રિત કરશે. અને જેઓ IoT ને અલગ સેવા તરીકે વિકસાવશે તેઓને બમણો ટ્રાફિક પ્રાપ્ત થશે.

વિવિધતા. વિવિધતા એ વ્યક્તિલક્ષી ખ્યાલ છે, પરંતુ ટેલિકોમ ઓપરેટરો ખરેખર તેમના સબ્સ્ક્રાઇબર્સ વિશે લગભગ બધું જ જાણે છે. નામ અને પાસપોર્ટ વિગતોથી લઈને ફોન મોડેલ, ખરીદીઓ, મુલાકાત લીધેલ સ્થળો અને રુચિઓ. યારોવાયા કાયદા અનુસાર, મીડિયા ફાઇલો છ મહિના માટે સંગ્રહિત થાય છે. તો ચાલો તેને સ્વયંસિદ્ધ તરીકે લઈએ કે એકત્રિત કરવામાં આવેલ ડેટા વૈવિધ્યસભર છે.

સૉફ્ટવેર અને પદ્ધતિ

પ્રદાતાઓ બિગડેટાના મુખ્ય ઉપભોક્તાઓમાંના એક છે, તેથી મોટાભાગની મોટી ડેટા વિશ્લેષણ તકનીકો ટેલિકોમ ઉદ્યોગને લાગુ પડે છે. બીજો પ્રશ્ન એ છે કે ML, AI, ડીપ લર્નિંગના વિકાસમાં રોકાણ કરવા, ડેટા સેન્ટર્સ અને ડેટા માઇનિંગમાં રોકાણ કરવા કોણ તૈયાર છે. ડેટાબેઝ સાથેના સંપૂર્ણ કાર્યમાં ઇન્ફ્રાસ્ટ્રક્ચર અને એક ટીમનો સમાવેશ થાય છે, જેનો ખર્ચ દરેક વ્યક્તિ પરવડી શકે તેમ નથી. જે એન્ટરપ્રાઈઝ પહેલાથી જ કોર્પોરેટ વેરહાઉસ ધરાવે છે અથવા ડેટા ગવર્નન્સ પદ્ધતિ વિકસાવી રહ્યા છે તેઓએ BigData પર દાવ લગાવવો જોઈએ. જેઓ હજુ સુધી લાંબા ગાળાના રોકાણ માટે તૈયાર નથી, હું તમને ધીમે ધીમે સોફ્ટવેર આર્કિટેક્ચર બનાવવા અને એક પછી એક ઘટકો ઇન્સ્ટોલ કરવાની સલાહ આપું છું. તમે છેલ્લા માટે ભારે મોડ્યુલો અને Hadoop છોડી શકો છો. ડેટા ક્વોલિટી અને ડેટા માઇનિંગ જેવી સમસ્યાઓ માટે બહુ ઓછા લોકો તૈયાર સોલ્યુશન ખરીદે છે; કંપનીઓ સામાન્ય રીતે સિસ્ટમને તેમની ચોક્કસ જરૂરિયાતો અને જરૂરિયાતો અનુસાર કસ્ટમાઇઝ કરે છે - પોતે અથવા ડેવલપર્સની મદદથી.

પરંતુ BigData સાથે કામ કરવા માટે દરેક બિલિંગમાં ફેરફાર કરી શકાતા નથી. અથવા બદલે, માત્ર બધું જ સુધારી શકાતું નથી. બહુ ઓછા લોકો આ કરી શકે છે.

ત્રણ સંકેતો કે બિલિંગ સિસ્ટમને ડેટાબેઝ પ્રોસેસિંગ ટૂલ બનવાની તક છે:

• આડી માપનીયતા. સૉફ્ટવેર લવચીક હોવું જોઈએ - અમે મોટા ડેટા વિશે વાત કરી રહ્યા છીએ. માહિતીના જથ્થામાં વધારો ક્લસ્ટરમાં હાર્ડવેરમાં પ્રમાણસર વધારો દ્વારા ગણવામાં આવવો જોઈએ.
• સહનશીલતા દોષ. ગંભીર પ્રીપેઇડ સિસ્ટમો સામાન્ય રીતે ડિફોલ્ટ રૂપે ખામી-સહિષ્ણુ હોય છે: બિલિંગને ક્લસ્ટરમાં વિવિધ ભૌગોલિક સ્થાનોમાં જમાવવામાં આવે છે જેથી તેઓ આપમેળે એકબીજાને વીમો આપે. એક અથવા વધુ નિષ્ફળ જવાના કિસ્સામાં Hadoop ક્લસ્ટરમાં પૂરતા કમ્પ્યુટર્સ પણ હોવા જોઈએ.
• સ્થાનિકતા. ડેટા એક સર્વર પર સંગ્રહિત અને પ્રક્રિયા થવો આવશ્યક છે, અન્યથા તમે ડેટા ટ્રાન્સફર પર બ્રેક કરી શકો છો. લોકપ્રિય નકશા-ઘટાડો અભિગમ યોજનાઓમાંની એક: HDFS સ્ટોર્સ, સ્પાર્ક પ્રક્રિયાઓ. આદર્શ રીતે, સૉફ્ટવેર ડેટા સેન્ટર ઇન્ફ્રાસ્ટ્રક્ચરમાં એકીકૃત રીતે એકીકૃત થવું જોઈએ અને એકમાં ત્રણ વસ્તુઓ કરવા સક્ષમ હોવું જોઈએ: માહિતી એકત્રિત કરો, ગોઠવો અને તેનું વિશ્લેષણ કરો.

ટીમ

શું, કેવી રીતે અને કયા હેતુ માટે પ્રોગ્રામ મોટા ડેટા પર પ્રક્રિયા કરશે તે ટીમ દ્વારા નક્કી કરવામાં આવે છે. ઘણીવાર તેમાં એક વ્યક્તિનો સમાવેશ થાય છે - એક ડેટા વૈજ્ઞાનિક. જોકે, મારા મતે, બિગ ડેટા માટે કર્મચારીઓના ન્યૂનતમ પેકેજમાં પ્રોડક્ટ મેનેજર, ડેટા એન્જિનિયર અને મેનેજરનો પણ સમાવેશ થાય છે. પ્રથમ વ્યક્તિ સેવાઓને સમજે છે, તકનીકી ભાષાને માનવ ભાષામાં અનુવાદિત કરે છે અને ઊલટું. ડેટા એન્જીનીયર Java/Scala નો ઉપયોગ કરીને અને મશીન લર્નિંગ સાથેના પ્રયોગોને જીવંત બનાવે છે. મેનેજર સંકલન કરે છે, લક્ષ્યો નક્કી કરે છે અને તબક્કાઓને નિયંત્રિત કરે છે.

સમસ્યાઓ

તે BigData ટીમના ભાગ પર છે કે સામાન્ય રીતે ડેટા એકત્રિત કરતી વખતે અને પ્રક્રિયા કરતી વખતે સમસ્યાઓ ઊભી થાય છે. પ્રોગ્રામને સમજાવવાની જરૂર છે કે શું એકત્રિત કરવું અને તેની પ્રક્રિયા કેવી રીતે કરવી - આ સમજાવવા માટે, તમારે પહેલા તેને જાતે સમજવાની જરૂર છે. પરંતુ પ્રદાતાઓ માટે, વસ્તુઓ એટલી સરળ નથી. હું સબ્સ્ક્રાઇબર મંથન ઘટાડવાના કાર્યના ઉદાહરણનો ઉપયોગ કરીને સમસ્યાઓ વિશે વાત કરી રહ્યો છું - આ તે છે જે ટેલિકોમ ઓપરેટરો પ્રથમ સ્થાને બિગ ડેટાની મદદથી હલ કરવાનો પ્રયાસ કરી રહ્યા છે.

ગોલ સેટ કરી રહ્યા છીએ. સારી રીતે લખેલી ટેકનિકલ વિશિષ્ટતાઓ અને શબ્દોની વિવિધ સમજણ એ માત્ર ફ્રીલાન્સર્સ માટે જ નહીં, સદીઓથી જૂની પીડા છે. "છોડી ગયેલા" સબ્સ્ક્રાઇબર્સને પણ અલગ અલગ રીતે અર્થઘટન કરી શકાય છે - જેમ કે જેમણે એક મહિના, છ મહિના અથવા એક વર્ષ સુધી ઑપરેટરની સેવાઓનો ઉપયોગ કર્યો નથી. અને ઐતિહાસિક ડેટાના આધારે MVP બનાવવા માટે, તમારે મંથનમાંથી સબ્સ્ક્રાઇબર્સના વળતરની આવર્તનને સમજવાની જરૂર છે - જેમણે અન્ય ઓપરેટરોનો પ્રયાસ કર્યો અથવા શહેર છોડી દીધું અને અલગ નંબરનો ઉપયોગ કર્યો. બીજો મહત્વનો પ્રશ્ન: સબ્સ્ક્રાઇબરને છોડવાની અપેક્ષા કેટલા સમય પહેલા પ્રદાતાએ આ નક્કી કરીને પગલાં લેવા જોઈએ? છ મહિના ખૂબ વહેલા છે, એક અઠવાડિયું ઘણું મોડું છે.

વિભાવનાઓનું અવેજી. સામાન્ય રીતે, ઓપરેટરો ફોન નંબર દ્વારા ક્લાયન્ટને ઓળખે છે, તેથી તે તાર્કિક છે કે તેનો ઉપયોગ કરીને ચિહ્નો અપલોડ કરવા જોઈએ. તમારા વ્યક્તિગત ખાતા અથવા સેવા એપ્લિકેશન નંબર વિશે શું? તે નક્કી કરવું જરૂરી છે કે કયું એકમ ક્લાયંટ તરીકે લેવું જોઈએ જેથી ઓપરેટરની સિસ્ટમમાં ડેટા બદલાય નહીં. ક્લાયંટના મૂલ્યનું મૂલ્યાંકન કરવું એ પણ શંકાસ્પદ છે - કયો ગ્રાહક કંપની માટે વધુ મૂલ્યવાન છે, કયા વપરાશકર્તાને જાળવી રાખવા માટે વધુ પ્રયત્નોની જરૂર છે, અને કયા કોઈ પણ સંજોગોમાં "પડશે" અને તેના પર સંસાધનો ખર્ચવાનો કોઈ અર્થ નથી.

માહિતીનો અભાવ. બધા પ્રદાતા કર્મચારીઓ બીગડેટા ટીમને સમજાવવામાં સક્ષમ નથી કે ખાસ કરીને સબસ્ક્રાઇબર મંથનને શું અસર કરે છે અને બિલિંગમાં કેવી રીતે સંભવિત પરિબળોની ગણતરી કરવામાં આવે છે. જો તેઓએ તેમાંના એકનું નામ રાખ્યું હોય તો પણ - ARPU - તે તારણ આપે છે કે તેની ગણતરી જુદી જુદી રીતે કરી શકાય છે: કાં તો સમયાંતરે ક્લાયંટની ચૂકવણી દ્વારા અથવા સ્વચાલિત બિલિંગ શુલ્ક દ્વારા. અને કામની પ્રક્રિયામાં, લાખો અન્ય પ્રશ્નો ઉભા થાય છે. શું મોડેલ તમામ ક્લાયન્ટ્સને આવરી લે છે, ક્લાયન્ટને જાળવી રાખવાની કિંમત શું છે, શું વૈકલ્પિક મોડલ્સ દ્વારા વિચારવાનો કોઈ મુદ્દો છે, અને જે ક્લાયન્ટને ભૂલથી કૃત્રિમ રીતે જાળવી રાખવામાં આવ્યા છે તેમની સાથે શું કરવું.

ધ્યેય સેટિંગ. હું ત્રણ પ્રકારની પરિણામ ભૂલો વિશે જાણું છું જેના કારણે ઓપરેટરો ડેટાબેઝથી હતાશ થઈ જાય છે.

1. પ્રદાતા બિગડેટામાં રોકાણ કરે છે, ગીગાબાઇટ્સ માહિતીની પ્રક્રિયા કરે છે, પરંતુ તે પરિણામ મેળવે છે જે સસ્તું મેળવી શકાયું હોત. સરળ આકૃતિઓ અને મોડેલો, આદિમ એનાલિટિક્સનો ઉપયોગ થાય છે. કિંમત ઘણી ગણી વધારે છે, પરંતુ પરિણામ સમાન છે.
2. ઓપરેટર આઉટપુટ તરીકે બહુપક્ષીય ડેટા મેળવે છે, પરંતુ તેનો ઉપયોગ કેવી રીતે કરવો તે સમજાતું નથી. વિશ્લેષણ છે - અહીં તે સમજી શકાય તેવું અને વિશાળ છે, પરંતુ તેનો કોઈ ઉપયોગ નથી. અંતિમ પરિણામ, જેમાં "ડેટા પ્રોસેસિંગ" ના ધ્યેયનો સમાવેશ કરી શકાતો નથી, તેના પર વિચાર કરવામાં આવ્યો નથી. પ્રક્રિયા કરવા માટે તે પૂરતું નથી - વિશ્લેષણો વ્યવસાય પ્રક્રિયાઓને અપડેટ કરવા માટેનો આધાર બનવો જોઈએ.
3. બિગડેટા એનાલિટિક્સના ઉપયોગમાં અવરોધો જૂની વ્યવસાય પ્રક્રિયાઓ અને નવા હેતુઓ માટે અયોગ્ય સોફ્ટવેર હોઈ શકે છે. આનો અર્થ એ છે કે તેઓએ તૈયારીના તબક્કે ભૂલ કરી હતી - તેઓએ ક્રિયાઓના અલ્ગોરિધમ અને બિગ ડેટાને કાર્યમાં દાખલ કરવાના તબક્કાઓ દ્વારા વિચાર્યું ન હતું.

કેમ

પરિણામો વિશે બોલતા. હું બિગ ડેટાના ઉપયોગ અને મુદ્રીકરણની રીતો પર જઈશ જેનો ટેલિકોમ ઓપરેટરો પહેલેથી ઉપયોગ કરી રહ્યાં છે.
પ્રદાતાઓ માત્ર સબ્સ્ક્રાઇબર્સના આઉટફ્લોની જ નહીં, પણ બેઝ સ્ટેશનો પરના ભારની પણ આગાહી કરે છે.

1. સબ્સ્ક્રાઇબરની હિલચાલ, પ્રવૃત્તિ અને આવર્તન સેવાઓ વિશેની માહિતીનું વિશ્લેષણ કરવામાં આવે છે. પરિણામ: ઈન્ફ્રાસ્ટ્રક્ચરના સમસ્યારૂપ વિસ્તારોના ઑપ્ટિમાઇઝેશન અને આધુનિકીકરણને કારણે ઓવરલોડની સંખ્યામાં ઘટાડો.
2. ટેલિકોમ ઓપરેટરો વેચાણના બિંદુઓ ખોલતી વખતે ગ્રાહકોના ભૌગોલિક સ્થાન અને ટ્રાફિકની ઘનતા વિશેની માહિતીનો ઉપયોગ કરે છે. આમ, બિગડેટા એનાલિટિક્સનો ઉપયોગ MTS અને VimpelCom દ્વારા નવી ઑફિસના સ્થાનની યોજના માટે પહેલેથી જ કરવામાં આવે છે.
3. પ્રદાતાઓ તેમના પોતાના મોટા ડેટાને તૃતીય પક્ષોને ઓફર કરીને મુદ્રીકરણ કરે છે. બિગડેટા ઓપરેટરોના મુખ્ય ગ્રાહકો કોમર્શિયલ બેંકો છે. ડેટાબેઝનો ઉપયોગ કરીને, તેઓ સબ્સ્ક્રાઇબરના સિમ કાર્ડની શંકાસ્પદ પ્રવૃત્તિઓ પર નજર રાખે છે કે જેની સાથે કાર્ડ્સ જોડાયેલા છે, અને જોખમ સ્કોરિંગ, વેરિફિકેશન અને મોનિટરિંગ સેવાઓનો ઉપયોગ કરે છે. અને 2017 માં, મોસ્કો સરકારે ટેક્નિકલ અને ટ્રાન્સપોર્ટ ઇન્ફ્રાસ્ટ્રક્ચરની યોજના બનાવવા માટે Tele2 ના BigData ડેટાના આધારે ચળવળની ગતિશીલતાની વિનંતી કરી.
4. બિગડેટા એનાલિટિક્સ એ માર્કેટર્સ માટે સોનાની ખાણ છે, જેઓ પસંદ કરે તો હજારો સબ્સ્ક્રાઇબર જૂથો માટે વ્યક્તિગત જાહેરાત ઝુંબેશ બનાવી શકે છે. ટેલિકોમ કંપનીઓ સામાજિક પ્રોફાઇલ્સ, ઉપભોક્તા રુચિઓ અને સબ્સ્ક્રાઇબર્સની વર્તણૂકીય પેટર્નને એકીકૃત કરે છે અને પછી નવા ગ્રાહકોને આકર્ષવા માટે એકત્રિત બિગડેટાનો ઉપયોગ કરે છે. પરંતુ મોટા પાયે પ્રમોશન અને PR આયોજન માટે, બિલિંગમાં હંમેશા પૂરતી કાર્યક્ષમતા હોતી નથી: પ્રોગ્રામે ગ્રાહકો વિશે વિગતવાર માહિતી સાથે સમાંતર ઘણા પરિબળોને એકસાથે ધ્યાનમાં લેવા જોઈએ.

જ્યારે કેટલાક હજુ પણ બિગડેટાને ખાલી શબ્દસમૂહ માને છે, બિગ ફોર પહેલેથી જ તેના પર પૈસા કમાઈ રહ્યા છે. MTS છ મહિનામાં મોટા ડેટા પ્રોસેસિંગમાંથી 14 બિલિયન રુબેલ્સ કમાય છે, અને Tele2 પ્રોજેક્ટ્સમાંથી સાડા ત્રણ ગણી આવકમાં વધારો કરે છે. બિગડેટા એક ટ્રેન્ડમાંથી હોવું આવશ્યક બની રહ્યું છે, જેના હેઠળ ટેલિકોમ ઓપરેટર્સનું સંપૂર્ણ માળખું ફરીથી બનાવવામાં આવશે.

સોર્સ: www.habr.com