ડેટા ગવર્નન્સ ઇન-હાઉસ

હે હબર!

ડેટા એ કંપનીની સૌથી મૂલ્યવાન સંપત્તિ છે. ડિજિટલ ફોકસ ધરાવતી લગભગ દરેક કંપની આ જાહેર કરે છે. આની સાથે દલીલ કરવી મુશ્કેલ છે: ડેટાના સંચાલન, સંગ્રહ અને પ્રક્રિયાના અભિગમોની ચર્ચા કર્યા વિના એક પણ મોટી IT કોન્ફરન્સ યોજવામાં આવતી નથી.

ડેટા આપણી પાસે બહારથી આવે છે, તે કંપનીની અંદર પણ જનરેટ થાય છે, અને જો આપણે ટેલિકોમ કંપનીના ડેટા વિશે વાત કરીએ, તો આંતરિક કર્મચારીઓ માટે આ ક્લાયંટ, તેની રુચિઓ, ટેવો અને સ્થાન વિશેની માહિતીનો ભંડાર છે. યોગ્ય રૂપરેખા અને વિભાજન સાથે, જાહેરાત ઓફર સૌથી અસરકારક છે. જો કે, વ્યવહારમાં, બધું એટલું રોઝી નથી. કંપનીઓ જે ડેટા સ્ટોર કરે છે તે નિરાશાજનક રીતે જૂનો, નિરર્થક, પુનરાવર્તિત હોઈ શકે છે અથવા તેનું અસ્તિત્વ વપરાશકર્તાઓના એક સાંકડા વર્તુળ સિવાય અન્ય કોઈને અજાણ છે. ¯_(ツ)_/¯

એક શબ્દમાં, ડેટાને અસરકારક રીતે સંચાલિત કરવું આવશ્યક છે - તો જ તે એક એવી સંપત્તિ બનશે જે વ્યવસાયમાં વાસ્તવિક લાભો અને નફો લાવે છે. કમનસીબે, ડેટા મેનેજમેન્ટ સમસ્યાઓ ઉકેલવા માટે ઘણી બધી જટિલતાઓને દૂર કરવી જરૂરી છે. તેઓ મુખ્યત્વે પ્રણાલીઓના "પ્રાણીસંગ્રહાલયો" ના સ્વરૂપમાં ઐતિહાસિક વારસો અને તેમના સંચાલન માટે એકીકૃત પ્રક્રિયાઓ અને અભિગમોના અભાવને કારણે છે. પરંતુ "ડેટા સંચાલિત" હોવાનો અર્થ શું છે?

આ તે જ છે જેના વિશે આપણે કટ હેઠળ વાત કરીશું, તેમજ ઓપનસોર્સ સ્ટેકએ અમને કેવી રીતે મદદ કરી.

વ્યૂહાત્મક ડેટા મેનેજમેન્ટ ડેટા ગવર્નન્સ (ડીજી) ની વિભાવના પહેલાથી જ રશિયન બજારમાં ખૂબ જાણીતી છે, અને તેના અમલીકરણના પરિણામે વ્યવસાય દ્વારા પ્રાપ્ત લક્ષ્યો સ્પષ્ટ અને સ્પષ્ટ રીતે જાહેર કરવામાં આવ્યા છે. અમારી કંપની કોઈ અપવાદ ન હતી અને ડેટા મેનેજમેન્ટની વિભાવના રજૂ કરવાનું કાર્ય પોતે સેટ કર્યું હતું.

તો આપણે ક્યાંથી શરૂઆત કરી? શરૂઆતમાં, અમે અમારા માટે મુખ્ય લક્ષ્યો બનાવ્યા:

1. અમારો ડેટા સુલભ રાખો.
2. ડેટા જીવનચક્રની પારદર્શિતાની ખાતરી કરો.
3. કંપનીના વપરાશકર્તાઓને સતત, સુસંગત ડેટા પ્રદાન કરો.
4. કંપનીના વપરાશકર્તાઓને ચકાસાયેલ ડેટા પ્રદાન કરો.

આજે, સોફ્ટવેર માર્કેટ પર એક ડઝન ડેટા ગવર્નન્સ ક્લાસ ટૂલ્સ છે.

પરંતુ ઉકેલોના વિગતવાર વિશ્લેષણ અને અભ્યાસ પછી, અમે અમારા માટે સંખ્યાબંધ ટીકાત્મક ટિપ્પણીઓ રેકોર્ડ કરી:

• મોટાભાગના ઉત્પાદકો ઉકેલોનો વ્યાપક સમૂહ ઓફર કરે છે, જે અમારા માટે બિનજરૂરી છે અને હાલની કાર્યક્ષમતાને ડુપ્લિકેટ કરે છે. ઉપરાંત, સંસાધનોની દ્રષ્ટિએ ખર્ચાળ, વર્તમાન IT લેન્ડસ્કેપમાં એકીકરણ.
• કાર્યક્ષમતા અને ઇન્ટરફેસ ટેક્નોલોજિસ્ટ્સ માટે ડિઝાઇન કરવામાં આવ્યા છે, વ્યવસાયના અંતિમ વપરાશકર્તાઓ માટે નહીં.
• ઉત્પાદનોનો નીચો અસ્તિત્વ દર અને રશિયન બજાર પર સફળ અમલીકરણનો અભાવ.
• સૉફ્ટવેરની ઊંચી કિંમત અને વધુ સપોર્ટ.

રશિયન કંપનીઓ માટે સૉફ્ટવેરની આયાત અવેજીમાં ઉપરોક્ત માપદંડો અને ભલામણોએ અમને ઓપનસોર્સ સ્ટેક પર અમારા પોતાના વિકાસ તરફ આગળ વધવા માટે ખાતરી આપી. અમે જે પ્લેટફોર્મ પસંદ કર્યું હતું તે Django હતું, જે પાયથોનમાં લખાયેલું ફ્રી અને ઓપન સોર્સ ફ્રેમવર્ક હતું. અને આ રીતે અમે મુખ્ય મોડ્યુલો ઓળખ્યા છે જે ઉપર જણાવેલ લક્ષ્યોમાં યોગદાન આપશે:

1. અહેવાલોની નોંધણી.
2. વ્યવસાય શબ્દકોષ.
3. તકનીકી પરિવર્તનનું વર્ણન કરવા માટેનું મોડ્યુલ.
4. સ્ત્રોતથી BI ટૂલ સુધીના ડેટા જીવન ચક્રનું વર્ણન કરવા માટેનું મોડ્યુલ.
5. ડેટા ગુણવત્તા નિયંત્રણ મોડ્યુલ.

અહેવાલોની નોંધણી

મોટી કંપનીઓમાં આંતરિક અભ્યાસના પરિણામો અનુસાર, ડેટા-સંબંધિત સમસ્યાઓ હલ કરતી વખતે, કર્મચારીઓ તેમનો 40-80% સમય તેમને શોધવામાં વિતાવે છે. તેથી, અમે અમારી જાતને હાલના અહેવાલો વિશે ખુલ્લી માહિતી બનાવવાનું કાર્ય સેટ કર્યું છે જે અગાઉ ફક્ત ગ્રાહકો માટે ઉપલબ્ધ હતા. આમ, અમે નવા રિપોર્ટ્સ જનરેટ કરવા માટેનો સમય ઘટાડીએ છીએ અને ડેટાના લોકશાહીકરણની ખાતરી કરીએ છીએ.

રિપોર્ટિંગ રજિસ્ટર વિવિધ પ્રદેશો, વિભાગો અને વિભાગોના આંતરિક વપરાશકર્તાઓ માટે સિંગલ રિપોર્ટિંગ વિન્ડો બની ગયું છે. તે કંપનીના અનેક કોર્પોરેટ રિપોઝીટરીઝમાં બનાવેલી માહિતી સેવાઓ પરની માહિતીને એકીકૃત કરે છે, અને તેમાંની ઘણી રોસ્ટેલિકોમમાં છે.

પરંતુ રજિસ્ટ્રી એ વિકસિત અહેવાલોની માત્ર સૂકી સૂચિ નથી. દરેક રિપોર્ટ માટે, અમે વપરાશકર્તાને તેની સાથે પોતાને પરિચિત કરવા માટે જરૂરી માહિતી પ્રદાન કરીએ છીએ:

• અહેવાલનું સંક્ષિપ્ત વર્ણન;
• માહિતીની ઉપલબ્ધતાની ઊંડાઈ;
• ગ્રાહક વિભાગ;
• વિઝ્યુલાઇઝેશન ટૂલ;
• કોર્પોરેટ સ્ટોરેજનું નામ;
• વ્યવસાય કાર્યાત્મક આવશ્યકતાઓ;
• અહેવાલની લિંક;
• ઍક્સેસ માટે એપ્લિકેશનની લિંક;
• અમલીકરણ સ્થિતિ.

અહેવાલો માટે વપરાશ સ્તરના વિશ્લેષણો ઉપલબ્ધ છે, અને અનન્ય વપરાશકર્તાઓની સંખ્યાના આધારે લોગ વિશ્લેષણના આધારે અહેવાલોને સૂચિમાં ટોચ પર ક્રમાંકિત કરવામાં આવે છે. અને તે નથી. સામાન્ય લાક્ષણિકતાઓ ઉપરાંત, અમે મૂલ્યો અને ગણતરી પદ્ધતિઓના ઉદાહરણો સાથે અહેવાલોની વિશેષતા રચનાનું વિગતવાર વર્ણન પણ પ્રદાન કર્યું છે. આવી વિગતો તરત જ વપરાશકર્તાને જવાબ આપે છે કે રિપોર્ટ તેના માટે ઉપયોગી છે કે નહીં.

આ મોડ્યુલનો વિકાસ ડેટાના લોકશાહીકરણમાં એક મહત્વપૂર્ણ પગલું હતું અને જરૂરી માહિતી શોધવામાં લાગતા સમયને નોંધપાત્ર રીતે ઘટાડી દીધો હતો. શોધ સમય ઘટાડવા ઉપરાંત, પરામર્શ પ્રદાન કરવા માટે સપોર્ટ ટીમને વિનંતીઓની સંખ્યામાં પણ ઘટાડો થયો છે. વિવિધ માળખાકીય એકમો માટે ડુપ્લિકેટ અહેવાલોના વિકાસને અટકાવીને - અમે અહેવાલોના એકીકૃત રજિસ્ટર વિકસાવીને પ્રાપ્ત કરેલા અન્ય ઉપયોગી પરિણામની નોંધ લેવી અશક્ય છે.

વ્યવસાય શબ્દકોષ

તમે બધા જાણો છો કે એક જ કંપનીમાં પણ, વ્યવસાયો વિવિધ ભાષાઓ બોલે છે. હા, તેઓ સમાન શબ્દોનો ઉપયોગ કરે છે, પરંતુ તેનો અર્થ સંપૂર્ણપણે અલગ વસ્તુઓ છે. આ સમસ્યાને ઉકેલવા માટે બિઝનેસ ગ્લોસરી બનાવવામાં આવી છે.

અમારા માટે, બિઝનેસ ગ્લોસરી એ માત્ર શરતો અને ગણતરી પદ્ધતિના વર્ણન સાથેની એક સંદર્ભ પુસ્તક નથી. પરિભાષા વિકસાવવા, સંમત થવા અને મંજૂર કરવા, શરતો અને કંપનીની અન્ય માહિતી અસ્કયામતો વચ્ચે સંબંધો બાંધવા માટે આ સંપૂર્ણ સુવિધાયુક્ત વાતાવરણ છે. બિઝનેસ ગ્લોસરી દાખલ કરતા પહેલા, એક શબ્દ બિઝનેસ ગ્રાહકો અને ડેટા ગુણવત્તા કેન્દ્ર સાથે મંજૂરીના તમામ તબક્કામાંથી પસાર થવો જોઈએ. આ પછી જ તે ઉપયોગ માટે ઉપલબ્ધ થશે.

જેમ મેં ઉપર લખ્યું છે તેમ, આ ટૂલની વિશિષ્ટતા એ છે કે તે વ્યવસાયિક શબ્દના સ્તરથી ચોક્કસ વપરાશકર્તા અહેવાલો કે જેમાં તેનો ઉપયોગ થાય છે, તેમજ ભૌતિક ડેટાબેઝ ઑબ્જેક્ટ્સના સ્તર સાથે જોડાણની મંજૂરી આપે છે.

રજિસ્ટ્રી રિપોર્ટ્સના વિગતવાર વર્ણન અને ભૌતિક ડેટાબેઝ ઑબ્જેક્ટ્સના વર્ણનમાં શબ્દાવલિ શબ્દ ઓળખકર્તાઓના ઉપયોગ દ્વારા આ શક્ય બન્યું છે.

હાલમાં, ગ્લોસરીમાં 4000 થી વધુ શરતો વ્યાખ્યાયિત કરવામાં આવી છે અને તેના પર સંમત થયા છે. તેનો ઉપયોગ કંપનીની માહિતી પ્રણાલીઓમાં ફેરફારો માટે આવનારી વિનંતીઓની પ્રક્રિયાને સરળ અને ઝડપી બનાવે છે. જો જરૂરી સૂચક પહેલાથી જ કોઈપણ અહેવાલમાં લાગુ કરવામાં આવે છે, તો વપરાશકર્તા તરત જ તૈયાર અહેવાલોનો સમૂહ જોશે જ્યાં આ સૂચકનો ઉપયોગ કરવામાં આવ્યો છે, અને તે પ્રવર્તમાન કાર્યક્ષમતાના અસરકારક પુનઃઉપયોગ અથવા તેના ન્યૂનતમ ફેરફાર અંગે નિર્ણય લેવા માટે સક્ષમ હશે. નવા અહેવાલના વિકાસ માટે નવી વિનંતીઓ.

તકનીકી પરિવર્તન અને ડેટાલાઇનેજનું વર્ણન કરવા માટેનું મોડ્યુલ

આ મોડ્યુલો શું છે, તમે પૂછો છો? ફક્ત રિપોર્ટ રજિસ્ટર અને ગ્લોસરી અમલમાં મૂકવા માટે તે પૂરતું નથી; ભૌતિક ડેટાબેઝ મોડેલ પર તમામ વ્યવસાયિક શરતોને ગ્રાઉન્ડ કરવી પણ જરૂરી છે. આમ, અમે ડેટા વેરહાઉસના તમામ સ્તરો દ્વારા સ્રોત સિસ્ટમ્સથી BI વિઝ્યુલાઇઝેશન સુધીના ડેટા જીવન ચક્રની રચનાની પ્રક્રિયાને પૂર્ણ કરવામાં સક્ષમ હતા. બીજા શબ્દોમાં કહીએ તો, ડેટાલાઇનેજ બનાવો.

અમે ડેટા ટ્રાન્સફોર્મેશનના નિયમો અને તર્કનું વર્ણન કરવા માટે કંપનીમાં અગાઉ ઉપયોગમાં લેવાતા ફોર્મેટના આધારે ઇન્ટરફેસ વિકસાવ્યું છે. પહેલાની જેમ સમાન માહિતી ઇન્ટરફેસ દ્વારા દાખલ કરવામાં આવી છે, પરંતુ વ્યવસાય શબ્દકોષમાંથી ઓળખકર્તા શબ્દની વ્યાખ્યા એક પૂર્વશરત બની ગઈ છે. આ રીતે અમે વ્યવસાય અને ભૌતિક સ્તરો વચ્ચે જોડાણ બનાવીએ છીએ.

કોને તેની જરૂર છે? જૂના ફોર્મેટમાં શું ખોટું હતું કે જેની સાથે તમે ઘણા વર્ષો સુધી કામ કર્યું? જરૂરિયાતો પેદા કરવા માટે શ્રમ ખર્ચમાં કેટલો વધારો થયો છે? સાધનના અમલીકરણ દરમિયાન અમારે આવા પ્રશ્નોનો સામનો કરવો પડ્યો હતો. અહીંના જવાબો એકદમ સરળ છે - અમને આની જરૂર છે, અમારી કંપનીની ડેટા ઑફિસ અને અમારા વપરાશકર્તાઓ.

ખરેખર, કર્મચારીઓને અનુકૂલન કરવું પડ્યું; શરૂઆતમાં, આને કારણે દસ્તાવેજો તૈયાર કરવા માટે મજૂરી ખર્ચમાં થોડો વધારો થયો, પરંતુ અમે આ સમસ્યાને ઉકેલી નાખી. પ્રેક્ટિસ, સમસ્યા વિસ્તારોને ઓળખવા અને ઑપ્ટિમાઇઝ કરીને તેમનું કાર્ય કર્યું છે. અમે મુખ્ય વસ્તુ હાંસલ કરી છે - અમે વિકસિત આવશ્યકતાઓની ગુણવત્તામાં સુધારો કર્યો છે. ફરજિયાત ક્ષેત્રો, એકીકૃત સંદર્ભ પુસ્તકો, ઇનપુટ માસ્ક, બિલ્ટ-ઇન ચેક્સ - આ બધાએ પરિવર્તન વર્ણનની ગુણવત્તામાં નોંધપાત્ર સુધારો કરવાનું શક્ય બનાવ્યું. અમે વિકાસની આવશ્યકતાઓ તરીકે સ્ક્રિપ્ટો સોંપવાની પ્રથાથી દૂર ગયા અને જ્ઞાન વહેંચ્યું જે ફક્ત વિકાસ ટીમને જ ઉપલબ્ધ હતું. જનરેટ કરેલ મેટાડેટા ડેટાબેઝ રીગ્રેસન વિશ્લેષણ કરવા માટે જરૂરી સમયને નોંધપાત્ર રીતે ઘટાડે છે અને IT લેન્ડસ્કેપ (શોકેસ રિપોર્ટ્સ, એગ્રીગેટ્સ, સ્ત્રોતો) ના કોઈપણ સ્તર પર ફેરફારોની અસરનું ઝડપથી મૂલ્યાંકન કરવાની ક્ષમતા પ્રદાન કરે છે.

અહેવાલોના સામાન્ય વપરાશકર્તાઓ સાથે આનો શું સંબંધ છે, તેમના માટે શું ફાયદા છે? DataLineage બનાવવાની ક્ષમતા બદલ આભાર, અમારા વપરાશકર્તાઓ, જેઓ SQL અને અન્ય પ્રોગ્રામિંગ ભાષાઓથી દૂર છે, તેઓ ઝડપથી સ્ત્રોતો અને ઑબ્જેક્ટ્સ વિશે માહિતી મેળવે છે જેના આધારે ચોક્કસ રિપોર્ટ જનરેટ થાય છે.

ડેટા ગુણવત્તા નિયંત્રણ મોડ્યુલ

ડેટાની પારદર્શિતા સુનિશ્ચિત કરવાના સંદર્ભમાં અમે ઉપર જે પણ વાત કરી છે તે બધું એ સમજ્યા વિના મહત્વપૂર્ણ નથી કે અમે વપરાશકર્તાઓને જે ડેટા આપીએ છીએ તે સાચો છે. અમારા ડેટા ગવર્નન્સ કોન્સેપ્ટનું એક મહત્વપૂર્ણ મોડ્યુલ ડેટા ગુણવત્તા નિયંત્રણ મોડ્યુલ છે.

વર્તમાન તબક્કે, આ પસંદગીની સંસ્થાઓ માટેના ચેકની સૂચિ છે. પ્રોડક્ટ ડેવલપમેન્ટ માટેનો તાત્કાલિક ધ્યેય ચેકની સૂચિને વિસ્તૃત કરવાનો અને રિપોર્ટિંગ રજિસ્ટ્રી સાથે એકીકૃત કરવાનો છે.
તે શું આપશે અને કોને આપશે? રજિસ્ટ્રીના અંતિમ વપરાશકર્તાને રિપોર્ટની તૈયારીની આયોજિત અને વાસ્તવિક તારીખો, ગતિશીલતા સાથે પૂર્ણ થયેલ તપાસના પરિણામો અને રિપોર્ટમાં લોડ કરાયેલા સ્ત્રોતો વિશેની માહિતીની ઍક્સેસ હશે.

અમારા માટે, અમારી કાર્ય પ્રક્રિયાઓમાં સંકલિત ડેટા ગુણવત્તા મોડ્યુલ છે:

• ગ્રાહકની અપેક્ષાઓની ત્વરિત રચના.
• ડેટાના વધુ ઉપયોગ અંગે નિર્ણયો લેવા.
• નિયમિત ગુણવત્તા નિયંત્રણોના વિકાસ માટે કામના પ્રારંભિક તબક્કે સમસ્યાના મુદ્દાઓનો પ્રારંભિક સેટ મેળવવો.

અલબત્ત, સંપૂર્ણ ડેટા મેનેજમેન્ટ પ્રક્રિયાના નિર્માણમાં આ પ્રથમ પગલાં છે. પરંતુ અમને વિશ્વાસ છે કે માત્ર હેતુપૂર્વક આ કાર્ય કરીને, ડેટા ગવર્નન્સ ટૂલ્સને કાર્ય પ્રક્રિયામાં સક્રિયપણે રજૂ કરીને, અમે અમારા ગ્રાહકોને માહિતી સામગ્રી, ડેટામાં ઉચ્ચ સ્તરનો વિશ્વાસ, તેમની રસીદમાં પારદર્શિતા અને લોન્ચિંગની ઝડપમાં વધારો કરીશું. નવી કાર્યક્ષમતા.

ડેટાઓફિસ ટીમ

સોર્સ: www.habr.com