ડેટા એન્જીનિયર ઓર ડાઇ: એક ડેવલપરની વાર્તા

ડિસેમ્બરની શરૂઆતમાં, મેં એક ઘાતક ભૂલ કરી અને ડેવલપર તરીકે મારા જીવનમાં એક નવો વળાંક આવ્યો અને કંપનીમાં ડેટા એન્જિનિયરિંગ (DE) ટીમમાં ગયો. આ લેખમાં હું કેટલાક અવલોકનો શેર કરીશ જે મેં DE ટીમમાં કામ કરવાના બે મહિના દરમિયાન કર્યા હતા.

ડેટા એન્જિનિયરિંગ શા માટે?

મારી ડીઈની સફર 2019 ના ઉનાળામાં શરૂ થઈ હતી, જ્યારે અમે એક્સનેગ ચાલો જઈએ વિતરિત કમ્પ્યુટિંગ શાળા, અને ત્યાં મેં જ્ઞાન પ્રાપ્ત કર્યું. હું વિષયમાં રસ લેવાનું શરૂ કર્યું, અલ્ગોરિધમનો અભ્યાસ કરવા લાગ્યો અને તે વિશે પણ લખો, અને પછી એપ્લિકેશનના અવકાશ વિશે વિચાર્યું અને ઝડપથી જાણવા મળ્યું કે અમારી કંપનીમાં વ્યવહારુ એપ્લિકેશન ડેટાબેસેસ વિતરિત છે.

અમારી ટીમ બરાબર શું કરે છે? અમે, બધા ફેશનેબલ છોકરાઓ અને છોકરીઓની જેમ, ડેટા સંચાલિત કંપની બનવા માંગીએ છીએ. અને આ શક્ય બનવા માટે, અમારે ઓછામાં ઓછી એક વિશ્વસનીય સ્ટોરેજ સુવિધા બનાવવાની જરૂર છે, જેનો ઉપયોગ કંપનીને જરૂરી કોઈપણ અહેવાલો બનાવવા માટે થઈ શકે છે. પરંતુ સૌથી મહત્વની બાબત એ છે કે આ સ્ટોરેજમાં રહેલા ડેટા પર ભરોસો હોવો જોઈએ. તદુપરાંત, આ ડેટાનો ઉપયોગ કરીને, તમારે તે સમયે સિસ્ટમની સ્થિતિને પુનઃસ્થાપિત કરવામાં સક્ષમ બનવાની જરૂર છે. આ બધું એ હકીકત દ્વારા જટિલ છે કે આપણે માઇક્રોસર્વિસિસની બહાદુર નવી દુનિયામાં જીવીએ છીએ, અને આ વિચારધારા સૂચવે છે કે દરેક સેવા તેની પોતાની નાની કાર્યક્ષમતા લાગુ કરે છે, તેનો ડેટાબેઝ તેનો પોતાનો વ્યવસાય છે, અને તે ઓછામાં ઓછા દરરોજ તેને કાઢી શકે છે, પરંતુ તે જ સમયે આપણે સેવાની સ્થિતિ પ્રાપ્ત કરવા અને પ્રક્રિયા કરવા સક્ષમ હોવા જોઈએ.

જો તમારે ડેટા ડ્રિવન બનવું હોય તો પહેલા ઇવેન્ટ ડ્રિવન બનો

એટલું સરળ નથી. ઇવેન્ટ્સ અલગ છે, અને ડેવલપર અને ડેટા એન્જિનિયર તેમને અલગ રીતે જુએ છે. ઘટનાઓ વિશે વાત કરવી એ એક અલગ લેખ માટેનો વિષય છે, તેથી હું અહીં તેમાં જઈશ નહીં. વધુમાં, આવા લેખ પહેલેથી જ છે લખ્યું ચોક્કસ માર્ટિન ફાઉલર, હું તેના ગૌરવને છીનવીશ નહીં, તેને પણ પ્રખ્યાત થવા દો.

સામાન્ય રીતે, વિચારવા જેવું ઘણું છે અને તેથી જ આ વિસ્તાર આકર્ષક છે. એવું બને છે કે અમારી કંપનીમાં, ડેટા એન્જિનિયર એ ETL/ELT પાઈપલાઈન લખનાર વ્યક્તિ કરતાં જવાબદારીનું ઘણું વિશાળ ક્ષેત્ર છે (જો તમને આ સંક્ષિપ્ત શબ્દોનો અર્થ ખબર ન હોય, તો આવો મુલાકાત. સંદર્ભિત જાહેરાત તરીકે).

અમે સ્ટોરેજ આર્કિટેક્ચર, ડેટા મોડેલિંગ, ડેટા સુરક્ષાને લગતી સમસ્યાઓ અને પોતે પાઇપલાઇન્સ સાથે વ્યવહાર કરીએ છીએ. અમારે એ પણ સુનિશ્ચિત કરવાની જરૂર છે કે, એક તરફ, પ્રોડક્ટ ડેવલપર્સ માટે અમારી હાજરી ખૂબ જ બોજારૂપ નથી અને તેઓને સિસ્ટમમાં નવી સુવિધાઓ કાપતી વખતે અમારી જરૂરિયાતોથી શક્ય તેટલું ઓછું વિચલિત થવું પડશે, અને બીજી તરફ, અમે વિશ્લેષકો અને BI ટીમ માટે સ્ટોરેજ ડેટામાં તેમને અનુકૂળ રીતે પ્રદાન કરવાની જરૂર છે. એ રીતે આપણે જીવીએ છીએ.

વિકાસમાંથી સંક્રમણ કરતી વખતે મુશ્કેલીઓ

મારા કામના પ્રથમ દિવસે, મને ઘણી મુશ્કેલીઓનો સામનો કરવો પડ્યો જે હું તમારી સાથે શેર કરવા માંગુ છું.

1. મેં જોયું તે પ્રથમ વસ્તુ ટ્યૂલિંગ અને કેટલીક પ્રેક્ટિસની ગેરહાજરી હતી. ઉદાહરણ તરીકે, પરીક્ષણો સાથે કોડ કવરેજ લો. અમારી પાસે ડેવલપમેન્ટમાં સેંકડો ટેસ્ટિંગ ફ્રેમવર્ક છે. ડેટા સાથે કામ કરતી વખતે, બધું વધુ જટિલ છે. હા, અમે ટેસ્ટ ડેટા પર ETL પાઇપલાઇન્સનું પરીક્ષણ કરી શકીએ છીએ, પરંતુ અમારે તે બધું મેન્યુઅલી કરવું પડશે અને દરેક ચોક્કસ કેસ માટે ઉકેલો શોધવા પડશે. પરિણામે, પરીક્ષણ કવરેજ વધુ ખરાબ છે. સદનસીબે, દેખરેખ અને લૉગ્સના રૂપમાં પ્રતિસાદનું બીજું સ્તર છે, પરંતુ આ માટે પહેલાથી જ અમને સક્રિય રીતે બદલે પ્રતિક્રિયાત્મક રીતે પ્રતિક્રિયા કરવાની જરૂર છે, જે ગુસ્સે અને અસ્વસ્થ છે.

2. DE પરિપ્રેક્ષ્યમાં વિશ્વ સામાન્ય ઉત્પાદન વિકાસકર્તાને જે લાગે છે તે બિલકુલ નથી (સારું, અલબત્ત, વાચક એવું નથી, અને તે પહેલેથી જ બધું જાણે છે, પરંતુ મને ખબર ન હતી અને હવે હું છું. તેને ખરાબ કરવું). ડેવલપર તરીકે, હું મારી પોતાની માઈક્રોસર્વિસ બનાવું છું, ડેટા [તમારી પસંદગીના ડેટાબેઝ]માં મૂકું છું, ત્યાં મારું રાજ્ય સાચવું છું, ID દ્વારા કંઈક મેળવું છું અને તે સારું છે. સેવા ધીમી છે, ઓર્ડર ગૂંચવણમાં મૂકે છે, બસ. તેઓ મને મારા રાજ્યને અન્ય સેવામાં જોવા માટે કહે છે, તેથી હું કેટલાક RabbitMQ માં ઇવેન્ટ ફેંકીશ અને બસ. અને અહીં અમે ફરીથી ઉપર વર્ણવેલ ઘટનાઓના મુદ્દા પર પાછા ફર્યા.

ઓપરેશનલ વર્ક માટે સેવાને શું જોઈએ છે તે ઐતિહાસિક ડેટા માટે અમને અનુકૂળ નથી, તેથી સેવા કરારને ફરીથી કામ કરવાનો પ્રશ્ન અને વિકાસ ટીમો સાથે બંધ કામ શરૂ થાય છે. તમે કલ્પના પણ કરી શકતા નથી કે અમને સંમત થવામાં કેટલા કલાક લાગ્યાં: તે અમારી કંપનીમાં કેવા પ્રકારની ઇવેન્ટ ડ્રિવન છે.

3. તમારે તમારા માથા સાથે વિચારવાની જરૂર છે. ના, મારો મતલબ એવો નથી કે વિકાસકર્તાઓ વિચારતા નથી (જોકે દરેક માટે હું કોણ છું), તે ફક્ત એટલું જ છે કે પ્રોડક્ટ ડેવલપમેન્ટમાં ઘણી વાર તમારી પાસે પહેલાથી જ કોઈ પ્રકારનું આર્કિટેક્ચર હોય છે, અને તમે બેકલોગમાંથી વિવિધ શફલ્સ કાપી નાખો છો. અલબત્ત, આ માટે આયોજન અને વિચારની જરૂર છે, પરંતુ આ સ્ટ્રીમ વર્ક છે, જ્યાં મુખ્ય સમસ્યા તેને સારી રીતે અને અસરકારક રીતે કરવાની છે.

અમારા માટે, તે એટલું સરળ નથી કારણ કે ગરમ અને આરામદાયક મોનોલિથમાંથી જંગલી માઇક્રોસર્વિસ જંગલની દુનિયામાં સિસ્ટમના વિવિધ ઘટકોનું ટ્રાન્સફર એટલું સરળ નથી. જ્યારે સેવા ઇવેન્ટ્સ ફેલાવવાનું શરૂ કરે છે, ત્યારે તમારે સ્ટોરેજ ભરવા માટેના તર્ક પર પુનર્વિચાર કરવાની જરૂર છે, કારણ કે ડેટા હવે અલગ દેખાય છે. આ તે છે જ્યાં તમારે વિકાસકર્તા તરીકે નહીં, પરંતુ ડેટા એન્જિનિયર તરીકે ઘણું અને સંપૂર્ણ રીતે વિચારવાની જરૂર છે. જ્યારે તમે નોટબુક અને પેન સાથે અથવા બોર્ડ પર માર્કર સાથે દિવસો પસાર કરો છો ત્યારે તે સામાન્ય વાર્તા છે. તે ખૂબ જ મુશ્કેલ છે, મને વિચારવું ગમતું નથી, મને ઉત્પાદન પણ ગમે છે.

4. કદાચ સૌથી મહત્વની વસ્તુ માહિતી છે. જ્યારે આપણામાં જ્ઞાનનો અભાવ હોય ત્યારે આપણે શું કરીએ? સ્ટેકઓવરફ્લો કોણે કહ્યું? આ વ્યક્તિને રૂમમાંથી બહાર કાઢો. અમે વિષય પરના દસ્તાવેજો, પુસ્તકો વાંચીએ છીએ અને એક સમુદાય પણ છે જે ફોરમ, મીટઅપ્સ અને કોન્ફરન્સનું આયોજન કરે છે. દસ્તાવેજીકરણ મહાન છે, પરંતુ કમનસીબે, તે અપૂર્ણ હોઈ શકે છે. અમે સંખ્યાબંધ પ્રોજેક્ટ્સમાં Cosmos DB નો ઉપયોગ કરીએ છીએ. સારા નસીબ આ ઉત્પાદન માટે દસ્તાવેજીકરણ વાંચી. પુસ્તકો જ મુક્તિ છે; સદભાગ્યે, તેઓ અસ્તિત્વમાં છે અને શોધી શકાય છે, તેમાં ઘણું મૂળભૂત જ્ઞાન છે અને તમારે ઘણું અને સતત વાંચવું પડશે. પરંતુ સમસ્યા સમુદાયની છે.

હવે અમારા વિસ્તારમાં ઓછામાં ઓછી એક પર્યાપ્ત કોન્ફરન્સ અથવા મીટઅપ મેળવવું મુશ્કેલ છે. ના, અલબત્ત, ડેટા શબ્દ સાથે ઘણી બધી મુલાકાતો છે, પરંતુ આ શબ્દની બાજુમાં સામાન્ય રીતે ML અથવા AI જેવા વિચિત્ર સંક્ષેપો હોય છે. તેથી, આ અમારા માટે નથી, અમે સ્ટોરેજ સુવિધાઓ કેવી રીતે બનાવવી તે વિશે વાત કરી રહ્યા છીએ, અને ન્યુરોન્સથી પોતાને કેવી રીતે સમીયર કરવું તે વિશે નહીં. આ હિપસ્ટરોએ બધું જ કબજે કરી લીધું છે. પરિણામે, આપણે સમુદાય વિનાના છીએ. બાય ધ વે, જો તમે ડેટા એન્જિનિયર છો અને સારા સમુદાયો જાણો છો, તો કૃપા કરીને ટિપ્પણીઓમાં લખો.

બેઠકના નિષ્કર્ષ અને જાહેરાત

અમે શું સાથે અંત? મારો પહેલો અનુભવ મને કહે છે કે ડેટા એન્જિનિયરની લાગણી દરેક ડેવલપર માટે ઉપયોગી થશે. તે ફક્ત અમને વસ્તુઓને અલગ રીતે જોવાની મંજૂરી આપે છે અને જ્યારે વિકાસકર્તાઓ તેમના ડેટાને કેવી રીતે વર્તે છે તે જોતા હોઈએ ત્યારે અમારી આંખો લોહીલુહાણ થઈ જાય ત્યારે આશ્ચર્ય પામશો નહીં. તેથી, જો તમારી કંપનીમાં કોઈ ડીઈ છે, તો ફક્ત આ લોકો સાથે વાત કરો, તમે ઘણી બધી નવી વસ્તુઓ શીખી શકશો (તમારા વિશે).

અને અંતે, જાહેરાત. દિવસ દરમિયાન અમારા વિષય પર મીટિંગ્સ શોધવાનું મુશ્કેલ હોવાથી, અમે અમારી પોતાની બનાવવાનું નક્કી કર્યું. શા માટે આપણે ખરાબ છીએ? સદભાગ્યે અમારી પાસે એક અદ્ભુત છે શ્વેપ્સસ અને અમારા મિત્રો તરફથી નવા વ્યવસાયો લેબ, જેઓ, અમારા જેવા, એવું અનુભવે છે કે ડેટા એન્જીનીયરો અન્યાયી રીતે ધ્યાનથી વંચિત છે.

આ તકને લઈને, હું દરેકને આમંત્રિત કરું છું કે જેઓ આશાસ્પદ શીર્ષક "DE અથવા DIE" સાથે અમારી પ્રથમ સમુદાય મીટઅપમાં આવવાનું ધ્યાન રાખે છે, જે 27.02.2020 ફેબ્રુઆરી, XNUMX ના રોજ ડોડો પિઝા ઑફિસમાં યોજાશે. ખાતે વિગતો ટાઇમપેડ.

જો કંઈપણ થાય, તો હું હાજર રહીશ, તમે મને વ્યક્તિગત રૂપે મારા ચહેરા પર કહી શકો છો કે હું વિકાસકર્તાઓ વિશે કેટલો ખોટો છું.

સોર્સ: www.habr.com