டிசம்பரின் தொடக்கத்தில், நான் ஒரு அபாயகரமான தவறைச் செய்து, டெவலப்பராக என் வாழ்க்கையில் ஒரு திருப்புமுனையை ஏற்படுத்தினேன், மேலும் நிறுவனத்திற்குள் டேட்டா இன்ஜினியரிங் (DE) குழுவுக்குச் சென்றேன். இந்தக் கட்டுரையில் நான் DE குழுவில் பணிபுரிந்த இரண்டு மாதங்களில் நான் செய்த சில அவதானிப்புகளைப் பகிர்ந்து கொள்கிறேன்.
தரவு பொறியியல் ஏன்?
DEக்கான எனது பயணம் 2019 கோடையில் தொடங்கியது நாம் செல்வோம் , அங்கே நான் ஞானம் அடைந்தேன். நான் தலைப்பில் ஆர்வம் காட்ட ஆரம்பித்தேன், படிமுறைகள் மற்றும் அவற்றைப் பற்றி கூட படிக்க ஆரம்பித்தேன் , பின்னர் பயன்பாட்டின் நோக்கத்தைப் பற்றி யோசித்து, எங்கள் நிறுவனத்தில் நடைமுறை பயன்பாடு விநியோகிக்கப்பட்ட தரவுத்தளங்கள் என்பதை விரைவாகக் கண்டுபிடித்தோம்.
எங்கள் குழு சரியாக என்ன செய்கிறது? எல்லா நாகரீகமான பையன்கள் மற்றும் பெண்களைப் போலவே நாமும் ஒரு டேட்டா டிரைவன் கம்பெனியாக மாற விரும்புகிறோம். மேலும் இது சாத்தியப்படுவதற்கு, குறைந்தபட்சம் நம்பகமான சேமிப்பக வசதியை உருவாக்க வேண்டும், இது நிறுவனத்திற்குத் தேவையான எந்த அறிக்கையையும் உருவாக்க பயன்படுகிறது. ஆனால் மிக முக்கியமான விஷயம் என்னவென்றால், இந்த சேமிப்பகத்தில் உள்ள தரவு நம்பகமானதாக இருக்க வேண்டும். மேலும், இந்தத் தரவைப் பயன்படுத்தி, நீங்கள் t நேரத்தில் கணினியின் நிலையை மீட்டெடுக்க முடியும். மைக்ரோ சர்வீஸின் துணிச்சலான புதிய உலகில் நாம் வாழ்கிறோம் என்பதன் மூலம் இவை அனைத்தும் சிக்கலானவை, மேலும் இந்த சித்தாந்தம் ஒவ்வொரு சேவையும் அதன் சொந்த சிறிய செயல்பாட்டை செயல்படுத்துகிறது, அதன் தரவுத்தளம் அதன் சொந்த வணிகமாகும், மேலும் ஒவ்வொரு நாளும் அதை நீக்க முடியும், ஆனால் அதே நேரத்தில் நாம் சேவையின் நிலையைப் பெறவும் செயலாக்கவும் முடியும்.
நீங்கள் Data Driven ஆக விரும்பினால், முதலில் Event Driven ஆகுங்கள்
அவ்வளவு எளிமையானது அல்ல. நிகழ்வுகள் வேறுபட்டவை, மேலும் டெவலப்பர் மற்றும் தரவு பொறியாளர் அவற்றை வித்தியாசமாகப் பார்க்கிறார்கள். நிகழ்வுகளைப் பற்றி பேசுவது ஒரு தனி கட்டுரைக்கான தலைப்பு, எனவே நான் அதற்குள் செல்லமாட்டேன். கூடுதலாக, அத்தகைய கட்டுரை ஏற்கனவே உள்ளது ஒரு குறிப்பிட்ட மார்ட்டின் ஃபோலர், நான் அவரது விருதுகளை எடுக்க மாட்டேன், அவரும் பிரபலமடையட்டும்.
பொதுவாக, சிந்திக்க நிறைய இருக்கிறது, அதனால்தான் இந்த பகுதி கவர்ச்சிகரமானதாக இருக்கிறது. எங்கள் நிறுவனத்தில், ETL/ELT பைப்லைன்களை எழுதும் நபரை விட டேட்டா இன்ஜினியர் என்பது மிகவும் பரந்த பொறுப்பாகும் (இந்த சுருக்கங்கள் என்னவென்று உங்களுக்குத் தெரியாவிட்டால், வரவும். . சூழ்நிலை விளம்பரமாக).
சேமிப்பக கட்டமைப்பு, தரவு மாடலிங், தரவு பாதுகாப்பு தொடர்பான சிக்கல்கள் மற்றும் பைப்லைன்கள் ஆகியவற்றை நாங்கள் கையாள்கிறோம். ஒருபுறம், தயாரிப்பு டெவலப்பர்களுக்கு எங்கள் இருப்பு மிகவும் சுமையாக இல்லை என்பதையும், கணினியில் புதிய அம்சங்களைக் குறைக்கும்போது, எங்கள் தேவைகளால் அவர்கள் முடிந்தவரை குறைவாக திசைதிருப்பப்பட வேண்டும் என்பதையும் நாங்கள் உறுதிப்படுத்த வேண்டும், மறுபுறம், நாங்கள் பகுப்பாய்வாளர்கள் மற்றும் BI குழுவிற்கான சேமிப்பக தரவுகளில் வசதியாக அவற்றை வழங்க வேண்டும். அப்படித்தான் வாழ்கிறோம்.
வளர்ச்சியிலிருந்து மாறும்போது சிரமங்கள்
எனது முதல் வேலை நாளில், நான் உங்களுடன் பகிர்ந்து கொள்ள விரும்பும் பல சிரமங்களைச் சந்தித்தேன்.
1. நான் முதலில் பார்த்தது டியூலிங் மற்றும் சில நடைமுறைகள் இல்லாதது. எடுத்துக்காட்டாக, சோதனைகளுடன் குறியீடு கவரேஜை எடுத்துக் கொள்ளுங்கள். எங்களிடம் நூற்றுக்கணக்கான சோதனை கட்டமைப்புகள் வளர்ச்சியில் உள்ளன. தரவு வேலை செய்யும் போது, எல்லாம் மிகவும் சிக்கலானது. ஆம், சோதனைத் தரவுகளில் ETL பைப்லைன்களை நாம் சோதிக்கலாம், ஆனால் நாம் அனைத்தையும் கைமுறையாகச் செய்து ஒவ்வொரு குறிப்பிட்ட வழக்கிற்கும் தீர்வுகளைத் தேட வேண்டும். இதன் விளைவாக, சோதனை கவரேஜ் மிகவும் மோசமாக உள்ளது. அதிர்ஷ்டவசமாக, கண்காணிப்பு மற்றும் பதிவுகள் வடிவில் பின்னூட்டத்தின் மற்றொரு அடுக்கு உள்ளது, ஆனால் இது ஏற்கனவே செயலில் ஈடுபடாமல் எதிர்வினையாக செயல்பட வேண்டும், இது எரிச்சலூட்டும் மற்றும் எரிச்சலூட்டும்.
2. DE கண்ணோட்டத்தில் உலகம் என்பது ஒரு சாதாரண தயாரிப்பு டெவலப்பருக்குத் தோன்றுவது இல்லை (நிச்சயமாக, வாசகர் அப்படி இல்லை, அவருக்கு ஏற்கனவே எல்லாம் தெரியும், ஆனால் எனக்குத் தெரியாது, இப்போது நான் திருகிறேன் அது வரை). ஒரு டெவலப்பராக, நான் எனது சொந்த மைக்ரோ சர்வீஸை உருவாக்கி, தரவை [உங்களுக்கு விருப்பமான தரவுத்தளத்தில்] வைத்து, எனது நிலையை அங்கே சேமித்து, ஐடி மூலம் ஏதாவது பெறுகிறேன், அது நன்றாக இருக்கிறது. சேவை மெதுவாக உள்ளது, ஆர்டர்கள் குழப்பமாக உள்ளன, அவ்வளவுதான். எனது மாநிலத்தை வேறொரு சேவையில் தேடும்படி அவர்கள் என்னிடம் கேட்கிறார்கள், அதனால் நான் ஒரு நிகழ்வை சில RabbitMQ இல் போடுவேன், அவ்வளவுதான். இங்கே நாங்கள் மீண்டும் மேலே விவரிக்கப்பட்ட நிகழ்வுகளின் பிரச்சினைக்கு திரும்பினோம்.
செயல்பாட்டுப் பணிகளுக்கு என்ன சேவை தேவை என்பது வரலாற்றுத் தரவுகளுக்கு எங்களுக்குப் பொருந்தாது, எனவே சேவை ஒப்பந்தங்களை மறுபரிசீலனை செய்வது மற்றும் மேம்பாட்டுக் குழுக்களுடன் நெருக்கமான வேலை பற்றிய கேள்வி தொடங்குகிறது. நாங்கள் ஒப்புக்கொள்ள எத்தனை மணிநேரம் ஆனது என்பதை உங்களால் கற்பனை செய்து கூட பார்க்க முடியாது: எங்கள் நிறுவனத்தில் அவர் என்ன வகையான நிகழ்வு இயக்கப்படுகிறார்.
3. நீங்கள் உங்கள் தலையுடன் சிந்திக்க வேண்டும். இல்லை, டெவலப்பர்கள் நினைக்கவில்லை என்று நான் அர்த்தப்படுத்தவில்லை (அனைவருக்கும் பேச நான் யார் என்றாலும்), தயாரிப்பு மேம்பாட்டில் நீங்கள் ஏற்கனவே சில வகையான கட்டிடக்கலைகளை வைத்திருக்கிறீர்கள், மேலும் நீங்கள் பேக்லாக்கில் இருந்து வெவ்வேறு மாற்றங்களை வெட்டுகிறீர்கள். நிச்சயமாக, இதற்கு திட்டமிடல் மற்றும் சிந்தனை தேவை, ஆனால் இது ஸ்ட்ரீம் வேலை, முக்கிய பிரச்சனை வெறுமனே அதை சிறப்பாகவும் திறமையாகவும் செய்ய வேண்டும்.
எங்களைப் பொறுத்தவரை, இது மிகவும் எளிதானது அல்ல, ஏனென்றால் பல்வேறு கணினி கூறுகளை ஒரு சூடான மற்றும் வசதியான ஒற்றைப்பாதையிலிருந்து காட்டு மைக்ரோ சர்வீஸ் காட்டின் உலகத்திற்கு மாற்றுவது அவ்வளவு எளிதல்ல. சேவை நிகழ்வுகளைத் தொடங்கும் போது, சேமிப்பகத்தை நிரப்புவதற்கான தர்க்கத்தை நீங்கள் மறுபரிசீலனை செய்ய வேண்டும், ஏனெனில் தரவு இப்போது வித்தியாசமாகத் தெரிகிறது. டெவலப்பராக இல்லாமல், டேட்டா இன்ஜினியராக நீங்கள் நிறையவும் முழுமையாகவும் சிந்திக்க வேண்டிய இடம் இதுதான். நீங்கள் ஒரு நோட்புக் மற்றும் பேனா அல்லது போர்டில் ஒரு மார்க்கருடன் நாட்களைக் கழிக்கும்போது இது ஒரு சாதாரண கதை. இது மிகவும் கடினம், நான் சிந்திக்க விரும்பவில்லை, உற்பத்தியையும் விரும்புகிறேன்.
4. ஒருவேளை மிக முக்கியமான விஷயம் தகவல். அறிவு இல்லாத போது நாம் என்ன செய்வது? ஸ்டாக் ஓவர்ஃப்ளோ என்று யார் சொன்னது? இந்த நபரை அறைக்கு வெளியே அழைத்துச் செல்லுங்கள். நாங்கள் ஆவணங்கள், தலைப்பில் புத்தகங்களைப் படிக்கச் செல்கிறோம், மேலும் மன்றங்கள், சந்திப்புகள் மற்றும் மாநாடுகளை ஏற்பாடு செய்யும் ஒரு சமூகமும் உள்ளது. ஆவணப்படுத்தல் சிறந்தது, ஆனால் துரதிர்ஷ்டவசமாக, அது முழுமையடையாமல் இருக்கலாம். நாங்கள் பல திட்டங்களில் Cosmos DB ஐப் பயன்படுத்துகிறோம். இந்த தயாரிப்புக்கான ஆவணங்களைப் படிக்க நல்ல அதிர்ஷ்டம். புத்தகங்கள் மட்டுமே இரட்சிப்பு; அதிர்ஷ்டவசமாக, அவை உள்ளன மற்றும் கண்டுபிடிக்கப்படுகின்றன, அவற்றில் நிறைய அடிப்படை அறிவு உள்ளது, மேலும் நீங்கள் நிறைய மற்றும் தொடர்ந்து படிக்க வேண்டும். ஆனால் பிரச்சனை சமூகத்தில் உள்ளது.
இப்போது எங்கள் பகுதியில் குறைந்தபட்சம் ஒரு போதுமான மாநாடு அல்லது கூட்டத்தைக் கண்டறிவது கடினம். இல்லை, நிச்சயமாக, டேட்டா என்ற வார்த்தையுடன் நிறைய சந்திப்புகள் உள்ளன, ஆனால் இந்த வார்த்தைக்கு அடுத்ததாக ML அல்லது AI போன்ற விசித்திரமான சுருக்கங்கள் பொதுவாக உள்ளன. எனவே, இது எங்களுக்காக அல்ல, சேமிப்பக வசதிகளை எவ்வாறு உருவாக்குவது என்பது பற்றி நாங்கள் பேசுகிறோம், மேலும் நியூரான்களுடன் நம்மை எவ்வாறு ஸ்மியர் செய்வது என்பது பற்றி அல்ல. இந்த ஹிப்ஸ்டர்கள் அனைத்தையும் கைப்பற்றியுள்ளனர். இதன் விளைவாக, நாங்கள் ஒரு சமூகம் இல்லாமல் இருக்கிறோம். நீங்கள் ஒரு டேட்டா இன்ஜினியர் மற்றும் நல்ல சமூகங்களை அறிந்திருந்தால், கருத்துகளில் எழுதவும்.
கூட்டத்தின் முடிவுகள் மற்றும் அறிவிப்பு
நாம் என்ன முடிவடையும்? ஒரு தரவுப் பொறியாளரின் காலணியில் உள்ள உணர்வு ஒவ்வொரு டெவலப்பருக்கும் பயனுள்ளதாக இருக்கும் என்பதை எனது முதல் அனுபவம் கூறுகிறது. இது விஷயங்களை வித்தியாசமாகப் பார்க்க அனுமதிக்கிறது மற்றும் டெவலப்பர்கள் தங்கள் தரவை எவ்வாறு நடத்துகிறார்கள் என்பதைப் பார்க்கும்போது, நம் கண்கள் இரத்தம் வரும்போது ஆச்சரியப்பட வேண்டாம். எனவே, உங்கள் நிறுவனத்தில் DE இருந்தால், இவர்களுடன் பேசுங்கள், நீங்கள் நிறைய புதிய விஷயங்களை (உங்களைப் பற்றி) அறிந்து கொள்வீர்கள்.
இறுதியாக, அறிவிப்பு. பகலில் எங்கள் தலைப்பில் சந்திப்புகளைக் கண்டுபிடிப்பது கடினம் என்பதால், சொந்தமாக உருவாக்க முடிவு செய்தோம். நாம் ஏன் மோசமாக இருக்கிறோம்? அதிர்ஷ்டவசமாக எங்களிடம் ஒரு அற்புதம் உள்ளது மற்றும் எங்கள் நண்பர்கள் , எங்களைப் போலவே, தரவுப் பொறியியலாளர்கள் நியாயமற்ற முறையில் கவனத்தை இழக்கிறார்கள் என்று நினைக்கிறார்கள்.
இந்த வாய்ப்பைப் பயன்படுத்தி, பிப்ரவரி 27.02.2020, XNUMX அன்று டோடோ பிஸ்ஸா அலுவலகத்தில் நடைபெறும் “DE அல்லது DIE” என்ற நம்பிக்கைக்குரிய தலைப்புடன் எங்களது முதல் சமூக சந்திப்புக்கு வர ஆர்வமுள்ள அனைவரையும் அழைக்கிறேன். விவரங்கள் .
ஏதேனும் நடந்தால், நான் அங்கு இருப்பேன், டெவலப்பர்களைப் பற்றி நான் எவ்வளவு தவறாக இருக்கிறேன் என்பதை நீங்கள் தனிப்பட்ட முறையில் என் முகத்திற்குச் சொல்லலாம்.
ஆதாரம்: www.habr.com