දෙසැම්බර් මස මුලදී, මම මාරාන්තික වැරැද්දක් කර සංවර්ධකයෙකු ලෙස මගේ ජීවිතයේ හැරවුම් ලක්ෂ්‍යයක් කර සමාගම තුළ දත්ත ඉංජිනේරු (DE) කණ්ඩායමට ගියෙමි. මෙම ලිපියෙන් මම DE කණ්ඩායමේ වැඩ කළ මාස දෙකක කාලය තුළ මා කළ නිරීක්ෂණ කිහිපයක් බෙදා ගන්නෙමි.
දත්ත ඉංජිනේරුකරණය ඇයි?
DE වෙත මගේ ගමන ආරම්භ වූයේ අපි 2019 ගිම්හානයේදීය අපි යමු , එහිදී මම බුද්ධත්වයට පත් වූයෙමි. මම මාතෘකාව ගැන උනන්දු වෙන්න පටන් ගත්තා, ඇල්ගොරිතම අධ්යයනය කරන්න සහ ඒවා ගැන පවා , පසුව යෙදුමේ විෂය පථය ගැන සිතා බැලූ අතර අපගේ සමාගමෙහි ප්‍රායෝගික යෙදුම බෙදා හරින ලද දත්ත සමුදායන් බව ඉක්මනින් සොයා ගත්තේය.
අපේ කණ්ඩායම ඇත්තටම කරන්නේ කුමක්ද? සියලුම විලාසිතා සහිත පිරිමි ළමයින් හා ගැහැණු ළමයින් මෙන් අපටත් අවශ්ය වන්නේ Data Driven Company එකක් වීමටයි. මෙය කළ හැකි වීමට නම්, අපි අවම වශයෙන් විශ්වාසදායක ගබඩා පහසුකමක් ගොඩනගා ගත යුතුය, එය සමාගමට අවශ්ය ඕනෑම වාර්තාවක් තැනීමට භාවිතා කළ හැකිය. නමුත් වඩාත්ම වැදගත් දෙය නම් මෙම ගබඩාවේ දත්ත විශ්වාස කළ යුතුය. එපමනක් නොව, මෙම දත්ත භාවිතා කරමින්, ඔබට t අවස්ථාවේ පද්ධතියේ තත්වය යථා තත්වයට පත් කිරීමට හැකි විය යුතුය. මේ සියල්ල සංකීර්ණ වන්නේ අප ජීවත් වන්නේ ක්ෂුද්‍ර සේවාවල නිර්භීත නව ලෝකයක වන අතර, මෙම දෘෂ්ටිවාදයෙන් ඇඟවෙන්නේ සෑම සේවාවක්ම තමන්ගේම කුඩා ක්‍රියාකාරිත්වයක් ක්‍රියාත්මක කරන බවත්, එහි දත්ත සමුදාය තමන්ගේම ව්‍යාපාරයක් බවත්, එයට අවම වශයෙන් සෑම දිනකම එය මකා දැමිය හැකි බවත්ය. එම අවස්ථාවේදීම අපට සේවාවේ තත්ත්වය ලබා ගැනීමට සහ සැකසීමට හැකි විය යුතුය.
ඔබට Data Driven වීමට අවශ්ය නම් පළමුව Event Driven වන්න
එතරම් සරල නැත. සිදුවීම් වෙනස් වන අතර, සංවර්ධකයා සහ දත්ත ඉංජිනේරුවන් ඒවා වෙනස් ලෙස බලයි. සිදුවීම් ගැන කතා කිරීම වෙනම ලිපියක් සඳහා මාතෘකාවකි, එබැවින් මම එය මෙහි නොයමි. මීට අමතරව, එවැනි ලිපියක් දැනටමත් ඇත එක්තරා මාටින් ෆෝලර් කෙනෙක්, මම ඔහුගේ සම්මාන උදුරා ගන්නේ නැහැ, ඔහුටත් ප්‍රසිද්ධ වෙන්න දෙන්න.
පොදුවේ, සිතීමට බොහෝ දේ ඇති අතර මෙම ප්රදේශය ආකර්ෂණීය වන්නේ එබැවිනි. අපගේ සමාගම තුළ, දත්ත ඉංජිනේරුවෙකු යනු ETL/ELT නල මාර්ග ලියන පුද්ගලයෙකුට වඩා පුළුල් වගකීම් ක්ෂේත්‍රයකි (මෙම කෙටි යෙදුම්වල තේරුම ඔබ නොදන්නේ නම්, පැමිණෙන්න. . සන්දර්භීය වෙළඳ දැන්වීම් ලෙස).
අපි ගබඩා ගෘහ නිර්මාණ ශිල්පය, දත්ත ආකෘති නිර්මාණය, දත්ත ආරක්ෂාව සම්බන්ධ ගැටළු සහ නල මාර්ග සමඟම කටයුතු කරන්නෙමු. එක් අතකින්, අපගේ පැමිණීම නිෂ්පාදන සංවර්ධකයින්ට එතරම් බරක් නොවන බවටත්, පද්ධතියට නව විශේෂාංග කැපීමේදී අපගේ අවශ්‍යතාවලින් ඔවුන් හැකිතාක් දුරට අවධානය වෙනතකට යොමු කළ යුතු බවටත් අපි සහතික විය යුතු අතර, අනෙක් අතට, අපි විශ්ලේෂකයින් සහ BI කණ්ඩායම සඳහා ගබඩා දත්තවල පහසුවෙන් සකස් කර ඇති ඒවා සැපයිය යුතුය. අපි ජීවත් වෙන්නේ එහෙමයි.
සංවර්ධනයෙන් සංක්රමණය වන විට දුෂ්කරතා
මගේ පළමු වැඩ කරන දිනයේදී, මට ඔබ සමඟ බෙදා ගැනීමට අවශ්ය දුෂ්කරතා රැසකට මුහුණ දීමට සිදු විය.
1. මම මුලින්ම දුටුවේ ටියුලින් සහ සමහර පුරුදු නොමැති වීමයි. උදාහරණයක් ලෙස, පරීක්ෂණ සමඟ කේත ආවරණය ගන්න. අපට සංවර්ධනය වෙමින් පවතින පරීක්ෂණ රාමු සිය ගණනක් ඇත. දත්ත සමඟ වැඩ කරන විට, සියල්ල වඩාත් සංකීර්ණ වේ. ඔව්, අපට පරීක්ෂණ දත්ත මත ETL නල මාර්ග පරීක්ෂා කළ හැකිය, නමුත් අපි ඒ සියල්ල අතින් කළ යුතු අතර එක් එක් විශේෂිත අවස්ථාව සඳහා විසඳුම් සෙවිය යුතුය. ප්රතිඵලයක් වශයෙන්, පරීක්ෂණ ආවරණය වඩාත් නරක ය. වාසනාවකට මෙන්, අධීක්ෂණ සහ ලඝු-සටහන් ආකාරයෙන් තවත් ප්‍රතිපෝෂණ ස්ථරයක් ඇත, නමුත් මෙය දැනටමත් අපට අවශ්ය වන්නේ ක්‍රියාශීලීව නොව ප්‍රතික්‍රියාශීලීව ප්‍රතිචාර දැක්වීමයි, එය කෝපයට පත් සහ නොසන්සුන් ය.
2. DE දෘෂ්ටිකෝණයකින් ලෝකය සාමාන්‍ය නිෂ්පාදන සංවර්ධකයෙකුට පෙනෙන්නේ කිසිසේත් නොවේ (හොඳයි, ඇත්ත වශයෙන්ම පාඨකයා එසේ නොවේ, ඔහු දැනටමත් සියල්ල දනී, නමුත් මම නොදැන සිටි අතර දැන් මම කෙඳිරිගාමින් සිටිමි. එය දක්වා). සංවර්ධකයෙකු ලෙස, මම මගේම ක්ෂුද්‍ර සේවාවක් නිර්මාණය කරමි, දත්ත [ඔබේ තේරීමේ දත්ත සමුදාය] තුළ තබන්න, මගේ තත්වය එහි සුරකින්න, හැඳුනුම්පතෙන් යමක් ලබා ගන්න සහ එය හොඳයි. සේවාව මන්දගාමීයි, ඇණවුම් අවුල් සහගතයි, එපමණයි. ඔවුන් මගෙන් ඉල්ලා සිටින්නේ මගේ රාජ්‍යය වෙනත් සේවාවකින් සොයා බලන ලෙසයි, එබැවින් මම යම් සිදුවීමක් RabbitMQ වෙත විසි කරමි, එපමණයි. මෙන්න අපි නැවතත් ඉහත විස්තර කර ඇති සිදුවීම් පිළිබඳ ගැටලුව වෙත ආපසු ගියෙමු.
මෙහෙයුම් කටයුතු සඳහා සේවා අවශ්ය දේ ඓතිහාසික දත්ත සඳහා අපට ගැලපෙන්නේ නැත, එබැවින් සේවා කොන්ත්රාත්තු නැවත සකස් කිරීම සහ සංවර්ධන කණ්ඩායම් සමඟ සමීප වැඩ කිරීම පිළිබඳ ප්රශ්නය ආරම්භ වේ. අපට එකඟ වීමට පැය කීයක් ගත වේද යන්න ඔබට සිතාගත නොහැක: ඔහු අපගේ සමාගම තුළ කුමන ආකාරයේ සිදුවීමක් ධාරණය කරන්නේද යන්න.
3. ඔබ ඔබේ හිසෙන් සිතිය යුතුය. නැත, මම අදහස් කරන්නේ සංවර්ධකයින් නොසිතන බව නොවේ (සියල්ලන් වෙනුවෙන් කතා කිරීමට මම කවුරුන්ද), එය නිෂ්පාදන සංවර්ධනයේ දී බොහෝ විට ඔබට දැනටමත් යම් ආකාරයක ගෘහ නිර්මාණ ශිල්පයක් ඇති අතර ඔබ පසුබෑමෙන් විවිධ මාරු කිරීම් කපා ඇත. ඇත්ත වශයෙන්ම, මෙය සැලසුම් කිරීම සහ චින්තනය අවශ්ය වේ, නමුත් මෙය ප්රවාහයේ කාර්යයකි, ප්රධාන ගැටළුව වන්නේ එය හොඳින් හා කාර්යක්ෂමව සිදු කිරීමයි.
අපට නම්, එය එතරම් සරල නැත, මන්ද විවිධ පද්ධති සංරචක උණුසුම් හා සුවපහසු මොනොලිතයකින් වල් ක්ෂුද්‍ර සේවා වනාන්තරයේ ලෝකයට මාරු කිරීම එතරම් සරල නැත. සේවාව සිදුවීම් ඉසීම ආරම්භ කරන විට, දත්ත දැන් වෙනස් ලෙස පෙනෙන නිසා, ගබඩාව පිරවීම සඳහා තර්කනය නැවත සලකා බැලිය යුතුය. ඔබ තව දුරටත් සංවර්ධකයෙකු ලෙස නොව, දත්ත ඉංජිනේරුවෙකු ලෙස, බොහෝ දේ සහ හොඳින් සිතා බැලිය යුතු ස්ථානය මෙයයි. ඔබ සටහන් පොතක් සහ පෑනක් සමඟ හෝ පුවරුවේ සලකුණු කරුවෙකු සමඟ දින ගත කරන විට එය සාමාන්‍ය කතාවකි. එය ඉතා අපහසුයි, මම හිතන්න කැමති නැහැ, මමත් නිෂ්පාදනයට ආදරෙයි.
4. සමහර විට වඩාත්ම වැදගත් දෙය තොරතුරු වේ. අපට දැනුම නොමැති විට අප කරන්නේ කුමක්ද? තොග පිටාර ගැලීම කිව්වේ කවුද? මෙම පුද්ගලයා කාමරයෙන් පිටතට ගෙන යන්න. අපි මාතෘකාව පිළිබඳ ලේඛන, පොත් කියවීමට යන අතර, සංසද, රැස්වීම් සහ සම්මන්ත්‍රණ සංවිධානය කරන ප්‍රජාවක් ද ඇත. ලේඛනගත කිරීම විශිෂ්ටයි, නමුත් අවාසනාවකට, එය අසම්පූර්ණ විය හැක. අපි ව්‍යාපෘති ගණනාවක Cosmos DB භාවිතා කරනවා. මෙම නිෂ්පාදනය සඳහා ලියකියවිලි කියවීමට වාසනාව. පොත් යනු එකම ගැලවීමයි; වාසනාවකට මෙන්, ඒවා පවතින අතර ඒවා සොයාගත හැකිය, ඒවායේ මූලික දැනුම විශාල ප්‍රමාණයක් අඩංගු වන අතර ඔබට බොහෝ දේ සහ නිරන්තරයෙන් කියවිය යුතුය. නමුත් ප්රශ්නය තියෙන්නේ සමාජයට.
දැන් අපේ ප්‍රදේශයේ අවම වශයෙන් ප්‍රමාණවත් සම්මන්ත්‍රණයක් හෝ රැස්වීමක් සොයා ගැනීම දුෂ්කර ය. නැත, ඇත්ත වශයෙන්ම, Data යන වචනය සමඟ හමුවීම් රාශියක් ඇත, නමුත් මෙම වචනය අසල සාමාන්‍යයෙන් ML හෝ AI වැනි අමුතු කෙටි යෙදුම් තිබේ. ඉතින්, මෙය අප වෙනුවෙන් නොවේ, අපි කතා කරන්නේ ගබඩා පහසුකම් ගොඩනඟන්නේ කෙසේද යන්න ගැන මිස නියුරෝන වලින් අපව මකා ගන්නේ කෙසේද යන්න ගැන නොවේ. මේ හිප්ස්ටර්ලා හැමදෙයක්ම අල්ලගෙන. එහි ප්රතිඵලයක් ලෙස අපි සමාජයක් නොමැතිව සිටිමු. මාර්ගය වන විට, ඔබ දත්ත ඉංජිනේරුවෙකු නම් සහ හොඳ ප්‍රජාවන් දන්නේ නම්, කරුණාකර අදහස් දැක්වීමේදී ලියන්න.
රැස්වීමේ නිගමන සහ නිවේදනය
අපි අවසන් කරන්නේ කුමක් ද? මගේ පළමු අත්දැකීම මට පවසන්නේ දත්ත ඉංජිනේරුවෙකුගේ සපත්තු තුළ ඇති හැඟීම සෑම සංවර්ධකයෙකුටම ප්‍රයෝජනවත් වනු ඇති බවයි. සංවර්ධකයින් ඔවුන්ගේ දත්තවලට සලකන ආකාරය දකින විට අපගේ ඇස්වලට ලේ වැගිරෙන විට පුදුම නොවී දේවල් දෙස වෙනස් ලෙස බැලීමට එය අපට ඉඩ සලසයි. ඉතින් ඔයාලගේ කම්පැනි එකේ DE කෙනෙක් ඉන්නවනම් මේ ගොල්ලන්ට විතරක් කතා කරන්න, ඔයාලට ගොඩක් අලුත් දේවල් (තමන් ගැන) දැනගන්න ලැබෙයි.
අවසාන වශයෙන්, නිවේදනය. දිවා කාලයේ අපගේ මාතෘකාව පිළිබඳ හමුවීම් සොයා ගැනීම දුෂ්කර බැවින්, අපි අපේම කිරීමට තීරණය කළෙමු. ඇයි අපි නරකද? වාසනාවකට මෙන් අපට පුදුමාකාර දෙයක් තිබේ සහ අපේ මිතුරන්ගෙන් , අපට මෙන්ම, දත්ත ඉංජිනේරුවන්ට අසාධාරණ ලෙස අවධානය අහිමි වී ඇති බව හැඟෙන අය.
මෙම අවස්ථාව ප්‍රයෝජනයට ගනිමින්, 27.02.2020 පෙබරවාරි XNUMX වන දින ඩොඩෝ පීසා කාර්යාලයේදී පැවැත්වෙන “DE හෝ DIE” යන පොරොන්දු වූ මාතෘකාව සමඟ අපගේ පළමු ප්‍රජා හමුවට පැමිණෙන ලෙස මම කැමති සැමට ආරාධනා කරමි. විස්තර .
යමක් සිදුවුවහොත්, මම එහි සිටිමි, සංවර්ධකයින් සම්බන්ධයෙන් මා කෙතරම් වැරදිද යන්න ඔබට පුද්ගලිකව මගේ මුහුණට පැවසිය හැකිය.
මූලාශ්රය: www.habr.com