ডেটা ইঞ্জিনিয়ার বা মারা যান: একজন বিকাশকারীর গল্প

ডিসেম্বরের শুরুতে, আমি একটি মারাত্মক ভুল করেছিলাম এবং একজন ডেভেলপার হিসেবে আমার জীবনের একটি টার্নিং পয়েন্ট তৈরি করেছিলাম এবং কোম্পানির মধ্যে ডেটা ইঞ্জিনিয়ারিং (DE) টিমে চলে গিয়েছিলাম। এই নিবন্ধে আমি কিছু পর্যবেক্ষণ শেয়ার করব যা আমি ডিই টিমে কাজ করার দুই মাস সময় করেছি।

ডেটা ইঞ্জিনিয়ারিং কেন?

DE-তে আমার যাত্রা শুরু হয়েছিল 2019 সালের গ্রীষ্মে, যখন আমরা এক্সনেগ চল যাই বিতরণকৃত কম্পিউটিং স্কুল, এবং সেখানে আমি জ্ঞান অর্জন করেছি। আমি বিষয়টিতে আগ্রহী হতে শুরু করি, অ্যালগরিদমগুলি অধ্যয়ন করি এবং এমনকি সেগুলি সম্পর্কেও লিখতে, এবং তারপরে অ্যাপ্লিকেশনের সুযোগ সম্পর্কে চিন্তা করে এবং দ্রুত খুঁজে পেয়েছি যে আমাদের কোম্পানির ব্যবহারিক অ্যাপ্লিকেশনটি ডাটাবেস বিতরণ করা হয়।

আমাদের দল ঠিক কি করে? আমরা, সমস্ত ফ্যাশনেবল ছেলে এবং মেয়েদের মত, একটি ডেটা চালিত কোম্পানি হতে চাই। এবং এটি সম্ভব হওয়ার জন্য, আমাদের অন্ততপক্ষে একটি নির্ভরযোগ্য স্টোরেজ সুবিধা তৈরি করতে হবে, যা কোম্পানির প্রয়োজনীয় যেকোনো প্রতিবেদন তৈরি করতে ব্যবহার করা যেতে পারে। তবে সবচেয়ে গুরুত্বপূর্ণ বিষয় হল এই স্টোরেজের ডেটা অবশ্যই বিশ্বাসযোগ্য। তদুপরি, এই ডেটা ব্যবহার করে, আপনাকে টি সময়ে সিস্টেমের অবস্থা পুনরুদ্ধার করতে সক্ষম হতে হবে। এই সমস্ত কিছু জটিল যে আমরা মাইক্রোসার্ভিসের একটি সাহসী নতুন বিশ্বে বাস করি এবং এই আদর্শটি বোঝায় যে প্রতিটি পরিষেবা তার নিজস্ব ছোট কার্যকারিতা প্রয়োগ করে, এর ডাটাবেস তার নিজস্ব ব্যবসা এবং এটি অন্তত প্রতিদিন এটি মুছে ফেলতে পারে, কিন্তু একই সময়ে আমরা পরিষেবার অবস্থা গ্রহণ এবং প্রক্রিয়া করতে সক্ষম হতে হবে।

আপনি যদি ডেটা চালিত হতে চান তবে প্রথমে ইভেন্ট চালিত হন

এত সহজ নয়। ইভেন্টগুলি আলাদা, এবং বিকাশকারী এবং ডেটা ইঞ্জিনিয়ার তাদের আলাদাভাবে দেখেন। ঘটনা সম্পর্কে কথা বলা একটি পৃথক নিবন্ধের জন্য একটি বিষয়, তাই আমি এখানে এটিতে যাব না। উপরন্তু, এই ধরনের একটি নিবন্ধ ইতিমধ্যে আমি লিখেছি একজন নির্দিষ্ট মার্টিন ফাউলার, আমি তার খ্যাতি কেড়ে নেব না, তাকেও বিখ্যাত হতে দিন।

সাধারণভাবে, চিন্তা করার অনেক কিছু আছে এবং সে কারণেই এই এলাকাটি আকর্ষণীয়। এটা ঠিক তাই ঘটে যে আমাদের কোম্পানিতে, একজন ডেটা প্রকৌশলী শুধুমাত্র একজন ব্যক্তির চেয়ে দায়িত্বের অনেক বিস্তৃত ক্ষেত্র যিনি ETL/ELT পাইপলাইন লেখেন (যদি আপনি এই সংক্ষিপ্ত রূপের অর্থ কী তা জানেন না, তাহলে আসুন দেখা করা. প্রাসঙ্গিক বিজ্ঞাপন হিসাবে).

আমরা অবশ্যই স্টোরেজ আর্কিটেকচার, ডেটা মডেলিং, ডেটা সুরক্ষা সম্পর্কিত সমস্যা এবং পাইপলাইনগুলির সাথে মোকাবিলা করি। আমাদের এটাও নিশ্চিত করতে হবে যে, একদিকে আমাদের উপস্থিতি প্রোডাক্ট ডেভেলপারদের জন্য খুব একটা ভারসাম্যপূর্ণ নয় এবং সিস্টেমে নতুন ফিচারগুলি কাটানোর সময় তাদের আমাদের প্রয়োজনীয়তা থেকে যতটা সম্ভব বিভ্রান্ত হতে হবে, এবং অন্যদিকে, আমরা বিশ্লেষক এবং BI টিমের জন্য স্টোরেজ ডেটাতে সুবিধাজনকভাবে সেগুলি সরবরাহ করতে হবে। এভাবেই আমরা বাঁচি।

উন্নয়ন থেকে উত্তরণের সময় অসুবিধা

আমার কাজের প্রথম দিনে, আমি বেশ কয়েকটি সমস্যার সম্মুখীন হয়েছি যা আমি আপনার সাথে শেয়ার করতে চাই।

1. আমি প্রথম যে জিনিসটি দেখেছিলাম তা হল টিউলিং এবং কিছু অনুশীলনের অনুপস্থিতি। উদাহরণস্বরূপ, পরীক্ষার সাথে কোড কভারেজ নিন। আমাদের উন্নয়নে শত শত টেস্টিং ফ্রেমওয়ার্ক রয়েছে। ডেটা নিয়ে কাজ করার সময়, সবকিছু আরও জটিল। হ্যাঁ, আমরা পরীক্ষার ডেটাতে ETL পাইপলাইনগুলি পরীক্ষা করতে পারি, তবে আমাদের এটি সমস্ত ম্যানুয়ালি করতে হবে এবং প্রতিটি নির্দিষ্ট ক্ষেত্রে সমাধান খুঁজতে হবে। ফলস্বরূপ, পরীক্ষার কভারেজ অনেক খারাপ। সৌভাগ্যবশত, পর্যবেক্ষণ এবং লগ আকারে প্রতিক্রিয়ার আরেকটি স্তর রয়েছে, কিন্তু এর জন্য ইতিমধ্যেই আমাদের সক্রিয়ভাবে না হয়ে প্রতিক্রিয়াশীলভাবে প্রতিক্রিয়া দেখাতে হবে, যা বিরক্তিকর এবং বিরক্তিকর।

2. DE দৃষ্টিকোণ থেকে বিশ্বটি একজন সাধারণ পণ্য বিকাশকারীর কাছে যা মনে হয় তা মোটেই নয় (ভাল, অবশ্যই, পাঠক সেরকম নয়, এবং তিনি ইতিমধ্যেই সবকিছু জানেন, কিন্তু আমি জানতাম না এবং এখন আমি এটি স্ক্রু করা)। একজন বিকাশকারী হিসাবে, আমি আমার নিজস্ব মাইক্রোসার্ভিস তৈরি করি, ডেটা [আপনার পছন্দের ডেটাবেস]-এ রাখি, সেখানে আমার রাজ্য সংরক্ষণ করি, আইডি দ্বারা কিছু পাই এবং এটি ঠিক আছে। পরিষেবাটি ধীর, অর্ডারগুলি বিভ্রান্তিকর, এটাই সব। তারা আমাকে অন্য পরিষেবাতে আমার রাজ্যের সন্ধান করতে বলে, তাই আমি কিছু RabbitMQ-এ একটি ইভেন্ট ফেলব এবং এটিই। এবং এখানে আমরা আবার উপরে বর্ণিত ঘটনাগুলির বিষয়ে ফিরে এসেছি।

পরিচালন কাজের জন্য পরিষেবাটির যা প্রয়োজন তা ঐতিহাসিক ডেটার জন্য আমাদের উপযুক্ত নয়, তাই পরিষেবা চুক্তিগুলি পুনরায় কাজ করার প্রশ্ন এবং উন্নয়ন দলগুলির সাথে ঘনিষ্ঠ কাজ শুরু হয়। আপনি কল্পনাও করতে পারবেন না যে আমাদের সম্মত হতে কত ঘন্টা লেগেছে: তিনি আমাদের কোম্পানিতে কী ধরনের ইভেন্ট চালিত।

3. আপনার মাথা দিয়ে ভাবতে হবে। না, আমার মানে এই নয় যে ডেভেলপাররা ভাবেন না (যদিও আমি কে সবার জন্য কথা বলব), এটা ঠিক যে পণ্যের বিকাশে প্রায়শই আপনার কাছে ইতিমধ্যেই একধরনের আর্কিটেকচার থাকে এবং আপনি ব্যাকলগ থেকে বিভিন্ন পরিবর্তনগুলি কেটে ফেলেন। অবশ্যই, এর জন্য পরিকল্পনা এবং চিন্তার প্রয়োজন, তবে এটি স্ট্রিম ওয়ার্ক, যেখানে প্রধান সমস্যাটি কেবল এটি ভাল এবং দক্ষতার সাথে করা।

আমাদের জন্য, এটি এত সহজ নয় কারণ একটি উষ্ণ এবং আরামদায়ক মনোলিথ থেকে বন্য মাইক্রোসার্ভিস জঙ্গলের জগতে বিভিন্ন সিস্টেমের উপাদান স্থানান্তর করা এত সহজ নয়। যখন পরিষেবাটি ইভেন্টগুলি শুরু করে, তখন আপনাকে স্টোরেজ পূরণ করার যুক্তিটি পুনর্বিবেচনা করতে হবে, কারণ ডেটা এখন ভিন্ন দেখায়। এখানেই আপনাকে অনেক এবং পুঙ্খানুপুঙ্খভাবে চিন্তা করতে হবে, আর একজন বিকাশকারী হিসেবে নয়, একজন ডেটা ইঞ্জিনিয়ার হিসেবে। আপনি যখন একটি নোটবুক এবং কলম বা বোর্ডে একটি মার্কার নিয়ে দিন কাটান তখন এটি একটি সাধারণ গল্প। এটা খুব কঠিন, আমি ভাবতে পছন্দ করি না, আমি প্রোডাকশনও পছন্দ করি।

4. সম্ভবত সবচেয়ে গুরুত্বপূর্ণ জিনিস তথ্য. জ্ঞানের অভাব হলে আমরা কী করব? কে বলেছে স্ট্যাকওভারফ্লো? এই ব্যক্তিকে ঘর থেকে বের করে দাও। আমরা বিষয়ের উপর নথিপত্র, বই পড়তে যাই এবং এমন একটি সম্প্রদায়ও রয়েছে যা ফোরাম, মিটআপ এবং সম্মেলন আয়োজন করে। ডকুমেন্টেশন মহান, কিন্তু দুর্ভাগ্যবশত, এটি অসম্পূর্ণ হতে পারে. আমরা বেশ কয়েকটি প্রকল্পে কসমস ডিবি ব্যবহার করি। সৌভাগ্য এই পণ্যের জন্য ডকুমেন্টেশন পড়া. বইগুলিই একমাত্র পরিত্রাণ; সৌভাগ্যবশত, তারা বিদ্যমান এবং পাওয়া যেতে পারে, এগুলিতে প্রচুর মৌলিক জ্ঞান রয়েছে এবং আপনাকে প্রচুর এবং ক্রমাগত পড়তে হবে। কিন্তু সমস্যা হল সম্প্রদায়ের।

এখন আমাদের এলাকায় অন্তত একটি পর্যাপ্ত সম্মেলন বা মিটআপ খুঁজে পাওয়া কঠিন। না, অবশ্যই, ডেটা শব্দটির সাথে প্রচুর মিল রয়েছে, তবে এই শব্দের পাশে সাধারণত ML বা AI এর মতো অদ্ভুত সংক্ষিপ্ত রূপ রয়েছে। সুতরাং, এটি আমাদের জন্য নয়, আমরা কীভাবে স্টোরেজ সুবিধাগুলি তৈরি করতে হয় সে সম্পর্কে কথা বলছি, এবং কীভাবে নিউরন দিয়ে নিজেদেরকে দাগ দেওয়া যায় তা নয়। এই হিপস্টাররা সবকিছু দখল করে নিয়েছে। ফলস্বরূপ, আমরা একটি সম্প্রদায় ছাড়া. যাইহোক, আপনি যদি একজন ডেটা ইঞ্জিনিয়ার হন এবং ভাল সম্প্রদায়গুলি জানেন তবে অনুগ্রহ করে মন্তব্যে লিখুন৷

বৈঠকের উপসংহার এবং ঘোষণা

আমরা কি দিয়ে শেষ করব? আমার প্রথম অভিজ্ঞতা আমাকে বলে যে একজন ডেটা ইঞ্জিনিয়ারের জুতোর অনুভূতি প্রতিটি বিকাশকারীর জন্য দরকারী হবে। এটি কেবল আমাদের জিনিসগুলিকে ভিন্নভাবে দেখার অনুমতি দেয় এবং যখন আমরা দেখি যে বিকাশকারীরা তাদের ডেটা কীভাবে ব্যবহার করে তখন আমাদের চোখ রক্তাক্ত হয়ে যায়। সুতরাং, যদি আপনার কোম্পানিতে একটি ডিই থাকে, শুধু এই ছেলেদের সাথে কথা বলুন, আপনি অনেক নতুন জিনিস শিখবেন (নিজের সম্পর্কে)।

এবং অবশেষে, ঘোষণা. যেহেতু দিনের বেলা আমাদের বিষয়ের উপর মিটআপ খুঁজে পাওয়া কঠিন, তাই আমরা আমাদের নিজস্ব করার সিদ্ধান্ত নিয়েছি। আমরা খারাপ কেন? ভাগ্যক্রমে আমরা একটি আশ্চর্যজনক আছে Schvepsss এবং আমাদের বন্ধুদের থেকে নতুন পেশা ল্যাব, যারা, আমাদের মত, মনে করেন যে ডেটা ইঞ্জিনিয়াররা অন্যায়ভাবে মনোযোগ থেকে বঞ্চিত।

এই সুযোগটি গ্রহণ করে, আমি প্রত্যেককে আমন্ত্রণ জানাচ্ছি যারা আমাদের প্রথম কমিউনিটি মিটআপে আসার জন্য প্রতিশ্রুতিশীল শিরোনাম “DE or DIE”, যা 27.02.2020 ফেব্রুয়ারি, XNUMX-এ ডোডো পিৎজা অফিসে অনুষ্ঠিত হবে। এ বিস্তারিত টাইমপ্যাড.

যদি কিছু হয়, আমি সেখানে থাকব, আপনি আমাকে ব্যক্তিগতভাবে বলতে পারেন যে আমি বিকাশকারীদের সম্পর্কে কতটা ভুল।

উত্স: www.habr.com