ডেটা ইঞ্জিনিয়ার কারা এবং আপনি কীভাবে একজন হয়ে উঠবেন?

আবারো স্বাগতম! নিবন্ধের শিরোনাম নিজেই জন্য কথা বলে. কোর্স শুরুর প্রত্যাশায় ডেটা ইঞ্জিনিয়ার আমরা আপনাকে ডেটা ইঞ্জিনিয়ার কারা তা বোঝার পরামর্শ দিই। নিবন্ধে দরকারী লিঙ্ক অনেক আছে. শুভ পড়ার.

কীভাবে ডেটা ইঞ্জিনিয়ারিং তরঙ্গ ধরবেন এবং এটি আপনাকে অতল গহ্বরে টেনে আনতে দেবেন না তার একটি সহজ নির্দেশিকা।

মনে হচ্ছে সবাই আজকাল ডেটা সায়েন্টিস্ট হতে চায়। কিন্তু ডেটা ইঞ্জিনিয়ারিং সম্পর্কে কি? মূলত, এটি একটি ডেটা বিশ্লেষক এবং ডেটা বিজ্ঞানীর এক ধরনের সংকর; একজন ডেটা ইঞ্জিনিয়ার সাধারণত ওয়ার্কফ্লো, প্রসেসিং পাইপলাইন এবং ইটিএল প্রক্রিয়া পরিচালনার জন্য দায়ী. এই ফাংশনগুলির গুরুত্বের কারণে, এটি বর্তমানে আরেকটি জনপ্রিয় পেশাদার জার্গন যা সক্রিয়ভাবে গতি পাচ্ছে।

উচ্চ বেতন এবং বিশাল চাহিদা এই কাজটিকে অত্যন্ত আকর্ষণীয় করে তোলে তার একটি ছোট অংশ! আপনি যদি নায়কদের র‌্যাঙ্কে যোগ দিতে চান তবে শেখা শুরু করতে খুব বেশি দেরি হয় না। এই পোস্টে, আমি আপনাকে আপনার প্রথম পদক্ষেপ নিতে সাহায্য করার জন্য সমস্ত প্রয়োজনীয় তথ্য সংগ্রহ করেছি।

তো চলুন শুরু করা যাক!

ডেটা ইঞ্জিনিয়ারিং কি?

সত্যই, এর চেয়ে ভাল ব্যাখ্যা আর নেই:

"একজন বিজ্ঞানী একটি নতুন তারা আবিষ্কার করতে পারেন, কিন্তু তিনি একটি তৈরি করতে পারেন না। তাকে একজন প্রকৌশলীকে তার জন্য এটি করতে বলতে হবে।"

-গর্ডন লিন্ডসে গ্লেগ

সুতরাং, একজন ডেটা ইঞ্জিনিয়ারের ভূমিকা বেশ তাৎপর্যপূর্ণ।

নাম অনুসারে, ডেটা ইঞ্জিনিয়ারিং ডেটার সাথে সম্পর্কিত, যথা এর ডেলিভারি, স্টোরেজ এবং প্রক্রিয়াকরণ। তদনুসারে, ইঞ্জিনিয়ারদের প্রধান কাজ ডেটার জন্য একটি নির্ভরযোগ্য পরিকাঠামো প্রদান করা। যদি আমরা প্রয়োজনের AI শ্রেণিবিন্যাসের দিকে তাকাই, ডেটা ইঞ্জিনিয়ারিং প্রথম 2-3 ধাপগুলি দখল করে: সংগ্রহ, চলাচল এবং স্টোরেজ, ডেটা প্রস্তুতি.

একজন ডেটা ইঞ্জিনিয়ার কী করেন?

বড় তথ্যের আবির্ভাবের সাথে, দায়িত্বের পরিধি নাটকীয়ভাবে পরিবর্তিত হয়েছে। আগে যদি এই বিশেষজ্ঞরা ইনফরমেটিকা ​​ইটিএল, পেন্টাহো ইটিএল, ট্যালেন্ডের মতো টুল ব্যবহার করে বড় এসকিউএল কোয়েরি এবং ডিস্টিল ডেটা লিখে থাকেন, এখন ডেটা ইঞ্জিনিয়ারদের প্রয়োজনীয়তা বেড়েছে।

ডেটা ইঞ্জিনিয়ার পদের জন্য উন্মুক্ত শূন্যপদ সহ বেশিরভাগ সংস্থার নিম্নলিখিত প্রয়োজনীয়তা রয়েছে:

• এসকিউএল এবং পাইথনের চমৎকার জ্ঞান।
• ক্লাউড প্ল্যাটফর্মের অভিজ্ঞতা, বিশেষ করে অ্যামাজন ওয়েব পরিষেবা।
• জাভা/স্ক্যালার জ্ঞান পছন্দ।
• SQL এবং NoSQL ডাটাবেস (ডেটা মডেলিং, ডাটা গুদামজাতকরণ) সম্পর্কে ভালো বোঝাপড়া।

মনে রাখবেন, এগুলি শুধুমাত্র প্রয়োজনীয় জিনিস। এই তালিকা থেকে, এটি অনুমান করা যেতে পারে যে ডেটা ইঞ্জিনিয়াররা সফ্টওয়্যার বিকাশ এবং ব্যাকএন্ডের ক্ষেত্রে বিশেষজ্ঞ।
উদাহরণস্বরূপ, যদি কোনও সংস্থা বিভিন্ন উত্স থেকে প্রচুর পরিমাণে ডেটা তৈরি করতে শুরু করে, তবে ডেটা ইঞ্জিনিয়ার হিসাবে আপনার কাজটি তথ্য সংগ্রহ, এর প্রক্রিয়াকরণ এবং স্টোরেজকে সংগঠিত করা।

এই ক্ষেত্রে ব্যবহৃত সরঞ্জামগুলির তালিকা পৃথক হতে পারে, এটি সমস্ত এই ডেটার ভলিউম, এর প্রাপ্তির গতি এবং বৈচিত্র্যের উপর নির্ভর করে। বেশিরভাগ কোম্পানিই বড় ডেটা নিয়ে কাজ করে না, তাই একটি কেন্দ্রীভূত সংগ্রহস্থল, তথাকথিত ডেটা গুদাম হিসাবে, আপনি একটি এসকিউএল ডাটাবেস (PostgreSQL, MySQL, ইত্যাদি) ব্যবহার করতে পারেন যার মধ্যে একটি ছোট স্ক্রিপ্ট রয়েছে যা ডেটা ফিড করে। গুদাম

আইটি জায়ান্ট যেমন গুগল, অ্যামাজন, ফেসবুক বা ড্রপবক্সের উচ্চতর প্রয়োজনীয়তা রয়েছে: পাইথন, জাভা বা স্কালা সম্পর্কে জ্ঞান।

• বড় ডেটার অভিজ্ঞতা: হাদুপ, স্পার্ক, কাফকা।
• অ্যালগরিদম এবং ডেটা স্ট্রাকচারের জ্ঞান।
• বিতরণ সিস্টেমের বুনিয়াদি বোঝা।
• মূক বা ইলাস্টিক সার্চের মতো ডেটা ভিজ্যুয়ালাইজেশন সরঞ্জামগুলির সাথে অভিজ্ঞতা একটি প্লাস হবে।

অর্থাৎ, বড় ডেটার দিকে একটি স্পষ্ট স্থানান্তর রয়েছে, যথা উচ্চ লোডের অধীনে এটির প্রক্রিয়াকরণে। এই সংস্থাগুলি সিস্টেমের ত্রুটি সহনশীলতার জন্য প্রয়োজনীয়তা বাড়িয়েছে।

ডেটা ইঞ্জিনিয়ার বনাম তথ্য বিজ্ঞানীরা

ঠিক আছে, এটি একটি সহজ এবং মজার তুলনা ছিল (ব্যক্তিগত কিছুই নয়), কিন্তু বাস্তবে এটি অনেক বেশি জটিল।

প্রথমত, আপনার জানা উচিত যে একজন ডেটা সায়েন্টিস্ট এবং একজন ডেটা ইঞ্জিনিয়ারের ভূমিকা এবং দক্ষতার বর্ণনায় অনেক অস্পষ্টতা রয়েছে। অর্থাৎ একজন সফল ডাটা ইঞ্জিনিয়ার হতে কী কী দক্ষতা প্রয়োজন তা নিয়ে আপনি সহজেই বিভ্রান্ত হতে পারেন। অবশ্যই, কিছু নির্দিষ্ট দক্ষতা রয়েছে যা উভয় ভূমিকার সাথে ওভারল্যাপ করে। কিন্তু বিভিন্ন ধরনের বিরোধী দক্ষতাও রয়েছে।

ডেটা বিজ্ঞান একটি গুরুতর ব্যবসা, কিন্তু আমরা কার্যকরী ডেটা বিজ্ঞানের একটি জগতের দিকে এগিয়ে যাচ্ছি যেখানে অনুশীলনকারীরা তাদের নিজস্ব বিশ্লেষণ করতে সক্ষম। ডেটা পাইপলাইন এবং ইন্টিগ্রেটেড ডেটা স্ট্রাকচার সক্ষম করার জন্য, আপনার ডেটা ইঞ্জিনিয়ারদের প্রয়োজন, ডেটা বিজ্ঞানীদের নয়।

একজন ডেটা বিজ্ঞানীর চেয়ে ডেটা ইঞ্জিনিয়ারের চাহিদা বেশি?

- হ্যাঁ, কারণ আপনি গাজরের পিঠা তৈরি করার আগে, আপনাকে প্রথমে গাজর সংগ্রহ, খোসা ছাড়িয়ে স্টক করতে হবে!

একজন ডাটা ইঞ্জিনিয়ার যেকোন ডাটা সায়েন্টিস্টের চেয়ে প্রোগ্রামিং ভালো বোঝেন, কিন্তু যখন পরিসংখ্যানের কথা আসে তখন এর বিপরীতটা হয়।

কিন্তু এখানে একজন ডেটা ইঞ্জিনিয়ারের সুবিধা হল:

তাকে ছাড়া, প্রোটোটাইপ মডেলের মান, প্রায়শই একটি পাইথন ফাইলে ভয়ানক মানের কোডের একটি অংশ থাকে, যা একজন ডেটা বিজ্ঞানীর কাছ থেকে প্রাপ্ত এবং কোনোভাবে ফলাফল তৈরি করে, শূন্যের দিকে ঝোঁক।

ডেটা ইঞ্জিনিয়ার ছাড়া, এই কোডটি কখনই একটি প্রকল্পে পরিণত হবে না এবং কোনও ব্যবসায়িক সমস্যা কার্যকরভাবে সমাধান হবে না। ডেটা ইঞ্জিনিয়ার এই সমস্ত কিছুকে পণ্যে পরিণত করার চেষ্টা করছেন।

প্রাথমিক তথ্য একজন ডাটা ইঞ্জিনিয়ারের জানা উচিত

সুতরাং, যদি এই কাজটি আপনার মধ্যে আলো নিয়ে আসে এবং আপনি উত্সাহী হন - আপনি এটি শিখতে পারেন, আপনি সমস্ত প্রয়োজনীয় দক্ষতা আয়ত্ত করতে পারেন এবং ডেটা ইঞ্জিনিয়ারিংয়ের ক্ষেত্রে একজন সত্যিকারের রক স্টার হয়ে উঠতে পারেন। এবং, হ্যাঁ, আপনি প্রোগ্রামিং দক্ষতা বা অন্যান্য প্রযুক্তিগত জ্ঞান ছাড়াই এটি বন্ধ করতে পারেন। এটা কঠিন, কিন্তু সম্ভব!

প্রথম পদক্ষেপ কি?

আপনি কি কি একটি সাধারণ ধারণা থাকা উচিত.

প্রথমত, ডেটা ইঞ্জিনিয়ারিং বলতে কম্পিউটার বিজ্ঞান বোঝায়। আরও নির্দিষ্টভাবে, আপনাকে অবশ্যই দক্ষ অ্যালগরিদম এবং ডেটা স্ট্রাকচার বুঝতে হবে। দ্বিতীয়ত, যেহেতু ডেটা ইঞ্জিনিয়াররা ডেটা নিয়ে কাজ করেন, তাই ডাটাবেসের নীতিগুলি এবং তাদের অন্তর্নিহিত কাঠামোগুলি বোঝা প্রয়োজন।

উদাহরণ স্বরূপ, প্রচলিত বি-ট্রি এসকিউএল ডাটাবেসগুলি বি-ট্রি ডেটা স্ট্রাকচারের উপর ভিত্তি করে তৈরি করা হয়, সেইসাথে আধুনিক ডিস্ট্রিবিউটেড রিপোজিটরিগুলিতে, এলএসএম-ট্রি এবং হ্যাশ টেবিলের অন্যান্য পরিবর্তনগুলি।

*এই পদক্ষেপগুলি একটি দুর্দান্ত নিবন্ধের উপর ভিত্তি করে আদিলিয়া খাশতামোভা. সুতরাং, আপনি যদি রাশিয়ান জানেন, এই লেখককে সমর্থন করুন এবং পড়ুন তার পোস্ট.

1. অ্যালগরিদম এবং ডেটা স্ট্রাকচার

সঠিক ডেটা স্ট্রাকচার ব্যবহার করে অ্যালগরিদমের কর্মক্ষমতা উল্লেখযোগ্যভাবে উন্নত করতে পারে। আদর্শভাবে, আমাদের সকলেরই আমাদের স্কুলে ডেটা স্ট্রাকচার এবং অ্যালগরিদম সম্পর্কে শেখা উচিত, তবে এটি খুব কমই কভার করা হয়। যাই হোক না কেন, পরিচিত হতে দেরি হয় না।
সুতরাং এখানে ডেটা স্ট্রাকচার এবং অ্যালগরিদম শেখার জন্য আমার প্রিয় বিনামূল্যের কোর্সগুলি রয়েছে:

• সহজ থেকে জটিল পর্যন্ত: ডেটা স্ট্রাকচার (উডেমি)
• অ্যালগরিদম, পার্ট I (কোর্সেরা)
• অ্যালগরিদম, পার্ট II (কোর্সেরা)

এছাড়াও অ্যালগরিদমের উপর টমাস কোরম্যানের ক্লাসিক কাজ সম্পর্কে ভুলবেন না - অ্যালগরিদমের ভূমিকা. আপনার মেমরি রিফ্রেশ করার প্রয়োজন হলে এটি নিখুঁত রেফারেন্স।

• আপনার দক্ষতা উন্নত করতে, ব্যবহার করুন লিটকোড.

আপনি ইউটিউবে কার্নেগি মেলন ইউনিভার্সিটির আশ্চর্যজনক ভিডিও সহ ডাটাবেসের জগতে ডুব দিতে পারেন:

• ডাটাবেস সিস্টেমের ভূমিকা.
• উন্নত ডাটাবেস সিস্টেম.

2. এসকিউএল শিখুন

আমাদের পুরো জীবন ডেটা। এবং ডাটাবেস থেকে এই ডেটা বের করার জন্য, আপনাকে এটির সাথে একই ভাষা "কথা বলতে" হবে।

SQL (স্ট্রাকচার্ড কোয়েরি ল্যাঙ্গুয়েজ) হল ডেটা ডোমেনে যোগাযোগের ভাষা। কেউ যাই বলুক না কেন, এসকিউএল বেঁচে আছে, বেঁচে আছে এবং অনেকদিন বেঁচে থাকবে।

আপনি যদি দীর্ঘকাল ধরে বিকাশে থাকেন তবে আপনি সম্ভবত লক্ষ্য করেছেন যে SQL এর আসন্ন মৃত্যু সম্পর্কে গুজব পর্যায়ক্রমে পপ আপ হয়। ভাষাটি 70 এর দশকের গোড়ার দিকে বিকশিত হয়েছিল এবং এখনও এটি বিশ্লেষক, বিকাশকারী এবং সহজভাবে উত্সাহীদের মধ্যে খুব জনপ্রিয়।
এসকিউএল-এর জ্ঞান ছাড়া ডেটা ইঞ্জিনিয়ারিং-এ কিছুই করার নেই কারণ ডেটা পুনরুদ্ধার করার জন্য আপনাকে অনিবার্যভাবে প্রশ্ন তৈরি করতে হবে। সমস্ত আধুনিক বড় ডেটা গুদামগুলি এসকিউএল সমর্থন করে:

• আমাজন রেডশিফ্ট
• এইচপি ভার্টিকা
• আকাশবাণী
• SQL সার্ভার

... এবং আরও অনেক কিছু.

এইচডিএফএস-এর মতো বিতরণ করা সিস্টেমে সংরক্ষিত ডেটার একটি বৃহৎ স্তর বিশ্লেষণ করার জন্য, এসকিউএল ইঞ্জিনগুলি উদ্ভাবিত হয়েছিল: অ্যাপাচি হাইভ, ইমপালা, ইত্যাদি। দেখুন, এটি কোথাও যাচ্ছে না।

কিভাবে SQL শিখবেন? শুধু অনুশীলনে এটি করুন।

এটি করার জন্য, আমি একটি চমৎকার টিউটোরিয়াল পরীক্ষা করার সুপারিশ করব, যা, উপায় দ্বারা, বিনামূল্যে, থেকে মোড বিশ্লেষণ.

1. ইন্টারমিডিয়েট এসকিউএল
2. এসকিউএল-এ ডেটা যোগ করা

যা এই কোর্সগুলিকে বিশেষ করে তোলে তা হল তাদের একটি ইন্টারেক্টিভ পরিবেশ রয়েছে যেখানে আপনি আপনার ব্রাউজারেই এসকিউএল কোয়েরি লিখতে এবং চালাতে পারেন। সম্পদ আধুনিক এসকিউএল অতিরিক্ত হবে না। এবং আপনি এই জ্ঞান প্রয়োগ করতে পারেন লিটকোড কাজ ডাটাবেস বিভাগে।

3. পাইথন এবং জাভা/স্ক্যালায় প্রোগ্রামিং

আপনার কেন পাইথন প্রোগ্রামিং ভাষা শেখা উচিত, আমি ইতিমধ্যে নিবন্ধে লিখেছি পাইথন বনাম আর. এআই, এমএল এবং ডেটা সায়েন্সের জন্য সেরা টুল বেছে নেওয়া. যখন জাভা এবং স্কালার কথা আসে, প্রচুর পরিমাণে ডেটা সংরক্ষণ এবং প্রক্রিয়াকরণের জন্য বেশিরভাগ সরঞ্জামগুলি এই ভাষাগুলিতে লেখা হয়। উদাহরণ স্বরূপ:

• অ্যাপাচি কাফকা (স্কালা)
• Hadoop, HDFS (জাভা)
• অ্যাপাচি স্পার্ক (স্ক্যালা)
• অ্যাপাচি ক্যাসান্দ্রা (জাভা)
• HBase (জাভা)
• Apache Hive (জাভা)

এই সরঞ্জামগুলি কীভাবে কাজ করে তা বোঝার জন্য, আপনাকে সেগুলি যে ভাষায় লেখা হয়েছে তা জানতে হবে। স্কালার কার্যকরী পদ্ধতি আপনাকে সমান্তরাল ডেটা প্রক্রিয়াকরণ সমস্যাগুলি কার্যকরভাবে সমাধান করতে দেয়। পাইথন, দুর্ভাগ্যবশত, গতি এবং সমান্তরাল প্রক্রিয়াকরণের গর্ব করতে পারে না। সাধারণভাবে, বিভিন্ন ভাষা এবং প্রোগ্রামিং দৃষ্টান্তের জ্ঞান সমস্যা সমাধানের পদ্ধতির বিস্তৃতির জন্য ভাল।

স্কালা ভাষায় ডুব দিতে, আপনি পড়তে পারেন স্কালায় প্রোগ্রামিং ভাষার লেখক থেকে। টুইটার একটি ভাল পরিচায়ক নির্দেশিকাও প্রকাশ করেছে - স্কালা স্কুল.

পাইথনের জন্য, আমি বিশ্বাস করি সাবলীল পাইথন সেরা মধ্যম স্তরের বই।

4. বড় ডেটা নিয়ে কাজ করার জন্য টুল

এখানে বিগ ডেটার বিশ্বের সবচেয়ে জনপ্রিয় টুলগুলির একটি তালিকা রয়েছে:

• আপা স্পার্ক
• আপাচি কাফকা
• Apache Hadoop (HDFS, HBase, Hive)
• আপাবা Cassandra

আপনি এই আশ্চর্যজনক বড় তথ্য ব্লক নির্মাণ সম্পর্কে আরও তথ্য পেতে পারেন ইন্টারেক্টিভ পরিবেশ. সবচেয়ে জনপ্রিয় টুল হল স্পার্ক এবং কাফকা। তারা অবশ্যই অধ্যয়ন যোগ্য, তারা ভিতরে থেকে কিভাবে কাজ করে তা বোঝার পরামর্শ দেওয়া হয়। জে ক্রেপস (কাফকার সহ-লেখক) 2013 সালে একটি স্মারক রচনা প্রকাশ করেছিলেন লগ: প্রতিটি সফ্টওয়্যার বিকাশকারীর রিয়েল-টাইম ডেটা অ্যাগ্রিগেশন বিমূর্ততা সম্পর্কে কী জানা উচিতযাইহোক, এই তালমুডের মূল ধারণাগুলি অ্যাপাচি কাফকা তৈরি করতে ব্যবহৃত হয়েছিল।

• Hadoop একটি ভূমিকা হতে পারে হাডুপ মাস্টারিং করার সম্পূর্ণ নির্দেশিকা (বিনামূল্যে).
• আমার জন্য Apache Spark-এর সবচেয়ে ব্যাপক নির্দেশিকা হল- স্পার্ক: সম্পূর্ণ গাইড.

5. ক্লাউড প্ল্যাটফর্ম

কমপক্ষে একটি ক্লাউড প্ল্যাটফর্মের জ্ঞান ডেটা ইঞ্জিনিয়ার পদের জন্য আবেদনকারীদের প্রাথমিক প্রয়োজনীয়তার তালিকায় রয়েছে। নিয়োগকর্তারা Amazon ওয়েব পরিষেবাগুলিকে পছন্দ করেন, যেখানে Google-এর ক্লাউড প্ল্যাটফর্ম দ্বিতীয় স্থানে রয়েছে এবং Microsoft Azure শীর্ষ তিনে রয়েছে।

আপনার অবশ্যই Amazon EC2, AWS Lambda, Amazon S3, DynamoDB সম্পর্কে ভালো জ্ঞান থাকতে হবে।

6. বিতরণ ব্যবস্থা

বড় ডেটার সাথে কাজ করার অর্থ স্বাধীনভাবে অপারেটিং কম্পিউটারের ক্লাস্টারের উপস্থিতি, যার মধ্যে যোগাযোগ একটি নেটওয়ার্কের মাধ্যমে পরিচালিত হয়। ক্লাস্টার যত বড় হবে, এর সদস্য নোডগুলির ব্যর্থতার সম্ভাবনা তত বেশি। একজন মহান ডেটা সায়েন্টিস্ট হওয়ার জন্য, আপনাকে ডিস্ট্রিবিউটেড সিস্টেমের সমস্যা এবং বিদ্যমান সমাধানগুলি বুঝতে হবে। এই এলাকাটি পুরানো এবং জটিল।

অ্যান্ড্রু টেনেনবাউমকে এই ক্ষেত্রে অগ্রগামী হিসেবে বিবেচনা করা হয়। যারা তত্ত্ব ভয় পায় না, আমি তার বই সুপারিশ "ডিস্ট্রিবিউটেড সিস্টেম", এটি নতুনদের জন্য ভয়ঙ্কর বলে মনে হতে পারে, কিন্তু এটি সত্যিই আপনাকে আপনার দক্ষতা বাড়াতে সাহায্য করবে।

আমি বিবেচনা করি মার্টিন ক্লেপম্যান দ্বারা ডেটা-ইনটেনসিভ অ্যাপ্লিকেশন ডিজাইন করা সেরা পরিচায়ক বই। যাইহোক, মার্টিন একটি বিস্ময়কর আছে ব্লগ. তার কাজ বড় ডেটা সংরক্ষণ এবং প্রক্রিয়াকরণের জন্য একটি আধুনিক অবকাঠামো তৈরির বিষয়ে জ্ঞানকে পদ্ধতিগত করতে সাহায্য করবে।
যারা ভিডিও দেখতে পছন্দ করেন তাদের জন্য ইউটিউবে একটি কোর্স রয়েছে বিতরণ করা কম্পিউটার সিস্টেম.

7. ডেটা পাইপলাইন

ডেটা পাইপলাইন এমন কিছু যা আপনি ডেটা ইঞ্জিনিয়ার ছাড়া বাঁচতে পারবেন না।

বেশিরভাগ সময়, একজন ডেটা ইঞ্জিনিয়ার একটি তথাকথিত ডেটা পাইপলাইন তৈরি করেন, অর্থাৎ, তিনি এক জায়গা থেকে অন্য জায়গায় ডেটা সরবরাহ করার জন্য একটি প্রক্রিয়া তৈরি করেন। এগুলি কাস্টম স্ক্রিপ্ট হতে পারে যা একটি বাহ্যিক পরিষেবার API এ যায় বা একটি এসকিউএল কোয়েরি করে, ডেটা বৃদ্ধি করে এবং এটিকে একটি কেন্দ্রীভূত স্টোর (ডেটা গুদাম) বা একটি অসংগঠিত ডেটা স্টোরে (ডেটা লেক) রাখে।

সারসংক্ষেপ: একজন ডেটা ইঞ্জিনিয়ারের জন্য মৌলিক চেকলিস্ট

সংক্ষিপ্ত করার জন্য, নিম্নলিখিতগুলির একটি ভাল বোঝার প্রয়োজন:

• তথ্য ব্যবস্থা;
• সফটওয়্যার ডেভেলপমেন্ট (Agile, DevOps, Design Techniques, SOA);
• বিতরণ সিস্টেম এবং সমান্তরাল প্রোগ্রামিং;
• ডাটাবেসের মৌলিক বিষয়গুলি - পরিকল্পনা, নকশা, অপারেশন এবং সমস্যা সমাধান;
• পরীক্ষা-নিরীক্ষার নকশা - ধারণা প্রমাণ করার জন্য A/B পরীক্ষা, নির্ভরযোগ্যতা, সিস্টেমের কার্যকারিতা নির্ধারণ এবং দ্রুত ভালো সমাধান প্রদানের জন্য নির্ভরযোগ্য পথ তৈরি করে।

ডেটা ইঞ্জিনিয়ার হওয়ার জন্য এগুলি কেবলমাত্র কয়েকটি প্রয়োজনীয়তা, তাই ডেটা সিস্টেম, তথ্য সিস্টেম, ক্রমাগত বিতরণ/স্থাপন/একীকরণ, প্রোগ্রামিং ভাষা এবং অন্যান্য কম্পিউটার বিজ্ঞানের বিষয়গুলি (সব বিষয়ের ক্ষেত্র নয়) শিখুন এবং বুঝুন।

এবং পরিশেষে, আমি বলতে চাই শেষ কিন্তু খুব গুরুত্বপূর্ণ জিনিস.

ডেটা ইঞ্জিনিয়ারিং হওয়ার পথটি যতটা সহজ মনে হয় ততটা সহজ নয়। তিনি ক্ষমা করেন না, তিনি হতাশ করেন এবং আপনাকে অবশ্যই এর জন্য প্রস্তুত থাকতে হবে। এই যাত্রার কিছু মুহূর্ত আপনাকে হাল ছেড়ে দিতে পারে। কিন্তু এটি বাস্তব কাজ এবং একটি শেখার প্রক্রিয়া।

শুধু শুরু থেকেই সুগারকোট করবেন না। ভ্রমণের সম্পূর্ণ বিষয় হল যতটা সম্ভব শিখতে হবে এবং নতুন চ্যালেঞ্জের জন্য প্রস্তুত হতে হবে।
এখানে একটি দুর্দান্ত ছবি যা আমি জুড়ে এসেছি যা এই বিষয়টিকে ভালভাবে ব্যাখ্যা করে:

এবং হ্যাঁ, বার্নআউট এবং বিশ্রাম এড়াতে মনে রাখবেন। এটাও খুবই গুরুত্বপূর্ণ। শুভকামনা!

আপনি নিবন্ধটি কি মনে করেন, বন্ধুরা? আমরা আপনাকে আমন্ত্রণ জানাই বিনামূল্যে ওয়েবিনার, যা আজ 20.00 এ অনুষ্ঠিত হবে। ওয়েবিনার চলাকালীন, আমরা আলোচনা করব কীভাবে একটি ছোট কোম্পানি বা স্টার্টআপের জন্য ন্যূনতম খরচে একটি কার্যকর এবং মাপযোগ্য ডেটা প্রসেসিং সিস্টেম তৈরি করা যায়। অনুশীলন হিসাবে, আমরা Google ক্লাউড ডেটা প্রক্রিয়াকরণ সরঞ্জামগুলির সাথে পরিচিত হব। দেখা হবে!

উত্স: www.habr.com