পেশা ডেটা ইঞ্জিনিয়ার পাওয়ার জন্য সমতলকরণ পরিকল্পনা

গত আট বছর ধরে আমি প্রজেক্ট ম্যানেজার হিসেবে কাজ করছি (আমি কাজের সময় কোড লিখি না), যা স্বাভাবিকভাবেই আমার প্রযুক্তিগত ব্যাকএন্ডকে নেতিবাচকভাবে প্রভাবিত করে। আমি আমার প্রযুক্তিগত ব্যবধান বন্ধ করে ডেটা ইঞ্জিনিয়ারের পেশা গ্রহণ করার সিদ্ধান্ত নিয়েছি। একজন ডেটা ইঞ্জিনিয়ারের মূল দক্ষতা হল ডেটা গুদামগুলি ডিজাইন, নির্মাণ এবং রক্ষণাবেক্ষণ করার ক্ষমতা।

আমি একটি প্রশিক্ষণ পরিকল্পনা করেছি, আমি মনে করি এটি কেবল আমার জন্যই কার্যকর হবে না। পরিকল্পনা স্ব-অধ্যয়ন কোর্সের উপর দৃষ্টি নিবদ্ধ করা হয়. রাশিয়ান ভাষায় বিনামূল্যে কোর্সে অগ্রাধিকার দেওয়া হয়।

বিভাগ:

• অ্যালগরিদম এবং ডেটা স্ট্রাকচার। মূল বিভাগ। এটি শিখুন এবং অন্য সবকিছুও কাজ করবে। কোডের উপর আপনার হাত পেতে এবং মৌলিক কাঠামো এবং অ্যালগরিদম ব্যবহার করা গুরুত্বপূর্ণ।
• ডাটাবেস এবং ডেটা গুদাম, ব্যবসায়িক বুদ্ধিমত্তা। আমরা অ্যালগরিদম থেকে ডেটা স্টোরেজ এবং প্রক্রিয়াকরণের দিকে চলেছি।
• হাডুপ এবং বিগ ডেটা। যখন ডাটাবেস হার্ড ড্রাইভে অন্তর্ভুক্ত করা হয় না, বা যখন ডেটা বিশ্লেষণের প্রয়োজন হয়, কিন্তু এক্সেল আর সেগুলি লোড করতে পারে না, তখন বড় ডেটা শুরু হয়। আমার মতে, পূর্ববর্তী দুটি গভীর অধ্যয়নের পরেই এই বিভাগে এগিয়ে যাওয়া প্রয়োজন।

অ্যালগরিদম এবং ডেটা স্ট্রাকচার

আমার পরিকল্পনায়, আমি পাইথন শেখা, গণিতের মূল বিষয়গুলি এবং অ্যালগরিদমাইজেশনের পুনরাবৃত্তি অন্তর্ভুক্ত করেছি।

• পাইথনে প্রোগ্রামিং
• পাইথন: বেসিক এবং অ্যাপ্লিকেশন
• রৈখিক বীজগণিত
• বিযুক্ত গণিতের উপর Likbez
• অ্যালগরিদম: তত্ত্ব এবং অনুশীলন। পদ্ধতি
• অ্যালগরিদম: তত্ত্ব এবং অনুশীলন। উপাত্ত কাঠামো

ডাটাবেস এবং ডেটা গুদাম, ব্যবসায়িক বুদ্ধিমত্তা

• বই: মার্টিন ক্লেপম্যান - হাইলি লোড করা অ্যাপ্লিকেশন। প্রোগ্রামিং, স্কেলিং, সমর্থন। বইটি বর্ণনা করে যে কীভাবে বিভিন্ন ডেটা মডেল কাজ করে, ভিতরে থেকে তাদের বাস্তবায়ন, সীমাবদ্ধতা এবং কাজের উপর নির্ভর করে পছন্দগুলি।
• ডাটাবেস পরিচিতি
• DBMS এ ডুব দিন
• সম্পর্কহীন ডাটাবেসের ভূমিকা

তথ্য গুদাম, ETL, OLAP কিউব নির্মাণ সংক্রান্ত বিষয়গুলি টুলের উপর অত্যন্ত নির্ভরশীল, তাই আমি এই নথিতে কোর্সের লিঙ্ক দিচ্ছি না। একটি নির্দিষ্ট কোম্পানিতে একটি নির্দিষ্ট প্রকল্পে কাজ করার সময় এই ধরনের সিস্টেমগুলি অধ্যয়ন করার পরামর্শ দেওয়া হয়। ETL এর সাথে পরিচিত হওয়ার জন্য, আপনি চেষ্টা করতে পারেন টেলেন্ড বা বাতাসের প্রবাহ.

আমার মতে, আধুনিক ডেটা ভল্ট ডিজাইন পদ্ধতি অধ্যয়ন করা গুরুত্বপূর্ণ 1 লিঙ্ক, 2 লিঙ্ক. এবং এটি শেখার সর্বোত্তম উপায় হল এটি গ্রহণ করা এবং একটি সাধারণ উদাহরণ দিয়ে এটি বাস্তবায়ন করা। গিটহাবে বেশ কয়েকটি ডেটা ভল্ট বাস্তবায়ন উদাহরণ রয়েছে লিংক. আধুনিক ডেটা ওয়ারহাউস বই: হ্যান্স হাল্টগ্রেন দ্বারা ডেটা ভল্টের সাথে চটপটে ডেটা গুদামের মডেলিং।

শেষ ব্যবহারকারীদের জন্য বিজনেস ইন্টেলিজেন্স টুলের সাথে পরিচিত হতে, আপনি রিপোর্ট, ড্যাশবোর্ড, মিনি ডেটা গুদাম পাওয়ার বিআই ডেস্কটপের বিনামূল্যের ডিজাইনার ব্যবহার করতে পারেন। শিক্ষা উপকরণ: 1 লিঙ্ক, 2 লিঙ্ক.

হাডুপ এবং বিগ ডেটা

• আপনাকে তৃতীয় পক্ষের লাইব্রেরি ছাড়াই MapReduce-এর একটি স্বাধীন বাস্তবায়ন দিয়ে শুরু করতে হবে। এটি ভবিষ্যতে মাল্টিথ্রেডেড বাস্তবায়ন সম্পর্কে আরও ভাল বোঝার অনুমতি দেবে। পাইথনে একটি চমৎকার উদাহরণ বর্ণনা করা হয়েছে এখানে.
• হাডুপ। প্রচুর পরিমাণে ডেটা প্রক্রিয়াকরণের জন্য সিস্টেম।
• বিগ ডেটা ইঞ্জিনিয়ারিংয়ের ভূমিকা

উপসংহার

আপনি যা শিখেন তা কর্মক্ষেত্রে প্রয়োগ করা যায় না। অতএব, আপনার একটি স্নাতক প্রকল্প প্রয়োজন যেখানে আপনি নতুন জ্ঞান প্রয়োগ করার চেষ্টা করবেন।

প্ল্যানে ডেটা বিশ্লেষণ এবং মেশিন লার্নিং সম্পর্কিত কোনও বিষয় নেই। এটি ডেটা সায়েন্টিস্ট পেশার ক্ষেত্রে আরও প্রযোজ্য। এছাড়াও AWS ক্লাউড, Azure এর সাথে সম্পর্কিত কোন বিষয় নেই। এই থিমগুলি প্ল্যাটফর্মের পছন্দের উপর অত্যন্ত নির্ভরশীল।

সম্প্রদায়ের কাছে প্রশ্ন:
আমার সমতলকরণ পরিকল্পনা কতটা পর্যাপ্ত? কি অপসারণ বা যোগ করতে?
থিসিস হিসাবে আপনি কোন প্রকল্পের সুপারিশ করবেন?

উত্স: www.habr.com