ইয়ানডেক্স রেসিডেন্ট প্রোগ্রাম, বা কীভাবে একজন অভিজ্ঞ ব্যাকেন্ডার একজন এমএল ইঞ্জিনিয়ার হতে পারেন

Yandex অভিজ্ঞ ব্যাকএন্ড ডেভেলপারদের জন্য মেশিন লার্নিং-এ একটি রেসিডেন্সি প্রোগ্রাম খুলছে। আপনি যদি C++/Python-এ অনেক কিছু লিখে থাকেন এবং এই জ্ঞান ML-এ প্রয়োগ করতে চান, তাহলে আমরা আপনাকে শিখাবো কীভাবে ব্যবহারিক গবেষণা করতে হয় এবং অভিজ্ঞ পরামর্শদাতা প্রদান করতে হয়। আপনি মূল ইয়ানডেক্স পরিষেবাগুলিতে কাজ করবেন এবং রৈখিক মডেল এবং গ্রেডিয়েন্ট বুস্টিং, সুপারিশ সিস্টেম, চিত্র, পাঠ্য এবং শব্দ বিশ্লেষণের জন্য নিউরাল নেটওয়ার্কের মতো ক্ষেত্রে দক্ষতা অর্জন করবেন। আপনি অফলাইন এবং অনলাইন মেট্রিক্স ব্যবহার করে আপনার মডেলগুলিকে কীভাবে সঠিকভাবে মূল্যায়ন করবেন তাও শিখবেন।

প্রোগ্রামের সময়কাল এক বছর, যার সময় অংশগ্রহণকারীরা ইয়ানডেক্সের মেশিন ইন্টেলিজেন্স এবং গবেষণা বিভাগে কাজ করবে, পাশাপাশি বক্তৃতা এবং সেমিনারে অংশ নেবে। অংশগ্রহণের অর্থ প্রদান করা হয় এবং পূর্ণ-সময়ের কাজ জড়িত: প্রতি সপ্তাহে 40 ঘন্টা, এই বছরের 1 জুলাই থেকে শুরু হয়। আবেদনপত্র এখন উন্মুক্ত এবং চলবে ১ মে পর্যন্ত। 

এবং এখন আরও বিশদে - আমরা কী ধরণের দর্শকের জন্য অপেক্ষা করছি, কাজের প্রক্রিয়াটি কী হবে এবং সাধারণভাবে, কীভাবে একজন ব্যাক-এন্ড বিশেষজ্ঞ এমএল-এ ক্যারিয়ারে যেতে পারেন।

অভিমুখ

অনেক কোম্পানির রেসিডেন্সি প্রোগ্রাম রয়েছে, যেমন, গুগল এবং ফেসবুক। তারা মূলত জুনিয়র এবং মধ্য-স্তরের বিশেষজ্ঞদের লক্ষ্য করে যারা এমএল গবেষণার দিকে একটি পদক্ষেপ নেওয়ার চেষ্টা করছেন। আমাদের অনুষ্ঠান ভিন্ন দর্শকের জন্য। আমরা ব্যাকএন্ড ডেভেলপারদের আমন্ত্রণ জানাই যারা ইতিমধ্যেই যথেষ্ট অভিজ্ঞতা অর্জন করেছেন এবং নিশ্চিতভাবে জানেন যে তাদের দক্ষতায় তাদের ML-এর দিকে সরে যেতে হবে, ব্যবহারিক দক্ষতা অর্জন করতে - এবং একজন বিজ্ঞানীর দক্ষতা নয় - শিল্প মেশিন শেখার সমস্যা সমাধানে। এর মানে এই নয় যে আমরা তরুণ গবেষকদের সমর্থন করি না। আমরা তাদের জন্য একটি পৃথক অনুষ্ঠানের আয়োজন করেছি- প্রিমিয়াম ইলিয়া সেগালোভিচের নামে নামকরণ করা হয়েছে, যা আপনাকে ইয়ানডেক্সে কাজ করার অনুমতি দেয়।

আবাসিক কোথায় কাজ করবে?

মেশিন ইন্টেলিজেন্স এবং গবেষণা বিভাগে, আমরা নিজেরাই প্রকল্পের ধারণাগুলি বিকাশ করি। অনুপ্রেরণার প্রধান উৎস হল বৈজ্ঞানিক সাহিত্য, নিবন্ধ এবং গবেষণা সম্প্রদায়ের প্রবণতা। আমার সহকর্মীরা এবং আমি আমরা যা পড়ি তা বিশ্লেষণ করি, কীভাবে আমরা বিজ্ঞানীদের প্রস্তাবিত পদ্ধতিগুলিকে উন্নত বা প্রসারিত করতে পারি। একই সময়ে, আমাদের প্রত্যেকে তার জ্ঞান এবং আগ্রহের ক্ষেত্রটি বিবেচনায় নেয়, যে ক্ষেত্রগুলিকে সে গুরুত্বপূর্ণ বলে মনে করে তার উপর ভিত্তি করে কাজটি প্রণয়ন করি। একটি প্রকল্পের ধারণা সাধারণত বাহ্যিক গবেষণার ফলাফল এবং নিজের দক্ষতার সংযোগস্থলে জন্মগ্রহণ করে।

এই সিস্টেমটি ভাল কারণ এটি মূলত ইয়ানডেক্স পরিষেবাগুলির প্রযুক্তিগত সমস্যাগুলি তৈরি হওয়ার আগেই সমাধান করে। যখন কোনও পরিষেবা কোনও সমস্যার সম্মুখীন হয়, তখন তার প্রতিনিধিরা আমাদের কাছে আসে, সম্ভবত আমরা ইতিমধ্যে প্রস্তুত করা প্রযুক্তিগুলি গ্রহণ করতে পারে, যা অবশিষ্ট থাকে তা হল সঠিকভাবে পণ্যটিতে প্রয়োগ করা। যদি কিছু প্রস্তুত না হয়, আমরা অন্তত দ্রুত মনে রাখব যে আমরা কোথায় "খনন শুরু করতে পারি" এবং কোন নিবন্ধগুলিতে সমাধান খুঁজতে হবে। আমরা জানি, বৈজ্ঞানিক পদ্ধতি হল দৈত্যদের কাঁধে দাঁড়ানো।

কি করো

Yandex-এ - এবং এমনকি বিশেষভাবে আমাদের ব্যবস্থাপনায় - ML-এর সমস্ত প্রাসঙ্গিক ক্ষেত্র তৈরি করা হচ্ছে। আমাদের লক্ষ্য হল বিভিন্ন ধরণের পণ্যের গুণমান উন্নত করা এবং এটি নতুন সবকিছু পরীক্ষা করার জন্য একটি প্রণোদনা হিসেবে কাজ করে। উপরন্তু, নতুন সেবা নিয়মিত প্রদর্শিত হবে. তাই বক্তৃতা প্রোগ্রামে শিল্প উন্নয়নে মেশিন লার্নিংয়ের সমস্ত মূল (ভালভাবে প্রমাণিত) ক্ষেত্র রয়েছে। কোর্সের আমার অংশ সংকলন করার সময়, আমি স্কুল অফ ডেটা অ্যানালাইসিসে আমার শিক্ষার অভিজ্ঞতা, সেইসাথে অন্যান্য SHAD শিক্ষকদের উপকরণ এবং কাজ ব্যবহার করেছি। আমি জানি আমার সহকর্মীরাও তাই করেছে।

প্রথম মাসগুলিতে, কোর্স প্রোগ্রাম অনুযায়ী প্রশিক্ষণ আপনার কাজের সময়ের প্রায় 30%, তারপর প্রায় 10%। যাইহোক, এটা বোঝা গুরুত্বপূর্ণ যে এমএল মডেলগুলির সাথে কাজ করা সমস্ত সংশ্লিষ্ট প্রক্রিয়াগুলির থেকে প্রায় চার গুণ কম সময় নিতে থাকবে৷ এর মধ্যে রয়েছে ব্যাকএন্ড প্রস্তুত করা, ডেটা গ্রহণ করা, এটিকে প্রিপ্রসেস করার জন্য একটি পাইপলাইন লেখা, কোড অপ্টিমাইজ করা, নির্দিষ্ট হার্ডওয়্যারের সাথে খাপ খাইয়ে নেওয়া ইত্যাদি। একজন এমএল ইঞ্জিনিয়ার হচ্ছেন, যদি আপনি চান, একজন ফুল-স্ট্যাক ডেভেলপার (কেবলমাত্র মেশিন লার্নিংয়ের উপর বেশি জোর দিয়ে) , শুরু থেকে শেষ পর্যন্ত একটি সমস্যা সমাধান করতে সক্ষম। এমনকি একটি রেডিমেড মডেলের সাথেও, আপনাকে সম্ভবত আরও অনেকগুলি ক্রিয়া করতে হবে: বেশ কয়েকটি মেশিনে এর কার্য সম্পাদনকে সমান্তরাল করুন, একটি হ্যান্ডেল, একটি লাইব্রেরি বা পরিষেবার উপাদানগুলির আকারে একটি বাস্তবায়ন প্রস্তুত করুন।

ছাত্র পছন্দ
আপনি যদি মনে করেন যে ব্যাকএন্ড ডেভেলপার হিসাবে প্রথমে কাজ করে এমএল ইঞ্জিনিয়ার হওয়া ভাল, এটি সত্য নয়। পরিষেবাগুলি বিকাশের বাস্তব অভিজ্ঞতা ছাড়াই একই SAD-এ নথিভুক্ত করা, শেখার এবং বাজারে অত্যন্ত চাহিদা হওয়া একটি চমৎকার বিকল্প। অনেক ইয়ানডেক্স বিশেষজ্ঞ এইভাবে তাদের বর্তমান অবস্থানে শেষ করেছেন। যদি কোনো কোম্পানি আপনাকে স্নাতকের পর অবিলম্বে ML-এর ক্ষেত্রে চাকরির প্রস্তাব দিতে প্রস্তুত থাকে, তাহলে সম্ভবত আপনারও প্রস্তাবটি গ্রহণ করা উচিত। একজন অভিজ্ঞ পরামর্শদাতার সাথে একটি ভাল দলে যাওয়ার চেষ্টা করুন এবং অনেক কিছু শেখার জন্য প্রস্তুত হন।

সাধারণত কি আপনাকে এমএল করতে বাধা দেয়?

যদি একজন ব্যাকএন্ডার একজন এমএল ইঞ্জিনিয়ার হওয়ার আকাঙ্ক্ষা করেন, তবে তিনি উন্নয়নের দুটি ক্ষেত্র থেকে বেছে নিতে পারেন - আবাসিক প্রোগ্রামকে বিবেচনায় না নিয়ে।

প্রথমত, কিছু শিক্ষামূলক কোর্সের অংশ হিসাবে অধ্যয়ন করুন। পাঠ কোর্সেরা আপনাকে প্রাথমিক কৌশলগুলি বোঝার কাছাকাছি নিয়ে আসবে, তবে নিজেকে যথেষ্ট পরিমাণে পেশায় নিমজ্জিত করতে, আপনাকে এটিতে আরও বেশি সময় দিতে হবে। উদাহরণস্বরূপ, SAD থেকে স্নাতক। বছরের পর বছর ধরে, SAD-এ সরাসরি মেশিন লার্নিং-এর বিভিন্ন সংখ্যক কোর্স ছিল - গড়ে প্রায় আটটি। তাদের প্রতিটি সত্যিই গুরুত্বপূর্ণ এবং দরকারী, স্নাতকদের মতামত সহ. 

দ্বিতীয়ত, আপনি যুদ্ধ প্রকল্পে অংশ নিতে পারেন যেখানে আপনাকে এক বা অন্য ML অ্যালগরিদম বাস্তবায়ন করতে হবে। যাইহোক, আইটি ডেভেলপমেন্ট মার্কেটে এই ধরনের খুব কম প্রকল্প রয়েছে: বেশিরভাগ কাজে মেশিন লার্নিং ব্যবহার করা হয় না। এমনকি যে ব্যাঙ্কগুলি সক্রিয়ভাবে এমএল-সম্পর্কিত সুযোগগুলি অন্বেষণ করছে, তাদের মধ্যে মাত্র কয়েকজন ডেটা বিশ্লেষণে নিযুক্ত রয়েছে। আপনি যদি এই দলগুলির মধ্যে একটিতে যোগদান করতে অক্ষম হন, তবে আপনার একমাত্র বিকল্প হল হয় আপনার নিজের প্রকল্প শুরু করা (যেখানে, সম্ভবত, আপনি নিজের সময়সীমা নির্ধারণ করবেন, এবং এটির সাথে যুদ্ধ উত্পাদনের কাজগুলি খুব কমই আছে), অথবা প্রতিযোগিতা শুরু করুন। কাগল।

প্রকৃতপক্ষে, অন্যান্য সম্প্রদায়ের সদস্যদের সাথে দল তৈরি করুন এবং প্রতিযোগিতায় নিজেকে চেষ্টা করুন তুলনামূলকভাবে সহজ - বিশেষ করে যদি আপনি প্রশিক্ষণ এবং কোর্সেরার উল্লিখিত কোর্সের মাধ্যমে আপনার দক্ষতার ব্যাক আপ করেন। প্রতিটি প্রতিযোগিতার একটি সময়সীমা থাকে - এটি আপনার জন্য একটি প্রণোদনা হিসাবে কাজ করবে এবং আইটি কোম্পানিগুলিতে অনুরূপ সিস্টেমের জন্য আপনাকে প্রস্তুত করবে। এটি একটি ভাল উপায় - যা, তবে, বাস্তব প্রক্রিয়াগুলি থেকে কিছুটা তালাকপ্রাপ্ত। কাগল-এ আপনাকে প্রাক-প্রসেসড দেওয়া হয়, যদিও সবসময় নিখুঁত নয়, ডেটা; পণ্যের অবদান সম্পর্কে চিন্তা করার প্রস্তাব দেবেন না; এবং সবচেয়ে গুরুত্বপূর্ণভাবে, তাদের উৎপাদনের জন্য উপযুক্ত সমাধানের প্রয়োজন হয় না। আপনার অ্যালগরিদমগুলি সম্ভবত কাজ করবে এবং অত্যন্ত নির্ভুল হবে, তবে আপনার মডেল এবং কোডগুলি ফ্রাঙ্কেনস্টাইনের মতো হবে যা বিভিন্ন অংশ থেকে একসাথে সেলাই করা হয়েছে - একটি উত্পাদন প্রকল্পে, পুরো কাঠামোটি খুব ধীরে ধীরে কাজ করবে, এটি আপডেট করা এবং প্রসারিত করা কঠিন হবে (উদাহরণস্বরূপ, ভাষা এবং ভয়েস অ্যালগরিদম ভাষা বিকাশের সাথে সাথে আংশিকভাবে পুনরায় লেখা হবে)। সংস্থাগুলি এই বিষয়ে আগ্রহী যে তালিকাভুক্ত কাজগুলি কেবল আপনি নিজেই করতে পারবেন না (এটি স্পষ্ট যে আপনি সমাধানের লেখক হিসাবে এটি করতে পারেন), তবে আপনার যে কোনও সহকর্মীও এটি করতে পারেন। ক্রীড়া এবং শিল্প প্রোগ্রামিং মধ্যে পার্থক্য আলোচনা করা হয় много, এবং Kaggle সুনির্দিষ্টভাবে "অ্যাথলেটদের" শিক্ষিত করে - এমনকি যদি এটি খুব ভাল করে, তাদের কিছু অভিজ্ঞতা অর্জন করার অনুমতি দেয়।

আমি উন্নয়নের দুটি সম্ভাব্য লাইন বর্ণনা করেছি - শিক্ষামূলক কর্মসূচির মাধ্যমে প্রশিক্ষণ এবং "যুদ্ধে" প্রশিক্ষণ, উদাহরণস্বরূপ কাগল-এ। রেসিডেন্সি প্রোগ্রাম এই দুটি পদ্ধতির সংমিশ্রণ। SAD স্তরে বক্তৃতা এবং সেমিনার, সেইসাথে সত্যিকারের লড়াইমূলক প্রকল্পগুলি আপনার জন্য অপেক্ষা করছে।

উত্স: www.habr.com