পাভেল ক্লেমেনকভ, এনভিআইডিএ: একজন ডেটা বিজ্ঞানী যা করতে পারেন এবং তার কী করা উচিত তার মধ্যে ব্যবধান কমাতে আমরা চেষ্টা করছি

ডেটা সায়েন্স এবং বিজনেস ইন্টেলিজেন্স ওজোন মাস্টার্সের মাস্টার্স প্রোগ্রামের ছাত্রদের দ্বিতীয় গ্রহন শুরু হয়েছে - এবং একটি আবেদন ছেড়ে দেওয়ার এবং অনলাইন পরীক্ষা দেওয়ার সিদ্ধান্ত নেওয়া সহজ করার জন্য, আমরা প্রোগ্রামের শিক্ষকদের অধ্যয়ন এবং কাজ থেকে কী আশা করতে চাই সে সম্পর্কে জিজ্ঞাসা করেছি। তথ্য সহ।

চিফ ডেটা সায়েন্টিস্ট NVIDIA এবং শিক্ষক বিগ ডেটা এবং ডেটা ইঞ্জিনিয়ারিংয়ের কোর্স পাভেল ক্লেমেনকভ কেন গণিতবিদদের কোড লিখতে হবে এবং ওজোন মাস্টার্সে দুই বছর অধ্যয়ন করতে হবে তা নিয়ে কথা বলেছেন।

— ডেটা সায়েন্স অ্যালগরিদম ব্যবহার করে এমন অনেক কোম্পানি আছে কি?

- আসলে বেশ অনেক. অনেক বড় কোম্পানী যাদের সত্যিই বড় ডেটা আছে তারা হয় এর সাথে কার্যকরীভাবে কাজ করতে শুরু করেছে বা এটির সাথে দীর্ঘদিন ধরে কাজ করছে। এটা স্পষ্ট যে বাজারের অর্ধেক ডেটা ব্যবহার করে যা এক্সেল স্প্রেডশীটে ফিট করতে পারে বা একটি বড় সার্ভারে গণনা করা যেতে পারে, তবে এটা বলা যাবে না যে শুধুমাত্র কয়েকটি ব্যবসা আছে যারা ডেটা নিয়ে কাজ করতে পারে।

— যেখানে ডেটা সায়েন্স ব্যবহার করা হয় সেগুলি সম্পর্কে আমাদের একটু বলুন।

— উদাহরণস্বরূপ, র‍্যাম্বলারে কাজ করার সময়, আমরা একটি বিজ্ঞাপন ব্যবস্থা তৈরি করছিলাম যা RTB (রিয়েল টাইম বিডিং)-এর নীতির উপর কাজ করে - আমাদের এমন অনেক মডেল তৈরি করতে হবে যা বিজ্ঞাপন কেনাকে অপ্টিমাইজ করবে বা, উদাহরণস্বরূপ, সম্ভাব্যতার পূর্বাভাস দিতে পারে একটি ক্লিক, রূপান্তর, এবং তাই। একই সময়ে, একটি বিজ্ঞাপন নিলাম প্রচুর ডেটা তৈরি করে: সম্ভাব্য বিজ্ঞাপন ক্রেতাদের কাছে সাইটের অনুরোধের লগ, বিজ্ঞাপনের ইম্প্রেশনের লগ, ক্লিকের লগ - এটি প্রতিদিন দশ টেরাবাইট ডেটা।

তদুপরি, এই কাজের জন্য আমরা একটি আকর্ষণীয় ঘটনা লক্ষ্য করেছি: মডেলটিকে প্রশিক্ষণ দেওয়ার জন্য আপনি যত বেশি ডেটা দেবেন, এর গুণমান তত বেশি। সাধারণত, একটি নির্দিষ্ট পরিমাণ ডেটার পরে, পূর্বাভাসের গুণমান উন্নত হওয়া বন্ধ হয়ে যায় এবং সঠিকতা আরও উন্নত করতে, আপনাকে একটি মৌলিকভাবে ভিন্ন মডেল ব্যবহার করতে হবে, ডেটা, বৈশিষ্ট্য এবং আরও অনেক কিছু প্রস্তুত করার জন্য একটি ভিন্ন পদ্ধতি ব্যবহার করতে হবে। এখানে আমরা আরও ডেটা আপলোড করেছি এবং গুণমান বৃদ্ধি পেয়েছে।

এটি একটি সাধারণ কেস যেখানে বিশ্লেষকদের, প্রথমত, অন্তত একটি পরীক্ষা পরিচালনা করার জন্য বড় ডেটা সেটের সাথে কাজ করতে হয়েছিল এবং যেখানে একটি আরামদায়ক ম্যাকবুকে ফিট করা একটি ছোট নমুনা দিয়ে পাওয়া অসম্ভব ছিল৷ একই সময়ে, আমাদের বিতরণ করা মডেলের প্রয়োজন, কারণ অন্যথায় তাদের প্রশিক্ষণ দেওয়া যেত না। উৎপাদনে কম্পিউটার ভিশনের প্রবর্তনের সাথে, এই ধরনের উদাহরণগুলি আরও সাধারণ হয়ে উঠছে, যেহেতু ছবিগুলি প্রচুর পরিমাণে ডেটা, এবং একটি বড় মডেলকে প্রশিক্ষিত করার জন্য লক্ষ লক্ষ ছবির প্রয়োজন হয়৷

প্রশ্নটি অবিলম্বে উত্থাপিত হয়: কীভাবে এই সমস্ত তথ্য সংরক্ষণ করা যায়, কীভাবে এটি কার্যকরভাবে প্রক্রিয়া করা যায়, কীভাবে বিতরণ করা শেখার অ্যালগরিদমগুলি ব্যবহার করা যায় - ফোকাসটি বিশুদ্ধ গণিত থেকে প্রকৌশলে স্থানান্তরিত হচ্ছে। এমনকি আপনি প্রোডাকশনে কোড না লিখলেও, আপনাকে একটি পরীক্ষা চালানোর জন্য ইঞ্জিনিয়ারিং টুলের সাথে কাজ করতে সক্ষম হতে হবে।

- সাম্প্রতিক বছরগুলিতে ডেটা বিজ্ঞানের শূন্যপদের পদ্ধতি কীভাবে পরিবর্তিত হয়েছে?

— বিগ ডেটা হাইপ হওয়া বন্ধ করে দিয়েছে এবং বাস্তবে পরিণত হয়েছে। হার্ড ড্রাইভগুলি বেশ সস্তা, যার অর্থ সমস্ত ডেটা সংগ্রহ করা সম্ভব যাতে ভবিষ্যতে কোনও অনুমান পরীক্ষা করার জন্য যথেষ্ট হবে। ফলস্বরূপ, বড় ডেটা নিয়ে কাজ করার জন্য সরঞ্জামগুলির জ্ঞান খুব জনপ্রিয় হয়ে উঠছে, এবং ফলস্বরূপ, ডেটা ইঞ্জিনিয়ারদের জন্য আরও বেশি শূন্য পদ উপস্থিত হচ্ছে।

আমার বোঝার মধ্যে, একজন ডেটা বিজ্ঞানীর কাজের ফলাফল একটি পরীক্ষা নয়, কিন্তু একটি পণ্য যা উৎপাদনে পৌঁছেছে। এবং ঠিক এই দৃষ্টিকোণ থেকে, বিগ ডেটার আশেপাশে হাইপের আবির্ভাবের আগে, প্রক্রিয়াটি আরও সহজ ছিল: প্রকৌশলীরা নির্দিষ্ট সমস্যাগুলি সমাধান করার জন্য মেশিন লার্নিংয়ে নিযুক্ত ছিলেন এবং অ্যালগরিদমগুলিকে উত্পাদনে আনতে কোনও সমস্যা ছিল না।

— একজন চাওয়া-পাওয়া বিশেষজ্ঞ থাকতে কী লাগে?

— এখন অনেক লোক ডেটা সায়েন্সে এসেছেন যারা গণিত, মেশিন লার্নিংয়ের তত্ত্ব অধ্যয়ন করেছেন এবং ডেটা বিশ্লেষণ প্রতিযোগিতায় অংশগ্রহণ করেছেন, যেখানে একটি তৈরি পরিকাঠামো সরবরাহ করা হয়: ডেটা পরিষ্কার করা হয়, মেট্রিক্স সংজ্ঞায়িত করা হয়, এবং সেখানে নেই সমাধানের জন্য প্রয়োজনীয়তা পুনরুৎপাদনযোগ্য এবং দ্রুত।

ফলস্বরূপ, ছেলেরা ব্যবসার বাস্তবতার জন্য প্রস্তুত না হয়ে কাজ করতে আসে এবং নতুন এবং অভিজ্ঞ বিকাশকারীদের মধ্যে একটি ব্যবধান তৈরি হয়।

সরঞ্জামগুলির বিকাশের সাথে যা আপনাকে তৈরি মডিউলগুলি থেকে আপনার নিজস্ব মডেল একত্রিত করতে দেয় - এবং মাইক্রোসফ্ট, গুগল এবং আরও অনেকের কাছে ইতিমধ্যেই এই জাতীয় সমাধান রয়েছে - এবং মেশিন লার্নিংয়ের অটোমেশন, এই ব্যবধান আরও স্পষ্ট হয়ে উঠবে। ভবিষ্যতে, পেশাটি গুরুতর গবেষকদের জন্য চাহিদা থাকবে যারা নতুন অ্যালগরিদম নিয়ে আসবেন এবং উন্নত প্রকৌশল দক্ষতা সম্পন্ন কর্মচারী যারা মডেল এবং স্বয়ংক্রিয় প্রক্রিয়াগুলি বাস্তবায়ন করবে। ডেটা ইঞ্জিনিয়ারিং-এ Ozon মাস্টার্স কোর্সটি ইঞ্জিনিয়ারিং দক্ষতা এবং বড় ডেটাতে বিতরণ করা মেশিন লার্নিং অ্যালগরিদম ব্যবহার করার ক্ষমতা বিকাশের জন্য ডিজাইন করা হয়েছে। একজন ডেটা সায়েন্টিস্ট কী করতে পারেন এবং অনুশীলনে তার কী করা উচিত তার মধ্যে ব্যবধান কমানোর চেষ্টা করছি।

— ডিপ্লোমা সহ একজন গণিতবিদ কেন ব্যবসায় পড়তে যাবেন?

— রাশিয়ান তথ্য বিজ্ঞান সম্প্রদায় বুঝতে পেরেছে যে দক্ষতা এবং অভিজ্ঞতা খুব দ্রুত অর্থে রূপান্তরিত হয়, তাই, একজন বিশেষজ্ঞের বাস্তব অভিজ্ঞতার সাথে সাথে তার খরচ খুব দ্রুত বাড়তে শুরু করে, সবচেয়ে দক্ষ লোকেরা খুব ব্যয়বহুল - এবং এটি উন্নয়ন বাজার বর্তমান মুহূর্তে সত্য.

একজন ডেটা সায়েন্টিস্টের কাজের একটি বড় অংশ হল ডেটাতে যাওয়া, সেখানে কী রয়েছে তা বোঝা, ব্যবসায়িক প্রক্রিয়াগুলির জন্য দায়ী ব্যক্তিদের সাথে পরামর্শ করা এবং এই ডেটা তৈরি করা - এবং শুধুমাত্র তখনই এটি মডেল তৈরি করতে ব্যবহার করা। বড় ডেটা নিয়ে কাজ শুরু করার জন্য, ইঞ্জিনিয়ারিং দক্ষতা থাকা অত্যন্ত গুরুত্বপূর্ণ - এটি তীক্ষ্ণ কোণগুলি এড়াতে অনেক সহজ করে তোলে, যার মধ্যে ডেটা বিজ্ঞানে অনেকগুলি রয়েছে৷

একটি সাধারণ গল্প: আপনি এসকিউএল-এ একটি ক্যোয়ারী লিখেছেন যা বড় ডেটাতে চলমান হাইভ ফ্রেমওয়ার্ক ব্যবহার করে কার্যকর করা হয়। অনুরোধটি দশ মিনিটের মধ্যে প্রক্রিয়া করা হয়, সবচেয়ে খারাপ ক্ষেত্রে - এক বা দুই ঘন্টার মধ্যে, এবং প্রায়শই, যখন আপনি এই ডেটা ডাউনলোড করেন, আপনি বুঝতে পারেন যে আপনি কিছু ফ্যাক্টর বা অতিরিক্ত তথ্য বিবেচনা করতে ভুলে গেছেন। আপনাকে অনুরোধটি পুনরায় পাঠাতে হবে এবং এই মিনিট এবং ঘন্টা অপেক্ষা করতে হবে। আপনি যদি দক্ষতার প্রতিভাবান হন তবে আপনি অন্য কাজটি গ্রহণ করবেন, কিন্তু, অনুশীলন দেখায়, আমাদের কাছে কিছু দক্ষতার প্রতিভা রয়েছে এবং লোকেরা কেবল অপেক্ষা করছে। অতএব, কোর্সগুলিতে আমরা দক্ষতার জন্য প্রচুর সময় ব্যয় করব যাতে প্রাথমিকভাবে প্রশ্নগুলি লিখতে হয় যা দুই ঘন্টা নয়, কয়েক মিনিটের জন্য কাজ করে। এই দক্ষতা উত্পাদনশীলতা বৃদ্ধি করে, এবং এটির সাথে একজন বিশেষজ্ঞের মূল্য।

- Ozon মাস্টার্স অন্যান্য কোর্স থেকে কিভাবে আলাদা?

— Ozon মাস্টার্স Ozon কর্মচারীদের দ্বারা শেখানো হয়, এবং কার্যগুলি প্রকৃত ব্যবসায়িক ক্ষেত্রের উপর ভিত্তি করে যা কোম্পানিগুলিতে সমাধান করা হয়। প্রকৃতপক্ষে, ইঞ্জিনিয়ারিং দক্ষতার অভাব ছাড়াও, একজন ব্যক্তি যিনি বিশ্ববিদ্যালয়ে ডেটা সায়েন্স অধ্যয়ন করেছেন তার আরেকটি সমস্যা রয়েছে: একটি ব্যবসার কাজটি ব্যবসায়ের ভাষায় প্রণয়ন করা হয় এবং এর লক্ষ্যটি বেশ সহজ: আরও অর্থ উপার্জন করা। এবং একজন গণিতবিদ ভাল জানেন কিভাবে গাণিতিক মেট্রিক্স অপ্টিমাইজ করতে হয় - কিন্তু এমন একটি সূচক খুঁজে পাওয়া যা একটি ব্যবসায়িক মেট্রিকের সাথে সম্পর্কযুক্ত হবে কঠিন। এবং আপনাকে বুঝতে হবে যে আপনি একটি ব্যবসায়িক সমস্যা সমাধান করছেন, এবং ব্যবসার সাথে মিলে এমন মেট্রিক্স তৈরি করুন যা গাণিতিকভাবে অপ্টিমাইজ করা যেতে পারে। এই দক্ষতা বাস্তব ক্ষেত্রে অর্জিত হয়, এবং তারা Ozon দ্বারা দেওয়া হয়.
এবং এমনকি যদি আমরা মামলাগুলিকে উপেক্ষা করি, স্কুলটি অনেক অনুশীলনকারীদের দ্বারা শেখানো হয় যারা প্রকৃত কোম্পানিগুলিতে ব্যবসায়িক সমস্যার সমাধান করে। ফলস্বরূপ, শেখানোর পদ্ধতিটি এখনও আরও অনুশীলন-ভিত্তিক। কমপক্ষে আমার কোর্সে, আমি কীভাবে সরঞ্জামগুলি ব্যবহার করতে হয়, কী পদ্ধতির অস্তিত্ব রয়েছে এবং আরও অনেক কিছুতে ফোকাস স্থানান্তর করার চেষ্টা করব। শিক্ষার্থীদের সাথে একসাথে, আমরা বুঝতে পারব যে প্রতিটি কাজের নিজস্ব টুল রয়েছে এবং প্রতিটি টুলের প্রযোজ্যতার ক্ষেত্র রয়েছে।

— সবচেয়ে বিখ্যাত তথ্য বিশ্লেষণ প্রশিক্ষণ প্রোগ্রাম, অবশ্যই, SAD — এর থেকে ঠিক কী পার্থক্য?

— এটা স্পষ্ট যে SAD এবং Ozon মাস্টার্স, শিক্ষাগত ফাংশন ছাড়াও, কর্মীদের প্রশিক্ষণের স্থানীয় সমস্যা সমাধান করে। শীর্ষস্থানীয় SHAD গ্র্যাজুয়েটদের প্রাথমিকভাবে Yandex-এ নিয়োগ করা হয়, কিন্তু ক্যাচ হল Yandex এর বিশেষত্বের কারণে - এবং এটি বড় এবং তৈরি করা হয়েছিল যখন বড় ডেটা নিয়ে কাজ করার জন্য কিছু ভাল টুল ছিল - ডেটা নিয়ে কাজ করার জন্য এর নিজস্ব অবকাঠামো এবং সরঞ্জাম রয়েছে , যার মানে, আপনাকে তাদের আয়ত্ত করতে হবে। Ozon মাস্টার্সের একটি ভিন্ন বার্তা রয়েছে - আপনি যদি সফলভাবে প্রোগ্রামটি আয়ত্ত করে থাকেন এবং Ozon বা অন্য 99% কোম্পানিগুলির মধ্যে একটি আপনাকে কাজ করার জন্য আমন্ত্রণ জানায়, তাহলে ব্যবসায় লাভবান হওয়া শুরু করা অনেক সহজ হবে; Ozon Masters-এর অংশ হিসাবে অর্জিত দক্ষতা সেট শুধু কাজ শুরু করার জন্য যথেষ্ট হবে।

- কোর্সটি দুই বছর স্থায়ী হয়। কেন এই জন্য এত সময় ব্যয় করতে হবে?

- ভাল প্রশ্ন. এটি একটি দীর্ঘ সময় নেয়, কারণ বিষয়বস্তু এবং শিক্ষকদের স্তরের পরিপ্রেক্ষিতে, এটি একটি অবিচ্ছেদ্য মাস্টার্স প্রোগ্রাম যা হোমওয়ার্ক সহ মাস্টার করতে অনেক সময় প্রয়োজন।

আমার কোর্সের দৃষ্টিকোণ থেকে, একজন শিক্ষার্থীকে সপ্তাহে 2-3 ঘন্টা অ্যাসাইনমেন্টে ব্যয় করার আশা করা সাধারণ। প্রথমত, কাজগুলি একটি প্রশিক্ষণ ক্লাস্টারে সঞ্চালিত হয়, এবং যে কোনও ভাগ করা ক্লাস্টার বোঝায় যে একাধিক লোকেরা এটি একসাথে ব্যবহার করে। অর্থাৎ, আপনাকে কাজটি কার্যকর করা শুরু করার জন্য অপেক্ষা করতে হবে; কিছু সংস্থান নির্বাচন করা হতে পারে এবং একটি উচ্চ অগ্রাধিকার সারিতে স্থানান্তরিত হতে পারে। অন্যদিকে, বিগ ডেটা সহ যে কোনও কাজ অনেক সময় নেয়।

প্রোগ্রাম সম্পর্কে আপনার যদি আরও কোনো প্রশ্ন থাকে, বড় ডেটা বা ইঞ্জিনিয়ারিং দক্ষতা নিয়ে কাজ করা, Ozon Masters-এর 25 এপ্রিল শনিবার 12:00-এ একটি অনলাইন খোলা দিন রয়েছে। আমরা শিক্ষক এবং ছাত্রদের সঙ্গে দেখা জুম্ এবং অন ইউটিউব.

উত্স: www.habr.com