🥇 কিভাবে একটি ডেটা সায়েন্স চার্লাটান চিনবেন?

আপনি হয়তো বিশ্লেষক, মেশিন লার্নিং এবং কৃত্রিম বুদ্ধিমত্তা বিশেষজ্ঞদের কথা শুনেছেন, কিন্তু আপনি কি তাদের কথা শুনেছেন যারা অন্যায়ভাবে অতিরিক্ত বেতন পান? সম্মেলন ডাটা চার্লাটান! এই হ্যাকগুলি, লাভজনক চাকরির প্রলোভন, প্রকৃত ডেটা বিজ্ঞানীদের বদনাম দেয়৷ উপাদানে আমরা বুঝতে পারি কিভাবে এই ধরনের লোককে পরিষ্কার জলে আনতে হয়।

ডেটা চার্লাটান সর্বত্র রয়েছে

ডেটা চার্লাটানরা সরল দৃষ্টিতে লুকিয়ে রাখতে এত ভাল যে আপনি পারেন তাদের একজন হতেএমনকি এটা উপলব্ধি ছাড়া. সম্ভাবনা হল, আপনার সংস্থা বছরের পর বছর ধরে এই লুকোচুরি ছেলেদের আশ্রয় দিচ্ছে, কিন্তু ভাল খবর হল যে আপনি কী সন্ধান করবেন তা জানলে তাদের সনাক্ত করা সহজ।
প্রথম সতর্কতা চিহ্নটি বোঝার অভাব বিশ্লেষণ এবং পরিসংখ্যান খুব ভিন্ন শৃঙ্খলা. আমি এটি আরও ব্যাখ্যা করব।

বিভিন্ন শৃঙ্খলা

পরিসংখ্যানবিদরা তাদের ডেটার বাইরে যা যায় সে সম্পর্কে সিদ্ধান্ত নিতে প্রশিক্ষিত হয়, বিশ্লেষকদের একটি ডেটা সেটের বিষয়বস্তু পরীক্ষা করার জন্য প্রশিক্ষিত করা হয়। অন্য কথায়, বিশ্লেষকরা তাদের ডেটাতে কী রয়েছে তা নিয়ে সিদ্ধান্তে আঁকেন এবং পরিসংখ্যানবিদরা ডেটাতে কী নেই সে সম্পর্কে সিদ্ধান্তে আঁকেন। বিশ্লেষকরা আপনাকে ভাল প্রশ্ন জিজ্ঞাসা করতে সাহায্য করে (অনুমান তৈরি করতে), এবং পরিসংখ্যানবিদরা আপনাকে ভাল উত্তর পেতে সাহায্য করে (আপনার অনুমান পরীক্ষা করুন)।

এছাড়াও অদ্ভুত হাইব্রিড ভূমিকা আছে যেখানে একজন ব্যক্তি দুটি চেয়ারে বসার চেষ্টা করে... কেন নয়? তথ্য বিজ্ঞানের মৌলিক নীতি: আপনি যদি অনিশ্চয়তার সাথে মোকাবিলা করেন তবে আপনি ব্যবহার করতে পারবেন না একই অনুমান এবং পরীক্ষার জন্য ডেটা পয়েন্ট। যখন ডেটা সীমিত হয়, তখন অনিশ্চয়তা পরিসংখ্যান বা বিশ্লেষণের মধ্যে একটি পছন্দকে বাধ্য করে। ব্যাখ্যা এখানে.

পরিসংখ্যান ছাড়া, আপনি আটকে থাকবেন এবং বুঝতে পারবেন না যে আপনি এইমাত্র প্রণয়ন করা রায়টি ধরে রেখেছেন এবং বিশ্লেষণ ছাড়াই, আপনি অজানাকে টেমিং করার খুব কম সুযোগ সহ অন্ধভাবে চলে যাচ্ছেন। এটি একটি কঠিন পছন্দ।

এই জগাখিচুড়ি থেকে বেরিয়ে আসার উপায় হল এটিকে উপেক্ষা করা এবং তারপরে হঠাৎ যা ঘটে তাতে অবাক হওয়ার ভান করা। পরিসংখ্যানগত অনুমানগুলি পরীক্ষা করার পিছনে যুক্তিটি এই প্রশ্নে নেমে আসে যে ডেটা আমাদের মন পরিবর্তন করার জন্য যথেষ্ট অবাক করে কিনা। আমরা যদি ইতিমধ্যে এটি দেখে থাকি তবে কীভাবে আমরা ডেটা দ্বারা অবাক হতে পারি?

যখনই চার্লাটানরা একটি প্যাটার্ন খুঁজে পায়, তারা অনুপ্রাণিত হয়, তারপর পরীক্ষা করে দেখুন একই তথ্য থেকে একই প্যাটার্ন, তাদের তত্ত্বের পাশে একটি বৈধ পি-মান বা দুটি সহ ফলাফল প্রকাশ করতে। এইভাবে, তারা আপনাকে মিথ্যা বলছে (এবং, সম্ভবত, নিজেদেরও)। আপনি যদি আপনার অনুমানে আটকে না থাকেন তবে এই পি-মান কোন ব্যাপার না থেকে আপনি কিভাবে আপনার ডেটা দেখেছেন। চার্লাটানরা কারণগুলি না বুঝেই বিশ্লেষক এবং পরিসংখ্যানবিদদের কাজ অনুকরণ করে। ফলস্বরূপ, ডেটা সায়েন্সের পুরো ক্ষেত্রটি একটি খারাপ খ্যাতি পায়।

সত্য পরিসংখ্যানবিদরা সর্বদা তাদের নিজস্ব সিদ্ধান্তে আঁকেন

তাদের কঠোর যুক্তির জন্য পরিসংখ্যানবিদদের প্রায় রহস্যময় খ্যাতির জন্য ধন্যবাদ, ডেটা সায়েন্সে জাল তথ্যের পরিমাণ সর্বকালের সর্বোচ্চ। প্রতারণা করা এবং ধরা না পড়া সহজ, বিশেষ করে যদি সন্দেহজনক শিকার মনে করে যে এটি সমীকরণ এবং ডেটা সম্পর্কে। একটি ডেটাসেট একটি ডেটাসেট, তাই না? না. আপনি এটি কিভাবে ব্যবহার করেন তা গুরুত্বপূর্ণ।

ভাগ্যক্রমে, চার্লাটানদের ধরার জন্য আপনার শুধুমাত্র একটি সূত্রের প্রয়োজন: তারা "আমেরিকা আবিষ্কার করছে"। ঘটনা পুনঃআবিষ্কার করে যা তারা ইতিমধ্যেই জানে ডেটাতে উপস্থিত রয়েছে।

চার্লাটানদের বিপরীতে, ভাল বিশ্লেষকরা খোলা মনের এবং বুঝতে পারে যে অনুপ্রেরণামূলক ধারণাগুলির বিভিন্ন ব্যাখ্যা থাকতে পারে। একই সময়ে, ভাল পরিসংখ্যানবিদরা তাদের সিদ্ধান্তগুলি তৈরি করার আগে সাবধানে সংজ্ঞায়িত করেন।

বিশ্লেষকদের দায় থেকে অব্যাহতি দেওয়া হয়... যতক্ষণ তারা তাদের ডেটার সুযোগের মধ্যে থাকে। যদি তারা এমন কিছু দাবি করতে প্রলুব্ধ হয় যা তারা দেখেনি, তবে এটি সম্পূর্ণ অন্য কাজ। তাদের উচিত বিশ্লেষকের জুতা খুলে পরিসংখ্যানবিদের জুতা পরানো। সর্বোপরি, অফিসিয়াল চাকরির শিরোনাম যাই হোক না কেন, এমন কোনও নিয়ম নেই যা বলে যে আপনি চাইলে উভয় পেশা অধ্যয়ন করতে পারবেন না। শুধু তাদের বিভ্রান্ত করবেন না.

আপনি পরিসংখ্যানে ভালো হওয়ার মানে এই নয় যে আপনি বিশ্লেষণে ভালো এবং এর বিপরীতে। যদি কেউ আপনাকে অন্যভাবে বলার চেষ্টা করে, তাহলে আপনার সতর্ক হওয়া উচিত। যদি এই ব্যক্তি আপনাকে বলে যে আপনি ইতিমধ্যে যে ডেটা অধ্যয়ন করেছেন তা থেকে পরিসংখ্যানগত সিদ্ধান্ত নেওয়া অনুমোদিত, এটি দ্বিগুণ সতর্ক হওয়ার একটি কারণ।

উদ্ভট ব্যাখ্যা

বন্য অঞ্চলে ডাটা চার্লাটানদের পর্যবেক্ষণ করার সময়, আপনি লক্ষ্য করবেন যে তারা যে ডেটা পর্যবেক্ষণ করে তার "ব্যাখ্যা" করার জন্য তারা চমত্কার গল্প তৈরি করতে পছন্দ করে। যত বেশি একাডেমিক, তত ভালো। এটা কোন ব্যাপার না যে এই গল্পগুলি পশ্চাদপটে সামঞ্জস্য করা হয়েছে।

চার্লাটানরা যখন এটি করে - আমাকে পরিষ্কার করা যাক - তারা মিথ্যা বলছে। কোনো সমীকরণ বা অভিনব ধারণা এই সত্যের জন্য তৈরি করতে পারে না যে তারা তাদের তত্ত্বের শূন্য প্রমাণ দিয়েছে। তাদের ব্যাখ্যা কতটা অস্বাভাবিক তাতে অবাক হবেন না।

এটি প্রথমে আপনার হাতে থাকা কার্ডগুলি দেখে আপনার "মানসিক" ক্ষমতা প্রদর্শন করার মতো এবং তারপর আপনি কী ধরে আছেন... আপনি কী ধরে আছেন তা অনুমান করার মতো। এটি পশ্চাদপটের পক্ষপাতিত্ব, এবং ডেটা সায়েন্স পেশা এটির কানায় কানায় পূর্ণ।

বিশ্লেষকরা বলেছেন: "আপনি এইমাত্র হীরার রানীর সাথে গিয়েছিলেন।" পরিসংখ্যানবিদরা বলছেন, “আমি শুরু করার আগে এই কাগজে আমার অনুমান লিখে রেখেছিলাম। আসুন চারপাশে খেলি এবং কিছু ডেটা দেখি এবং দেখি আমি সঠিক কিনা।" চার্লাটানরা বলে: "আমি জানতাম আপনি এই হীরার রানী হতে চলেছেন কারণ..."

ডেটা শেয়ারিং হল দ্রুত সমাধান যা প্রত্যেকের প্রয়োজন।

যখন খুব বেশি ডেটা থাকে না, তখন আপনাকে পরিসংখ্যান এবং বিশ্লেষণের মধ্যে একটি বেছে নিতে হবে, কিন্তু যখন পর্যাপ্ত পরিমাণের বেশি ডেটা থাকে, তখন প্রতারণা ছাড়াই বিশ্লেষণ ব্যবহার করার একটি দুর্দান্ত সুযোগ থাকে и পরিসংখ্যান আপনার কাছে চার্লাটানদের বিরুদ্ধে নিখুঁত প্রতিরক্ষা রয়েছে - ডেটা বিচ্ছেদ এবং, আমার মতে, এটি ডেটা সায়েন্সের সবচেয়ে শক্তিশালী ধারণা।

চার্ল্যাটানদের থেকে নিজেকে রক্ষা করার জন্য, আপনাকে যা করতে হবে তা হল নিশ্চিত করুন যে আপনি কিছু পরীক্ষার ডেটা তাদের চোখ নাগালের বাইরে রাখবেন এবং তারপর বাকিগুলিকে বিশ্লেষণ হিসাবে বিবেচনা করুন। আপনি যখন এমন একটি তত্ত্বের মুখোমুখি হন যেটি আপনি গ্রহণ করার ঝুঁকিতে আছেন, তখন পরিস্থিতি মূল্যায়ন করতে এটি ব্যবহার করুন এবং তারপরে তত্ত্বটি বাজে নয় তা পরীক্ষা করার জন্য আপনার গোপন পরীক্ষার ডেটা প্রকাশ করুন। এটা এত সহজ!

নিশ্চিত করুন যে অন্বেষণ পর্বের সময় পরীক্ষার ডেটা দেখার অনুমতি নেই। এটি করার জন্য, গবেষণা ডেটাতে থাকুন। পরীক্ষার তথ্য বিশ্লেষণের জন্য ব্যবহার করা উচিত নয়।

"ছোট ডেটা" যুগে লোকেরা যা ব্যবহার করত তার থেকে এটি একটি বড় ধাপ, যেখানে আপনাকে ব্যাখ্যা করতে হবে যে আপনি যা জানেন তা কীভাবে জানেন যাতে অবশেষে আপনি কিছু জানেন তা লোকেদের বোঝাতে।

ML/AI-তে একই নিয়ম প্রয়োগ করুন

এমএল/এআই বিশেষজ্ঞ হিসাবে জাহির করা কিছু চার্লাটানকেও চিহ্নিত করা সহজ। আপনি অন্য কোন খারাপ ইঞ্জিনিয়ারকে যেভাবে ধরতেন সেভাবে আপনি তাদের ধরবেন: তারা যে "সমাধান" তৈরি করার চেষ্টা করে তা ক্রমাগত ব্যর্থ হয়। একটি প্রাথমিক সতর্কতা চিহ্ন হল ইন্ডাস্ট্রি স্ট্যান্ডার্ড প্রোগ্রামিং ভাষা এবং লাইব্রেরিগুলির সাথে অভিজ্ঞতার অভাব।

কিন্তু যারা কাজ বলে মনে হয় এমন সিস্টেম তৈরি করে তাদের সম্পর্কে কী? সন্দেহজনক কিছু ঘটছে তা কিভাবে বুঝবেন? একই নিয়ম প্রযোজ্য! শার্লাটান হল একটি অশুভ চরিত্র যে আপনাকে দেখায় যে মডেলটি কতটা ভাল কাজ করেছে... একই ডেটাতে তারা মডেল তৈরি করতে ব্যবহার করেছে।

আপনি যদি একটি অত্যন্ত জটিল মেশিন লার্নিং সিস্টেম তৈরি করে থাকেন তবে আপনি কীভাবে জানবেন যে এটি কতটা ভাল? আপনি জানতে পারবেন না যতক্ষণ না আপনি তাকে এমন নতুন ডেটা দিয়ে কাজ করছেন যা সে আগে দেখেনি।

আপনি যখন পূর্বাভাস দেওয়ার আগে ডেটা দেখেছেন - এটি অসম্ভাব্য সামনেবলছে

যখন আপনার কাছে আলাদা করার জন্য পর্যাপ্ত ডেটা থাকে, তখন প্রকল্পটিকে ন্যায্যতা দেওয়ার জন্য আপনাকে আপনার সূত্রগুলির সৌন্দর্য উদ্ধৃত করার দরকার নেই (একটি পুরানো ফ্যাশন অভ্যাস যা আমি সর্বত্র দেখি, শুধু বিজ্ঞানে নয়)। তুমি বলতে পারো: "আমি জানি এটি কাজ করে কারণ আমি এমন একটি ডেটা সেট নিতে পারি যা আমি আগে দেখিনি এবং সেখানে ঠিক কী ঘটবে তা ভবিষ্যদ্বাণী করতে পারি... এবং আমি ঠিক হব। বারে বারে".

নতুন ডেটার বিরুদ্ধে আপনার মডেল/তত্ত্ব পরীক্ষা করা আত্মবিশ্বাসের জন্য সর্বোত্তম ভিত্তি।

আমি ডেটা চার্লাটান সহ্য করি না। আপনার মতামত যদি বিভিন্ন কৌশলের উপর ভিত্তি করে হয় তবে আমি চিন্তা করি না। আমি ব্যাখ্যা সৌন্দর্য দ্বারা প্রভাবিত নই. আমাকে দেখান যে আপনার তত্ত্ব/মডেল কাজ করে (এবং কাজ চালিয়ে যাচ্ছে) নতুন ডেটার পুরো গুচ্ছ যা আপনি আগে কখনও দেখেননি। এটি আপনার মতামতের শক্তির আসল পরীক্ষা।

তথ্য বিজ্ঞান বিশেষজ্ঞদের সাথে যোগাযোগ করা

আপনি যদি এই হাস্যরস বোঝেন এমন প্রত্যেকের দ্বারা গুরুত্ব সহকারে নিতে চান, ব্যক্তিগত পক্ষপাতকে সমর্থন করার জন্য অভিনব সমীকরণের পিছনে লুকিয়ে থাকা বন্ধ করুন। আপনি কি পেয়েছেন আমাকে দেখান. আপনি যদি চান যে যারা আপনার তত্ত্ব/মডেলকে অনুপ্রেরণামূলক কবিতার চেয়েও বেশি কিছু হিসেবে দেখতে পান, তাহলে সাক্ষীদের সামনে এটি সম্পূর্ণ নতুন ডেটা সেটে কতটা ভাল কাজ করে তা একটি দুর্দান্ত প্রদর্শন করার সাহস রাখুন !

নেতাদের কাছে আবেদন

ডেটা পরীক্ষা না করা পর্যন্ত গুরুত্ব সহকারে কোন "ধারনা" নিতে অস্বীকার করুন নতুন তথ্য চেষ্টা করার মত মনে হচ্ছে না? বিশ্লেষণের সাথে থাকুন, কিন্তু এই ধারণাগুলির উপর নির্ভর করবেন না-এগুলি অবিশ্বস্ত এবং নির্ভরযোগ্যতার জন্য পরীক্ষা করা হয়নি। তদুপরি, যখন একটি সংস্থার প্রচুর পরিমাণে ডেটা থাকে, তখন পরিসংখ্যানের জন্য পরীক্ষার ডেটা অ্যাক্সেস নিয়ন্ত্রণ করে পরিকাঠামো স্তরে বিচ্ছেদকে বিজ্ঞানে মৌলিক করে তোলার এবং বজায় রাখার কোনও খারাপ দিক নেই। আপনাকে বোকা বানানোর চেষ্টা করা লোকেদের থামানোর এটি একটি দুর্দান্ত উপায়!

আপনি যদি ভাল না হওয়া পর্যন্ত চার্লাটানদের আরও উদাহরণ দেখতে চান - এখানে টুইটারে একটি চমৎকার থ্রেড আছে.

ফলাফল

যখন আলাদা করার জন্য খুব কম ডেটা থাকে, তখন শুধুমাত্র একজন চার্লাটান আমেরিকাকে পূর্ববর্তীভাবে আবিষ্কার করে, গাণিতিকভাবে ডেটাতে ইতিমধ্যেই পরিচিত ঘটনাটিকে পুনঃআবিষ্কার করে এবং বিস্ময়কে পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ বলে অনুপ্রেরণা অনুসরণ করার চেষ্টা করে। এটি তাদের উন্মুক্ত মনের বিশ্লেষক থেকে আলাদা করে, যিনি অনুপ্রেরণা নিয়ে কাজ করেন এবং সতর্ক পরিসংখ্যানবিদ, যিনি ভবিষ্যদ্বাণী করার সময় প্রমাণ প্রদান করেন।

যখন প্রচুর ডেটা থাকে, তখন ডেটা আলাদা করার অভ্যাস করুন যাতে আপনি উভয় জগতের সেরাটি পেতে পারেন! ডেটার মূল গাদাগুলির পৃথক উপসেটের জন্য আলাদাভাবে বিশ্লেষণ এবং পরিসংখ্যান করতে ভুলবেন না।

বিশ্লেষকরা আপনাকে অনুপ্রেরণা এবং খোলা মনের প্রস্তাব দেয়।
পরিসংখ্যান আপনাকে কঠোর পরীক্ষার প্রস্তাব।
চার্লাটানস আপনাকে বিশ্লেষণ এবং পরিসংখ্যানের ভান করে এমন একটি বাঁকানো পশ্চাৎদৃষ্টি অফার করে।

সম্ভবত, নিবন্ধটি পড়ার পরে, আপনার মনে হবে "আমি কি একজন চার্লাটান"? এই জরিমানা. এই চিন্তা থেকে পরিত্রাণ পেতে দুটি উপায় আছে: প্রথমত, পিছনে তাকান, দেখুন আপনি কি করেছেন, ডেটা সহ আপনার কাজটি ব্যবহারিক সুবিধা এনেছে কিনা। এবং দ্বিতীয়ত, আপনি এখনও আপনার যোগ্যতার উপর কাজ করতে পারেন (যা অবশ্যই অপ্রয়োজনীয় হবে না), বিশেষ করে যেহেতু আমরা আমাদের শিক্ষার্থীদের ব্যবহারিক দক্ষতা এবং জ্ঞান দিই যা তাদের প্রকৃত ডেটা বিজ্ঞানী হতে দেয়।

আরও কোর্স

কিভাবে ডেটা সায়েন্স থেকে একটি চার্লাটান চিনতে হয়?