🥇 ডেটা সায়েন্সে কী ভুল হতে পারে? তথ্য সংগ্রহ

আজ এখানে 100500 ডেটা সায়েন্স কোর্স রয়েছে এবং এটি দীর্ঘদিন ধরেই জানা গেছে যে ডেটা সায়েন্স কোর্সের মাধ্যমে ডেটা সায়েন্সে সর্বাধিক অর্থ উপার্জন করা যেতে পারে (আপনি যখন বেলচা বিক্রি করতে পারেন কেন খনন করবেন?) এই কোর্সগুলির প্রধান অসুবিধা হল যে বাস্তব কাজের সাথে তাদের কিছুই করার নেই: কেউ আপনাকে প্রয়োজনীয় বিন্যাসে পরিষ্কার, প্রক্রিয়াকৃত ডেটা দেবে না। এবং যখন আপনি কোর্সটি ত্যাগ করেন এবং একটি বাস্তব সমস্যা সমাধান করা শুরু করেন, তখন অনেক সূক্ষ্মতা দেখা দেয়।

অতএব, আমার, আমার কমরেড এবং সহকর্মীদের সাথে ঘটে যাওয়া বাস্তব ঘটনাগুলির উপর ভিত্তি করে আমরা "ডেটা সায়েন্সে কী ভুল হতে পারে" নোটগুলির একটি সিরিজ শুরু করছি। আমরা বাস্তব উদাহরণ ব্যবহার করে সাধারণ ডেটা বিজ্ঞানের কাজগুলি বিশ্লেষণ করব: এটি আসলে কীভাবে ঘটে। চলুন আজ থেকে শুরু করা যাক তথ্য সংগ্রহের কাজ।

এবং যখন লোকেরা বাস্তব ডেটা নিয়ে কাজ শুরু করে তখন প্রথম যে বিষয়টিতে হোঁচট খায় তা হল এই ডেটা সংগ্রহ করা যা আমাদের জন্য সবচেয়ে প্রাসঙ্গিক। এই নিবন্ধের মূল বার্তা:

ডেটা সংগ্রহ, পরিষ্কার এবং প্রস্তুত করার জন্য প্রয়োজনীয় সময়, সংস্থান এবং প্রচেষ্টাকে আমরা পদ্ধতিগতভাবে অবমূল্যায়ন করি।

এবং সবচেয়ে বড় কথা, আমরা আলোচনা করব এটি প্রতিরোধ করার জন্য কী করতে হবে।

বিভিন্ন অনুমান অনুযায়ী, পরিচ্ছন্নতা, রূপান্তর, ডেটা প্রসেসিং, ফিচার ইঞ্জিনিয়ারিং, ইত্যাদির জন্য 80-90% সময় লাগে এবং বিশ্লেষণ 10-20%, যখন প্রায় সমস্ত শিক্ষাগত উপাদান বিশ্লেষণের উপর একচেটিয়াভাবে ফোকাস করে।

আসুন একটি সাধারণ উদাহরণ হিসাবে তিনটি সংস্করণে একটি সাধারণ বিশ্লেষণাত্মক সমস্যা দেখি এবং "উত্তেজক পরিস্থিতি" কী তা দেখুন।

এবং একটি উদাহরণ হিসাবে, আবার, আমরা ডেটা সংগ্রহ এবং সম্প্রদায়গুলির তুলনা করার কাজের অনুরূপ বৈচিত্রগুলি বিবেচনা করব:

দুটি Reddit subreddits
হাবরের দুটি বিভাগ
ওডনোক্লাসনিকির দুটি দল

তত্ত্বে শর্তাধীন পদ্ধতি

সাইটটি খুলুন এবং উদাহরণগুলি পড়ুন, যদি এটি পরিষ্কার হয়, পড়ার জন্য কয়েক ঘন্টা আলাদা করুন, উদাহরণগুলি এবং ডিবাগিং ব্যবহার করে কোডের জন্য কয়েক ঘন্টা। সংগ্রহের জন্য কয়েক ঘন্টা যোগ করুন। রিজার্ভের মধ্যে কয়েক ঘন্টা নিক্ষেপ করুন (দুই দ্বারা গুণ করুন এবং N ঘন্টা যোগ করুন)।

মূল পয়েন্ট: সময়ের অনুমান অনুমান এবং অনুমানের উপর ভিত্তি করে কত সময় লাগবে।

উপরে বর্ণিত শর্তসাপেক্ষ সমস্যার জন্য নিম্নলিখিত পরামিতিগুলি অনুমান করে সময় বিশ্লেষণ শুরু করা প্রয়োজন:

ডেটার আকার কত এবং কতটুকু শারীরিকভাবে সংগ্রহ করা দরকার (*নীচে দেখুন*)।
একটি রেকর্ডের সংগ্রহের সময় কত এবং দ্বিতীয়টি সংগ্রহ করার আগে আপনাকে কতক্ষণ অপেক্ষা করতে হবে?
কোড লেখার কথা বিবেচনা করুন যা রাষ্ট্রকে সংরক্ষণ করে এবং সবকিছু ব্যর্থ হলে (যদি না) পুনরায় চালু হয়।
আমাদের অনুমোদনের প্রয়োজন কিনা তা খুঁজে বের করুন এবং API এর মাধ্যমে অ্যাক্সেস পাওয়ার জন্য সময় সেট করুন।
ডেটা জটিলতার একটি ফাংশন হিসাবে ত্রুটির সংখ্যা সেট করুন - একটি নির্দিষ্ট কাজের জন্য মূল্যায়ন করুন: কাঠামো, কতগুলি রূপান্তর, কী এবং কীভাবে নিষ্কাশন করা যায়।
অ-মানক প্রকল্প আচরণের সাথে নেটওয়ার্ক ত্রুটি এবং সমস্যাগুলি ঠিক করুন।
প্রয়োজনীয় ফাংশনগুলি ডকুমেন্টেশনে আছে কিনা তা মূল্যায়ন করুন এবং যদি না থাকে, তাহলে কীভাবে এবং কতটা একটি সমাধানের জন্য প্রয়োজন।

সবচেয়ে গুরুত্বপূর্ণ বিষয় হল সময় অনুমান করার জন্য - আপনাকে আসলে "শক্তিতে পুনরুদ্ধার" এর জন্য সময় এবং প্রচেষ্টা ব্যয় করতে হবে - তবেই আপনার পরিকল্পনা পর্যাপ্ত হবে। অতএব, "তথ্য সংগ্রহ করতে কতক্ষণ লাগে" বলার জন্য আপনাকে যতই চাপ দেওয়া হোক না কেন - প্রাথমিক বিশ্লেষণের জন্য নিজেকে কিছু সময় কিনুন এবং কাজের আসল পরামিতিগুলির উপর নির্ভর করে সময় কতটা পরিবর্তিত হবে তা নিয়ে তর্ক করুন।

এবং এখন আমরা নির্দিষ্ট উদাহরণ প্রদর্শন করব যেখানে এই ধরনের পরামিতি পরিবর্তন হবে।

মূল পয়েন্ট: অনুমানটি কাজের সুযোগ এবং জটিলতাকে প্রভাবিত করে এমন মূল কারণগুলির বিশ্লেষণের উপর ভিত্তি করে।

অনুমান-ভিত্তিক অনুমান একটি ভাল পদ্ধতি যখন কার্যকরী উপাদানগুলি যথেষ্ট ছোট হয় এবং এমন অনেক কারণ নেই যা সমস্যাটির নকশাকে উল্লেখযোগ্যভাবে প্রভাবিত করতে পারে। কিন্তু ডেটা সায়েন্সের বেশ কয়েকটি সমস্যার ক্ষেত্রে, এই জাতীয় কারণগুলি অত্যন্ত অসংখ্য হয়ে ওঠে এবং এই জাতীয় পদ্ধতি অপর্যাপ্ত হয়ে যায়।

Reddit সম্প্রদায়ের তুলনা

আসুন সবচেয়ে সহজ কেস দিয়ে শুরু করি (যেমন এটি পরে দেখা যাচ্ছে)। সাধারণভাবে, সম্পূর্ণরূপে সৎ হতে, আমাদের কাছে প্রায় আদর্শ কেস রয়েছে, আসুন আমাদের জটিলতা চেকলিস্টটি পরীক্ষা করি:

একটি ঝরঝরে, পরিষ্কার এবং নথিভুক্ত API আছে.
এটি অত্যন্ত সহজ এবং সবচেয়ে গুরুত্বপূর্ণ, একটি টোকেন স্বয়ংক্রিয়ভাবে প্রাপ্ত হয়।
আছে পাইথন মোড়ক - অনেক উদাহরণ সহ।
একটি সম্প্রদায় যা রেডিটে ডেটা বিশ্লেষণ করে এবং সংগ্রহ করে (এমনকি ইউটিউব ভিডিওতেও ব্যাখ্যা করে যে কীভাবে পাইথন র্যাপার ব্যবহার করতে হয়) উদাহরণ স্বরূপ.
আমাদের যে পদ্ধতিগুলি সবচেয়ে বেশি প্রয়োজন সেগুলি সম্ভবত API-তে বিদ্যমান। তাছাড়া, কোডটি কমপ্যাক্ট এবং পরিষ্কার দেখায়, নীচে একটি ফাংশনের একটি উদাহরণ যা একটি পোস্টে মন্তব্য সংগ্রহ করে৷

def get_comments(submission_id):
    reddit = Reddit(check_for_updates=False, user_agent=AGENT)
    submission = reddit.submission(id=submission_id)
    more_comments = submission.comments.replace_more()
    if more_comments:
        skipped_comments = sum(x.count for x in more_comments)
        logger.debug('Skipped %d MoreComments (%d comments)',
                     len(more_comments), skipped_comments)
    return submission.comments.list()

থেকে নেওয়া এই মোড়ানোর জন্য সুবিধাজনক ইউটিলিটিগুলির একটি নির্বাচন।

এটি সর্বোত্তম কেস হওয়া সত্ত্বেও, এটি এখনও বাস্তব জীবন থেকে বেশ কয়েকটি গুরুত্বপূর্ণ কারণ বিবেচনায় নেওয়া মূল্যবান:

API সীমা - আমরা ব্যাচে ডেটা নিতে বাধ্য হই (অনুরোধের মধ্যে ঘুম, ইত্যাদি)।
সংগ্রহের সময় - একটি সম্পূর্ণ বিশ্লেষণ এবং তুলনা করার জন্য, আপনাকে শুধুমাত্র মাকড়সার সাবরেডিটের মধ্য দিয়ে চলার জন্য উল্লেখযোগ্য সময় আলাদা করতে হবে।
বটটি অবশ্যই একটি সার্ভারে চলবে—আপনি এটিকে আপনার ল্যাপটপে চালাতে পারবেন না, এটিকে আপনার ব্যাকপ্যাকে রাখতে পারবেন এবং আপনার ব্যবসায় যেতে পারবেন। তাই আমি ভিপিএসে সবকিছু চালাই। প্রচারমূলক কোড habrahabr10 ব্যবহার করে আপনি খরচের আরও 10% বাঁচাতে পারবেন।
কিছু ডেটার শারীরিক অগম্যতা (এগুলি প্রশাসকদের কাছে দৃশ্যমান বা সংগ্রহ করা খুব কঠিন) - এটি অবশ্যই বিবেচনায় নেওয়া উচিত; নীতিগতভাবে, সমস্ত ডেটা পর্যাপ্ত সময়ে সংগ্রহ করা যায় না।
নেটওয়ার্ক ত্রুটি: নেটওয়ার্কিং একটি ব্যথা.
এটি জীবন্ত বাস্তব ডেটা - এটি কখনই বিশুদ্ধ নয়।

অবশ্যই, বিকাশে এই সূক্ষ্মতাগুলি অন্তর্ভুক্ত করা প্রয়োজন। নির্দিষ্ট সময়/দিনগুলি উন্নয়ন অভিজ্ঞতা বা অনুরূপ কাজগুলিতে কাজ করার অভিজ্ঞতার উপর নির্ভর করে, যাইহোক, আমরা দেখতে পাচ্ছি যে এখানে কাজটি সম্পূর্ণরূপে প্রকৌশলী এবং সমাধানের জন্য অতিরিক্ত শরীরের নড়াচড়ার প্রয়োজন হয় না - সবকিছু খুব ভালভাবে মূল্যায়ন, নির্ধারিত এবং সম্পন্ন করা যেতে পারে।

হাবর বিভাগের তুলনা

আসুন হাবরের থ্রেড এবং/অথবা বিভাগগুলির তুলনা করার আরও আকর্ষণীয় এবং অ-তুচ্ছ ক্ষেত্রে এগিয়ে যাই।

আসুন আমাদের জটিলতার চেকলিস্টটি পরীক্ষা করি - এখানে, প্রতিটি পয়েন্ট বোঝার জন্য, আপনাকে কাজটি নিজেই একটু খনন করতে হবে এবং পরীক্ষা করতে হবে।

প্রথমে আপনি মনে করেন একটি API আছে, কিন্তু নেই। হ্যাঁ, হ্যাঁ, হাবরের একটি এপিআই রয়েছে, তবে এটি ব্যবহারকারীদের কাছে অ্যাক্সেসযোগ্য নয় (বা এটি মোটেও কাজ করে না)।
তারপর আপনি শুধু html পার্সিং শুরু করুন - "আমদানি অনুরোধ", কি ভুল হতে পারে?
যাইহোক পার্স কিভাবে? সবচেয়ে সহজ এবং প্রায়শই ব্যবহৃত পদ্ধতি হল আইডিগুলির উপর পুনরাবৃত্তি করা, মনে রাখবেন যে এটি সবচেয়ে কার্যকর নয় এবং বিভিন্ন ক্ষেত্রে এটি পরিচালনা করতে হবে - এখানে সমস্ত বিদ্যমান আইডিগুলির মধ্যে বাস্তব আইডিগুলির ঘনত্বের একটি উদাহরণ রয়েছে৷

থেকে নেওয়া এই নিবন্ধ।
ওয়েবের উপরে এইচটিএমএলে মোড়ানো কাঁচা ডেটা একটি যন্ত্রণাদায়ক। উদাহরণস্বরূপ, আপনি একটি নিবন্ধের রেটিং সংগ্রহ এবং সংরক্ষণ করতে চান: আপনি এইচটিএমএল থেকে স্কোরটি ছিঁড়ে ফেলেছেন এবং পরবর্তী প্রক্রিয়াকরণের জন্য এটি একটি সংখ্যা হিসাবে সংরক্ষণ করার সিদ্ধান্ত নিয়েছেন:
1) int(স্কোর) একটি ত্রুটি নিক্ষেপ করে: যেহেতু হাব্রেতে একটি বিয়োগ রয়েছে, যেমন, "–5" লাইনে - এটি একটি এন ড্যাশ, একটি বিয়োগ চিহ্ন নয় (অপ্রত্যাশিতভাবে, ঠিক?), তাই এ কিছু সময় আমাকে পার্সারটিকে এমন একটি ভয়ানক সমাধানের সাথে জীবনে তুলতে হয়েছিল।
```
try:
      score_txt = post.find(class_="score").text.replace(u"–","-").replace(u"+","+")
      score = int(score_txt)
      if check_date(date):
        post_score += score
```
কোনও তারিখ, প্লাস এবং বিয়োগ মোটেও নাও থাকতে পারে (যেমন আমরা উপরে check_date ফাংশনে দেখেছি, এটি ঘটেছে)।

2) আনস্কেপড বিশেষ অক্ষর - তারা আসবে, আপনাকে প্রস্তুত থাকতে হবে।

3) পোস্টের ধরণের উপর নির্ভর করে কাঠামো পরিবর্তন হয়।

4) পুরানো পোস্টগুলির একটি **অদ্ভুত কাঠামো** থাকতে পারে।
মূলত, ত্রুটি হ্যান্ডলিং এবং যা ঘটতে পারে বা নাও হতে পারে তা পরিচালনা করতে হবে এবং আপনি নিশ্চিতভাবে ভবিষ্যদ্বাণী করতে পারবেন না যে কী ভুল হবে এবং কাঠামোটি কীভাবে হতে পারে এবং কোথায় পড়ে যাবে - আপনাকে কেবল চেষ্টা করতে হবে এবং বিবেচনা করতে হবে পার্সার নিক্ষেপ করে যে ত্রুটি.
তারপর আপনি বুঝতে পারবেন যে আপনাকে বেশ কয়েকটি থ্রেডে পার্স করতে হবে, অন্যথায় একটিতে পার্স করতে 30+ ঘন্টা সময় লাগবে (এটি সম্পূর্ণরূপে ইতিমধ্যে কাজ করা একক-থ্রেডেড পার্সারের কার্যকর করার সময়, যা ঘুমায় এবং কোনো নিষেধাজ্ঞার আওতায় পড়ে না)। ভিতরে এই নিবন্ধ, এটি কিছু সময়ে একটি অনুরূপ পরিকল্পনার দিকে পরিচালিত করেছিল:

জটিলতা দ্বারা মোট চেকলিস্ট:

নেটওয়ার্কের সাথে কাজ করা এবং আইডি দ্বারা পুনরাবৃত্তি এবং অনুসন্ধানের সাথে html পার্সিং।
ভিন্নধর্মী কাঠামোর নথি।
অনেক জায়গা আছে যেখানে কোড সহজেই পড়ে যেতে পারে।
লিখতে হয় || কোড
প্রয়োজনীয় ডকুমেন্টেশন, কোড উদাহরণ, এবং/অথবা সম্প্রদায় অনুপস্থিত.

এই কাজের জন্য আনুমানিক সময় Reddit থেকে ডেটা সংগ্রহের চেয়ে 3-5 গুণ বেশি হবে।

ওডনোক্লাসনিকি গ্রুপের তুলনা

আসুন বর্ণিত সবচেয়ে প্রযুক্তিগতভাবে আকর্ষণীয় ক্ষেত্রে এগিয়ে যাই। আমার জন্য, এটি সুনির্দিষ্টভাবে আকর্ষণীয় ছিল কারণ প্রথম নজরে, এটি বেশ তুচ্ছ মনে হয়, তবে এটি মোটেও সেভাবে পরিণত হয় না - যত তাড়াতাড়ি আপনি এটিতে একটি লাঠি ঠেলে দেন।

আসুন আমাদের অসুবিধার চেকলিস্ট দিয়ে শুরু করুন এবং মনে রাখবেন যে তাদের মধ্যে অনেকগুলি প্রথমে যা দেখে তার চেয়ে অনেক বেশি কঠিন হয়ে উঠবে:

একটি API আছে, কিন্তু এটি প্রায় সম্পূর্ণরূপে প্রয়োজনীয় ফাংশন অভাব.
নির্দিষ্ট ফাংশনগুলির জন্য আপনাকে মেল দ্বারা অ্যাক্সেসের অনুরোধ করতে হবে, অর্থাৎ, অ্যাক্সেস মঞ্জুর করা তাত্ক্ষণিক নয়।
এটি ভয়ানকভাবে নথিভুক্ত (শুরুতে, রাশিয়ান এবং ইংরেজি শব্দগুলি সর্বত্র মিশ্রিত হয় এবং সম্পূর্ণরূপে অসঙ্গত - কখনও কখনও আপনাকে কেবল অনুমান করতে হবে তারা কোথাও আপনার কাছ থেকে কী চায়) এবং তদ্ব্যতীত, নকশাটি ডেটা পাওয়ার জন্য উপযুক্ত নয়, উদাহরণস্বরূপ , আমাদের প্রয়োজন ফাংশন.
ডকুমেন্টেশনে একটি সেশনের প্রয়োজন, কিন্তু আসলে এটি ব্যবহার করে না - এবং এপিআই মোডগুলির সমস্ত জটিলতা বোঝার কোনও উপায় নেই চারপাশে খোঁচা দেওয়া এবং কিছু কাজ করবে বলে আশা করা ছাড়া।
কোনও উদাহরণ নেই এবং কোনও সম্প্রদায় নেই; তথ্য সংগ্রহের ক্ষেত্রে সমর্থনের একমাত্র বিন্দুটি একটি ছোট লেফাফা পাইথনে (ব্যবহারের অনেক উদাহরণ ছাড়াই)।
সেলেনিয়াম সবচেয়ে কার্যকরী বিকল্প বলে মনে হচ্ছে, যেহেতু অনেক প্রয়োজনীয় ডেটা লক আপ করা হয়েছে।
1) অর্থাৎ, অনুমোদন একটি কাল্পনিক ব্যবহারকারীর মাধ্যমে সঞ্চালিত হয় (এবং হাত দ্বারা নিবন্ধন)।

2) তবে, সেলেনিয়ামের সাথে সঠিক এবং পুনরাবৃত্তিযোগ্য কাজের জন্য কোন গ্যারান্টি নেই (অন্তত নিশ্চিতভাবে ok.ru এর ক্ষেত্রে)।

3) Ok.ru ওয়েবসাইটে জাভাস্ক্রিপ্ট ত্রুটি রয়েছে এবং কখনও কখনও অদ্ভুত এবং অসঙ্গতিপূর্ণ আচরণ করে।

4) আপনাকে পেজিনেশন, লোডিং উপাদান ইত্যাদি করতে হবে...

5) এপিআই ত্রুটিগুলি যা র‍্যাপার দেয় তা বিশ্রীভাবে পরিচালনা করতে হবে, উদাহরণস্বরূপ, এটির মতো (পরীক্ষামূলক কোডের একটি অংশ):
```
def get_comments(args, context, discussions):
    pause = 1
    if args.extract_comments:
        all_comments = set()
#makes sense to keep track of already processed discussions
        for discussion in tqdm(discussions): 
            try:
                comments = get_comments_from_discussion_via_api(context, discussion)
            except odnoklassniki.api.OdnoklassnikiError as e:
                if "NOT_FOUND" in str(e):
                    comments = set()
                else:
                    print(e)
                    bp()
                    pass
            all_comments |= comments
            time.sleep(pause)
        return all_comments
```
আমার প্রিয় ভুল ছিল:

OdnoklassnikiError("Error(code: 'None', description: 'HTTP error', method: 'discussions.getComments', params: …)”)

6) শেষ পর্যন্ত, সেলেনিয়াম + API সবচেয়ে যুক্তিসঙ্গত বিকল্পের মত দেখায়।
এটি রাষ্ট্র সংরক্ষণ এবং সিস্টেম পুনরায় আরম্ভ করা প্রয়োজন, সাইটের অসামঞ্জস্যপূর্ণ আচরণ সহ অনেক ত্রুটি পরিচালনা করা - এবং এই ত্রুটিগুলি কল্পনা করা বেশ কঠিন (যদি না আপনি পেশাদারভাবে পার্সার লিখুন, অবশ্যই)।

এই কাজের জন্য শর্তসাপেক্ষ সময়ের অনুমান হাবর থেকে ডেটা সংগ্রহের চেয়ে 3-5 গুণ বেশি হবে। হাবরের ক্ষেত্রে আমরা এইচটিএমএল পার্সিংয়ের সাথে একটি ফ্রন্টাল অ্যাপ্রোচ ব্যবহার করি এবং ওকে-এর ক্ষেত্রে আমরা সমালোচনামূলক জায়গায় API-এর সাথে কাজ করতে পারি।

তথ্যও

একটি বিশাল ডেটা প্রসেসিং পাইপলাইন মডিউলের "অন দ্য স্পট" (আমরা আজ পরিকল্পনা করছি!) সময়সীমা অনুমান করার জন্য আপনার যতই প্রয়োজন থাকুক না কেন, কার্যের পরামিতিগুলি বিশ্লেষণ না করে কার্য সম্পাদনের সময় গুণগতভাবে অনুমান করা প্রায় সম্ভব নয়।

একটু বেশি দার্শনিক নোটে, চটপটে অনুমান করার কৌশলগুলি ইঞ্জিনিয়ারিং কাজের জন্য ভাল কাজ করে, তবে সমস্যাগুলি যেগুলি আরও পরীক্ষামূলক এবং এক অর্থে, "সৃজনশীল" এবং অনুসন্ধানমূলক, অর্থাত্ কম অনুমানযোগ্য, সমস্যা রয়েছে, যেমন অনুরূপ বিষয়গুলির উদাহরণে, যা আমরা এখানে আলোচনা করেছি।

অবশ্যই, তথ্য সংগ্রহ শুধুমাত্র একটি প্রধান উদাহরণ - এটি সাধারণত একটি অবিশ্বাস্যভাবে সহজ এবং প্রযুক্তিগতভাবে জটিল কাজ, এবং শয়তান প্রায়ই বিশদ বিবরণে থাকে। এবং এটি এই কাজের উপর সঠিকভাবে যে আমরা কী ভুল হতে পারে এবং কাজটি ঠিক কতটা সময় নিতে পারে তার সম্ভাব্য বিকল্পগুলির সম্পূর্ণ পরিসর দেখাতে পারি।

আপনি যদি অতিরিক্ত পরীক্ষা-নিরীক্ষা ছাড়াই টাস্কের বৈশিষ্ট্যগুলি দেখেন, তাহলে রেডডিট এবং ওকে একই রকম দেখায়: একটি এপিআই, একটি পাইথন র‍্যাপার আছে, কিন্তু সারমর্মে, পার্থক্যটি বিশাল। এই পরামিতিগুলির দ্বারা বিচার করলে, হাবরের পার্সগুলি OK এর চেয়ে আরও জটিল দেখায় - কিন্তু বাস্তবে এটি একেবারে বিপরীত, এবং সমস্যার পরামিতিগুলি বিশ্লেষণ করার জন্য সাধারণ পরীক্ষাগুলি পরিচালনা করে এটি ঠিক কী খুঁজে পাওয়া যেতে পারে।

আমার অভিজ্ঞতায়, সবচেয়ে কার্যকর পদ্ধতি হল প্রাথমিক বিশ্লেষণের জন্য আপনার যে সময় লাগবে তা মোটামুটিভাবে অনুমান করা এবং সাধারণ প্রথম পরীক্ষা-নিরীক্ষা, ডকুমেন্টেশন পড়া - এটি আপনাকে পুরো কাজের জন্য একটি সঠিক অনুমান দিতে অনুমতি দেবে। জনপ্রিয় চটপটে পদ্ধতির পরিপ্রেক্ষিতে, আমি আপনাকে "আনুমানিক টাস্ক প্যারামিটার" এর জন্য একটি টিকিট তৈরি করতে বলি, যার ভিত্তিতে আমি "স্প্রিন্ট" এর মধ্যে কী সম্পন্ন করা যেতে পারে তার একটি মূল্যায়ন দিতে পারি এবং প্রতিটির জন্য আরও সঠিক অনুমান দিতে পারি। টাস্ক

অতএব, সবচেয়ে কার্যকর যুক্তিটি এমন একটি বলে মনে হচ্ছে যা একজন "অ-প্রযুক্তিগত" বিশেষজ্ঞকে দেখাবে যে প্যারামিটারগুলির উপর নির্ভর করে কতটা সময় এবং সংস্থান পরিবর্তিত হবে যা এখনও মূল্যায়ন করা হয়নি।

উত্স: www.habr.com

ডেটা সায়েন্সে কী ভুল হতে পারে? তথ্য সংগ্রহ

তত্ত্বে শর্তাধীন পদ্ধতি

Reddit সম্প্রদায়ের তুলনা

হাবর বিভাগের তুলনা

ওডনোক্লাসনিকি গ্রুপের তুলনা

তথ্যও

একটি মন্তব্য জুড়ুন উত্তর বাতিল