Habrastatistics: পাঠকের মন্তব্য বিশ্লেষণ

হ্যালো হাবর। ভিতরে পূর্ববর্তী অংশ সাইটের বিভিন্ন বিভাগের জনপ্রিয়তা বিশ্লেষণ করা হয়েছিল, এবং একই সাথে প্রশ্ন উঠেছে - নিবন্ধগুলিতে মন্তব্যগুলি থেকে কী ডেটা বের করা যেতে পারে। আমি একটি অনুমান পরীক্ষা করতে চেয়েছিলাম, যা আমি নীচে আলোচনা করব।


তথ্যটি বেশ আকর্ষণীয় বলে প্রমাণিত হয়েছে; আমরা মন্তব্যকারীদের একটি ছোট "মিনি-রেটিং" তৈরি করতে পেরেছি। কাটা অধীনে অব্যাহত.

তথ্য সংগ্রহ

বিশ্লেষণের জন্য, আমরা এই বছরের জন্য ডেটা ব্যবহার করব, 2019, বিশেষ করে যেহেতু আমি ইতিমধ্যে csv আকারে নিবন্ধগুলির একটি তালিকা পেয়েছি৷ যা বাকি থাকে তা হল প্রতিটি নিবন্ধ থেকে মন্তব্যগুলি বের করা;

একটি নিবন্ধ থেকে মন্তব্য হাইলাইট করার জন্য, নিম্নলিখিত কোড যথেষ্ট:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

এটি আমাদের মন্তব্যের একটি তালিকা পেতে দেয় যা দেখতে এরকম কিছু দেখায় (গোপনীয়তার কারণে ডাকনামগুলি সরানো হয়েছে):

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


আপনি দেখতে পাচ্ছেন, প্রতিটি মন্তব্যের জন্য আমরা ব্যবহারকারীর নাম, তারিখ, রেটিং এবং প্রকৃত পাঠ্য পেতে পারি। এর থেকে আমরা কি পেতে পারি তা দেখা যাক।

যাইহোক, প্রাথমিকভাবে, রেটিং সংগ্রহের ধারণাটি একটু ভিন্ন ছিল - ব্যবহারকারীরা কী রেটিং দেয় তা দেখতে। উদাহরণস্বরূপ, আপনি YouTube-এ দেখতে পারেন - এমনকি সবচেয়ে আদর্শ ভিডিও, এমনকি এমন একটি ভিডিও যা কোনো বিষয়গত তথ্য বহন করে না, বিশুদ্ধভাবে রেফারেন্স বা সংবাদ প্রকাশের জন্য, এখনও একটি নির্দিষ্ট সংখ্যক বিয়োগ লাভ করে। অনুমানটি ছিল যে এমন ব্যবহারকারীরা আছেন যারা সম্পূর্ণরূপে ক্লিনিক্যালি, সবকিছু পছন্দ করেন না, হয়তো সেরোটোনিন মস্তিষ্কে বা অন্য কিছুতে উত্পাদিত হয় না। হতে পারে একজন ব্যক্তির আর হাব্রেতে বসতে হবে না, কিন্তু বিষণ্নতার চিকিৎসা করার জন্য... কিন্তু দেখা গেল, আমি এখানে এটি পরীক্ষা করতে পারছি না, কারণ... যারা রেটিং দিয়েছেন তাদের তালিকা মন্তব্য বা নিবন্ধে সংরক্ষিত নেই। ঠিক আছে, অর্থাৎ, আমরা উপলব্ধ ডেটা নিয়ে কাজ করব। ফলাফল হল একটি "বিপরীত" রেটিং - আপনি দেখতে পারেন যে ব্যবহারকারীরা কি রেটিং _পাচ্ছে_। যা, নীতিগতভাবে, এছাড়াও আকর্ষণীয়.

প্রক্রিয়াকরণ

শুরু করার জন্য, একটি ঐতিহ্যগত দাবিত্যাগ। এই রেটিং, আগের সবগুলোর মত, অনানুষ্ঠানিক। আমি গ্যারান্টি দিচ্ছি না যে আমি কোথাও ভুল করিনি। প্রযুক্তিগত বিবরণে আগ্রহীদের জন্য, আরও বিস্তারিত কোড প্রদান করা হয়েছে আগের অংশে.

চল শুরু করা যাক. এই বছরের জন্য মন্তব্য, 2019 (যা এখনও শেষ হয়নি), বিশ্লেষণের জন্য নেওয়া হয়েছিল। লেখার সময়, ব্যবহারকারীরা লিখেছেন 448533 টি মন্তব্য, csv ফাইলের আকার 288MB. শক্তিশালী, চিত্তাকর্ষক।

লেখার সময়

আসুন সপ্তাহের দিন এবং সাপ্তাহিক ছুটির দিনগুলিকে আলাদাভাবে ভাগ করে ঘন্টা অনুসারে মন্তব্যগুলিকে গোষ্ঠীবদ্ধ করি৷

এখানে আমরা নিখুঁত মানগুলিতে আগ্রহী নই, তবে আপেক্ষিকগুলিতে। আপনি যদি শুধু "যেমন" তাকান, তাহলে দেখা যাচ্ছে যেоবেশিরভাগ মন্তব্যগুলি 10 থেকে 18 পর্যন্ত কাজের সময় লেখা হয়েছিল 😉 অন্যদিকে, এখানে সময় অঞ্চলগুলি বিবেচনায় নেওয়া হয়নি, তাই প্রশ্নটি এখনও খোলা রয়েছে।

চলুন দেখে নেওয়া যাক সারা বছর জুড়ে মন্তব্য বিতরণ:

এবং এখনও এটি ঘুরছে; সপ্তাহের দিনগুলিতে একটি ঢেউ স্পষ্টভাবে দৃশ্যমান - সাপ্তাহিক পর্যায়ক্রম স্পষ্টভাবে দৃশ্যমান, তাই আমরা মোটামুটি উচ্চ আত্মবিশ্বাসের সাথে বলতে পারি যে লোকেরা কাজ থেকে হাবরে পড়ছে এবং মন্তব্য করছে (কিন্তু এটি নিশ্চিত নয়)।

যাইহোক, অনুমানটি পরীক্ষা করার জন্য একটি ধারণা ছিল যে প্রাপ্ত বিয়োগ বা প্লাসের সংখ্যা দিন বা সময়ের থেকে আলাদা কিনা, কিন্তু এটি একটি সম্পর্ক খুঁজে পাওয়া সম্ভব ছিল না - রেটিং দেওয়া সময় সংরক্ষণ করা হয়নি, এবং মন্তব্যের সময়ের সাথে সরাসরি কোন সম্পর্ক নেই।

ব্যবহারকারীদের

অবশ্যই, আমি সাইটে ব্যবহারকারীর সঠিক সংখ্যা জানি না। কিন্তু যারা এই বছর অন্তত একটি মন্তব্য ছেড়ে আনুমানিক হতে পরিণত 25000 মানুষ.

ব্যবহারকারীদের রেখে যাওয়া বার্তার সংখ্যার গ্রাফটি বেশ আকর্ষণীয় দেখায়:

প্রথমে আমি নিজে বিশ্বাস করিনি, কিন্তু মনে হয় কোন ভুল নেই। 5% ব্যবহারকারী 60% বার্তা ছেড়ে যান. 10% - সমস্ত বার্তার 74% (যার মধ্যে, আমি আপনাকে মনে করিয়ে দিই, এই বছর, 450 হাজার)। সংখ্যাগরিষ্ঠরা কেবল সাইটটি পড়ে, মন্তব্যগুলি খুব কমই রেখেছিল, বা সেগুলি একেবারেই ছেড়ে দেয় না (সেগুলি, স্বাভাবিকভাবেই, আমার তালিকায় অন্তর্ভুক্ত ছিল না)।

সৈনিকগণ

চলুন পরিসংখ্যানের শেষ এবং সবচেয়ে মজার অংশে যাওয়া যাক - রেটিং। গোপনীয়তার কারণে, আমি ব্যবহারকারীদের সম্পূর্ণ ডাকনাম দেব না, যে কেউ চায়, আমি মনে করি, নিজেদের চিনতে পারবে।

উপর মন্তব্যের সংখ্যা এই বছরের জন্য, শীর্ষ 5টি VoXXXX (3377 মন্তব্য), 0xdXXXXX (3286 মন্তব্য), strXXXX (3043 মন্তব্য), AmXXXX (2897 মন্তব্য) এবং khXXXX (2748 মন্তব্য) দ্বারা দখল করা হয়েছে।

উপর প্রাপ্ত সুবিধার সংখ্যা, শীর্ষ 5 এ amXXXX (1395 মন্তব্য, রেটিং +3231/-309), tvXXXX (1544 মন্তব্য, রেটিং +3231/-97), WhuXXXX (921 মন্তব্য, রেটিং +2288/-13), MTXXXX (1328 মন্তব্য, 1383 মন্তব্য) দ্বারা দখল করা হয়েছে +7 /-736) এবং amaXXXX (1340 মন্তব্য, রেটিং +16/-XNUMX)।

উপর পরম ইতিবাচক রেটিং (একা না নেতিবাচকভাবে রেট করা মন্তব্য) শীর্ষের শীর্ষটি দখল করে আছে মিলফগার্ড и বুমবুরাম. একটি ব্যতিক্রম হিসাবে, আমি তাদের ডাকনাম সম্পূর্ণরূপে উপস্থাপন করি, আমি মনে করি তারা এটি প্রাপ্য।

খারাপ দিকগুলিও আকর্ষণীয়। দ্বারা শীর্ষ সংগৃহীত বিয়োগের সংখ্যা এই বছরের জন্য তারা siXX (473 প্লাস, 699 বিয়োগ), khXX (1915 প্লাস, 573 বিয়োগ) এবং nicXXXXX (456 প্লাস, 487 বিয়োগ) দ্বারা দখল করা হয়েছে। কিন্তু আপনি দেখতে পাচ্ছেন, এই ব্যবহারকারীদের যথেষ্ট ইতিবাচক মন্তব্য রয়েছে। কিন্তু অনুযায়ী পরম বিয়োগ অ্যান্টিটোপিকের মধ্যে রয়েছে vladXXXX (55 মন্তব্য, 84 বিয়োগ, 0 প্লাস), ekoXXXX (77 মন্তব্য, 92 বিয়োগ, 1 প্লাস) এবং iMXXXX (225 মন্তব্য, 205 বিয়োগ, 12 প্লাস)।

উপসংহার

আমি পরিকল্পিত সবকিছু গণনা করতে সক্ষম ছিলাম না, তবে আমি আশা করি এটি আকর্ষণীয় ছিল।

আপনি দেখতে পাচ্ছেন, এমনকি এত অল্প সংখ্যক ক্ষেত্র সহ একটি ডেটাসেট বিশ্লেষণের জন্য আকর্ষণীয় ডেটা সরবরাহ করতে পারে। একটি "শব্দ মেঘ" তৈরি করা থেকে পাঠ্য বিশ্লেষণ পর্যন্ত এখনও অনেক কিছু খনন করার আছে৷ কোন আকর্ষণীয় ফলাফল আবির্ভূত হলে, তারা প্রকাশ করা হবে.

উত্স: www.habr.com