હેબ્રાસ્ટેટિસ્ટિક્સ: રીડર ટિપ્પણીઓનું વિશ્લેષણ

હેલો હેબ્ર. IN અગાઉનો ભાગ સાઇટના વિવિધ વિભાગોની લોકપ્રિયતાનું વિશ્લેષણ કરવામાં આવ્યું હતું, અને તે જ સમયે પ્રશ્ન ઊભો થયો હતો - લેખો પરની ટિપ્પણીઓમાંથી કયો ડેટા કાઢી શકાય છે. હું એક પૂર્વધારણાને પણ ચકાસવા માંગતો હતો, જેની હું નીચે ચર્ચા કરીશ.


ડેટા એકદમ રસપ્રદ બન્યો; અમે ટીકાકારોનું નાનું "મિની-રેટિંગ" બનાવવામાં પણ વ્યવસ્થાપિત થયા. કટ હેઠળ ચાલુ રાખ્યું.

માહિતી સંગ્રહ

વિશ્લેષણ માટે, અમે આ વર્ષ, 2019 માટેના ડેટાનો ઉપયોગ કરીશું, ખાસ કરીને કારણ કે મને પહેલેથી જ csv સ્વરૂપમાં લેખોની સૂચિ મળી છે. જે બાકી છે તે દરેક લેખમાંથી ટિપ્પણીઓ કાઢવાનું છે; સદભાગ્યે અમારા માટે, તે ત્યાં સંગ્રહિત છે, અને કોઈ વધારાની વિનંતીઓ કરવાની જરૂર નથી.

લેખમાંથી ટિપ્પણીઓ પ્રકાશિત કરવા માટે, નીચેનો કોડ પૂરતો છે:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

આ અમને ટિપ્પણીઓની સૂચિ મેળવવાની મંજૂરી આપે છે જે કંઈક આના જેવું લાગે છે (ગોપનીયતાના કારણોસર ઉપનામો દૂર કરવામાં આવ્યા છે):

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


જેમ તમે જોઈ શકો છો, દરેક ટિપ્પણી માટે અમે વપરાશકર્તા નામ, તારીખ, રેટિંગ અને વાસ્તવિક ટેક્સ્ટ મેળવી શકીએ છીએ. ચાલો જોઈએ કે આપણે આમાંથી શું મેળવી શકીએ.

માર્ગ દ્વારા, શરૂઆતમાં, રેટિંગ્સ એકત્રિત કરવાનો વિચાર થોડો અલગ હતો - વપરાશકર્તાઓ શું રેટિંગ્સ આપે છે તે જોવા માટે. ઉદાહરણ તરીકે, તમે યુટ્યુબ પર જોઈ શકો છો - સૌથી આદર્શ વિડિયો પણ, એવો વિડિયો પણ કે જેમાં કોઈ પણ વ્યક્તિલક્ષી માહિતી ન હોય, કેવળ સંદર્ભ માટે કે સમાચાર પ્રકાશન માટે, હજુ પણ ચોક્કસ સંખ્યામાં ગેરફાયદા મેળવે છે. પૂર્વધારણા એ હતી કે એવા વપરાશકર્તાઓ છે કે જેમને, શુદ્ધ તબીબી રીતે, બધું જ ગમતું નથી, કદાચ સેરોટોનિન મગજ અથવા બીજું કંઈક ઉત્પન્ન થતું નથી. કદાચ વ્યક્તિને હવે હેબ્રે પર બેસવાની જરૂર નથી, પરંતુ ડિપ્રેશનની સારવાર માટે... પરંતુ તે બહાર આવ્યું તેમ, હું આ અહીં તપાસી શકતો નથી, કારણ કે... રેટિંગ આપનારની યાદી કોમેન્ટ કે લેખમાં સચવાતી નથી. સારું, એટલે કે, અમે ઉપલબ્ધ ડેટા સાથે કામ કરીશું. પરિણામ એ "વિપરીત" રેટિંગ છે - તમે જોઈ શકો છો કે વપરાશકર્તાઓ દ્વારા શું રેટિંગ્સ _પ્રાપ્ત_ થાય છે. જે, સૈદ્ધાંતિક રીતે, પણ રસપ્રદ છે.

પ્રક્રિયા

શરૂ કરવા માટે, પરંપરાગત અસ્વીકરણ. આ રેટિંગ, અગાઉના બધાની જેમ, બિનસત્તાવાર છે. હું ખાતરી આપતો નથી કે મેં ક્યાંય ભૂલ કરી નથી. તકનીકી વિગતોમાં રસ ધરાવતા લોકો માટે, વધુ વિગતવાર કોડ પ્રદાન કરવામાં આવે છે અગાઉના ભાગમાં.

તો ચાલો શરુ કરીએ. આ વર્ષ, 2019 (જે હજી સમાપ્ત થયું નથી) માટેની ટિપ્પણીઓ વિશ્લેષણ માટે લેવામાં આવી હતી. લેખન સમયે, વપરાશકર્તાઓએ લખ્યું 448533 ટિપ્પણીઓ, csv ફાઇલનું કદ છે 288MB. શક્તિશાળી, પ્રભાવશાળી.

લેખનનો સમય

ચાલો, અઠવાડિયાના દિવસો અને સપ્તાહાંતને અલગ-અલગ વિભાજિત કરીને કલાક પ્રમાણે ટિપ્પણીઓનું જૂથ કરીએ.

અહીં આપણને સંપૂર્ણ મૂલ્યોમાં રસ નથી, પરંતુ સંબંધિત મૂલ્યોમાં. જો તમે તેને ફક્ત "જેમ છે તેમ" જુઓ, તો તે તારણ આપે છેоમોટાભાગની કોમેન્ટ 10 થી 18 ના કામકાજના કલાકો દરમિયાન લખવામાં આવી હતી 😉 બીજી તરફ, અહીં ટાઈમ ઝોનને ધ્યાનમાં લેવામાં આવ્યા નથી, તેથી પ્રશ્ન હજુ પણ ખુલ્લો છે.

ચાલો આખા વર્ષ દરમિયાન ટિપ્પણીઓનું વિતરણ જોઈએ:

અને તેમ છતાં તે ફરે છે; અઠવાડિયાના દિવસોમાં ઉછાળો સ્પષ્ટપણે દેખાય છે - સાપ્તાહિક સામયિક સ્પષ્ટપણે દૃશ્યમાન છે, તેથી અમે એકદમ ઉચ્ચ વિશ્વાસ સાથે કહી શકીએ કે લોકો કામ પરથી હેબર વાંચી રહ્યા છે અને ટિપ્પણી કરી રહ્યા છે (પરંતુ આ ચોક્કસ નથી).

માર્ગ દ્વારા, પૂર્વધારણાને ચકાસવા માટે એક વિચાર હતો કે શું પ્રાપ્ત કરેલ ઓછા અથવા પ્લીસસની સંખ્યા દિવસ અથવા દિવસના સમય કરતાં અલગ છે, પરંતુ સંબંધ શોધવાનું શક્ય ન હતું - રેટિંગ આપવામાં આવ્યું હતું તે સમય સાચવવામાં આવ્યો નથી, અને ટિપ્પણીના સમય સાથે કોઈ સીધો સંબંધ નથી.

વપરાશકર્તાઓ

અલબત્ત, મને સાઇટ પરના વપરાશકર્તાઓની ચોક્કસ સંખ્યા ખબર નથી. પરંતુ જેમણે આ વર્ષે ઓછામાં ઓછી એક ટિપ્પણી છોડી છે તે લગભગ હોવાનું બહાર આવ્યું છે 25000 લોકો.

વપરાશકર્તાઓ દ્વારા છોડવામાં આવેલા સંદેશાઓની સંખ્યાનો ગ્રાફ ખૂબ રસપ્રદ લાગે છે:

પહેલા તો હું પોતે જ માનતો ન હતો, પણ એવું લાગ્યું કે તેમાં કોઈ ભૂલ નથી. 5% વપરાશકર્તાઓ 60% સંદેશાઓ છોડી દે છે. 10% - બધા સંદેશાઓમાંથી 74% (જેમાંથી, હું તમને યાદ અપાવીશ, આ વર્ષે, 450 હજાર). બહુમતી ફક્ત સાઇટ વાંચે છે, ટિપ્પણીઓ ખૂબ જ ભાગ્યે જ કરે છે, અથવા તેને છોડી દેતી નથી (તે, સ્વાભાવિક રીતે, મારી સૂચિમાં શામેલ નથી).

રેટિંગ્સ

ચાલો આંકડાઓના છેલ્લા અને સૌથી મનોરંજક ભાગ તરફ આગળ વધીએ - રેટિંગ્સ. ગોપનીયતાના કારણોસર, હું વપરાશકર્તાઓના સંપૂર્ણ ઉપનામો આપીશ નહીં, જે પણ ઇચ્છે છે, મને લાગે છે કે, તેઓ પોતાને ઓળખશે.

દ્વારા ટિપ્પણીઓની સંખ્યા આ વર્ષ માટે, ટોચના 5 પર VoXXXX (3377 ટિપ્પણીઓ), 0xdXXXXX (3286 ટિપ્પણીઓ), strXXXX (3043 ટિપ્પણીઓ), AmXXXX (2897 ટિપ્પણીઓ) અને khXXXX (2748 ટિપ્પણીઓ) દ્વારા કબજો કરવામાં આવ્યો છે.

દ્વારા પ્રાપ્ત લાભોની સંખ્યા, ટોચના 5 પર amXXXX (1395 ટિપ્પણીઓ, રેટિંગ્સ +3231/-309), tvXXXX (1544 ટિપ્પણીઓ, રેટિંગ્સ +3231/-97), WhuXXXX (921 ટિપ્પણીઓ, રેટિંગ્સ +2288/-13), MTXXXX (1328 ટિપ્પણીઓ, 1383 ટિપ્પણીઓ) દ્વારા કબજો કરવામાં આવ્યો છે. +7 /-736) અને amaXXXX (1340 ટિપ્પણીઓ, રેટિંગ +16/-XNUMX).

દ્વારા સંપૂર્ણ હકારાત્મક રેટિંગ (કોઈ નથી નકારાત્મક રેટેડ ટિપ્પણી) ટોચની ટોચ દ્વારા કબજો કરવામાં આવે છે મિલ્ફગાર્ડ и બૂમબુરમ. અપવાદ તરીકે, હું તેમના ઉપનામોને સંપૂર્ણ રીતે રજૂ કરું છું, મને લાગે છે કે તેઓ તેને લાયક છે.

નુકસાન પણ રસપ્રદ છે. દ્વારા ટોચ એકત્ર કરેલ ઓછાની સંખ્યા આ વર્ષ માટે તેઓ siXX (473 પ્લીસસ, 699 ઓછા), khXX (1915 પ્લીસસ, 573 ઓછા) અને nicXXXXX (456 પ્લીસસ, 487 ઓછા) દ્વારા કબજામાં છે. પરંતુ જેમ તમે જોઈ શકો છો, આ વપરાશકર્તાઓ પાસે પૂરતી હકારાત્મક ટિપ્પણીઓ છે. પરંતુ અનુસાર સંપૂર્ણ માઈનસ એન્ટિટોપિકમાં vladXXXX (55 ટિપ્પણીઓ, 84 ઓછા, 0 વત્તા), ekoXXXX (77 ટિપ્પણીઓ, 92 ઓછા, 1 વત્તા) અને iMXXXX (225 ટિપ્પણીઓ, 205 ઓછા, 12 પ્લસ)નો સમાવેશ થાય છે.

નિષ્કર્ષ

હું આયોજિત દરેક વસ્તુની ગણતરી કરવામાં સક્ષમ ન હતો, પરંતુ મને આશા છે કે તે રસપ્રદ હતું.

જેમ તમે જોઈ શકો છો, આટલા ઓછા ફીલ્ડ્સ સાથેનો ડેટાસેટ પણ વિશ્લેષણ માટે રસપ્રદ ડેટા પ્રદાન કરી શકે છે. "વર્ડ ક્લાઉડ" બનાવવાથી લઈને ટેક્સ્ટ એનાલિસિસ સુધી હજી ઘણું બધું ખોદવાનું બાકી છે. જો કોઈ રસપ્રદ પરિણામો બહાર આવશે, તો તે પ્રકાશિત કરવામાં આવશે.

સોર્સ: www.habr.com