Habrastatistics: nyochaa nkọwa ndị na-agụ

Ndewo Habr. N'ime akụkụ gara aga A na-enyocha ewu ewu nke akụkụ dị iche iche nke saịtị ahụ, ma n'otu oge ahụ ajụjụ ahụ bilitere - kedu ihe data nwere ike isi na nkwupụta na isiokwu. Achọrọ m ịnwale otu echiche, nke m ga-atụle n'okpuru.


Data tụgharịrị bụrụ ihe na-adọrọ mmasị; anyị jisiri ike mepụta obere "obere ọkwa" nke ndị nkọwa. Na-aga n'ihu n'okpuru ịkpụ.

Nchịkọta data

Maka nyocha, anyị ga-eji data maka afọ a, 2019, karịsịa ebe ọ bụ na enwetala m ndepụta nke isiokwu n'ụdị csv. Ihe fọrọ nke nta ka ọ bụrụ iwepụta nkọwa sitere na akụkọ ọ bụla, ọ dabara nke ọma maka anyị, echekwara ha ebe ahụ, ọ nweghịkwa arịrịọ ọzọ achọrọ.

Iji gosi nkọwa sitere na akụkọ, koodu a zuru oke:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

Nke a na-enye anyị ohere ịnweta ndepụta okwu dị ka nke a (ahapụrụ n'ihi ihe nzuzo):

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться


Dịka ị na-ahụ, maka nkọwa ọ bụla anyị nwere ike nweta aha njirimara, ụbọchị, ọkwa na ederede n'ezie. Ka anyị hụ ihe anyị nwere ike nweta na nke a.

Site n'ụzọ, na mbụ, echiche nke ịnakọta ratings dịtụ iche - ịhụ ihe ratings ọrụ na-enye. Dịka ọmụmaatụ, ị nwere ike ilele YouTube - ọbụlagodi vidiyo kachasị mma, ọbụlagodi vidiyo na-enweghị ozi gbasara isiokwu ọ bụla, naanị maka ntụnye aka ma ọ bụ ntọhapụ akụkọ, ka na-enweta ọnụọgụ ụfọdụ nke minuses. Echiche ahụ bụ na e nwere ndị ọrụ bụ ndị, nanị ụlọ ọgwụ, na-adịghị amasị ihe niile ma ọlị, ma eleghị anya, serotonin adịghị emepụta na ụbụrụ ma ọ bụ ihe ọzọ. Ma eleghị anya, ọ dịghịzi mkpa ka mmadụ nọrọ ọdụ na Habré, ma na-emeso ịda mbà n'obi ... Ma dịka o siri pụta, enweghị m ike ịlele nke a ebe a, n'ihi na ... A naghị echekwa ndepụta nke ndị nyere ọkwa na nkọwa ma ọ bụ isiokwu. Ọfọn, ya bụ, ya bụ, anyị ga-arụ ọrụ na data dịnụ. Nsonaazụ a bụ ọkwa “atụgharị” - ị nwere ike ịhụ ọkwa ndị ọrụ _receive_. Nke, n'ụkpụrụ, dịkwa ụtọ.

Nhazi

Iji malite, nkwupụta ọdịnala. Ngosipụta a, dị ka ndị niile gara aga, enweghị iwu. Anaghị m ekwe nkwa na emehieghị m ebe ọ bụla. Maka ndị nwere mmasị na nkọwa teknụzụ, a na-enye koodu zuru ezu karị na akụkụ gara aga.

Ya mere, ka anyị malite. Ewere nkọwa maka afọ a, 2019 (nke na-agabeghị), maka nyocha. N'oge ederede, ndị ọrụ dere Ihe 448533 kwuru, nha faịlụ csv bụ 288MB. Dị ike, dị egwu.

Oge ederede

Ka anyị kee ajụjụ ọnụ n'otu elekere, na-eke ụbọchị izu na izu ụka iche iche.

N'ebe a, anyị enweghị mmasị na ụkpụrụ zuru oke, mana na ndị ikwu. Ọ bụrụ na ị na-ele anya "dị ka ọ dị", mgbe ahụ ọ ga-abụ nke ahụоỌtụtụ n'ime nkọwa ndị e dere n'oge awa ọrụ site na 10 ruo 18 😉 N'aka nke ọzọ, a naghị echebara oge mpaghara ebe a, ya mere ajụjụ ahụ ka na-emeghe.

Ka anyị leba anya na nkesa nke nkwupụta n'ime afọ:

Ma ọ na-agbagharị; a na-ahụ anya nke ọma n'ụbọchị izu - oge izu bụ nke a na-ahụ anya nke ọma, ya mere anyị nwere ike iji obi ike kwuo na ndị mmadụ na-agụ ma na-ekwu banyere Habr site na ọrụ (ma nke a abụghị ụfọdụ).

Site n'ụzọ, e nwere echiche iji nwalee hypothesis ma ọnụ ọgụgụ nke minuses ma ọ bụ pluses natara dị iche na ụbọchị ma ọ bụ oge nke ụbọchị, ma ọ gaghị ekwe omume ịchọta a mmekọrịta - oge na fim e nyere na-adịghị azọpụta, na enweghị njikọ kpọmkwem na oge ikwu okwu.

Ndị ọrụ

N'ezie, amaghị m ọnụ ọgụgụ ndị ọrụ na saịtị ahụ. Mana ndị hapụrụ opekata mpe otu okwu n'afọ a tụgharịrị bụrụ ihe dị ka Ndị mmadụ 25000.

Eserese nke ọnụọgụ ozi ndị ọrụ hapụrụ na-atọ ụtọ nke ukwuu:

Na mbụ ekwenyeghị m ya n'onwe m, mana ọ dị ka ọ nweghị mmejọ. 5% nke ndị ọrụ na-ahapụ 60% nke ozi. 10% - 74% nke ozi niile (nke, ka m chetara gị, afọ a, 450 puku). Ihe ka n'ọnụ ọgụgụ na-agụ saịtị ahụ, na-ahapụ nkọwa dị obere, ma ọ bụ na-ahapụghị ha ma ọlị (ndị ahụ, n'ezie, esonyeghị na listi m).

Ụgwọ

Ka anyị gaa n'ihu na akụkụ ikpeazụ na kacha atọ ụtọ nke ọnụ ọgụgụ - ratings. Maka ihe kpatara nzuzo, agaghị m enye aha njirimara zuru oke nke ndị ọrụ, onye ọ bụla chọrọ, echere m, ga-amata onwe ha.

Site ọnụ ọgụgụ nke kwuru maka afọ a, n'elu 5 bụ VoXXXX (3377 comments), 0xdXXXX (3286 comments), strXXXX (3043 comments), AmXXXX (2897 comments) na khXXXX (2748 kwuru).

Site ọnụ ọgụgụ nke uru enwetara, top 5 ji amXXXX (1395 comments, ratings +3231/-309), tvXXXX (1544 comments, ratings +3231/-97), WhuXXXX (921 comments, ratings +2288/-13), MTXXXX (1328 comments, +1383 /-7) na amaXXXX (736 kwuru, ọkwa +1340/-16).

Site kacha mma rating (ọnweghị onye ọ bụla okwu na-adịghị mma) n'elu nke elu na-eji Milfgard и Boomburum. Dị ka ihe dị iche, m na-ewepụta aha nickname ha zuru ezu, echere m na ha kwesịrị ya.

Ọdịda ya dịkwa ụtọ. Top site ọnụ ọgụgụ nke minuses anakọtara maka afọ a, ha ji siXX (473 pluses, 699 minuses), khXX (1915 pluses, 573 minuses) na nicXXXXX (456 pluses, 487 minuses). Mana dịka ị nwere ike ịhụ, ndị ọrụ a nwere nkọwa dị mma zuru oke. Ma dị ka mwepu zuru oke Ihe mgbochi na-agụnye vladXXXX (okwu 55, 84 minuses, 0 pluses), ekoXXXX (okwu 77, nkeji 92, 1 gbakwunyere) na iMXXXX (okwu 225, 205 minuses, 12 pluses).

nkwubi

Enweghị m ike ịgbakọ ihe niile akwadoro, mana enwere m olileanya na ọ na-adọrọ mmasị.

Dị ka ị pụrụ ịhụ, ọbụna a dataset na ndị dị otú ahụ a obere ọnụ ọgụgụ nke ubi nwere ike inye na-akpali data maka nyocha. A ka nwere ọtụtụ ihe ị ga-egwu, site na ịmepụta "igwe ojii okwu" na nyocha ederede. Ọ bụrụ na nsonaazụ ọ bụla na-atọ ụtọ pụta, a ga-ebipụta ha.

isi: www.habr.com