Habrastatistics: te tātari i nga korero a te kaipanui

Kia ora Habr. IN wahanga o mua I tātarihia te rongonui o nga momo waahanga o te waahi, i te wa ano ka puta ake te patai - he aha nga raraunga ka taea te tango mai i nga korero mo nga tuhinga. I hiahia ano ahau ki te whakamatautau i tetahi whakapae, ka korerohia e au i raro nei.
Habrastatistics: te tātari i nga korero a te kaipanui

Ko nga raraunga i puta he tino whakamere; Ka haere tonu i raro i te tapahi.

Te kohinga raraunga

Mo te tātaritanga, ka whakamahia e matou nga raraunga mo tenei tau, 2019, ina koa kua whiwhi ahau i te rarangi o nga tuhinga kei te ahua csv. Ko nga mea e toe ana ko te tango i nga korero mai i ia tuhinga, he waimarie mo tatou, kei te rongoa i reira, kaore he tono taapiri.

Hei whakanui i nga korero mai i tetahi tuhinga, he rawaka te waehere e whai ake nei:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

Ma tenei ka taea e matou te tiki rarangi korero e penei ana te ahua (kua tangohia nga ingoa ingoa mo nga take tūmataiti):

xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться

Ka taea e koe te kite, mo ia korero ka taea e matou te tiki i te ingoa kaiwhakamahi, te ra, te whakatauranga, me te tuhinga tuuturu. Kia kite tatou he aha ta tatou e whiwhi mai i tenei.

Ma te ara, i te tuatahi, he rereke te whakaaro mo te kohi tohu - kia kite he aha nga whakatau ka tukuna e nga kaiwhakamahi. Hei tauira, ka taea e koe te tiro ki YouTube - ahakoa ko te ataata tino pai rawa atu, ahakoa he ataata kaore e mau i nga korero kaupapa, mo te tohutoro, mo te tuku purongo ranei, ka whiwhi tonu i etahi waahanga iti. Ko te whakapae he maha nga kaiwhakamahi, he haumanu noa, kaore e pai ki nga mea katoa, tera pea kaore te serotonin i hangaia i roto i te roro, i tetahi atu mea ranei. Kaore pea te tangata e noho ki runga i a Habré, engari ki te rongoa i te pouri ... Engari i te mea kua puta, kaore e taea e au te tirotiro i konei, na te mea ... ko te rarangi o te hunga i tuku whakatau kaore i tiakina i roto i nga korero, tuhinga ranei. Ana, ara, ka mahi maatau me nga raraunga e waatea ana. Ko te hua he whakatauranga "whakamuri" - ka kite koe he aha nga whakatauranga _whiwhi_ e nga kaiwhakamahi. Ko te tikanga, he mea whakamere hoki.

Te tukatuka

Hei timata, he whakakape tuku iho. Ko tenei whakatau, pera i nga mea o mua, he kore mana. Kare au e kii kaore au i he ki hea. Mo te hunga e hiahia ana ki nga korero hangarau, ka whakaratohia he waehere taipitopito i te wahanga o mua.

Na kia timata tatou. Ko nga korero mo tenei tau, 2019 (kaore ano kia mutu), i tangohia hei tātari. I te wa e tuhi ana, i tuhi nga kaiwhakamahi Ngā korero 448533, ko te rahi o te kōnae csv 288MB. Kaha, whakamīharo.

Te wa tuhi

Kia whakarōpūhia nga korero ma te haora, ka wehewehea nga ra wiki me nga wiki.

Habrastatistics: te tātari i nga korero a te kaipanui

I konei kaore matou e aro ki nga uara tino, engari ki nga mea whanaunga. Mena ka titiro noa koe ki te "penei", ka puta ke teraоKo te nuinga o nga korero i tuhia i roto i nga haora mahi mai i te 10 ki te 18 😉 I tetahi atu taha, karekau e arohia nga waahi waahi i konei, no reira kei te tuwhera tonu te patai.

Ka titiro tatou ki te tohatoha o nga korero puta noa i te tau:

Habrastatistics: te tātari i nga korero a te kaipanui

Heoi ano ka huri; ka tino kitea te ngangau i nga ra o te wiki - ka tino kitea te waahi o ia wiki, no reira ka taea te kii me te tino maia kei te panui me te korero a Habr mai i te mahi (engari kaore tenei i te tino mohio).

I te ara, i puta he whakaaro ki te whakamatau i te whakapae mena he rereke te maha o nga whakahekenga, nga taapiri ranei i whakawhiwhia mai i te ra, i te waa ranei o te ra, engari kaore i taea te rapu hononga - kaore i tiakina te wa i tukuna ai te whakatauranga, a karekau he hononga tika ki te wa o te korero.

kaiwhakamahi

Ko te tikanga, kaore au i te mohio ki te maha o nga kaiwhakamahi i runga i te pae. Engari ko te hunga i waiho i te iti rawa i te kotahi korero i tenei tau ka puta he ahua tata Iwi 25000.

He tino rawe te kauwhata o te maha o nga karere i waiho e nga kaiwhakamahi:

Habrastatistics: te tātari i nga korero a te kaipanui

I te tuatahi kare au i whakapono ake, engari karekau he he. 5% o nga kaiwhakamahi ka waiho 60% o nga karere. 10% - 74% o nga karere katoa (ko enei, me whakamahara ahau ki a koe, i tenei tau, 450 mano). Ko te nuinga ka panui noa i te pae, ka waiho nga korero tino uaua, karekau ranei e waiho (kaore i whakauruhia ki roto i taku rarangi).

Ratonga

Me neke tatou ki te waahanga whakamutunga me te tino ngahau o nga tatauranga - whakatauranga. Mo nga take o te noho muna, e kore ahau e hoatu i nga ingoa ingoa katoa o nga kaiwhakamahi, ko wai e hiahia ana, ki taku whakaaro, ka mohio ki a raatau ano.

Na te maha o nga korero mo tenei tau, ko te 5 runga e nohoia ana e VoXXXX (3377 korero), 0xdXXXXX (3286 korero), strXXXX (3043 korero), AmXXXX (2897 korero) me khXXXX (2748 korero).

Na te maha o nga painga kua riro, ko te 5 runga e nohoia ana e amXXXX (1395 korero, whakatauranga +3231/-309), tvXXXX (1544 korero, whakatauranga +3231/-97), WhuXXXX (921 korero, whakatauranga +2288/-13), MTXXXX (1328 korero, +1383 /-7) me amaXXXX (736 kōrero, whakatauranga +1340/-16).

Na whakatauranga tino pai (kahore he tangata negatively rated comment) ko te tihi o runga e nohoia ana e Milfgard и Boomburum. Hei rereke, ka whakaatu katoa ahau i o raatau ingoa ingoa, ki taku whakaaro e tika ana mo ratou.

He mea whakamere hoki nga kino. Ki runga na te maha o nga whakahekenga kua kohia mo tenei tau e nohoia ana e te siXX (473 toi, 699 iti), khXX (1915 toi, 573 iti) me nicXXXXX (456 toi, 487 iti). Engari ka kite koe, he nui nga korero pai a enei kaiwhakamahi. Engari e ai ki haunga tino Kei roto i te antitopic ko vladXXXX (55 korero, 84 iti, 0 taapiri), ekoXXXX (77 korero, 92 iti, 1 taapiri) me te iMXXXX (225 korero, 205 iti, 12 taapiri).

mutunga

Kaore i taea e au te tatau i nga mea katoa i whakamaheretia, engari ko taku tumanako he mea whakamere.

Ka taea e koe te kite, ahakoa ko te huinga raraunga me te iti o nga mara ka taea te whakarato i nga raraunga pai mo te tātari. He nui tonu te keri, mai i te hanga "kapua kupu" ki te tātari tuhinga. Mena ka puta he hua whakamere, ka whakaputahia.

Source: will.com

Tāpiri i te kōrero