Hello Habr. IN Ho tsebahala ha likarolo tse fapaneng tsa sebaka sa marang-rang ho ile ha hlahlojoa, 'me ka nako e ts'oanang potso e ile ea hlaha - ke lintlha life tse ka ntšoang maikutlong a lihlooho. Ke ne ke boetse ke batla ho hlahloba khopolo-taba e le 'ngoe, eo ke tla e tšohla ka tlase.
Lintlha li ile tsa khahla haholo; re boetse re khonne ho theha "mini-rating" e nyane ea bahlalosi. E tsoela pele tlas'a sehiloeng.
Pokello ea lintlha
Bakeng sa tlhahlobo, re tla sebelisa lintlha tsa selemo sena sa 2019, haholo hobane ke se ke fumane lethathamo la lingoliloeng ka foromo ea csv. Ho setseng ke ho ntša maikutlo ho tsoa sengoloa se seng le se seng; ka lehlohonolo ho rona, li bolokiloe moo, 'me ha ho likopo tse ling tse lokelang ho etsoa.
Ho hlakisa maikutlo a sengoliloeng, khoutu e latelang e lekane:
r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')
comments_list = []
for comment in comments:
body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('n', '-')
if len(body) < 4: continue
body = body.translate(str.maketrans(dict.fromkeys("tnrvf")))
body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace(' ', ' ')
user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
date = dateparser.parse(date_str)
csv_data = "{},{},{},{}".format(user, date, vote, body)
comments_list.append(csv_data)
Sena se re fa monyetla oa ho fumana lethathamo la maikutlo a shebahalang tjena (mabitso a bosoasoi a tlositsoe ka mabaka a lekunutu):
xxxxxxx,2019-02-06 11:50:00,0,А можно пример как именно?
xxxxxxx-02-24 16:15:00,+1,Побольше читайте независимые официальные источники чтобы таких вопросов не было.
xxxxxxx,2019-02-23 20:15:00,–5,А не важно главное в итоге в плюсе оказаться
Joalo ka ha u bona, bakeng sa maikutlo ka 'ngoe re ka fumana lebitso la mosebelisi, letsatsi, lintlha le mongolo oa 'nete. A re boneng hore na re ka fumana eng ho sena.
Ka tsela, qalong, mohopolo oa ho bokella litekanyetso o ne o fapane hanyane - ho bona hore na basebelisi ba fana ka litekanyetso life. Mohlala, o ka sheba YouTube - esita le video e nepahetseng ka ho fetesisa, esita le video e sa nkeng tlhahisoleseling efe kapa efe, e le feela bakeng sa litšupiso kapa tokollo ea litaba, e ntse e fumana palo e itseng ea mefokolo. Khopolo-taba e ne e le hore ho na le basebelisi bao, ka mokhoa o hlakileng, ba sa rateng ntho e 'ngoe le e' ngoe ho hang, mohlomong serotonin ha e hlahisoe bokong kapa ntho e 'ngoe. Mohlomong motho ha a sa hloka ho lula Habré, empa ho phekola ho tepella maikutlong ... Empa joalokaha ho ile ha hlaha, ha ke khone ho hlahloba sena mona, hobane ... lenane la ba faneng ka litekanyetso ha lea bolokoa ho maikutlo kapa sehloohong. Ho joalo, ke hore, re tla sebetsa le data e fumanehang. Sephetho ke lintlha tse "khutlang morao" - u ka bona hore na basebelisi ba _receive_ ke lintlha life. Eo, ha e le hantle, e boetse e thahasellisa.
Ho sebetsa
Ho qala, boitlhaloso ba moetlo. Lintlha tsena, joalo ka tse ling tse fetileng, ha li molaong. Ha ke tiise hore ha kea etsa phoso kae kapa kae. Bakeng sa ba thahasellang lintlha tsa tekheniki, khoutu e qaqileng haholoanyane e fanoe .
Kahoo a re qaleng. Maikutlo a selemo sena, 2019 (e seng e felile), a nkuoe bakeng sa tlhahlobo. Nakong ea ho ngola, basebelisi ba ngotse Maikutlo a 448533, boholo ba faele ea csv ke 288MB. E matla, e tsotehang.
Nako ea ho ngola
Ha re arole maikutlo ka hora, re arola matsatsi a beke le mafelo-beke ka thoko.
Mona ha re thahaselle litekanyetso tse feletseng, empa ho tse amanang le tsona. Haeba u e sheba feela "joalokaha e le", joale e fetoha joaloоBoholo ba litlhaloso li ngotsoe nakong ea lihora tsa mosebetsi ho tloha 10 ho ea ho 18 😉 Ka lehlakoreng le leng, libaka tsa nako ha li hlokomeloe mona, kahoo potso e ntse e bulehile.
Ha re shebe kabo ea maikutlo ho pholletsa le selemo:
Leha ho le joalo e ea potoloha; ho phahama ho bonahala ka ho hlaka matsatsing a beke - nako ea beke le beke e bonahala ka ho hlaka, kahoo re ka bua ka kholiseho e kholo hore batho ba bala le ho fana ka maikutlo ka Habr mosebetsing (empa sena ha se na bonnete).
Ka tsela, ho ne ho e-na le maikutlo a ho hlahloba khopolo-taba ea hore na palo ea li-minus kapa pluses e amoheloang e fapane le letsatsi kapa nako ea letsatsi, empa ho ne ho sa khonehe ho fumana kamano - nako eo tekanyo e fanoeng ha e bolokehe, 'me ha ho na kamano e tobileng le nako ea tlhaloso.
Basebelisi
Ehlile, ha ke tsebe palo e nepahetseng ea basebelisi setšeng. Empa ba tlohetseng bonyane maikutlo a le mong selemong sena ba bile ba batlang Batho ba 25000.
Kerafo ea palo ea melaetsa e siiloeng ke basebelisi e shebahala e khahla haholo:
Qalong ke ne ke sa kholoe, empa ho ne ho bonahala ho se phoso. 5% ea basebelisi ba siea 60% ea melaetsa. 10% - 74% ea melaetsa eohle (eo, e-re ke u hopotse, selemong sena, 450 sekete). Ba bangata ba bala sebaka sena sa marang-rang, ba siea litlhaloso ka seoelo, kapa ba sa li tlohele ho hang (tseo, ka tlhaho, li ne li sa kenyelletsoa lethathamong la ka).
Litlhaloso
Ha re feteleng ho karolo ea ho qetela le e monate ka ho fetisisa ea lipalo-palo - lintlha. Ka mabaka a boinotšing, nke ke ka fana ka mabitso a bosoasoi a felletseng a basebelisi, mang kapa mang ea batlang, ke nahana hore o tla itseba.
Ka palo ea maikutlo bakeng sa selemo sena, tse 5 tse holimo li hapiloe ke VoXXXX (maikutlo a 3377), 0xdXXXXX (maikutlo a 3286), strXXXX (maikutlo a 3043), AmXXXX (maikutlo a 2897) le khXXXX (maikutlo a 2748).
Ka palo ea melemo e fumanoeng, Top 5 e tšoaretsoe ke amXXXX (1395 maikutlo, litekanyetso +3231/-309), tvXXXX (1544 maikutlo, litekanyetso +3231/-97), WhuXXXX (921 maikutlo, litekanyetso +2288/-13), MTXXXX (1328 maikutlo, +1383 /-7) le amaXXXX (736 maikutlo, tekanyo +1340/-16).
Ka boleng bo nepahetseng ka botlalo (ha ho joalo negatively rated comment) bokaholimo bo lutseng ke и . Joalo ka mokhelo, ke hlahisa mabitso a bona a bosoasoi ka botlalo, ke nahana hore ba a lokeloa.
Li-downsides le tsona lia thahasellisa. Holimo ka palo ea menyenyetsi e bokeletsoeng bakeng sa selemo sena ba tšoaretsoe ke siXX (473 pluses, 699 minuses), khXX (1915 pluses, 573 minuses) le nicXXXXX (456 pluses, 487 minuses). Empa joalo ka ha u bona, basebelisi bana ba na le maikutlo a lekaneng a nepahetseng. Empa ho latela ho tlosa ka ho feletseng Antitopic e kenyelletsa vladXXXX (maikutlo a 55, metsotso e 84, 0 pluses), ekoXXXX (maikutlo a 77, metsotso e 92, 1 plus) le iMXXXX (maikutlo a 225, metsotso e 205, 12 pluses).
fihlela qeto e
Ke ne ke sa khone ho bala ntho e 'ngoe le e' ngoe e reriloeng, empa ke tšepa hore e ne e thahasellisa.
Joalokaha u ka bona, esita le dataset e nang le palo e fokolang ea masimo e ka fana ka lintlha tse thahasellisang bakeng sa tlhahlobo. Ho ntse ho e-na le lintho tse ngata tseo u lokelang ho li cheka, ho tloha ho haha "leru la mantsoe" ho ea ho tlhahlobo ea mongolo. Haeba ho hlaha liphetho tse khahlisang, li tla phatlalatsoa.
Source: www.habr.com