I tenei ra e 100500 nga akoranga Pūtaiao Raraunga a kua roa e mohiotia ana ko te nuinga o nga moni i roto i te Raraunga Raraunga ka taea te whiwhi ma nga akoranga Pūtaiao Raraunga (he aha koe ka keri ai ka taea e koe te hoko koko?). Ko te tino kino o enei akoranga ko te kore he mahi ki nga mahi tuuturu: kaore tetahi e hoatu ki a koe nga raraunga ma, kua tukatukahia i roto i te whakatakotoranga e hiahiatia ana. A, ka wehe koe i te akoranga ka tiimata ki te whakaoti rapanga tuuturu, he maha nga ahuatanga ka puta.
Na reira, kei te timata matou i te raupapa o nga tuhipoka "He aha te mea ka hee ki te Raraunga Raraunga", i runga i nga tino kaupapa i pa ki ahau, oku hoa me oku hoa mahi. Ka wetewetehia e maatau nga mahi Putaiao Raraunga ma te whakamahi i nga tauira pono: me pehea te tupu o tenei. Me timata i tenei ra ki te mahi kohikohi raraunga.
A ko te mea tuatahi ka tutuki te tangata i te wa e timata ana ratou ki te mahi me nga raraunga tuuturu ko te kohikohi i enei raraunga e tino whai kiko ana ki a maatau. Ko te karere matua o tenei tuhinga:
Ka whakaitihia e matou te wa, nga rauemi, me te whakapau kaha ki te kohikohi, ki te horoi me te whakarite raraunga.
A ko te mea nui, ka matapakihia he aha nga mahi hei aukati i tenei.
E ai ki nga momo whakatau tata, ko te horoi, ko te whakarereke, ko te tukatuka raraunga, ko nga mahi hangarau, me era atu, ka 80-90% o te waa, me te tātaritanga 10-20%, ko te nuinga o nga rauemi matauranga e aro ana ki te tātari.
Kia titiro tatou ki tetahi raruraru wetewete ngawari i roto i nga putanga e toru hei tauira angamaheni me te kite he aha nga "ahuatanga kino".
Hei tauira ano, ka whakaarohia e matou nga rereketanga o te mahi o te kohi raraunga me te whakataurite i nga hapori mo:
- E rua nga Reddit subreddits
- E rua nga wahanga o Habr
- E rua nga roopu o Odnoklassniki
Te huarahi here i roto i te ariā
Whakatuwheratia te pae me te panui i nga tauira, mehemea he maamaa, wehehia etahi haora mo te panui, etahi haora mo te waehere ma te whakamahi i nga tauira me te tarai. Taapirihia etahi haora mo te kohinga. Makahia mo etahi haora ki te rahui (whakareatia ki te rua me te taapiri i nga haora N).
Tohu Matua: Ko nga whakatau tata o te waa e ahu mai ana i runga i nga whakapae me nga whakaaro mo te roa o te waa.
Me timata te tātaritanga o te waa ma te whakatau tata i nga tawhā e whai ake nei mo te raru herenga kua whakaahuatia i runga ake nei:
- He aha te rahi o nga raraunga me te nui o nga mea hei kohi tinana (*tirohia ki raro*).
- He aha te wa kohikohi mo te rekoata kotahi me te roa e tatari ana koe ka kohia te tuarua?
- Whakaarohia te tuhi waehere hei whakaora i te kawanatanga ka timata ano i te wa (kaore mena) ka rahua nga mea katoa.
- Whakaarohia mehemea e hiahia ana matou ki te whakamanatanga me te whakarite i te wa mo te uru atu ma te API.
- Tautuhia te maha o nga hapa hei mahi mo te uaua o te raraunga - te arotake mo tetahi mahi motuhake: te hanganga, te maha o nga huringa, he aha me pehea te tango.
- Whakatikahia nga hapa whatunga me nga raruraru ki te whanonga kaupapa kore-paerewa.
- Aromatawai mehemea kei roto i nga tuhinga nga mahi e hiahiatia ana, a, ki te kore, me pehea me te nui e hiahiatia ana mo te whakatika.
Ko te mea nui ko te whakatau tata i te waa - me whakapau te wa me te whakapau kaha ki te "whakaaro i te kaha" - katahi ka tika to whakamahere. No reira, ahakoa te nui o te akiaki ki a koe ki te kii "kia pehea te roa o te kohi raraunga" - hoko koe i etahi wa mo te tātaritanga tuatahi me te tautohetohe me pehea te rereke o te waa i runga i nga tawhā tūturu o te raru.
Na inaianei ka whakaatuhia e matou etahi tauira motuhake ka huri nga tawhā.
Tohu Matua: Ko te whakatau tata i ahu mai i te tātaritanga o nga mea matua e awe ana i te whanuitanga me te uaua o te mahi.
He huarahi pai te whakatau tata i runga i te matapae ina he iti nga huānga mahi me te kore e maha nga mea ka kaha te awe i te hoahoatanga o te rapanga. Engari mo te maha o nga raru o te Pūtaiao Raraunga, ka tino nui haere enei ahuatanga, ka kore e tika.
Te whakataurite o nga hapori Reddit
Me timata ma te keehi tino ngawari (ka puta mai i muri mai). I te nuinga o te waa, kia tino pono, he keehi tino pai ta matou, me tirotiro taatau rarangi arowhai uaua:
- He API maamaa, maamaa me te tuhi.
- He tino ngawari me te mea nui, ka whiwhi aunoa he tohu.
- He - me te maha o nga tauira.
- He hapori ka tātari me te kohi raraunga i runga i te reddit (tae noa ki nga ataata YouTube e whakamarama ana me pehea te whakamahi i te takai python) .
- Ko nga tikanga e hiahiatia ana kei roto pea i te API. I tua atu, he ahua totika me te ma o te waehere, kei raro nei he tauira o te mahi e kohikohi korero ana i runga i te pou.
def get_comments(submission_id):
reddit = Reddit(check_for_updates=False, user_agent=AGENT)
submission = reddit.submission(id=submission_id)
more_comments = submission.comments.replace_more()
if more_comments:
skipped_comments = sum(x.count for x in more_comments)
logger.debug('Skipped %d MoreComments (%d comments)',
len(more_comments), skipped_comments)
return submission.comments.list()
I tangohia mai he kowhiringa taputapu watea mo te takai.
Ahakoa te mea koinei te keehi pai rawa atu, he pai tonu te whai whakaaro ki te maha o nga mea nui mai i te ao tuuturu:
- Nga rohe o te API - ka kaha taatau ki te tango raraunga i roto i nga roopu (moe i waenga i nga tono, me etahi atu).
- Te wa kohinga - mo te tātaritanga me te whakataurite, me wehe he wa nui mo te pungawerewere kia haere i roto i te reddit.
- Me rere te karetao i runga i te tūmau—kaore e taea e koe te whakahaere noa i runga i to pona, tuu ki roto i to peeke, ka haere ki to pakihi. Na ka rere ahau i nga mea katoa i runga i te VPS. Ma te whakamahi i te waehere whakatairanga habrahabr10 ka taea e koe te penapena i tetahi atu 10% o te utu.
- Ko te kore e uru atu ki te tinana o etahi raraunga (ka kitea e nga kaiwhakahaere, he uaua rawa ranei ki te kohi) - me whai whakaaro tenei; ko te tikanga, kaore nga raraunga katoa e taea te kohia i roto i te wa tika.
- Nga hapa whatunga: He mamae te whatunga.
- Kei te ora nga raraunga tuuturu - kaore he parakore.
Ko te tikanga, he mea tika kia whakauruhia enei nuances i roto i te whanaketanga. Ko nga haora/ra motuhake e whakawhirinaki ana ki te wheako whanaketanga, wheako ranei e mahi ana i nga mahi rite, heoi, ka kite tatou he mahi miihini noa te mahi me te kore e hiahiatia etahi atu nekehanga tinana hei whakaoti - ka taea te aromatawai pai, te whakarite me te mahi i nga mea katoa.
Te whakataurite o nga wahanga Habr
Me neke atu ki tetahi keehi tino pai me te koretake o te whakataurite i nga miro me nga waahanga o Habr.
Kia tirohia ta maatau rarangi arowhai uaua - i konei, kia mohio ai koe ki ia waahi, me keri iti koe ki te mahi me te whakamatau.
- I te tuatahi ka whakaaro koe he API, engari karekau. Ae, ae, he API to Habr, engari kaore e taea e nga kaiwhakamahi (kaore pea e mahi).
- Na ka timata koe ki te tarai i te html - "tono kawemai", he aha te he?
- Me pehea te wetewete? Ko te huarahi tino ngawari me te nuinga o te whakamahi ko te huri i nga TT, kia mohio koe ehara i te mea tino pai me te whakahaere i nga keehi rereke - koinei te tauira o te kiato o nga ID tuuturu i waenga i nga mea katoa o naianei.
I tangohia mai tuhinga. - Ko nga raraunga mata kua takaia ki te HTML ki runga ake o te paetukutuku he mamae. Hei tauira, e hiahia ana koe ki te kohi me te tiaki i te whakatauranga o tetahi tuhinga: i haea e koe te kaute mai i te html ka whakatau koe ki te penapena hei nama mo te tukatuka ano:
1) int(score) ka maka he hapa: na te mea kei runga i a Habré he iti, penei, hei tauira, i te rarangi “–5” - he en dash tenei, ehara i te tohu iti (kare i whakaaroa, tika?), na i I etahi wa me whakaara ake e ahau te parser ki te ora me te whakatikatika kino.
try: score_txt = post.find(class_="score").text.replace(u"–","-").replace(u"+","+") score = int(score_txt) if check_date(date): post_score += scoreKaore pea he ra, he taapiri me te iti (penei i ta maatau e kite i runga ake i te mahi taki_date, i puta tenei).
2) Ko nga tohu motuhake kaore i mawhiti - ka tae mai, me whakarite koe.
3) Ka huri te hanganga i runga i te momo pou.
4) Ko nga pou tawhito pea he **hanganga rereke**.
- Ko te mea nui, ko te whakahaere hapa me nga mea ka puta, kare ranei ka puta me whakahaere, kaore e taea e koe te tino matapae he aha te he me pehea te ahua o te hanganga me te aha ka taka ki hea - me whakamatau noa koe me te whakaaro nga hapa e whiua ana e te kaiporoporo.
- Na ka mohio koe ka hiahia koe ki te tarai i roto i nga miro maha, ki te kore e pahemo i roto i te kotahi ka roa te 30+ haora (koinei te wa mahi o te parser miro kotahi e mahi ana, e moe ana, e kore e taka ki raro i nga aukati). IN tuhinga, i arahina tenei i etahi wa ki tetahi kaupapa rite:
Tapeke rārangi arowhai mā te whīwhiwhi:
- Te mahi tahi me te whatunga me te html parapara me te whitiwhiti me te rapu ma te ID.
- Tuhinga o te hanganga rerekee.
- He maha nga waahi ka ngawari te taka o te waehere.
- Me tuhi || waehere.
- Kei te ngaro nga tuhinga e tika ana, nga tauira waehere, me te hapori/ranei.
Ko te wa e kiia ana mo tenei mahi ka 3-5 nga wa teitei ake i te kohi raraunga mai i Reddit.
Te whakataurite o nga roopu Odnoklassniki
Kia neke tatou ki te take tino whakamere i whakaahuatia. Ki ahau nei, he mea whakamere na te mea i te tuatahi o te titiro, he iti noa te ahua, engari karekau he pera - inaa ka werohia e koe he rakau.
Me timata ki ta maatau rarangi arowhai uaua me te mohio ko te nuinga o enei ka puta he uaua ake i ta raatau titiro i te tuatahi:
- He API, engari he iti rawa nga mahi e tika ana.
- Ki etahi mahi me tono uru ma te mēra, ara, ko te tuku urunga ehara i te mea ohorere.
- He tino tuhi (i te timatanga, ko nga kupu Ruhia me te reo Ingarihi kua konatunatua ki nga waahi katoa, me te tino rerekee - i etahi wa ka hiahia koe ki te whakaaro he aha ta ratou e hiahia ana mai i a koe ki tetahi waahi) me te mea, kaore i te pai te hoahoa mo te tiki raraunga, hei tauira. , .
- Ka hiahiatia he huihuinga i roto i nga tuhinga, engari kaore e tino whakamahia - kaore he huarahi ki te mohio ki nga ahuatanga katoa o nga momo API i tua atu i te tarai me te tumanako ka mahi tetahi mea.
- Karekau he tauira, karekau he hapori, he iti noa te kaupapa tautoko mo te kohi korero i roto i te Python (kaore he maha o nga tauira whakamahi).
- Ko te Selenium te ahua o te waahanga tino pai, na te mea he maha nga raraunga e tika ana kua kati.
1) Arā, ka puta te whakamanatanga mā te kaiwhakamahi tito noa (me te rehitatanga ā-ringa).2) Heoi, me te Selenium kaore he taurangi mo te mahi tika me te whakahoki (i te iti rawa o te ok.ru mo te tino).
3) Kei roto i te paetukutuku Ok.ru nga hapa JavaScript, a, i etahi wa ka rere ke, ka kore e rite.
4) Me mahi koe i te pagination, te uta i nga huānga, me era atu...
5) Ko nga hapa API e homai ana e te takai me whakahaere heehe, hei tauira, penei (he wahanga o te waehere whakamatautau):
def get_comments(args, context, discussions): pause = 1 if args.extract_comments: all_comments = set() #makes sense to keep track of already processed discussions for discussion in tqdm(discussions): try: comments = get_comments_from_discussion_via_api(context, discussion) except odnoklassniki.api.OdnoklassnikiError as e: if "NOT_FOUND" in str(e): comments = set() else: print(e) bp() pass all_comments |= comments time.sleep(pause) return all_commentsKo taku hapa tino pai ko:
OdnoklassnikiError("Error(code: 'None', description: 'HTTP error', method: 'discussions.getComments', params: …)”)6) I te mutunga, ko te Selenium + API te ahua o te waahanga tino whaitake.
- He mea tika ki te tiaki i te kawanatanga me te whakaara ano i te punaha, te hapai i nga hapa maha, tae atu ki nga whanonga koretake o te waahi - a he tino uaua enei hapa ki te whakaaro (mehemea ka tuhi koe i nga korero mo te mahi ngaio, o te akoranga).
Ko te whakatau tata mo tenei mahi ka 3-5 nga wa teitei ake i te kohi raraunga mai i a Habr. Ahakoa te mea i roto i te keehi o Habr ka whakamahia e matou he huarahi o mua me te panui HTML, a i te keehi o OK ka taea e matou te mahi tahi me te API i nga waahi nui.
kitenga
Ahakoa te nui o te hiahia ki te whakatau tata i nga ra kati "i runga i te waahi" (kei te whakamahere matou i tenei ra!) o te waahanga paipa tukatuka raraunga puhoi, karekau rawa e taea te whakatau tata ahakoa te kounga me te kore e tātari i nga tawhā mahi.
I runga i te ahua ake o te whakaaro whakaaro, he pai nga rautaki whakatau tata kakama mo nga mahi miihini, engari ko nga raruraru he nui ake te whakamatautau, me te tikanga, "he auaha" me te torotoro, ara, he iti ake te matapae, he uaua, pera i nga tauira o nga kaupapa rite , kua korerohia e matou i konei.
Ae ra, ko te kohinga raraunga he tauira nui noa iho - ko te tikanga he mahi tino maamaa me te mahi hangarau, he maha tonu nga korero a te rewera. Na kei runga tonu i tenei mahi ka taea e matou te whakaatu i te katoa o nga whiringa ka taea mo nga mea ka hee me pehea te roa o te mahi.
Mena ka titiro koe ki nga ahuatanga o te mahi kaore he whakamatautau taapiri, ka rite te ahua o Reddit me OK: he API, he takai python, engari ko te tikanga, he nui te rereketanga. Ma te whakatau i enei tawhā, he uaua ake te ahua o nga pars a Habr i te OK - engari i roto i nga mahi he tino rerekee, a koinei tonu te mea ka kitea ma te whakahaere i nga whakamatautau ngawari ki te tarai i nga tohu o te raru.
I roto i taku wheako, ko te huarahi tino whai hua ko te whakatau tata i te wa e hiahia ana koe mo te tātaritanga tuatahi me nga whakamatautau tuatahi, panui i nga tuhinga - ma enei ka taea e koe te whakatau tika mo te mahi katoa. Mo nga tikanga agile rongonui, ka tono ahau ki a koe ki te hanga i tetahi tikiti mo te "whakatau i nga tawhā mahi", i runga i te kaupapa ka taea e au te whakaatu i nga mea ka taea i roto i te "sprint" ka hoatu he whakatau tata mo ia tangata. mahi.
Na reira, ko te tohenga tino whai hua te ahua ko tetahi e whakaatu ana i te tohunga "kore-hangarau" te nui o te wa me nga rauemi ka rereke i runga i nga tawhā kaore ano kia aromatawaihia.
Source: will.com