I te mutunga o te Olivier o te Tau Hou, kaore au he mahi, ka whakatau ahau ki te tango i nga tuhinga katoa mai i Habrahabr (me nga papaaapapa e pa ana) ki taku rorohiko me te tirotiro.
He maha nga korero whakamere. Ko te mea tuatahi ko te whakawhanaketanga o te whakatakotoranga me nga kaupapa o nga tuhinga i roto i nga tau 12 o te waahi o te waahi. Hei tauira, he tino tohu te hihiri o etahi kaupapa. Te haere tonu - i raro i te tapahi.
Te mahi poroporoaki
Kia mohio ai koe ki te whakawhanaketanga o Habr, me haere ki roto i ana tuhinga katoa me te tango i nga korero-meta mai i a raatau (hei tauira, nga ra). He ngawari te maataki, na te mea he rite te ahua o nga hononga ki nga tuhinga katoa "habrahabr.ru/post/337722/", me nga nama kua tino raupapa. I te mohio he iti ake te nama o te pou whakamutunga i te 350 mano, ka haere noa ahau ki nga tuhinga katoa ka taea i roto i te kopae (waehere Python):
import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
docs = p.map(download_document, np.arange(350000))mahi download_document ka ngana ki te uta i te wharangi me te id e rite ana, ka ngana ki te tango korero whai kiko mai i te hanganga html.
import requests
from bs4 import BeautifulSoup
def download_document(pid):
""" Download and process a Habr document and its comments """
# выгрузка документа
r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
# парсинг документа
soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
doc = {}
doc['id'] = pid
if not soup.find("span", {"class": "post__title-text"}):
# такое бывает, если статья не существовала или удалена
doc['status'] = 'title_not_found'
else:
doc['status'] = 'ok'
doc['title'] = soup.find("span", {"class": "post__title-text"}).text
doc['text'] = soup.find("div", {"class": "post__text"}).text
doc['time'] = soup.find("span", {"class": "post__time"}).text
# create other fields: hubs, tags, views, comments, votes, etc.
# ...
# сохранение результата в отдельный файл
fname = r'files/' + str(pid) + '.pkl'
with open(fname, 'wb') as f:
pickle.dump(doc, f)I roto i te mahi poroporoaki, he maha nga mea hou i kitea e au.
Tuatahi, e kii ana ratou ko te hanga i nga mahi maha atu i nga waahanga kei roto i te tukatuka he horihori. Engari i roto i taku keehi, ka puta ko te rauemi iti ehara i te kaitukatuka, engari ko te whatunga, me te 100 nga tukanga ka tere ake i te 4, me kii, 20.
Tuarua, i roto i etahi o nga panui he huinga o nga tohu motuhake - hei tauira, ko nga euphemisms penei "%&#@". I puta ko tera html.parser, i whakamahia e au i te tuatahi, ka aro ki te whakakotahitanga &# mamae, whakaaro te reira i te timatanga o te hinonga html. I haere ahau ki te mahi makutu pango, engari i kii te huinga ka taea e koe te huri i te parser.
Tuatoru, ka taea e au te wetewete i nga pukapuka katoa, engari mo te toru. Ko nga tuhinga nama 65927, 162075, me 275987 i mukua e taku wheori. He tuhinga enei, mo te mekameka javascript e tango ana i te pdf kino, SMS ransomware i roto i te ahua o te huinga monomai tirotiro, me te papanga CrashSafari.com e tuku ana i nga iPhones ki te whakaara ano. I kitea e te pareketo tetahi atu tuhinga i muri mai, i te wa e tirotirohia ana e te punaha: whakairihia te 338586 mo nga tuhinga i runga i te paetukutuku toa mokai e whakamahi ana i te tukatuka a te kaiwhakamahi ki te maina moni crypto. Na ka taea e tatou te whakaaro he tino tika te mahi a te wheori.
Ko nga tuhinga "ora" i puta ko te haurua noa o te morahi pea - 166307 nga waahanga. Mo te toenga, ka hoatu e Habr nga whiringa "kua tawhito te wharangi, kua mukua, kaore ranei i te noho." Ana, ka taea e tetahi mea te tupu.
Ko te tukunga o nga tuhinga ka whai i nga mahi hangarau: hei tauira, me huri nga ra whakaputanga mai i te whakatakotoranga "'21 Hakihea 2006 i te 10:47 i te ata" ki te paerewa datetime, me nga tirohanga "12,8k" - i te tau 12800. I tenei wahanga, he iti noa atu nga aitua i puta. Ko te mea rorirori ko nga tatauranga pooti me nga momo raraunga: ko etahi o nga pou tawhito i puhake int ka riro i a ia 65535 nga pooti.
Ko te mutunga mai, ko nga tuhinga o nga tuhinga (kare he pikitia) i mau i ahau 1.5 gigabytes, nga korero me nga korero-meta - tetahi atu 3, me te kotahi rau megabytes - nga korero-meta mo nga tuhinga. Ka taea te pupuri i tenei i roto i te RAM, he mea tino miharo ki ahau.
I timata ahau ki te wetewete i nga tuhinga ehara i nga tuhinga ake, engari mai i nga korero-meta: nga ra, nga tohu, nga tari, nga tirohanga me nga mea pai. I puta mai he maha nga korero e taea ana e ia.
Nga Tikanga Whanaketanga Habrahabr
Ko nga tuhinga i runga i te papanga kua whakaputaina mai i te 2006; tino kaha - i te tau 2008-2016.
Ko te kaha o te panui o enei tuhinga i nga waa rereke ehara i te mea ngawari ki te aromatawai. Ko nga tuhinga mai i te tau 2012 me te iti ake i whiwhi korero me nga whakatau, engari he maha ake nga tirohanga me nga tohu tohu mo nga tuhinga hou. He rite tonu te mahi o enei inenga (kua hauruatia) kotahi anake, i te tau 2015. Tena pea, i roto i nga ahuatanga o te ohanga me te raru torangapu, kua huri te aro o nga kaipanui mai i nga purongo IT ki nga take mamae ake.
I tua atu i nga tuhinga ake, i tikina ake e au etahi atu korero ki a ratou. E 6 miriona nga korero, engari, 240 mano o ratou i aukatihia ("Ka rere mai he UFO ka whakaputa i tenei tuhinga ki konei"). Ko tetahi taonga whai hua o nga korero he tohu tohu wa. Ma te ako i te wa o nga korero, ka taea e koe te mohio ki te wa e panuihia ana nga tuhinga.
I puta mai ko te nuinga o nga tuhinga kua tuhia me nga korero i tetahi waahi mai i te 10 am ki te 20 pm, i.e. i te ra mahi a Moscow. Ko te tikanga tenei ka panuihia a Habr mo nga kaupapa ngaio, a he huarahi pai tenei ki te whakaroa i te mahi. Ma te ara, ko tenei tohatoha o te wa o te ra ka pumau mai i te turanga o Habr tae noa ki tenei ra.
Heoi, ko te painga nui o te tohu waahi korero ehara i te wa o te ra, engari ko te roanga o te "ora kaha" o te tuhinga. I tatauhia e au te tohatoha o te wa mai i te whakaputanga o te tuhinga ki tana korero. I puta mai inaianei ka tae mai te korero waenga (raina matomato) i roto i te 20 haora, i.e. i te ra tuatahi i muri i te whakaputanga, i te toharite, neke atu i te haurua o nga korero katoa mo te tuhinga ka toe. A i roto i nga ra e rua ka waiho e ratou te 75% o nga korero katoa. I te wa ano, ka tere ake te panui o nga tuhinga o mua - hei tauira, i te tau 2010, ko te haurua o nga korero i tae mai i nga haora 6 tuatahi.
I miharo ahau kua roa te roa o nga korero: kua tata rua te maha o nga tohu o roto i tetahi korero i te roanga o te oranga o Habr!
He ngawari ake te whakahoki mai i nga korero he pooti. Kaore i rite ki te maha atu o nga rauemi, ki runga i a Habré ka taea e koe te whakauru i nga taapiri anake, engari ano hoki nga whakaheke. Heoi, karekau nga kaipanui e whakamahi i te waa whakamutunga i te nuinga o nga wa: ko te wahanga o nga karekau o naianei ko te 15% o nga pooti katoa i tukuna. I mua he maha ake, engari i te wa, kua pai ake te hunga panui.
Ko nga tuhinga ano kua rereke i te waa. Hei tauira, ko te roa o te tuhinga kaore e mutu te tipu haere tonu mai i te whakarewatanga o te waahi, ahakoa nga raru. I roto i te tekau tau, kua tata ki te tekau nga wa te roa ake o nga tuhinga!
I rereke ano te ahua o nga tuhinga (ki te tata tuatahi). I roto i nga tau tuatahi o te oranga o Habr, hei tauira, kua piki ake te wahanga o te waehere me nga nama i roto i nga tuhinga:
I muri i te mohio ki nga ahuatanga o te waahi, ka whakatau ahau ki te ine i te ahuatanga o te rongonui o nga kaupapa rereke. Ka taea te kowhiri aunoa i nga kaupapa mai i nga tuhinga, engari mo te tiimatanga, kaore e taea e koe te whakahou i te wira, engari me whakamahi nga tohu kua oti te hanga e mau ana e nga kaituhi o ia tuhinga. Kua tuhia e ahau nga ahuatanga e wha ki runga i te tūtohi. Ko te kaupapa "Google" i te tuatahi (kei te nuinga pea na SEO), engari kua heke te taumaha i roto i nga tau. He kaupapa rongonui a Javascript me te tipu haere tonu, engari kua timata te ako miihini ki te tere rongonui i nga tau tata nei. Ko Linux, i tetahi atu taha, kua noho rite tonu i roto i te tekau tau.
Ko te tikanga, ka aro atu ahau ki nga kaupapa e kukume ana i nga mahi panui. I tatauhia e au te tau waenga o nga tirohanga, nga pooti me nga korero mo ia kaupapa. Anei te mea i tupu:
- Ko nga kaupapa e tino tirohia ana: arduino, hoahoa paetukutuku, whanaketanga paetukutuku, keri, hononga, css, html, html5, nginx, algorithms.
- Ko nga kaupapa tino "pai": vkontakte, whakakatakata, jquery, opera, c, html, whanaketanga paetukutuku, html5, css, hoahoa paetukutuku.
- Ko nga kaupapa tino korero: opera, skype, freelance, vkontakte, ubuntu, mahi, nokia, nginx, arduino, firefox.
Ma te ara, i te mea kei te whakatairite au i nga kaupapa, ka taea e koe te whakarangatira ma te auau (me te whakataurite i nga hua ki ).
- Mo nga tau katoa o te noho a Habr, ko nga tohu tino rongonui (i roto i te raupapa heke) ko google, android, javascript, microsoft, linux, php, apple, java, python, programming, startups, development, iOS, startup, social networks.
- I te tau 2017, ko te mea rongonui ko javascript, python, java, android, development, linux, c++, programming, php, c#, ios, machine learning, information security, microsoft, react
Ki te whakatairite i enei whakatauranga, ka taea e te tangata te aro, hei tauira, ki te hikoi toa o Python me te ngaronga o te php, ki te "topo o te ra" o nga kaupapa whakaoho me te pikinga o te ako miihini.
Ehara i nga tohu katoa i runga i te Habré te ahua o te tae kaupapa. Hei tauira, he tekau ma rua nga tohu i tutaki kotahi anake, engari he ahua katakata noa ki ahau. Na: "ko te whakaaro ko te kaha o te ahunga whakamua", "boot from a floppy image", "Iowa State", "drama", "superalesh", "steam engine", "nga mea hei mahi i te Rahoroi", "Kei a au he pokiha i roto i te miihini miiti", "he rite tonu ki nga wa katoa", "kaore e taea te hanga tohu rorirori". Hei whakatau i te kaupapa o aua tuhinga, kaore e ranea nga tohu - me whakatauira kaupapa mo nga tuhinga o nga tuhinga.
Ko te whakamaarama taipitopito o nga korero o nga tuhinga ka waiho i te panui e whai ake nei. Tuatahi, ka hanga e au he tauira e matapae ana i te maha o nga tirohanga wharangi mo tetahi tuhinga i runga i ona ihirangi. Tuarua, e hiahia ana ahau ki te whakaako i te whatunga neural ki te whakaputa tuhinga i te ahua rite ki nga kaituhi o Habr. No reira ohauru 🙂
PS Na tenei te tangi .
Source: will.com