របៀបដែលខ្ញុំញែក Habr ផ្នែកទី 1៖ និន្នាការ

នៅពេលដែល Olivier ឆ្នាំថ្មីត្រូវបានបញ្ចប់ ខ្ញុំមិនមានអ្វីត្រូវធ្វើទេ ហើយខ្ញុំបានសម្រេចចិត្តទាញយកអត្ថបទទាំងអស់ពី Habrahabr (និងវេទិកាដែលពាក់ព័ន្ធ) ទៅកុំព្យូទ័ររបស់ខ្ញុំ ហើយរុករក។

មានរឿងគួរឱ្យចាប់អារម្មណ៍ជាច្រើន។ ទីមួយក្នុងចំនោមពួកគេគឺការអភិវឌ្ឍន៍ទម្រង់និងប្រធានបទនៃអត្ថបទក្នុងរយៈពេល 12 ឆ្នាំនៃអត្ថិភាពនៃគេហទំព័រ។ ជាឧទាហរណ៍ សក្ដានុពលនៃប្រធានបទមួយចំនួនគឺបង្ហាញយ៉ាងច្បាស់។ ការបន្ត - នៅក្រោមការកាត់។

ដំណើរការញែក

ដើម្បីយល់ពីរបៀបដែល Habr បានបង្កើតវាចាំបាច់ដើម្បីឆ្លងកាត់អត្ថបទរបស់គាត់ទាំងអស់ហើយទាញយកព័ត៌មានមេតាពីពួកគេ (ឧទាហរណ៍កាលបរិច្ឆេទ) ។ ផ្លូវវាងមានភាពងាយស្រួល ពីព្រោះតំណភ្ជាប់ទៅអត្ថបទទាំងអស់មើលទៅដូចជា "habrahabr.ru/post/337722/" ហើយលេខត្រូវបានផ្តល់ឱ្យយ៉ាងតឹងរ៉ឹងតាមលំដាប់លំដោយ។ ដោយដឹងថាការប្រកាសចុងក្រោយមានលេខតិចជាង 350 ពាន់ខ្ញុំទើបតែឆ្លងកាត់លេខសម្គាល់ឯកសារដែលអាចធ្វើបានទាំងអស់នៅក្នុងរង្វិលជុំ (លេខកូដ Python):

import numpy as np
from multiprocessing import Pool
with Pool(100) as p:
    docs = p.map(download_document, np.arange(350000))

មុខងារ download_document ព្យាយាមផ្ទុកទំព័រជាមួយនឹងលេខសម្គាល់ដែលត្រូវគ្នា ហើយព្យាយាមទាញយកព័ត៌មានដែលមានអត្ថន័យចេញពីរចនាសម្ព័ន្ធ html ។

import requests
from bs4 import BeautifulSoup

def download_document(pid):
    """ Download and process a Habr document and its comments """
    # выгрузка документа
    r = requests.get('https://habrahabr.ru/post/' +str(pid) + '/')
    # парсинг документа
    soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
    doc = {}
    doc['id'] = pid
    if not soup.find("span", {"class": "post__title-text"}):
        # такое бывает, если статья не существовала или удалена
        doc['status'] = 'title_not_found'
    else:
        doc['status'] = 'ok'
        doc['title'] = soup.find("span", {"class": "post__title-text"}).text
        doc['text'] = soup.find("div", {"class": "post__text"}).text
        doc['time'] = soup.find("span", {"class": "post__time"}).text
        # create other fields: hubs, tags, views, comments, votes, etc.
        # ...
    # сохранение результата в отдельный файл
    fname = r'files/' + str(pid) + '.pkl'
    with open(fname, 'wb') as f:
        pickle.dump(doc, f)

ក្នុង​ដំណើរ​ការ​វិភាគ ខ្ញុំ​បាន​រក​ឃើញ​របស់​ថ្មី​មួយ​ចំនួន។

ដំបូងពួកគេនិយាយថាការបង្កើតដំណើរការច្រើនជាងមានស្នូលនៅក្នុងខួរក្បាលគឺគ្មានប្រយោជន៍ទេ។ ប៉ុន្តែក្នុងករណីរបស់ខ្ញុំ វាបានប្រែក្លាយថាធនធានកំណត់មិនមែនជា processor ទេ ប៉ុន្តែបណ្តាញ ហើយដំណើរការ 100 ដំណើរការលឿនជាង 4 ឬនិយាយថា 20។

ទីពីរ នៅក្នុងការបង្ហោះខ្លះមានបន្សំនៃតួអក្សរពិសេស - ឧទាហរណ៍ ភាពអសុរោះដូចជា "%&#@" ។ វាបានប្រែក្លាយថា html.parserដែល​ខ្ញុំ​បាន​ប្រើ​ដំបូង​មាន​ប្រតិកម្ម​នឹង​ការ​រួម​បញ្ចូល​គ្នា។ &# ដោយពិចារណាថាវាជាការចាប់ផ្តើមនៃអង្គភាព html ។ ខ្ញុំ​នឹង​ធ្វើ​វេទមន្ត​ខ្មៅ​រួច​ហើយ ប៉ុន្តែ​វេទិកា​បាន​ស្នើ​ថា​អ្នក​គ្រាន់​តែ​អាច​ផ្លាស់​ប្តូ​រ​ធាតុ​ញែក​។

ទីបី ខ្ញុំបានគ្រប់គ្រងការបោះពុម្ពផ្សាយទាំងអស់ លើកលែងតែបី។ ឯកសារដែលមានលេខ 65927, 162075, និង 275987 ត្រូវបានលុបភ្លាមៗដោយកំចាត់មេរោគរបស់ខ្ញុំ។ ទាំងនេះគឺជាអត្ថបទរៀងៗខ្លួនអំពីខ្សែសង្វាក់ javascript ដែលទាញយក pdf ព្យាបាទ សារ SMS ransomware ក្នុងទម្រង់ជាសំណុំនៃកម្មវិធីជំនួយកម្មវិធីរុករកតាមអ៊ីនធឺណិត និងគេហទំព័រ CrashSafari.com ដែលផ្ញើ iPhones ឱ្យដំណើរការឡើងវិញ។ កំចាត់មេរោគបានរកឃើញអត្ថបទមួយទៀតនៅពេលក្រោយ ក្នុងអំឡុងពេលស្កេនប្រព័ន្ធ៖ ប្រកាសលេខ 338586 អំពីស្គ្រីបនៅលើគេហទំព័រហាងសត្វចិញ្ចឹមដែលប្រើខួរក្បាលរបស់អ្នកប្រើដើម្បីជីកយករូបិយប័ណ្ណគ្រីបតូ។ ដូច្នេះយើងអាចចាត់ទុកថាការងាររបស់កំចាត់មេរោគគឺគ្រប់គ្រាន់ណាស់។

អត្ថបទ "បន្តផ្ទាល់" បានប្រែទៅជាត្រឹមតែពាក់កណ្តាលនៃសក្តានុពលអតិបរមា - 166307 បំណែក។ អំពីអ្វីដែលនៅសល់ Habr ផ្តល់ជម្រើស "ទំព័រហួសសម័យ ត្រូវបានលុប ឬមិនមានទាល់តែសោះ"។ អញ្ចឹងអ្វីៗអាចកើតឡើង។

ការបង្ហោះអត្ថបទត្រូវបានបន្តដោយការងារបច្ចេកទេស៖ ឧទាហរណ៍ កាលបរិច្ឆេទបោះពុម្ពផ្សាយត្រូវបំប្លែងពីទម្រង់ "'21 ធ្នូ 2006 at 10:47 am" ទៅជាស្តង់ដារ datetime, និង "12,8k" views - ក្នុង 12800. នៅដំណាក់កាលនេះ ឧប្បត្តិហេតុមួយចំនួនទៀតបានចេញមក។ អ្វីដែលគួរឱ្យអស់សំណើចបំផុតទាក់ទងនឹងការរាប់សន្លឹកឆ្នោត និងប្រភេទទិន្នន័យ៖ ការបង្ហោះចាស់ៗមួយចំនួនមានផ្ទុកលើសចំណុះ និងទទួលបាន 65535 សំឡេងនីមួយៗ។

ជាលទ្ធផលអត្ថបទនៃអត្ថបទ (ដោយគ្មានរូបភាព) បានយកខ្ញុំ 1.5 ជីហ្គាបៃ, មតិយោបល់ជាមួយព័ត៌មានមេតា ​​- 3 ផ្សេងទៀតនិងប្រហែលមួយរយមេហ្គាបៃ - ព័ត៌មានមេតាអំពីអត្ថបទ។ នេះអាចត្រូវបានរក្សាទុកទាំងស្រុងនៅក្នុង RAM ដែលជាការភ្ញាក់ផ្អើលដ៏រីករាយសម្រាប់ខ្ញុំ។

ខ្ញុំ​បាន​ចាប់​ផ្តើម​ការ​វិភាគ​អត្ថបទ​មិន​មែន​មក​ពី​អត្ថបទ​ខ្លួន​ឯង​ទេ ប៉ុន្តែ​មក​ពី​ព័ត៌មាន​មេតា៖ កាលបរិច្ឆេទ ស្លាក មជ្ឈមណ្ឌល ទស្សនៈ និង​ការ​ចូលចិត្ត។ វាប្រែថានាងអាចប្រាប់បានច្រើន។

និន្នាការអភិវឌ្ឍន៍ Habrahabr

អត្ថបទនៅលើគេហទំព័រត្រូវបានបោះពុម្ពតាំងពីឆ្នាំ 2006; ខ្លាំងបំផុត - ក្នុងឆ្នាំ ២០០៨-២០១៦ ។

តើអត្ថបទទាំងនេះត្រូវបានអានយ៉ាងសកម្មប៉ុណ្ណានៅពេលផ្សេងៗគ្នា គឺមិនងាយស្រួលក្នុងការវាយតម្លៃនោះទេ។ អត្ថបទពីឆ្នាំ 2012 និងក្មេងជាងនេះបានទទួលមតិយោបល់ និងការវាយតម្លៃកាន់តែច្រើន ប៉ុន្តែអត្ថបទថ្មីៗមានទិដ្ឋភាព និងចំណាំច្រើនជាង។ ម៉ែត្រទាំងនេះមានឥរិយាបទដូចគ្នា (ពាក់កណ្តាល) តែម្តងគត់ក្នុងឆ្នាំ 2015 ។ ប្រហែលជានៅក្នុងស្ថានភាពនៃវិបត្តិសេដ្ឋកិច្ច និងនយោបាយ ការយកចិត្តទុកដាក់របស់អ្នកអានបានផ្លាស់ប្តូរពីប្លុក IT ទៅជាបញ្ហាដែលកាន់តែឈឺចាប់។

បន្ថែមពីលើអត្ថបទខ្លួនឯង ខ្ញុំបានទាញយកមតិយោបល់បន្ថែមទៅពួកគេ។ មានមតិចំនួន 6 លានទោះជាយ៉ាងណា 240 ពាន់នាក់ក្នុងចំណោមពួកគេត្រូវបានហាមឃាត់ ("UFO បានហោះចូល ហើយបានបោះពុម្ពផ្សាយសិលាចារឹកនេះនៅទីនេះ")។ ទ្រព្យសម្បត្តិមានប្រយោជន៍នៃមតិគឺថាពួកគេមានត្រាពេលវេលា។ តាមរយៈការសិក្សាអំពីពេលវេលានៃការបញ្ចេញមតិ អ្នកអាចយល់បានប្រហែលនៅពេលដែលអត្ថបទត្រូវបានអានទាំងអស់។

វាបានប្រែក្លាយថាអត្ថបទភាគច្រើនត្រូវបានសរសេរ និងបញ្ចេញមតិនៅកន្លែងណាមួយចាប់ពីម៉ោង 10 ព្រឹកដល់ម៉ោង 20 យប់ ពោលគឺឧ។ នៅថ្ងៃធ្វើការនៅទីក្រុងម៉ូស្គូធម្មតា។ នេះអាចមានន័យថា Habr ត្រូវបានអានសម្រាប់គោលបំណងវិជ្ជាជីវៈ ហើយថានេះជាវិធីដ៏ល្អក្នុងការពន្យារពេលនៅកន្លែងធ្វើការ។ ដោយវិធីនេះ ការចែកចាយពេលវេលានៃថ្ងៃនេះគឺមានស្ថេរភាពពីមូលដ្ឋាននៃ Habr រហូតមកដល់សព្វថ្ងៃនេះ។

ទោះជាយ៉ាងណាក៏ដោយ អត្ថប្រយោជន៍ចម្បងនៃពេលវេលាផ្តល់មតិមិនមែនជាពេលវេលានៃថ្ងៃនោះទេ ប៉ុន្តែជារយៈពេលនៃ "ជីវិតសកម្ម" នៃអត្ថបទ។ ខ្ញុំបានគណនាពីរបៀបដែលពេលវេលាត្រូវបានចែកចាយពីការបោះពុម្ពអត្ថបទទៅមតិយោបល់របស់វា។ វាបានប្រែក្លាយថាឥឡូវនេះមតិយោបល់ជាមធ្យម (បន្ទាត់ពណ៌បៃតង) មកដល់ប្រហែល 20 ម៉ោងពោលគឺឧ។ នៅថ្ងៃដំបូងបន្ទាប់ពីការបោះពុម្ភផ្សាយ ជាមធ្យម ច្រើនជាងពាក់កណ្តាលនៃមតិយោបល់ទាំងអស់នៅលើអត្ថបទត្រូវបានទុកចោល។ ហើយក្នុងរយៈពេលពីរថ្ងៃពួកគេទុក 75% នៃមតិយោបល់ទាំងអស់។ ទន្ទឹមនឹងនេះដែរ អត្ថបទមុនៗត្រូវបានអានលឿនជាងមុន - ឧទាហរណ៍ក្នុងឆ្នាំ 2010 ពាក់កណ្តាលនៃមតិយោបល់បានមកក្នុងរយៈពេល 6 ម៉ោងដំបូង។

វាបានកើតឡើងជាការភ្ញាក់ផ្អើលសម្រាប់ខ្ញុំដែលមតិយោបល់បានអូសបន្លាយពេល៖ ចំនួនតួអក្សរជាមធ្យមនៅក្នុងមតិយោបល់មួយបានកើនឡើងស្ទើរតែទ្វេដងក្នុងរយៈពេលពេញមួយជីវិតរបស់ Habr!

មតិត្រឡប់ងាយស្រួលជាងមតិយោបល់គឺការបោះឆ្នោត។ មិនដូចធនធានផ្សេងទៀតទេ នៅលើ Habre អ្នកអាចដាក់មិនត្រឹមតែ pluses ប៉ុណ្ណោះទេប៉ុន្តែថែមទាំង minuses ផងដែរ។ ទោះជាយ៉ាងណាក៏ដោយ អ្នកអានមិនប្រើឱកាសចុងក្រោយញឹកញាប់ទេ៖ ចំណែកបច្ចុប្បន្ននៃការមិនចូលចិត្តគឺប្រហែល 15% នៃការបោះឆ្នោតទាំងអស់។ ធ្លាប់មានកាន់តែច្រើន ប៉ុន្តែយូរៗទៅ អ្នកអានកាន់តែមានចិត្តល្អ។

អត្ថបទខ្លួនឯងបានផ្លាស់ប្តូរតាមពេលវេលា។ ជាឧទាហរណ៍ ប្រវែងធម្មតានៃអត្ថបទមិនបញ្ឈប់ការរីកលូតលាស់ជាលំដាប់ពីការបើកដំណើរការគេហទំព័រនោះទេ ទោះបីជាមានវិបត្តិក៏ដោយ។ ក្នុង​មួយ​ទសវត្សរ៍ អត្ថបទ​បាន​ក្លាយ​ជា​យូរ​ជាង​ជិត​ដប់​ដង!

រចនាប័ទ្មនៃអត្ថបទ (ទៅប្រហាក់ប្រហែលដំបូង) ក៏ផ្លាស់ប្តូរផងដែរ។ ជាឧទាហរណ៍ ក្នុងកំឡុងឆ្នាំដំបូងនៃអត្ថិភាពរបស់ Habr ការបែងចែកលេខកូដ និងលេខនៅក្នុងអត្ថបទបានកើនឡើង៖

បន្ទាប់ពីយល់ពីសក្ដានុពលទាំងមូលនៃគេហទំព័រ ខ្ញុំបានសម្រេចចិត្តវាស់វែងពីរបៀបដែលប្រជាប្រិយភាពនៃប្រធានបទផ្សេងៗបានផ្លាស់ប្តូរ។ ប្រធានបទអាចត្រូវបានជ្រើសរើសដោយស្វ័យប្រវត្តិពីអត្ថបទ ប៉ុន្តែសម្រាប់អ្នកចាប់ផ្តើមដំបូង អ្នកមិនអាចបង្កើតកង់ឡើងវិញបានទេ ប៉ុន្តែត្រូវប្រើស្លាកដែលត្រៀមរួចជាស្រេចដែលភ្ជាប់ដោយអ្នកនិពន្ធនៃអត្ថបទនីមួយៗ។ ខ្ញុំបានគូរនិន្នាការធម្មតាចំនួនបួននៅលើតារាង។ ប្រធានបទ "Google" ដំបូងត្រូវបានគ្រប់គ្រង (ប្រហែលជាភាគច្រើនដោយសារតែ SEO) ប៉ុន្តែបានស្រកទម្ងន់អស់ជាច្រើនឆ្នាំ។ Javascript គឺជាប្រធានបទដ៏ពេញនិយម និងបន្តរីកចម្រើនយឺតៗ ប៉ុន្តែការរៀនម៉ាស៊ីនបានចាប់ផ្តើមទទួលបានប្រជាប្រិយភាពយ៉ាងឆាប់រហ័សក្នុងរយៈពេលប៉ុន្មានឆ្នាំចុងក្រោយនេះ។ ម្យ៉ាងវិញទៀត លីនុច នៅតែមានទំនាក់ទំនងស្មើគ្នាពេញមួយទសវត្សរ៍។

ជាការពិតណាស់ ខ្ញុំបានចាប់អារម្មណ៍លើប្រធានបទអ្វីដែលទាក់ទាញសកម្មភាពអ្នកអានកាន់តែច្រើន។ ខ្ញុំបានគណនាចំនួនមធ្យមនៃការមើល ការបោះឆ្នោត និងមតិយោបល់នៅក្នុងប្រធានបទនីមួយៗ។ នេះជាអ្វីដែលបានកើតឡើង៖

• ប្រធានបទដែលបានមើលច្រើនបំផុត៖ arduino, ការរចនាគេហទំព័រ, ការអភិវឌ្ឍន៍គេហទំព័រ, digest, links, css, html, html5, nginx, algorithms។
• ប្រធានបទ "ចូលចិត្ត" បំផុត៖ vkontakte, កំប្លែង, jquery, opera, c, html, web development, html5, css, web design ។
• ប្រធានបទដែលបានពិភាក្សាច្រើនបំផុត៖ opera, skype, freelance, vkontakte, ubuntu, work, nokia, nginx, arduino, firefox ។

ដោយវិធីនេះ ដោយសារខ្ញុំកំពុងប្រៀបធៀបប្រធានបទ អ្នកអាចដាក់ចំណាត់ថ្នាក់ពួកវាតាមប្រេកង់ (ហើយប្រៀបធៀបលទ្ធផលជាមួយ អត្ថបទស្រដៀងគ្នាពីឆ្នាំ 2013).

• សម្រាប់ឆ្នាំទាំងអស់នៃអត្ថិភាពរបស់ Habr ស្លាកពេញនិយមបំផុត (តាមលំដាប់ចុះ) គឺ google, android, javascript, microsoft, linux, php, apple, java, python, programming, startups, development, ios, startup, social networks
• ក្នុងឆ្នាំ 2017 ការពេញនិយមបំផុតគឺ javascript, python, java, android, development, linux, c++, programming, php, c#, ios, machine learning, information security, microsoft, react

នៅពេលប្រៀបធៀបការវាយតម្លៃទាំងនេះ មនុស្សម្នាក់អាចយកចិត្តទុកដាក់ជាឧទាហរណ៍ចំពោះការហែក្បួនដ៏ជោគជ័យរបស់ Python និងការផុតពូជនៃ php ឬ "ថ្ងៃលិច" នៃប្រធានបទចាប់ផ្តើម និងការកើនឡើងនៃការរៀនម៉ាស៊ីន។

មិនមែនស្លាកទាំងអស់នៅលើ Habre មានពណ៌តាមប្រធានបទជាក់ស្តែងនោះទេ។ ឧទាហរណ៍ នេះ​ជា​ស្លាក​រាប់​សិប​ដែល​បាន​ជួប​តែ​ម្ដង ប៉ុន្តែ​ហាក់​ដូច​ជា​កំប្លែង​សម្រាប់​ខ្ញុំ។ ដូច្នេះ៖ "គំនិតគឺជាកម្លាំងជំរុញនៃវឌ្ឍនភាព", "ចាប់ផ្ដើមពីរូបភាពថាសទន់", "រដ្ឋ Iowa", "រឿងល្ខោន", "superalesh", "ម៉ាស៊ីនចំហាយ", "អ្វីដែលត្រូវធ្វើនៅថ្ងៃសៅរ៍", "ខ្ញុំមាន កញ្ជ្រោងនៅក្នុងម៉ាស៊ីនកិនសាច់", "វាប្រែចេញដូចដែលតែងតែ", "យើងមិនអាចមកជាមួយស្លាកកំប្លែង" ។ ដើម្បីកំណត់ប្រធានបទនៃអត្ថបទបែបនេះ ស្លាកមិនគ្រប់គ្រាន់ទេ - អ្នកនឹងត្រូវអនុវត្តគំរូតាមប្រធានបទលើអត្ថបទនៃអត្ថបទ។

ការវិភាគលម្អិតបន្ថែមទៀតអំពីខ្លឹមសារនៃអត្ថបទនឹងមាននៅក្នុងអត្ថបទបន្ទាប់។ ដំបូង ខ្ញុំនឹងបង្កើតគំរូមួយដែលព្យាករណ៍ចំនួននៃការមើលទំព័រសម្រាប់អត្ថបទដោយផ្អែកលើខ្លឹមសាររបស់វា។ ទីពីរ ខ្ញុំ​ចង់​បង្រៀន​បណ្តាញ​ប្រសាទ​ដើម្បី​បង្កើត​អត្ថបទ​ក្នុង​រចនាប័ទ្ម​ដូចគ្នា​នឹង​អ្នក​និពន្ធ​របស់ Habr ។ ដូច្នេះជាវ 🙂

PS ហើយនេះគឺជាសំឡេងប៊ីប សំណុំទិន្នន័យ.

ប្រភព: www.habr.com