Kutukan karma Khabr

Kutukan karma Khabr

Akibat yang tidak diingini

Kutukan karma Khabr "Sistem karma Habr dan kesannya kepada pengguna" ialah topik untuk sekurang-kurangnya kerja kursus
Topik tentang karma pada Pikabu


Saya boleh memulakan artikel ini dengan mengatakan bahawa saya telah membaca Habr untuk masa yang lama, tetapi ini bukan pernyataan yang tepat sepenuhnya. Tesis yang betul akan berbunyi seperti ini: "Saya telah membaca artikel dari Habr untuk masa yang lama" - tetapi saya tidak berminat dengan apa yang berlaku dalam komuniti apabila saya akhirnya memutuskan untuk mendaftar pada musim bunga ini. Ini adalah kesilapan biasa seseorang yang datang ke Habr dari enjin carian untuk membaca artikel berguna tentang selok-belok pengaturcaraan atau berita menarik dari dunia teknologi. Selagi anda melihat portal hanya dari sisi positif ini, anda tidak bertanya soalan tentang apa yang berlaku di bawah hud. Sudah tentu, sekali-sekala ada menyebut karma dalam ulasan atau artikel - tetapi karma wujud pada hampir semua portal utama (saya percaya secara naif), ini adalah perkara biasa untuk komuniti dalam talian yang mengawal kendiri.

Saya terpaksa memikirkan perkara ini dengan serius selepas saya tiba-tiba kehilangan keupayaan untuk menulis lebih daripada satu komen setiap lima minit.

Pada masa yang sama, secara luaran semuanya berjalan lancar: komen saya semakin bertambah setiap masa, rating saya meningkat - dan tiba-tiba ternyata saya mempunyai karma negatif. Semua pengalaman panjang saya dalam komunikasi Internet, semua tabiat pengguna, dan juga akal sehat yang cetek menjerit kepada saya bahawa ini adalah sejenis kesilapan: kadar kelulusan pengguna tapak oleh pengguna tapak lain tidak boleh naik dan turun pada masa yang sama! Tetapi saya memutuskan untuk tidak memotong kepala, tetapi untuk menjalankan kajian kecil, baik analitikal (dalam bentuk mengkaji pendapat pengguna tentang karma) dan statistik (dalam bentuk menganalisis prestasi akaun).

Sejarah perang pengguna dengan karma ternyata sangat kaya. Dengan tahap kejayaan yang berbeza-beza, ia telah berlangsung selama lebih sedekad, dengan berpuluh-puluh mangsa yang disekat dan beberapa artikel yang dipadamkan. Lebih-lebih lagi, anehnya, masalah saya (percanggahan antara gred dan karma) boleh dikatakan tidak digunakan dalam argumentasi - walaupun pada zaman API terbuka, pengiraan ini tidak digunakan. Hanya seorang pengulas datang paling hampir dalam siaran yang agak baru-baru ini:

"Sebenarnya, apa yang menarik untuk dicari ialah: adakah orang yang tidak mengundi untuk karma dengan nilai tambah besar untuk komen mereka?"
https://habr.com/ru/company/habr/blog/437072/#comment_19650144

Di bahagian statistik anda boleh melihat bahawa ya, ada orang sedemikian. Tetapi walaupun tanpa statistik, pengguna, pada dasarnya, telah lama memahami segala-galanya tentang karma.

Berikut adalah catatan dari sepuluh tahun yang lalu:

Masalah besar pada hab ialah terdapat ramai pengguna yang meletakkan tolak dalam karma mengikut prinsip: "Oh, anda mempunyai pendapat yang berbeza daripada saya, inilah tolak dalam karma." Walaupun, bagi saya, komen yang beralasan dengan hujah balas dan kedudukan bertentangan yang dikemukakan dengan baik tidak sepatutnya mendapat tolak untuk komen itu sendiri, apalagi karma untuk pengarang. Malangnya, di HabrΓ© hampir tidak ada budaya perdebatan yang beralasan dan menghormati lawan yang kuat; ramai orang hanya mahu melemparkan topi mereka kepada mereka.
Secara umum, saya berpendapat bahawa membahagikan penilaian kepada dua pembilang "penilaian" dan "karma" adalah tidak intuitif dan oleh itu tidak betul dan tidak berkesan.
https://habr.com/ru/post/92426/#comment_2800908

Berikut adalah catatan dari lima tahun yang lalu:

Hanya kes di mana karma berubah sekurang-kurangnya 15 unit telah dianalisis, tetapi ini tidak mengubah gambaran secara keseluruhan, kerana dan dalam kes ini nisbahnya ialah 30% hingga 70%. Seperti yang anda lihat, karma kebanyakannya hilang kerana komen, dan dibangkitkan kerana artikel bertulis.
https://habr.com/ru/post/192376/

Berikut ialah cadangan penambahbaikan dari tiga tahun lalu:

Tawaran:
Benarkan pengarang artikel mengundi karma hanya dalam tempoh tertentu (contohnya, seminggu) selepas mereka menerbitkan artikel. Jika seseorang itu tidak menerbitkan apa-apa pada minggu lepas, dia tidak boleh diberi karma untuk memberi komen. Peraturan ini tidak perlu digunakan untuk akaun buluh sahaja - mereka mendapat karma dengan komen yang berguna.
Komen:
Terlalu kerap, pengguna Habr mengadu tentang karma dibuang untuk komen yang tidak menyenangkan dalam siaran orang lain. Sebagai contoh, dalam siaran ini masalah itu telah diterangkan pada tahun 2012. Perkara masih ada hari ini.
https://github.com/limonte/dear-habr/issues/49

Berikut adalah satu lagi dialog tiga tahun lalu mengenai topik yang sama:

DrMetallius
Saya boleh memberitahu anda mengapa saya berhenti menulis komen (saya akan menjadikan yang ini sebagai pengecualian): kerana sukar untuk mendapatkan karma, kerana untuk itu anda perlu sentiasa menghasilkan beberapa jenis artikel, tetapi sangat mudah untuk kehilangannya. Tidak benar jika anda menulis dengan betul, ia tidak membazir. Ia boleh dikurangkan kerana banyak sebab: dia tidak bersetuju dengan anda dalam pertikaian, dia menganggap bahawa beberapa fakta dalam ulasan itu tidak betul, atau dia hanya dalam mood yang tidak baik.

maxshopen
Ya, ini adalah penyakit purba sistem habra. Diandaikan bahawa mereka yang mempunyai karma positif adalah memadai dan tidak akan meremehkan sesiapa sahaja. Pada suatu masa dahulu, semuanya lebih teruk - semakin banyak karma, semakin besar tolak yang boleh diletakkan oleh pengguna, yang berakhir dengan beberapa penyemak imbas hub "bertabur bintang" menghulurkan -6, -8 kepada sesiapa sahaja di kiri dan kanan, selepas itu kemungkinan telah dipotong kepada satu. Pencipta ekonomi karma pada mulanya nampaknya tidak mengambil kira kerosakan tanpa nama
Nampaknya pada saya bahawa sistem ini sepatutnya seimbang sedikit dahulu dengan fakta bahawa apabila mengundi, sejumlah karma ditolak daripada pengguna sebagai karma. Anda tidak perlu banyak - 0,2-0,5 sudah memadai. Ini akan meningkatkan tanggungjawab pengundi apabila memilih untuk mengundi seseorang atau tidak.
https://habr.com/ru/post/276383/#comment_8761911

Dan akhirnya, komen pada siaran dari awal tahun ini:

Karma bukanlah alat yang sangat baik untuk kawal selia kendiri sistem. Karma paling kerap dinilai oleh mereka yang tidak berpuas hati dengan seseorang (atau kedudukannya). Akibatnya, ternyata sangat sukar untuk mendapat karma, tetapi kehilangannya sangat mudah. Ini membuatkan orang berfikir lagi - adakah patut menyatakan pendapat mereka jika ia tidak begitu popular? Lagipun, jika saya menyatakannya sekali, mereka akan menolaknya dan membazir karma saya, dan saya tidak akan dapat menyatakannya lagi. Ini membawa kepada fakta bahawa hanya satu pendapat yang kekal pada sumber itu, dan semua yang lain bersesak-sesak.
https://habr.com/ru/company/habr/blog/437072/#comment_19647340

Berikut ialah ulasan yang menerangkan sebab "menulis artikel" sebenarnya tidak menyelamatkan sistem karma:

Sebuah artikel hampir tidak membawa apa-apa dari segi karma, dan untuk satu komen yang tidak berjaya seseorang boleh dibuang sepenuhnya.
Masalahnya di sini ialah pemisahan rating dan karma. Ia berfungsi seperti ini dalam kepala orang:
1. Penilaian kandungan ialah sikap saya terhadap artikel atau ulasan
2. Penilaian karma ialah sikap saya terhadap seseorang secara peribadi
Hasilnya,
1. Jika anda menulis artikel terbaik di dunia, mereka akan memberi anda banyak kelebihan untuk artikel tersebut (dalam rating) dan menganggap misi anda telah tercapai.
2. Jika anda menulis komen yang "tidak sesuai," maka komen anda akan ditolak undian, dan selain itu, anda nampaknya seorang yang begitu jika anda fikir begitu, jadi itu adalah karma anda.
https://habr.com/ru/company/habr/blog/437072/#comment_19649262

Ramai yang tidak berpuas hati dengan sistem karma bercakap dalam erti kata bahawa ini adalah dasar pentadbiran yang disengajakan - contohnya dalam komen ini atau ini. Sudah tentu, terdapat banyak bukti tidak langsung tentang ini:

  • API telah dialih keluar supaya tidak lagi dapat memantau dinamik;
  • Kami membuat penilaian dinamik supaya jumlah penilaian tidak dapat dilihat secara langsung dalam profil;
  • Mereka sentiasa merujuk kepada "karmograf", yang mana terdapat lebih banyak kelebihan daripada tolak (hubungan antara karma dan gred tidak dibincangkan);
  • Terdapat banyak perbincangan, tetapi tanpa asas, karma itu mencerminkan kualiti penerbitan dan ulasan (yang bercanggah dengan statistik, seperti yang kita lihat daripada penunjuk penarafan).

Saya juga mengingatkan anda bahawa tiada sebarang justifikasi untuk kewujudan karma diberikan dalam bentuk di mana ia wujud.

Kita tidak boleh membuktikan teori konspirasi ini dalam apa cara sekalipun. Tetapi saya rasa bahawa perkara itu tidak ada pada mereka - di sini adalah masalah yang sama dengan orang yang dikurangi karma: kepercayaan yang tidak dapat ditembusi dalam kebenaran seseorang, sehinggakan sesiapa yang tidak bersetuju dengan anda dianggap sebagai "orang jahat." Pemimpin Habr membuat keputusan dengan cara yang sama - kami akan menilai pengguna secara berasingan daripada mesej mereka. Dan selama lebih dari sepuluh tahun mereka tidak dapat menjelaskan bahawa ini adalah pendekatan yang salah untuk menilai pengguna. Mereka bijak, mereka mencipta keseluruhan portal. Jadi anda mencipta Habr anda sendiri - kemudian kita akan bercakap (by the way, kelakar secara literal dalam istilah ini pembela karma menjawab tuntutan saya - "Pertama capainya")

Secara peribadi, saya menganggap bahawa skema karma datang kepada kita Kusta, di mana pada satu ketika kebanyakan pemilik semasa portal Internet besar melepak. Habr bermula sebagai Lepra yang sama - kelab tertutup dengan jemputan dan penilaian bersama, jika tidak berpuas hati, dia meninggalkan kelab itu. Hari-hari itu sudah lama berlalu, kelab itu telah lama tidak ditutup, penarafan telah lama diberikan bukan kepada "ahli kelab lain," tetapi kepada pengguna biasa untuk komen dan artikel biasa. Tetapi elitisme dalaman tidak melepaskan pentadbiran. Semua orang berfikir - sememangnya, lelaki itu telah mencipta portal menguntungkan yang besar, mereka telah menulis artikel mengenai topik teknikal selama bertahun-tahun - bagaimana mereka tidak tahu sesuatu? Ini bermakna jika semuanya buruk, maka mereka, penjahat, berniat sedemikian. Tetapi pada hakikatnya, pentadbir hanya terperangkap di zaman kanak-kanak. Dan portal yang lebih besar dan lebih menguntungkan, lebih sukar untuk mengakui kesilapan anda selama bertahun-tahun, kerana kebanggaan yang salah difahami.

Kekeliruan

Kutukan karma Khabr
Ini adalah perairan dalam, Watson, perairan dalam. Saya baru mula menyelam.
Edisi khas "Sherlock Holmes"


Di bawah saya akan menggunakan istilah "Karma" untuk karma, dan istilah "Skor" atau "Jumlah Skor" untuk jumlah keseluruhan semua kebaikan dan keburukan yang pengguna terima, untuk artikel dan untuk ulasan.

Setelah berurusan dengan sejarah, kami akan cuba melihat nombornya. Baru-baru ini terdapat satu siri analisis statistik, tetapi ia hanya melibatkan tahun semasa - saya perlu memahami jumlah rating pengguna. Memandangkan kami tidak mempunyai API, dan bukannya penilaian sebenar, profil tersebut menunjukkan penilaian yang meragukan, yang perlu saya lakukan ialah mengkaji setiap ulasan dan mengumpul data tentang pengarang dan penilaian daripadanya. Itulah yang saya lakukan.

Saya membuka setiap penerbitan dari awal masa, mengeluarkan daripadanya nama samaran pengarang penerbitan dan penarafan artikel, dan kemudian nama samaran pengulas dan penilaian komen mereka.

Berikut ialah kod parser utama.

import requests
from bs4 import BeautifulSoup
import csv

def get_doc_by_id(pid):
    fname = r'files/' + 'habrbase' + '.csv'
    with open(fname, "a", newline="") as file:
        try:
            writer = csv.writer(file)
            r = requests.head('https://habr.com/ru/post/' +str(pid) + '/')
            if r.status_code == 404: # ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° Π½Π° сущСствованиС
                pass
            else:
                r = requests.get('https://habr.com/ru/post/' +str(pid) + '/')
                soup = BeautifulSoup(r.text, 'html5lib')
                if not soup.find("span", {"class": "post__title-text"}):
                    pass
                else:
                    doc = []
                    cmt = []
                    doc.append(pid) #Π½ΠΎΠΌΠ΅Ρ€
                    doc.append(soup.find("span", {"class": "user-info__nickname"}).text) #Π½ΠΈΠΊ
                    doc.append(soup.find("span", {"class": "voting-wjt__counter"}).text) #счСтчик
                    writer.writerow(doc)
                    comments = soup.find_all("div", {"class": "comment"})
                    for x in comments:
                        if not x.find("div", {"class": "comment__message_banned"}):
                            cmt.append(x['id'][8:]) #Π½ΠΎΠΌΠ΅Ρ€
                            cmt.append(x.find("span", {"class": "user-info__nickname"}).text) #Π½ΠΈΠΊ
                            cmt.append(x.find("span", {"class": "voting-wjt__counter"}).text) #счётчик
                            writer.writerow(cmt)
                            cmt = []
        except requests.exceptions.ConnectionError:
            pass

x = int(input())
y = int(input())

for i in range(x, y):
    get_doc_by_id(i)
    print(i)

Hasilnya ialah jadual berikut dalam fail habrbase:

Kutukan karma Khabr

Saya mengumpulkan pengguna dan mendapat keputusan dalam bentuk "Pengguna - Jumlah penilaiannya" yang dipanggil habrauthors.csv. Kemudian saya mula melalui pengguna ini dan menambah data daripada profil mereka. Memandangkan kadangkala sambungan akan terputus, atau beberapa ralat pelik akan berlaku semasa memuatkan halaman, saya terpaksa melihat pengguna mana yang terakhir diproses dan teruskan dari sana.

Berikut ialah kod pemprosesan sekunder:

import requests
from bs4 import BeautifulSoup
import csv
import pandas as pd

def len_checker():
    fname = r'files/' + 'habrdata' + '.csv'
    with open(fname, "r") as file:
        try:
            authorsList = len(file.readlines())#ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ Π΄Π»ΠΈΠ½Ρƒ Ρ„Π°ΠΉΠ»Π° Π΄Π°Ρ‚Ρ‹
        except:
            authorsList = 0
        return authorsList

def profile_check(nname):
    try:
        r = requests.head('https://m.habr.com/ru/users/' +nname + '/')
        if r.status_code == 404: # ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° Π½Π° сущСствованиС
            pass
        else:
            ValUsers = []
            r = requests.get('https://m.habr.com/ru/users/' +nname + '/')
            soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
            if not soup.find("div", {"class": "tm-user-card"}):
                valKarma = 0
                valComments = 0
                valArticles = 0
            else:
                valKarma = soup.find("span", {"class": "tm-votes-score"}).text #ΠΊΠ°Ρ€ΠΌΠ°
                valKarma = valKarma.replace(',','.').strip()
                valKarma = float(valKarma)
                tempDataBlock = soup.find("div", {"class": "tm-tabs-list__scroll-area"}).text.replace('n', '') #ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ активности
                mainDataBlock = tempDataBlock.split(' ')
                valArticles = mainDataBlock[mainDataBlock.index('ΠŸΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΈ')+1]
                if valArticles.isdigit() == True:
                    valArticles = int(valArticles)
                else:
                    valArticles = 0
                valComments = mainDataBlock[mainDataBlock.index('ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ')+1]
                if valComments.isdigit() == True:
                    valComments = int(valComments)
                else:
                    valComments = 0
            ValUsers.append(valKarma)
            ValUsers.append(valComments)
            ValUsers.append(valArticles)
    except requests.exceptions.ConnectionError:
        ValUsers = [0,0,0]
    return ValUsers


def get_author_by_nick(x):
    finalRow = []
    df = pd.DataFrame
    colnames=['nick', 'scores']
    df = pd.read_csv(r'fileshabrauthors.csv', encoding="ANSI", names = colnames, header = None)
    df1 = df.loc[x:]

    fname = r'files/' + 'habrdata' + '.csv'

    with open(fname, "a", newline="") as file:
        writer = csv.writer(file)
        for row in df1.itertuples(index=True, name='Pandas'):
            valName = getattr(row, "nick")
            valScore = getattr(row, "scores")
            valAll = profile_check(valName)
            finalRow.append(valName)
            finalRow.append(valScore)
            finalRow.append(valAll[0])
            finalRow.append(valAll[1])
            finalRow.append(valAll[2])
            writer.writerow(finalRow)
            print(valName)
            finalRow = []

n = len_checker()
get_author_by_nick(n)

Terdapat banyak pemeriksaan di sana, kerana banyak perkara aneh berlaku di halaman Habr, bermula dengan komen yang dipadam dan berakhir dengan beberapa pengguna misteri. Sebagai contoh, bagaimanakah tahun pendaftaran 2001 muncul dalam sampel saya? Untuk mengumpul data pengguna, saya menghuraikan versi mudah alih tapak, dan bagi sesetengah pengguna versi ini bukan sahaja melaporkan bahawa pengguna telah dipadamkan, tetapi juga memaparkan mesej berikut: "Ralat dalaman (nilai perantaraan).peta bukan fungsi .” Semua komen kekal, dipadam dan tidak boleh dibaca, jadi saya menetapkan tarikh pendaftarannya kepada 2001. Kemudian, saya mendapati bahawa sesetengah pengguna ini kelihatan dalam versi biasa tapak - jika mereka tidak dipadamkan atau disekat. Tetapi kerana terdapat hanya 250 daripadanya, dan separuh daripadanya tidak lagi wujud, saya memutuskan untuk tidak menyentuhnya.

Versi akhir jadual habrdata kelihatan seperti ini: ['nick', 'scores', 'karma', 'comments','articles','regdate']. Anda boleh memuat turunnya di sini.

Kutukan karma Khabr

Dan ini adalah bagaimana mereka diedarkan mengikut tarikh pendaftaran. Saya akan mengatakan bahawa dalam jangka panjang terdapat penurunan dalam pendaftaran.

Tahun pendaftaran 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019
Pengguna 2045 11668 12463 5028 5346 13686 11610 9614 9703 6594 8926 7825 5912 3673

Secara keseluruhan, kami mempunyai 114 pengguna yang pernah menulis komen atau artikel. Mari lihat rupa karma dan graf penilaian untuk pengguna:

Kutukan karma Khabr

By the way, terima kasih kepada visualizer yang hebat untuk graf ini tablo.

Kami mempunyai outlier yang sangat gila, anda boleh melihatnya pada graf. Katakan pengguna alizar (UPD) untuk semua komen dan penerbitan beliau menerima lebih daripada 268 ribu tambah! Dan dia terapung di sana di stratosfera ini sepenuhnya sendirian, selebihnya yang lebih kurang berjaya melepak pada ketinggian kira-kira 30 ribu. Ini adalah cerita yang sama dengan karma - pengguna Zelenyikot karma ialah 1509, dan kehidupan seharian bermula di suatu tempat pada 500. Saya tidak mengurangkan sampel, saya hanya membawa graf lebih dekat supaya anda boleh melihat dengan lebih dekat pada pengedaran pengguna biasa.

Kutukan karma Khabr

Di sini, atas permintaan pekerja, pengguna TOP 10 mengikut petunjuk utama telah ditambahKutukan karma Khabr

Analisis pantas terhadap keseluruhan volum pengguna menunjukkan kepada kita bahawa tiada korelasi yang jelas, sama ada dalam bentuk tulen atau dengan pelepasan pelepasan, jadi saya tidak akan memikirkan perkara ini. Adalah menarik untuk memutarkan kebergantungan tak linear atau melihat sama ada kita mempunyai sebarang kluster sedemikian. Sudah tentu, saya tidak akan melakukan semua ini - sesiapa sahaja boleh memuat turun CSV dan mengeditnya sama ada dalam R atau SPSS. Saya akan terus kepada perkara yang mengganggu saya - orang yang mempunyai skor penilaian positif tetapi skor karma negatif (dan sebaliknya). Kami mempunyai 4235 pengguna kesayangan ini. Inilah mereka pada carta. 2866 pengguna daripada mereka mengulangi laluan saya, mempunyai tambah dalam penilaian, tetapi tolak dalam karma.

Kutukan karma Khabr

3-4 ribu daripada 114 nampaknya angka remeh, dalam margin kesilapan. Dengan cara ini, semua pengguna yang mempunyai karma negatif berada dalam ralat yang sama. Terdapat hanya 4652 daripada mereka. Tetapi mari kita lihat data bukan dari jauh, seperti yang ahli statistik suka lakukan, tetapi sebagai orang.

Jumlah pengguna: 114 343
Karma < 5: 89 447
Incl. karma sifar: 67 890
Incl. karma negatif: 4 652
Karma >= 5 dan keupayaan untuk mengundi: 24 896

Oleh itu, kita melihat bahawa komuniti itu sebenarnya bukan "komuniti" sama sekali. ini"majoriti senyap", yang tidak boleh berbuat apa-apa dan oleh itu tidak melakukan apa-apa. Satu perlima daripada pengguna mempunyai peluang sebenar untuk mengawal kandungan portal; mereka adalah komuniti. Jadi, apabila mereka mengejutkan anda dengan jumlah penduduk Habr pada seratus ribu dan berkata "Seratus ribu orang gembira dengan segala-galanya, tetapi anda tidak" - ini tidak sepenuhnya benar.

Dan berikut ialah susun atur yang sama untuk penilaian:
Jumlah pengguna: 114 343
Penilaian <5: 57 223
Incl. penilaian sifar: 26 207
Incl. penilaian negatif: 9 737
Skor >=5 dan peluang hipotesis untuk mengundi terima kasih kepada skor: 57 120

Dan di sini kita melihat bahawa jika hak untuk mengundi ditentukan oleh gred dan bukan karma, maka lebih separuh daripada pengguna boleh mengundi. Dan ini hanya pada pendapat mereka yang boleh memberi penilaian, i.e. pemilik karma! Dalam kes pengundian percuma, sudah tentu 90 peratus boleh mengundi.

Terdapat kepercayaan yang agak biasa tetapi salah bahawa "anda hanya perlu menulis artikel" untuk masuk ke dalam komuniti terpilih ini. Ini tidak benar - terdapat hanya 5 ribu pengarang artikel dengan karma >=24 (900 lagi pengguna untuk beberapa merit istimewa menerima karma lebih daripada 5 tanpa artikel; nampaknya ini adalah gema peraturan sebelumnya dan karma yang telah mereka pelihara daripada mereka zaman purba). Walaupun fakta bahawa sekurang-kurangnya satu artikel telah ditulis oleh lebih daripada 36 ribu pengguna, satu pertiga daripada pengarang artikel itu tidak menerima hak untuk hidup.

Mungkin sepertiga penulis yang disebutkan mempunyai reputasi yang buruk, mungkin artikel mereka tidak baik dan tidak disukai oleh masyarakat? Tidak, statistik yang sama memberitahu kami bahawa 90% daripada mereka yang menulis sekurang-kurangnya satu artikel, tetapi tidak mencapai lebih daripada 4 karma, juga mempunyai penilaian positif secara keseluruhan. Tetapi penarafan itu tidak bermakna apa-apa, kerana mereka mempunyai "karma rendah". Jadi anda boleh mempunyai penilaian positif, mempunyai artikel, tetapi pada masa yang sama tidak mempunyai karma yang tinggi dan keupayaan untuk "mengawal selia komuniti." Ia bukan milik anda dan bukan milik kami. β€œIni bukan gigi saya dan bukan gigi awak, ini gigi mereka.” .

Nisbah ini juga berterusan dalam tempoh, contohnya, jika kami hanya mengambil pengguna dengan tarikh pendaftaran lewat daripada 2016 atau 2018, apabila "penggabungan projek" berlaku. 90% pengguna dengan sekurang-kurangnya satu artikel mempunyai jumlah penilaian positif, tetapi satu pertiga daripada mereka mempunyai karma kurang daripada 5 dan tidak boleh mengundi untuk artikel. Iaitu, "tulis artikel untuk meningkatkan karma" berfungsi dalam kira-kira 60-70% kes.

Berikut ialah satu lagi nisbah mudah yang akan memberitahu anda segala-galanya tentang apa yang berlaku:

78205 pengguna daripada 114 343 mempunyai jumlah skor lebih daripada 0. Beginilah cara artikel dan ulasan mereka dinilai, iaitu tindakan yang berguna untuk mengisi portal.
24 896 pengguna daripada 114 343 berpeluang mengundi. Beginilah keperibadian mereka dinilai, iaitu sama ada mereka yang sudah boleh mengundi suka keperibadian mereka atau tidak.

Pada masa yang sama, lihat graf karma bergantung pada tahun pendaftaran. Ramai orang mengatakan bahawa kita mengalami hazing - ya, itulah sebabnya. Dalam bentuk tulennya, seperti dalam rantaian blok. Orang-orang ini bermula dahulu, selama bertahun-tahun mereka telah menambang karma untuk diri mereka sendiri, dan kini dari merekalah anda sentiasa mendengar "Saya tidak mempedulikan karma sama sekali dan saya tidak menasihati anda."

Kutukan karma Khabr

НС ΠΎΡ‚Π΄Π°ΠΌ своСго сына Π² ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅, ΠΏΠΎΠΊΠ° Ρ‚Π°ΠΌ Π½Π΅ Ρ€Π΅ΡˆΠΈΡ‚ΡΡ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ° с Ρ…Π°Π±Ρ€ΠΎΠ²Ρ‰ΠΈΠ½ΠΎΠΉ!

Pada masa yang sama, enam puluh ribu orang boleh, pada dasarnya, menulis perkara yang menarik atau berguna, menerima ulasan positif, tetapi pada masa yang sama perlu sentiasa melihat sekeliling supaya mereka tidak disebat kerana cara pemikiran mereka yang tidak bersemangat.

Jumlah:

  1. Pengulas, pada dasarnya, bukan sebahagian daripada komuniti, walaupun dia membangunkan dan menyokongnya.
  2. Dengan kebarangkalian 1/3, pengarang artikel juga bukan sebahagian daripada komuniti, walaupun dia membangunkan dan menyokongnya.
  3. Walaupun tindakan untuk membangun dan menyokong komuniti telah diluluskan dengan jelas oleh kelebihan, pengarang masih boleh disekat oleh sebahagian kecil pengguna (secara harfiah 10-20 orang daripada ribuan)

Siapakah penjahat ini yang memberi keburukan kepada orang yang membangunkan masyarakat?

Semasa saya menyediakan artikel ini untuk diterbitkan, topik baru muncul mengenai topik yang sama. Seperti yang dijangkakan, perbualan tentang karma bermula dalam komen, dan satu lagi kesimpulan yang jelas:

Anda boleh mengangguk sesuka hati kepada pengulas yang telah merendahkan sumber, tetapi... Tetapi mereka tidak boleh berbuat apa-apa di hab:
β€” mereka bukan orang yang menulis artikel yang tidak baik.
β€” mereka bukanlah orang yang mengundi untuk cetakan semula yang bengkok dari houtushka dengan kekurangan pemahaman tentang jenis perintah mereka dan mengapa mereka dimasukkan ke sana
β€” mereka bukan orang yang mengundi untuk karma penulis berita gembar-gembur
β€” mereka bukanlah orang yang menilai kebenaran pendapat orang lain
Mereka tidak boleh menyokong pengarang dan menyatakan rasa hormat mereka dalam apa cara sekalipun, kecuali untuk komen.
Dan mereka tidak dapat melindungi diri mereka daripada orang lain.
Semua yang berlaku di hab adalah kerja mereka yang mempunyai artikel dan karma.
https://habr.com/ru/post/467875/#comment_20639397

Nah, kami telah mengetahui siapa yang harus dipersalahkan, mari lihat mengapa semua ini berlaku.

Bahagian di mana dia membunuh anda

Kutukan karma Khabr
Jika setiap orang boleh mengambil bahagian secara langsung dalam tadbir urus, apakah yang kita tadbir?
Gref Jerman


Seperti yang anda fahami daripada komen yang dipetik di atas, masalah penting karma tidak berubah selama bertahun-tahun. Masalah ini bukan teknikal, tetapi psikologi (mungkin itulah sebabnya ia masih tidak dapat diselesaikan pada sumber teknikal).

Mari lihat komponen utamanya dan menganalisisnya dengan lebih terperinci.

  1. Karma tidak bergantung pada kualiti tindakan sebenar di tapak
  2. Karma secara psikologi tidak simetri
  3. Karma membenarkan sosiopati

Perenggan 1.
Ini adalah masalah yang sama. dengan mana saya memulakan artikel saya: orang yang tertindas mungkin berakhir dengan karma yang bocor. Jika kita mengabaikan pelbagai perkara kecil, seperti formula untuk mengira penilaian, kita akan melihat perbezaan utama antara Habr dan semua tapak lain: pembahagian tindakan pengguna dan pengguna kepada dua entiti bebas.

Skim yang paling biasa dan intuitif kelihatan seperti ini: pengguna adalah akaun, entri, komen ditulis dari akaun ini, gambar atau foto "gila" disiarkan. Seorang pengguna adalah tindakannya. Akaun lain menyukai atau tidak menyukai siaran dan foto ini. Jumlah suka dan tidak suka menentukan kualiti kedua-dua mesej dan akaun itu sendiri. Mereka berkait rapat.

Semua yang lain tidak penting. Dalam sesetengah kes, undian turun disekat, dalam kes lain tidak. Pada sesetengah portal, untuk memberikan rating, anda mesti sudah mempunyai rating tinggi; pada yang lain, tidak. Kadangkala pengarang rating dipaparkan, kadangkala disembunyikan. Tetapi tidak ada tempat yang mungkin bagi seseorang untuk menerbitkan beberapa siaran, ulasan, foto yang ditolak undian - dan pada masa yang sama mengekalkan penarafan yang tinggi; begitu juga sebaliknya - jika siaran pengguna ditolak undian oleh pembaca, maka pengguna tidak boleh diharamkan oleh mereka, kerana mereka menyukai apa yang dia lakukan. Dan ini berlaku disebabkan oleh fakta bahawa tindakan pengguna di tapak dan akaunnya adalah satu dan sama. Tindakan anda adalah satu kelebihan, yang bermakna ia adalah satu nilai tambah untuk anda. Tindakan anda adalah tolak, yang bermaksud mereka tolak anda juga.

Pada HabrΓ© keadaan pada asasnya berbeza. Hab secara buatan memisahkan intipati pengguna dan tindakannya. Semua tindakan anda boleh diluluskan dan ditolak undi. Tetapi akaun anda akan ditolak undian. Dan begitu juga sebaliknya. Jika pada sumber lain mereka membuang kebaikan dan keburukan kepada artikel dan ulasan, maka pada HabrΓ© mereka membuang kebaikan dan keburukan secara berasingan kepada artikel dan ulasan dan secara berasingan kepada pengarang.

Kutukan karma Khabr

Inilah yang menjadi dasar kutukan karma. Dan kemudian ia merebak dan mula merosakkan seluruh masyarakat.

Perenggan 2.
Sistem penilaian yang berasingan tidak dapat dielakkan berada di bawah pengaruh dua herotan psikologi.

Penyelewengan pertama ialah kesediaan psikologi orang ramai untuk mencari negatif dan menghasilkan negatif. Keagresifan adalah tindak balas utama kepada semua yang tidak dikenali, tidak dapat difahami atau tidak menyenangkan. Akibatnya, kesanggupan seseorang untuk memberikan tolak sentiasa lebih tinggi daripada kesanggupannya untuk memberi tambah. Anda boleh melihat ini dalam banyak situasi, dan dalam pemasaran ia adalah masalah maklum balas klasik. Jika perniagaan tidak mahu menulis ulasan positif palsu, ia terpaksa melaksanakan sekumpulan kaedah yang kompleks untuk mendapatkannya: memberi diskaun dan hadiah, mengemis dan mengingatkan - orang, memberi kami tambah, tulis ulasan positif. Saya melihat banyak pautan ke artikel dari 2013 tentang cara HabrΓ© mereka lebih kerap menambah karma daripada menolaknya. Ini mungkin masih berlaku; tetapi dari artikel yang sama kita tahu bahawa karma adalah tambah bagi mereka yang menulis artikel, dan bagi pengulas ia adalah tolak.

Ini adalah herotan yang sangat serius - orang yang tidak berpuas hati, agresif sentiasa bersedia untuk menghabiskan masa dan tenaga untuk menyatakan rasa tidak puas hati, untuk melegakan pencerobohannya. Walaupun dengan tambah dan tolak untuk penilaian, kami mempunyai "perang tolak" yang berterusan, apabila rakan bicara yang marah meletakkan tolak pada setiap ulasan anda dalam topik semasa, dan juga memasuki profil anda untuk mencari komen lama dan menolaknya. Tetapi sekurang-kurangnya lebih mudah untuk mengundi atas ulasan - jika seseorang bersetuju, dia menggerakkan tetikus satu sentimeter dan mengundi naik. Dengan karma ia sudah lebih sukar; karma paling kerap dicapai menggunakan bahan api pencerobohan untuk menambah satu lagi tolak.

Karma hanya berfungsi sebagai penarafan di bawah artikel kerana terdapat anak panah besar atas dan bawah yang pembaca boleh klik dengan mudah. Untuk mengubah karma seorang pengulas, anda perlu melakukan beberapa tindakan tambahan, iaitu, persoalannya ialah seberapa cepat impuls tindak balas terhadap teks memudar. Dorongan negatif memudar dengan lebih perlahan atas sebab psikologi dan biologi - oleh itu, mereka yang ingin memberi tambah berkemungkinan kecil untuk mencapai karma, lebih suka memberi penilaian tambah sahaja kepada komen.

Ngomong-ngomong, kebanyakan mereka yang menyokong karma tidak memikirkan perkara yang rumit itu. Sebagai contoh, dengan serius, tanpa sebarang emotikon, mereka bertanya kepada pejuang menentang tolak tanpa nama - mengapa anda tidak berpuas hati hanya dengan tolak? Mengapa apabila mereka secara tanpa nama memberi anda tambah, anda gembira, tetapi anda mahukan justifikasi untuk tolak? Tetapi itulah sebabnya. Kerana kesediaan seseorang untuk meletakkan tolak adalah lebih tinggi daripada kesediaannya untuk meletakkan tambah, kesediaannya untuk pencerobohan adalah lebih tinggi daripada kesediaannya untuk kelulusan. Kesediaan ini mesti dibenderakan dan terhad, sekurang-kurangnya semata-mata supaya kebaikan dan keburukan menjadi sama - mereka telah lama dilupakan di HabrΓ© tentang mereka layak.

Penyelewengan kedua ialah kemunculan kasta hakim. Saya mengingatkan anda bahawa biasanya sistem yang adil ialah "semua pengguna menilai semua pengguna", semua orang hanya menilai artikel dan ulasan orang lain. Tetapi pentadbiran Habr sangat bimbang tentang pengarang artikel, yang boleh menjadi baik dalam hal teknikal, tetapi dahsyat dalam interaksi sosial dengan pengulas. Dan pengarang diberi carte blanche; mulai sekarang mereka didakwa hanya boleh dinilai oleh pengarang lain.

Sesungguhnya, kita boleh menemui sistem sedemikian dalam pelbagai pertandingan sastera, sebagai contoh: setiap orang menulis cerita mereka sendiri, setiap orang membaca cerita orang lain dan memberi setiap satu gred. Ini juga satu sistem yang adil.

Hanya pada HabrΓ© sistem itu diputarbelitkan lagi - pengarang lain hanya boleh dinilai Ρ‡Π°ΡΡ‚ΡŒ pengarang. Tidak semua orang yang menulis artikel mempunyai peluang untuk mengundi karma. Dan yang paling penting, sejumlah besar pengguna (pengulas) telah muncul yang tidak boleh menilai sesiapa sendiri, tetapi mereka boleh dibicarakan dan dilaksanakan, dan tanpa hak untuk mendapatkan justifikasi. Akibatnya, daripada sejumlah besar pengguna, sebahagian kecil daripada "penimbang tara takdir" menonjol - satu perlima daripada jumlah pengguna - dan mula melakukan apa sahaja yang mereka mahu dengan yang lain.

Terdapat andaian tersirat bahawa sebilangan besar pengguna akan melancarkan penilaian. Ini adalah salah. Oleh kerana hakim boleh mengubah karma dengan cara yang sama seperti mereka sendiri, lambat laun mereka yang tidak diingini akan keluar dari kasta ini, dan mereka yang taat, sebaliknya, berakhir di dalamnya.

Malah, semua contoh positif yang kita lihat adalah kesilapan orang yang terselamat. Mereka hanya bernasib baik kerana berjaya melalui ketoksikan masyarakat.
https://habr.com/ru/company/habr/blog/437072/#comment_19649328

Keadaan ini diburukkan lagi oleh fakta bahawa orang sering bekerja dalam bidang teknikal dengan pemahaman yang agak lemah tentang bidang sosial - keseluruhan komputer hickey-autisme ini, yang membawa kepada "ketidakupayaan untuk mengekalkan dan memulakan interaksi sosial dan hubungan sosial." Di sini anda mempunyai ketoksikan, di sini anda mempunyai pencerobohan, di sini anda mempunyai keinginan untuk membuang segala yang tidak menyenangkan dan luar biasa daripada pandangan.

Semua ini bersama-sama membawa kepada titik seterusnya.

Perenggan 3.
Jika keburukan tidak menjejaskan apa-apa, tidak akan ada masalah. Mereka sering menulis dalam komen - tetapi saya tidak melihat karma, haha, mengapa ia diperlukan, anda semua hanya penyeret karma, dll. Biasanya mereka ini adalah orang yang mempunyai karma yang sangat tinggi. Sebenarnya, karma tidak akan benar-benar diperlukan jika nilainya yang rendah tidak menyekat kemungkinan komunikasi di portal.

Dan inilah sebabnya ia disekat - kerana Sistem karma Habr adalah berdasarkan idea tentang apa yang wujud secara objektif buruk ΠΈ baik orang. Lihat di atas - bukan "artikel pengguna yang buruk atau baik", iaitu buruk ΠΈ baik pengguna. Mereka akan memberi saya contoh troll, "orang jahat"; ya, adil - tetapi amalan menunjukkan bahawa walaupun seorang pakar tidak boleh selalu membezakan troll (atau bot) daripada orang biasa dengan pendapat yang aneh.

Portal lain memperkenalkan mekanisme abaikan untuk memerangi ini. Jika anda pernah memutuskan bahawa orang tertentu buruk - anda tidak perlu menambah tolak pada karmanya, kerana dia buruk, tetapi anda hanya mengabaikannya dan anda tidak lagi melihat artikel atau ulasannya. Tetapi pentadbir habr jauh dari psikologi manusia, jadi mereka memutuskannya buruk ΠΈ baik ini bukan kategori penilaian, tetapi kebenaran objektif, sebagai hasilnya teruk mereka hanya dibuang keluar dari tapak ke dalam Gulag tanpa hak untuk surat-menyurat dan ditembak sebagai musuh rakyat.

Berikut adalah ulasan pengguna pragmatik, pekerja Habr
Jika pengguna menyiarkan banjir, kenyataan tidak berasas, dsb., maka dia dilayan dengan buruk dan mendapat tolak, dan jika dia menerbitkan sesuatu yang berguna/munasabah, dia mendapat tambah.

Seperti yang anda lihat, pekerja dengan tegas dan ikhlas percaya bahawa karma benar-benar mencerminkan kegunaan siaran dan ulasan seseorang. Dari mana datangnya orang yang mempunyai jumlah skor +100 dan karma -10? Dan mengapa terdapat begitu ramai orang yang mempunyai penyelewengan sedemikian? Mungkin beribu-ribu pengguna menerbitkan kenyataan banjir dan tidak berasas, menerima tolak dalam karma untuk ini, tetapi kemudian beberapa ahli sihir tiba dan memberikan tambah untuk banjir yang sama dan kenyataan tidak berasas menggunakan penilaian biasa? Sudah tentu tidak.

Kegunaan ulasan dan artikel hanya ditunjukkan oleh penilaian di sebelah komen dan artikel. Dan karma mencerminkan apa buruk atau baik dia seorang mengikut kasta mengundi. Di atas kita telah membincangkan mengapa orang ramai akan melakukan lebih banyak usaha untuk melakukan kemudaratan teruk cara menolong seseorang baik. Oleh itu pelaksanaan buruk manusia dalam sistem sedemikian tidak dapat dielakkan secara statistik. Cepat atau lambat mereka akan membunuh semua yang "buruk" biasa, kemudian mereka akan mula mencari yang "paling tidak baik", dan seterusnya, dan seterusnya.

Sila ambil perhatian bahawa semua kesukaran ini adalah berdasarkan ketidakupayaan sepenuhnya pentadbiran untuk memahami dan mengira tindakan orang ramai. Dengan memberi tumpuan kepada aspek teknikal, mereka benar-benar kehilangan pandangan dari sisi sosial. Kira-kira orang yang sama mereka bentuk Universe-25, dan kemudian selama bertahun-tahun mereka cuba memberitahu semua orang bahawa terdapat syurga di sana. Sesetengah orang masih mempercayai ini, sama seperti mereka percaya bahawa "karma menjadikan Habr lebih baik." Perkara yang paling teruk di sini, sudah tentu, adalah bahawa pentadbir dan ramai peserta tidak memahami apa yang salah di sini. Ya, mereka berkata, orang benar-benar baik dan buruk. Jadi marilah semua yang baik berkumpul dan bunuh semua yang jahat! Dan mereka membunuh dengan senang hati.

"Seperti yang dilakukan oleh reptilia pada HabrΓ©:
sebilangan besar pengguna diberikan syiling kecil dan bermotivasi: β€œKawan-kawan, sesiapa yang anda tidak sukai orang yang lalu lalang, tembak dia. Jangan malu, tiada apa yang akan berlaku kepada anda untuk ini, dan tiada siapa yang akan tahu siapa penembak itu. Banyak hits - hebat, anda akan melumpuhkan dia dan dia tidak akan dapat bercakap banyak. Jadikan dunia tempat yang lebih baik dan jangan menafikan diri anda apa-apa."
Apa yang berlaku di HabrΓ© ialah syurga sosiopat. Seperti yang dikatakan andorro pada kesempatan lain: "Rangkaian sosial dicipta oleh orang antisosial."
https://habr.com/ru/company/habr/blog/437072/#comment_19822200

Sangat menarik bahawa tidak ada pengabaian pada HabrΓ©. Jika anda tidak berpuas hati dengan seseorang, anda hanya boleh meninggalkan atau meletakkan tolak dalam karma (iaitu, paksa dia pergi dengan cara ini). Sistem bunuh atau mati. Durov melaksanakan kira-kira skim yang sama dalam Telegramnya - tidak ada abaikan di sana sama ada, dan satu-satunya cara untuk mengelakkan orang yang tidak menyenangkan ialah meninggalkan sembang kumpulan atau memaksanya meninggalkan sembang kumpulan. Pendekatan pengguna "orang yang berjaya", berjalan di atas kepala orang lain, sangat jelas kelihatan. Berbanding dengan, katakan, IRC, yang dicipta oleh orang untuk orang, Habr atau Telegram dicipta oleh "sosiopat yang sangat aktif" untuk "khalayak sasaran". Jika anda bukan sebahagian daripada khalayak sasaran, maka selamat tinggal.

Episod Tiga

Kutukan karma Khabr
β€” Apakah yang boleh menyelamatkan kita daripada audit?
- Maaf, bukan kami, tetapi awak

"Operasi Y"


Apa yang boleh dibuat?

Pertama, anda akhirnya harus menerima idea bahawa Habr bukan lagi komuniti tertutup dengan jemputan, tetapi portal biasa, dan ia sepatutnya mempunyai sistem penilaian mudah seperti biasa untuk portal tersebut. Untuk kehadiran artikel, kerana ia sangat penting, anda boleh memberikan penilaian berganda. Tetapi sistem harus seragam - komen dan artikel diberi tambah dan tolak, jika anda mendapat tambah lebih kerap, maka anda baik, jika anda mendapat tolak lebih kerap, maka anda buruk. Untuk memerangi pengulas yang terlalu marah, telah dicadangkan lebih daripada sekali bahawa hanya mereka yang juga mempunyai artikel sendiri boleh mengundi artikel; ini sudah cukup.

Kedua, had menyekat adalah tidak masuk akal. Apakah maksud 10 atau 20 tolak untuk portal yang beribu-ribu orang boleh mengundi? Kami melihat bahawa nilai purata penarafan ialah 118, dengan baik, tanpa outlier ia akan berada di sekitar 100, jadi -100 harus dijadikan had sebenar, selepas itu komen bermula sekali setiap lima minit dan kengerian lain, dan kemudian satu langkah seratus, bukan 10 .

Ketiga, rating yang digunakan sekarang lebih menunjukkan aktiviti (iaitu, pergantungan pada masa). Adalah lebih berguna untuk menunjukkan penarafan "tambah setiap mesej secara purata" - maka orang tidak akan lagi membanjiri komen yang tidak bermakna, dan pengguna teratas akan kelihatan lebih betul: sesiapa yang mempunyai mesej yang paling berguna akan berada di bahagian atas.

Keempat, bukannya mencetuskan toksik dan kebencian bersama dalam masyarakat secara buatan, termasuk. hampir secara rasmi meluluskan "perang tolak" - akhirnya kita hanya perlu menambah abaikan. Dan bukan hanya runtuhkan ulasan di bawah spoiler, tetapi sembunyikannya, sesuatu seperti "UFO menyembunyikan siaran ini atas permintaan anda." Dan untuk membatalkan abaikan anda perlu pergi ke tetapan dan masukkan nama panggilan orang yang anda abaikan secara manual; iaitu, menghidupkan abaikan sepatutnya mudah, tetapi mematikannya sepatutnya sukar.

Kelima, saya percaya sudah tiba masanya untuk sekali lagi membangkitkan isu "harga setiap penilaian." Untuk memberikan tolak, seseorang mesti membelanjakan sebahagian daripada penilaiannya. Sebab untuk ini telah dibincangkan di atas - orang yang tidak berpuas hati lebih cenderung untuk memberikan tolak daripada orang yang berpuas hati lebih cenderung untuk memberikan tambah. Ia adalah perlu untuk menyamakan peluang kebaikan dan keburukan.

Dan akhir sekali, anda boleh meninggalkan karma dalam bentuk semasanya hanya sebagai elemen hiasan dan tradisi, tetapi hapuskan hubungannya dengan sekatan. Kemudian akhirnya semua pelawak dan pelawak ini dengan jenaka mereka "mengapa anda bimbang tentang karma, saya tidak bimbang, ia tidak menjejaskan apa-apa" akhirnya akan dapat mengatakan ini dengan serius.

Hanya pengguna berdaftar boleh mengambil bahagian dalam tinjauan. Log masuk, Sama-sama.

Adakah anda berpuas hati dengan sistem karma dalam bentuk semasa?

  • Ya

  • Tiada

1710 pengguna mengundi. 417 pengguna berpantang.

Sumber: www.habr.com

Tambah komen