카브르의 카르마 저주

예상치 못한 결과

"하브르의 카르마 시스템과 사용자에게 미치는 영향"은 최소한 학기 논문 주제입니다.
피카부의 카르마 스레드


이 글을 시작하기에 앞서, 저는 오랫동안 하브르를 읽어왔다고 말할 수 있겠지만, 그것은 전적으로 정확한 진술은 아닐 것입니다. 올바른 논지는 다음과 같습니다. "저는 오랫동안 Habr의 기사를 읽어왔습니다." 하지만 저는 이번 봄에 등록하기로 최종 결정했을 때 커뮤니티 내부에서 무슨 일이 일어나고 있는지에 관심이 없었습니다. 이것은 프로그래밍의 복잡한 세부 사항에 대한 유용한 기사나 기술 세계의 흥미로운 뉴스를 읽기 위해 검색 엔진을 통해 하브르에 들어온 사람들이 흔히 저지르는 실수입니다. 포털을 긍정적인 측면에서만 보는 한, 그 안에서 무슨 일이 일어나고 있는지에 대한 질문은 하지 마세요. 물론, 가끔씩 댓글이나 기사에서 카르마에 대한 언급이 있었습니다. 하지만 카르마는 거의 모든 주요 포털에 존재합니다(저는 순진하게 생각했습니다). 이는 자율 규제 인터넷 커뮤니티에서는 정상적인 일입니다.

5분마다 하나 이상의 댓글을 쓸 수 없게 된 이후로 저는 이에 대해 진지하게 생각하게 되었습니다.

동시에, 표면적으로는 모든 것이 잘 진행되고 있었습니다. 제 댓글은 꾸준히 추천을 받았고, 제 평점은 올라가고 있었습니다. 그런데 갑자기 제게 부정적인 카르마가 있다는 것이 밝혀졌습니다. 오랜 인터넷 소통 경험과 사용자 습관, 심지어 상식까지도 이게 일종의 실수라고 소리쳤습니다. 한 사이트 사용자에 대한 다른 사이트 사용자의 승인 등급이 동시에 오르내릴 수는 없으니까요! 하지만 저는 성급하게 행동하지 않고 분석적(카르마에 대한 사용자 의견을 연구하는 형태)이고 통계적(계정 지표를 분석하는 형태)인 소규모 연구를 수행하기로 결정했습니다.

유저와 카르마 사이의 전쟁의 역사는 매우 풍부했습니다. 이 문제는 10년 이상 다양한 성공 사례를 보이며 진행되어 왔으며, 수십 명의 피해자가 차단되고 여러 건의 게시물이 삭제되는 결과를 낳았습니다. 게다가 이상하게도, 제 문제(평가와 카르마의 불일치)는 논증에서 실질적으로 사용되지 않았습니다. 심지어 오픈 API 시절에도 이런 계산은 사용되지 않았습니다. 비교적 최근 게시물에서 가장 가까운 의견을 제시한 논평가는 한 명뿐이었습니다.

"사실, 흥미로운 점은 댓글에 큰 장점이 있는데도 불구하고 카르마에 대해 다운보트를 받은 사람이 있는지 알아보는 것입니다."
https://habr.com/ru/company/habr/blog/437072/#comment_19650144

통계적인 측면에서 보면 그런 사람들이 존재한다는 것을 알 수 있습니다. 하지만 통계가 없더라도 사용자들은 기본적으로 오랫동안 카르마에 대한 모든 것을 이해해 왔습니다.

10년 전 게시물입니다.

하브르의 큰 문제는 "아, 당신은 나와 의견이 다르군요. 여기 당신의 카르마에 마이너스를 줍니다."라는 원칙에 따라 카르마에 마이너스를 부여하는 사용자가 꽤 많다는 것입니다. 제 생각에는, 반론과 잘 제시된 반대 입장을 담은 논리 정연한 논평은 논평 자체에 마이너스도 되지 않는데, 작성자에게는 업보가 더할 나위 없습니다. 불행히도 하브르에서는 이성적인 토론과 강한 상대에 대한 존중의 문화가 사실상 존재하지 않습니다. 많은 사람들은 단순히 누군가에게 모자를 던지려고 합니다.
전반적으로, 저는 평가를 '평가'와 '카르마'라는 두 가지 기준으로 나누는 것은 직관적이지 않고 따라서 잘못되었으며 효과적이지 않다고 생각합니다.
https://habr.com/ru/post/92426/#comment_2800908

5년 전 게시물입니다.

카르마가 최소 15단위 이상 변화한 경우만 분석했지만, 이 경우 비율이 30% 대 70%이기 때문에 전체적인 그림은 바뀌지 않습니다. 보시다시피, 카르마는 대부분 댓글로 인해 사라지고, 글로 쓰인 기사로 인해 증가합니다.
https://habr.com/ru/post/192376/

3년 전의 개선 제안은 다음과 같습니다.

쿠폰 :
기사 작성자가 기사를 게시한 후 일정 기간(예: 1주일) 동안만 카르마에 투표할 수 있도록 허용합니다. 지난주에 아무것도 게시하지 않은 사람은 댓글에 대한 카르마를 받을 수 없습니다. 이 규칙은 리드 전용 계정에는 적용되지 않습니다. 리드 전용 계정은 유용한 코멘트를 통해 카르마를 얻습니다.
댓글 :
하브르 사용자들은 다른 사람들의 게시물에 달린 바람직하지 않은 댓글 때문에 카르마가 고갈된다고 불평하는 경우가 너무 많습니다. 예를 들어, 이 게시물에서 해당 문제는 2012년에 설명되었습니다. 상황은 여전히 ​​동일합니다.
https://github.com/limonte/dear-habr/issues/49

같은 주제에 대한 3년 전의 또 다른 대화는 다음과 같습니다.

메탈리우스 박사
제가 댓글을 쓰지 않은 이유를 말씀드리겠습니다(이건 예외로 하겠습니다). 카르마를 얻는 건 힘들지만, 카르마를 잃는 건 정말 쉽거든요. 올바르게 글을 쓰면 돈이 쓰이지 않는다는 것은 사실이 아니다. 여러 가지 이유로 댓글의 가치가 낮아질 수 있습니다. 그가 당신의 주장에 동의하지 않았을 수도 있고, 댓글의 어떤 사실이 틀렸다고 생각했을 수도 있고, 그저 기분이 나쁠 수도 있습니다.

맥스쇼펜
그렇습니다. 이것은 하브라시스템의 고대 질병입니다. 긍정적인 카르마를 가진 사람은 적절하며 아무에게도 무조건 싫어요를 누르지 않을 것이라고 가정했습니다. 옛날 옛적에는 모든 것이 더욱 나빴습니다. 카르마가 높을수록 사용자가 놓을 수 있는 마이너스도 높아졌고, 결국 "눈이 부시게" 하는 하브라하브르 사용자 몇몇이 좌우 누구에게나 -6, -8을 내주었고, 그 후에는 기회가 한 명으로 줄어들었습니다. 카르마 경제의 창시자들은 처음에는 익명성의 악을 고려하지 않았던 것 같습니다.
제 생각에는 이 시스템은 오래 전에 균형을 이루어야 했고, 누군가가 투표하면 사용자의 카르마 일부가 소멸되어야 했습니다. 많이 필요하지 않습니다. 0,2~0,5 정도면 충분합니다. 이는 유권자들이 누군가에게 투표할지 말지를 선택할 때의 책임감을 크게 증가시킬 것입니다.
https://habr.com/ru/post/276383/#comment_8761911

마지막으로, 올해 초 게시물에 대한 댓글입니다.

카르마는 체계의 자기 조절에 그다지 좋은 도구가 아닙니다. 카르마는 종종 어떤 사람(또는 그의 지위)에 불만을 품은 사람들에 의해 평가됩니다. 결과적으로, 카르마를 얻는 것은 매우 어렵지만, 카르마를 잃는 것은 매우 쉽다는 것이 밝혀졌습니다. 이런 경우 사람들은 두 번 생각하게 됩니다. 인기가 없다면 자신의 의견을 표현하는 것이 가치가 있을까요? 결국, 내가 한 번이라도 목소리를 내면 그들은 나에게 싫어요를 누르고 내 카르마를 잃을 것이고, 나는 더 이상 목소리를 낼 수 없게 될 것입니다. 이로 인해 해당 리소스에 대한 의견은 단 하나만 남게 되고 다른 의견은 모두 밀려나게 됩니다.
https://habr.com/ru/company/habr/blog/437072/#comment_19647340

"기사 쓰기"가 실제로 카르마 시스템을 구하지 못하는 이유를 설명하는 댓글은 다음과 같습니다.

기사는 업보 측면에서는 거의 아무런 이득도 주지 않으며, 나쁜 댓글 하나 때문에 그 사람은 완전히 버림받을 수도 있습니다.
여기서 문제는 평가와 카르마를 분리하는 것입니다. 사람들의 머릿속에서는 이런 식으로 작동합니다.
1. 콘텐츠 평가는 기사나 댓글에 대한 내 태도입니다.
2. 카르마 평가는 내가 개인적으로 어떤 사람에 대해 갖는 태도입니다.
그 결과,
1. 만약 당신이 세계 최고의 기사를 썼다면, 당신은 기사에 많은 플러스(평가)를 받을 것이고 그들의 임무가 완수되었다고 생각할 것입니다.
2. "흐름에 맞지 않는" 댓글을 작성했다면, 해당 댓글은 다운보트를 받을 것이고, 당신은 그런 식으로 생각할 만한 사람이 아닐 테니, 그게 당신의 업보일 뿐입니다.
https://habr.com/ru/company/habr/blog/437072/#comment_19649262

카르마 시스템에 불만을 품은 많은 사람들은 이것이 행정부의 의도적인 정책이라고 말합니다. 예를 들어 이 댓글에서 또는 이. 물론, 이에 대한 간접적인 증거는 많이 있습니다.

• API를 제거하여 동적 모니터링이 불가능하도록 했습니다.
• 프로필에서 전체 평점을 직접 볼 수 없도록 동적 평점을 만들었습니다.
• 그들은 끊임없이 "카르마그래프"를 언급하는데, 이에 따르면 그들은 단점보다 장점이 더 많다(카르마와 등급 사이의 관계에 대한 이야기는 없다).
• 출판물과 댓글의 질이 카르마에 반영된다는 근거 없는 이야기가 많습니다(평가 지표에서 볼 수 있듯이 이는 통계와 모순됩니다).

또한 나는 당신에게 이것을 상기시킵니다 카르마의 존재에 대한 정당화는 어디에도, 그리고 결코 주어지지 않았습니다. 그것이 존재하는 형태로.

우리는 이런 음모론을 어떤 방법으로도 증명할 수 없습니다. 하지만 제 생각에는 그게 그들에 대한 문제가 아닌 것 같습니다. 카르마가 없는 사람들과 같은 문제가 여기에도 있습니다. 즉, 자신의 옳음에 대한 뚫을 수 없는 믿음이 있어서, 당신과 의견이 다른 사람을 "나쁜 사람"으로 인식하는 것입니다. 하브르의 리더들도 같은 방식으로 결정했습니다. 우리는 사용자를 그들의 메시지와 별도로 평가할 것입니다. 그리고 그들은 10년 넘게 이것이 사용자 순위를 매기는 잘못된 접근 방식이라는 것을 설명하지 못했습니다. 그들은 똑똑해서 포털 전체를 만들어냈어요. 그래서 당신은 당신만의 Habr을 만듭니다. 그러면 우리는 이야기할 것입니다. (그런데, 그것은 재밌습니다. 문자 그대로 이런 용어로 카르마의 수호자가 내 불평에 응답했습니다. — "먼저 그것을 달성하세요")

개인적으로 나는 카르마 계획 자체가 우리에게 다음과 같이 왔다고 가정합니다. 나병, 오늘날 대부분의 대형 인터넷 포털 사이트 소유자들이 모이던 곳입니다. 하브르도 레프라와 비슷하게 시작했습니다. 초대와 상호 평가가 있는 폐쇄적인 클럽이었고, 불만이 있으면 클럽을 떠났습니다. 그런 시대는 오래전에 지나갔고, 클럽이 오랫동안 문을 닫지 않았으며, 평가는 오래전부터 "다른 클럽 회원"에게가 아니라 일반적인 댓글과 기사에 대한 일반 이용자에게 주어졌습니다. 하지만 내부의 엘리트주의는 행정부를 놓아주지 않는다. 모두가 이렇게 생각합니다. "정말, 이 사람들은 큰 수익을 내는 포털을 만들었고, 수년간 기술적인 주제에 대한 기사를 써왔는데, 어떻게 아무것도 모를 수 있을까?" 그러니까 모든 게 나쁘다면, 그 악당들이 그걸 의도한 거라는 뜻이에요. 하지만 실제로 관리자들은 단지 어린 시절에 갇혀 있을 뿐입니다. 포털이 더 크고 수익성이 높을수록, 거짓된 자존심 때문에 오랜 실수를 인정하기가 더 어렵습니다.

착란

이건 깊은 물이에요, 왓슨, 깊은 물이에요. 저는 지금 막 다이빙을 시작했어요.
셜록 홈즈 스페셜 에디션


이하에서는 카르마를 "카르마"라는 용어로 사용하고, 사용자가 기사와 댓글에 대해 받은 모든 장점과 단점의 총액을 "점수" 또는 "총점"이라는 용어로 사용하겠습니다.

역사를 살펴본 뒤, 이제 숫자를 살펴보도록 하겠습니다. 최근 여기에서 일련의 통계 분석이 있었지만, 그것은 당해 연도에만 해당했기 때문에 사용자의 전반적인 평가를 이해할 필요가 있었습니다. API가 없고, 실제 평점 대신 프로필에 의심스러운 평점이 표시되기 때문에 제가 해야 할 일은 각 댓글을 연구하고 작성자와 평점에 대한 데이터를 수집하는 것뿐이었습니다. 제가 한 일은 바로 그것입니다.

저는 처음부터 모든 출판물을 펼쳐서 저자의 별명과 기사 평점을 꺼냈고, 그런 다음 해설자의 별명과 그들의 댓글에 대한 평점을 꺼냈습니다.

주요 파서의 코드는 다음과 같습니다.

import requests
from bs4 import BeautifulSoup
import csv

def get_doc_by_id(pid):
    fname = r'files/' + 'habrbase' + '.csv'
    with open(fname, "a", newline="") as file:
        try:
            writer = csv.writer(file)
            r = requests.head('https://habr.com/ru/post/' +str(pid) + '/')
            if r.status_code == 404: # проверка на существование
                pass
            else:
                r = requests.get('https://habr.com/ru/post/' +str(pid) + '/')
                soup = BeautifulSoup(r.text, 'html5lib')
                if not soup.find("span", {"class": "post__title-text"}):
                    pass
                else:
                    doc = []
                    cmt = []
                    doc.append(pid) #номер
                    doc.append(soup.find("span", {"class": "user-info__nickname"}).text) #ник
                    doc.append(soup.find("span", {"class": "voting-wjt__counter"}).text) #счетчик
                    writer.writerow(doc)
                    comments = soup.find_all("div", {"class": "comment"})
                    for x in comments:
                        if not x.find("div", {"class": "comment__message_banned"}):
                            cmt.append(x['id'][8:]) #номер
                            cmt.append(x.find("span", {"class": "user-info__nickname"}).text) #ник
                            cmt.append(x.find("span", {"class": "voting-wjt__counter"}).text) #счётчик
                            writer.writerow(cmt)
                            cmt = []
        except requests.exceptions.ConnectionError:
            pass

x = int(input())
y = int(input())

for i in range(x, y):
    get_doc_by_id(i)
    print(i)

그 결과 habrbase 파일에 다음 표가 생성되었습니다.

사용자를 그룹화하고 habrauthors.csv라는 이름으로 "사용자 - 평가 합계" 형식의 결과를 얻었습니다. 그런 다음 사용자를 살펴보고 프로필에서 데이터를 추가하기 시작했습니다. 가끔 연결이 끊어지거나 페이지를 로딩할 때 이상한 오류가 발생하기 때문에 마지막으로 처리된 사용자가 누구인지 확인하고 거기에서 계속 진행해야 했습니다.

2차 처리 코드는 다음과 같습니다.

import requests
from bs4 import BeautifulSoup
import csv
import pandas as pd

def len_checker():
    fname = r'files/' + 'habrdata' + '.csv'
    with open(fname, "r") as file:
        try:
            authorsList = len(file.readlines())#получаем длину файла даты
        except:
            authorsList = 0
        return authorsList

def profile_check(nname):
    try:
        r = requests.head('https://m.habr.com/ru/users/' +nname + '/')
        if r.status_code == 404: # проверка на существование
            pass
        else:
            ValUsers = []
            r = requests.get('https://m.habr.com/ru/users/' +nname + '/')
            soup = BeautifulSoup(r.text, 'html5lib') # instead of html.parser
            if not soup.find("div", {"class": "tm-user-card"}):
                valKarma = 0
                valComments = 0
                valArticles = 0
            else:
                valKarma = soup.find("span", {"class": "tm-votes-score"}).text #карма
                valKarma = valKarma.replace(',','.').strip()
                valKarma = float(valKarma)
                tempDataBlock = soup.find("div", {"class": "tm-tabs-list__scroll-area"}).text.replace('n', '') #показатели активности
                mainDataBlock = tempDataBlock.split(' ')
                valArticles = mainDataBlock[mainDataBlock.index('Публикации')+1]
                if valArticles.isdigit() == True:
                    valArticles = int(valArticles)
                else:
                    valArticles = 0
                valComments = mainDataBlock[mainDataBlock.index('Комментарии')+1]
                if valComments.isdigit() == True:
                    valComments = int(valComments)
                else:
                    valComments = 0
            ValUsers.append(valKarma)
            ValUsers.append(valComments)
            ValUsers.append(valArticles)
    except requests.exceptions.ConnectionError:
        ValUsers = [0,0,0]
    return ValUsers


def get_author_by_nick(x):
    finalRow = []
    df = pd.DataFrame
    colnames=['nick', 'scores']
    df = pd.read_csv(r'fileshabrauthors.csv', encoding="ANSI", names = colnames, header = None)
    df1 = df.loc[x:]

    fname = r'files/' + 'habrdata' + '.csv'

    with open(fname, "a", newline="") as file:
        writer = csv.writer(file)
        for row in df1.itertuples(index=True, name='Pandas'):
            valName = getattr(row, "nick")
            valScore = getattr(row, "scores")
            valAll = profile_check(valName)
            finalRow.append(valName)
            finalRow.append(valScore)
            finalRow.append(valAll[0])
            finalRow.append(valAll[1])
            finalRow.append(valAll[2])
            writer.writerow(finalRow)
            print(valName)
            finalRow = []

n = len_checker()
get_author_by_nick(n)

많은 체크가 있는데, 하브르 페이지에서는 삭제된 댓글부터 시작해 몇몇 수상한 사용자까지 이상한 일들이 많이 일어나기 때문입니다. 예를 들어, 내 샘플에서 등록 연도인 2001년은 어떻게 나타났나요? 사용자 데이터를 수집하기 위해 사이트의 모바일 버전을 분석한 결과, 일부 사용자의 경우 이 버전에서는 사용자가 삭제되었다는 내용뿐만 아니라 "내부 오류(중간 값).맵은 함수가 아닙니다."라는 메시지도 표시되었습니다. 모든 댓글은 삭제되어 읽을 수 없게 남아 있었기 때문에 등록 날짜를 2001년으로 설정했습니다. 나중에 이 사용자 중 일부는 삭제되거나 차단되지 않았다면 사이트의 일반 버전에서 볼 수 있다는 것을 알게 되었습니다. 하지만 그 수가 250개뿐이고, 그 중 절반은 더 이상 존재하지 않기 때문에 그냥 그대로 두기로 했습니다.

habrdata 테이블의 최종 버전은 다음과 같습니다: ['nick', 'scores', 'karma', 'comments', 'articles', 'regdate']. 다운로드 가능합니다 여기에.

그리고 등록일 기준으로 이렇게 분포되어 있습니다. 장기적으로는 등록이 감소할 것으로 생각합니다.

전체적으로 댓글이나 기사를 작성한 적이 있는 사용자는 114명이었습니다. 사용자의 카르마와 평가 그래프가 어떻게 보이는지 살펴보겠습니다.

그런데 이 그래프를 위한 멋진 시각화 도구에 감사드립니다. 타블로.

그래프에서 볼 수 있듯이 정말 이상한 이상치도 있습니다. 사용자가 다음과 같은 경우를 가정해 보겠습니다. 알리자르 (UPD) 그의 모든 댓글과 출판물로 인해 그는 268개 이상의 포인트를 축적했습니다! 그리고 그는 그 성층권에 홀로 떠 있는 반면, 어느 정도 성공한 사람들은 약 30만 고도의 고도에 매달려 있습니다. 카르마에 대해서도 마찬가지입니다. 사용자에게도 마찬가지입니다. 젤레니코트 카르마 1509이고, 일상생활은 500에서 시작됩니다. 저는 샘플을 잘라내지 않았고, 일반 사용자의 분포를 자세히 살펴볼 수 있도록 조금 확대했을 뿐입니다.

여기에는 근로자들의 요청에 따라 주요 지표별 TOP-10 사용자가 추가되었습니다.

전체 사용자 기반을 간략히 분석해 보면 순수한 형태나 배출 감소 측면에서 명확한 상관관계가 없으므로 이에 대해서는 자세히 설명하지 않겠습니다. 비선형 종속성을 가지고 실험해보거나 그러한 클러스터가 있는지 확인하는 것도 흥미로울 것 같습니다. 물론, 저는 이 모든 일을 하지 않을 겁니다. 원하는 사람은 CSV를 다운로드해서 R이나 SPSS에서 조작할 수 있습니다. 제가 걱정하는 부분에 바로 들어가겠습니다. 긍정적인 평가와 함께 부정적인 카르마 점수를 가진 사람들(또는 그 반대의 경우)입니다. 이 러브버드를 사용하는 사용자는 4235명입니다. 그래프에 표시한 내용은 다음과 같습니다. 그중 2866명의 사용자가 내 경로를 반복했으며, 평가에서는 플러스를 받았지만 카르마에서는 마이너스를 받았습니다.

3명 중 4~114천 명은 오차 범위 내에 있는, 겉보기에 미미한 숫자입니다. 그런데, 부정적인 카르마를 가진 모든 사용자는 동일한 오차 범위 내에 있습니다. 그 수는 4652개에 불과합니다. 하지만 통계학자들이 선호하는 것처럼 객관적인 관점이 아닌, 사람으로서의 관점에서 데이터를 살펴보도록 합시다.

총 사용자 수: 114 343
카르마 < 5: 89 447
포함 카르마가 없음: 67 890
포함 부정적인 카르마: 4 652
카르마 >= 5 및 투표 능력: 24 896

그러므로 우리는 공동체가 실제로 "공동체"가 아니라는 것을 알 수 있습니다. 이것 "침묵의 다수"아무것도 할 수 없고 따라서 아무것도 하지 않습니다. 사용자의 5분의 1은 포털 콘텐츠를 제어할 실질적인 기회를 가지고 있으며, 그들이 바로 커뮤니티입니다. 따라서 그들이 하브르의 총 인구가 10만 명인 당신에게 악수를 청하며 "10만 명은 모든 것에 만족하지만 당신은 그렇지 않습니다"라고 말한다면, 이는 전적으로 사실이 아닙니다.

평가에 대한 동일한 레이아웃은 다음과 같습니다.
총 사용자 수: 114 343
평점 <5: 57 223
포함 0등급: 26 207
포함 부정적 평가: 9 737
평점 >=5, 평점 덕분에 가상 투표 기회 제공: 57 120

여기서 우리는 투표권이 카르마가 아닌 평가에 의해 결정된다면 절반 이상의 사용자가 투표할 수 있을 것이라는 것을 알 수 있습니다. 그리고 이것은 성적을 매길 수 있는 사람들, 즉 카르마의 소유자들의 의견에 따른 것일 뿐입니다! 물론, 자유 투표의 경우 90%가 투표할 수 있었습니다.

이 특정 커뮤니티에 가입하려면 "그냥 기사를 쓰면 된다"는 오해가 널리 퍼져 있습니다. 이는 사실이 아닙니다. 카르마가 5 이상인 기사를 쓴 저자는 24명에 불과합니다(기사 없이도 특별한 공로로 900 이상의 카르마를 받은 사용자도 5명 있습니다. 이는 옛날 규칙과 그들이 고대부터 유지해 온 카르마를 반영한 ​​것으로 보입니다). 최소한 하나의 기사가 36만 XNUMX천 명이 넘는 사용자에 의해 작성되었다는 점을 감안할 때, 해당 기사의 작성자 중 XNUMX분의 XNUMX은 생존권을 얻지 못했습니다.

아마도 언급된 세 번째 저자는 평판이 나빴거나, 그들의 기사가 형편없어서 커뮤니티에서 좋아하지 않았을 수도 있겠죠? 아니요. 같은 통계에 따르면 적어도 한 개의 기사를 작성하고 90개 이상의 카르마를 달성하지 못한 사람의 4%도 전반적으로 긍정적인 평가를 받았습니다. 하지만 평점은 아무 의미가 없어요. 그들은 "카르마가 낮습니다". 따라서 긍정적인 평가와 기사를 얻을 수는 있지만, 동시에 높은 카르마를 얻지 못하고 "커뮤니티를 규제"하는 능력도 없습니다. 그것은 당신의 것도 아니고 우리의 것도 아닙니다. "이건 내 이빨도 아니고 너의 이빨도 아니야, 이건 그들의 이빨이야" .

예를 들어, "프로젝트 합병"이 발생한 2016년 또는 2018년 이후의 등록 날짜를 가진 사용자만 조사하는 경우에도 이 비율은 기간 내에서 유지됩니다. 최소한 하나의 기사를 보유한 사용자의 90%는 긍정적인 총 평가를 받았지만, 그중 5분의 60은 카르마가 70 미만이어서 기사에 투표할 수 없습니다. 즉, "카르마를 높이는 글을 쓴다"는 것은 약 XNUMX~XNUMX%의 경우에 효과가 있다는 것입니다.

다음은 무슨 일이 일어나고 있는지에 대한 모든 것을 알려 주는 또 다른 간단한 비율입니다.

78205 사용자로부터 114 343 총 평점이 0보다 큰 경우. 이는 해당 게시물과 댓글이 평가되는 방식이며, 포털을 채우는 데 유용한 활동입니다.
24 896 사용자로부터 114 343 투표할 기회가 있습니다. 이렇게 해서 그들의 성격이 평가되는데, 즉 이미 투표할 수 있는 사람들이 그들의 성격을 좋아하는지 아닌지 여부입니다.

동시에 등록년도에 따른 카르마 그래프를 살펴보세요. 많은 사람들이 우리에게 괴롭힘이 있다고 말하는데, 그렇습니다. 그게 사실입니다. 가장 순수한 형태로는 블록체인이 있습니다. 이 사람들은 먼저 시작했고, 오랜 세월에 걸쳐 스스로 카르마를 채굴해 왔고, 이제는 "나는 카르마에 전혀 신경 쓰지 않고, 당신에게도 그렇게 하라고 조언하지 않는다"는 말을 끊임없이 듣게 됩니다.

Не отдам своего сына в программирование, пока там не решится проблема с хабровщиной!

동시에 원칙적으로 6만 명의 사람들이 흥미롭거나 유용한 글을 쓰고 긍정적인 평가를 받지만, 동시에 열정이 없는 사고방식으로 채찍질을 당하지 않기 위해 끊임없이 뒤를 돌아보아야 합니다.

총계 :

1. 해설자는 자신이 커뮤니티를 개발하고 지원하더라도 원칙적으로 커뮤니티의 일원이 아니다.
2. 1/3의 확률로 해당 기사의 저자는 커뮤니티를 개발하고 지원하더라도 커뮤니티의 일원이 아닙니다.
3. 커뮤니티 개발 및 지원 활동이 플러스 측에서 명확히 승인된 경우에도 작성자는 극히 소수의 사용자(수천 명 중 문자 그대로 10~20명)에 의해 차단될 수 있습니다.

커뮤니티를 개발하는 사람들에게 부정적인 평가를 내리는 악당은 누구인가요?

제가 이 기사를 출판을 위해 준비하던 중, 비슷한 주제의 새로운 글이 올라왔습니다. 예상대로 댓글에서는 카르마에 대한 이야기가 나오기 시작했고, 또 다른 당연한 결론이 나왔습니다.

리소스를 더 나쁘게 만든 해설자들을 아무리 지적해도... 하지만 그들은 Habr에서 아무것도 할 수 없는 사람들입니다.
— 그들은 나쁜 기사를 쓰지 않습니다.
— 그들은 어떤 명령이 입력되는지, 왜 입력되는지 이해하지 못한 채 khautushki의 왜곡된 재인쇄본에 투표하는 사람들이 아닙니다.
— 그들은 과대광고 뉴스 작성자의 카르마에 투표하지 않습니다.
— 그들은 다른 사람의 의견의 정확성을 평가하지 않습니다.
그들은 댓글을 남기는 것 외에는 어떤 방식으로도 저자를 지지하고 존경심을 표현할 수 없습니다.
그리고 그들은 어떤 식으로도 다른 사람들로부터 자신을 보호할 수 없습니다.
하브르에서 일어나는 모든 일은 기사와 카르마를 가진 사람들의 작품입니다.
https://habr.com/ru/post/467875/#comment_20639397

글쎄요, 누구의 잘못인지는 알아냈으니, 왜 이런 일이 일어나는지 살펴보죠.

그가 당신을 죽이는 부분

모든 사람이 거버넌스에 직접 참여할 수 있다면, 우리는 무엇을 통치하게 될까?
허만 그레프


위에 인용된 댓글에서 볼 수 있듯이, 카르마의 본질적인 문제는 오랜 세월 동안 변하지 않았습니다. 이 문제는 기술적인 문제가 아니라 심리적인 문제입니다(아마도 기술적 자원이 여전히 이 문제를 해결하지 못하는 이유일 것입니다).

핵심 구성 요소를 살펴보고 더 자세히 분석해 보겠습니다.

1. 카르마는 사이트에서의 실제 작업 품질에 따라 달라지지 않습니다.
2. 카르마는 심리적으로 비대칭적이다
3. 카르마는 사회병리를 묵인한다

1 항목.
이것은 같은 문제입니다. 제가 기사를 시작할 때 말했던 것인데, 긍정적인 사람이 결국에는 업보가 고갈될 수도 있습니다. 평점 계산 공식과 같은 여러 가지 사소한 것들을 제쳐두더라도 Habr과 다른 모든 사이트 간의 주요 차이점은 사용자와 사용자의 행동을 두 개의 독립적인 개체로 구분한다는 것입니다.

가장 일반적이고 직관적인 방식은 다음과 같습니다. 사용자가 계정을 가지고 있고, 이 계정 항목에서 댓글을 작성하고, "재밌는" 사진이나 사진을 게시합니다. 사용자는 자신의 행동 그 자체입니다. 다른 계정에서는 이 게시물과 사진을 좋아하거나 싫어합니다. 좋아요와 싫어요의 수는 메시지와 계정 자체의 품질을 결정합니다. 그들은 분리할 수 없이 연결되어 있습니다.

그 외의 것은 중요하지 않습니다. 어떤 경우에는 싫어요를 받은 댓글이 차단되고, 어떤 경우에는 차단되지 않습니다. 일부 포털에서는 평점을 주려면 이미 높은 평점을 받아야 합니다. 다른 사람들에게는 그렇지 않습니다. 때로는 평가 작성자가 표시되고, 때로는 숨겨집니다. 하지만 여러 개의 싫어요를 받은 게시물, 댓글, 사진을 게시하면서도 동시에 높은 평가를 유지하는 사람은 어디에도 없습니다. 그 반대의 경우도 마찬가지입니다. 독자들이 사용자의 메시지를 추천하면, 그 사용자는 독자들에 의해 금지될 수 없습니다. 독자들은 그 사용자의 행동을 좋아하기 때문입니다. 이는 사이트에서의 사용자 활동과 계정이 동일하기 때문에 발생합니다. 여러분의 행동은 합산되므로, 여러분에게도 합산이 됩니다. 당신의 행동은 마이너스 포인트입니다. 즉, 당신도 마이너스 포인트라는 뜻입니다.

하브르에서는 상황이 근본적으로 다릅니다. 하브르에서는 사용자의 본질과 그의 행동이 인위적으로 분리됩니다. 귀하의 모든 활동은 승인되고 추천될 수 있습니다. 하지만 이 경우에는 귀하의 계정이 다운보트될 것입니다. 그리고 그 반대도 마찬가지다. 다른 리소스에서는 기사와 댓글에 대해 장단점을 제시하지만, Habr에서는 기사와 댓글, 작성자에 대해 각각 장단점을 따로 제시합니다.

이것이 바로 카르마의 저주가 근거하는 것입니다. 그리고 그것은 퍼져나가서 지역 사회 전체에 피해를 입히기 시작합니다.

2 항목.
별도의 평가 시스템은 필연적으로 두 가지 심리적 왜곡의 영향을 받게 됩니다.

첫 번째 왜곡은 사람들이 부정성을 추구하고 부정성을 만들어내는 심리적 준비 상태입니다. 공격성은 낯설고, 이해할 수 없고, 불쾌한 모든 것에 대한 주된 반응입니다. 결과적으로, 사람들은 항상 마이너스를 내는 의향이 플러스를 내는 의향보다 높습니다. 이런 일은 많은 경우 마케팅에서 볼 수 있는데, 이는 전형적인 피드백 문제입니다. 기업이 가짜 긍정적인 리뷰를 쓰고 싶지 않다면, 이를 얻기 위해 복잡한 방법을 여러 가지 실행해야 합니다. 할인과 선물을 제공하고, 사람들에게 부탁하고 상기시키고, 플러스 요인을 제공하고, 긍정적인 리뷰를 작성해 달라고 요청하는 것입니다. 저는 2013년 기사에 대한 링크를 많이 봤는데, 그 기사에서는 Habr에서 카르마에 대해 업보팅을 하는 경우가 다운보팅보다 더 많다고 나와 있었습니다. 아마도 아직도 그럴 것이다. 하지만 같은 기사를 통해 우리는 기사를 쓴 사람에게는 카르마가 증가하고, 댓글을 단 사람에게는 카르마가 감소한다는 것을 알 수 있습니다.

이것은 매우 심각한 왜곡입니다. 불만이 많고 공격적인 사람은 항상 불만을 표현하고 공격성을 해소하기 위해 에너지와 시간을 소비할 준비가 되어 있습니다. 평가에 장단점이 있음에도 불구하고, 우리는 끊임없이 "마이너스 전쟁"을 벌이고 있습니다. 화가 난 대화 상대가 현재 주제에 대한 귀하의 댓글에 각각 마이너스를 붙이고, 심지어 귀하의 프로필에 들어가서 오래된 댓글을 찾아 마이너스를 붙이기까지 합니다. 하지만 적어도 댓글에 추천을 하는 게 더 쉽습니다. 누군가가 동의하면 마우스를 1센티미터 움직여서 추천을 하면 됩니다. 카르마의 경우는 더 복잡합니다. 업보는 대개 다른 마이너스를 넣기 위해 공격성이라는 연료를 사용하여 이루어집니다.

카르마는 기사에 대한 평가로만 작용하는데, 이는 큰 "위"와 "아래" 화살표가 있어서 독자가 쉽게 클릭할 수 있기 때문입니다. 해설자의 카르마를 바꾸려면 몇 가지 추가적인 조치가 필요합니다. 즉, 문제는 텍스트에 대한 반응 충동이 얼마나 빨리 사라지는가입니다. 부정적인 충동은 심리적, 생물학적 이유로 인해 더 느리게 사라집니다. 그렇기 때문에 긍정적인 평가를 주고 싶어하는 사람들은 업보를 쌓기 어렵고, 댓글에 긍정적인 평가만 주는 것을 선호합니다.

그런데 카르마를 주장하는 사람들 대부분은 그런 복잡한 것에 대해 생각조차 하지 않습니다. 예를 들어, 그들은 이모티콘 없이도 익명의 단점에 맞서 싸우는 사람들에게 진지하게 묻습니다. 왜 단점에만 불만이 있습니까? 익명으로 누군가가 당신에게 긍정적인 평가를 했을 때 왜 당신은 기뻐하지만, 부정적인 평가에 대해서는 정당한 이유를 듣고 싶어합니까? 그렇기 때문이죠. 사람은 마이너스를 내는 데 대한 준비가 플러스를 내는 데 대한 준비성보다 높기 때문에, 공격에 대한 준비성은 승인에 대한 준비성보다 높습니다. 이런 준비태세는 표시하고 제한해야 하며, 그렇게 해야만 장단점이 동등해질 것입니다. 하브르는 장단점이 합당하다는 사실을 오래전에 잊고 있었습니다.

두 번째 왜곡은 판사 계층의 등장입니다. 일반적으로 공정한 시스템이란 "모든 사용자가 모든 사용자를 판단한다"는 것입니다. 즉, 모든 사람이 다른 사람의 글과 댓글을 평가하는 것입니다. 하지만 하브르 행정부는 기술적 문제에는 능하지만 논평가와의 사회적 상호 작용에는 형편없는 기사를 쓰는 저자들에 대해 매우 걱정했습니다. 그리고 저자들에게는 전적인 자유가 주어졌습니다. 이제부터는 다른 작가만이 그들을 판단할 수 있을 것으로 추정됩니다.

실제로 우리는 다양한 문학 경연대회에서 이런 시스템을 찾아볼 수 있습니다. 예를 들어, 모든 사람이 자신의 이야기를 쓰고, 모든 사람이 다른 사람의 이야기를 읽고 각자에게 등급을 매기는 방식입니다. 이것 역시 정직한 시스템이다.

하브르에서만 시스템이 다시 왜곡되었습니다. 다른 저자만 판단할 수 있었습니다. часть 저자. 기사를 쓴 모든 사람이 카르마에 투표할 기회를 갖는 것은 아닙니다. 그리고 가장 중요한 것은, 스스로는 누구도 판단할 수 없지만, 판단받고 처형당할 수 있는 엄청난 수의 사용자(해설자)들이 등장했으며, 정당화의 권리도 없습니다. 그 결과, 엄청난 수의 유저 중에서 '운명의 주인' 중 소수(전체 유저 수의 5분의 1)가 나타나 나머지 유저들을 마음대로 다루기 시작했습니다.

다수의 사용자가 평가를 원활하게 할 것이라는 암묵적인 가정이 있습니다. 이건 잘못된 거예요. 판사들은 자신과 비슷한 사람들의 업보를 바꿀 수 있기 때문에, 조만간 이 계급에서 비난받을 만한 사람들은 빠져나가고, 반대로 호의적인 사람들은 이 계급에 들어가게 됩니다.

사실, 우리가 보는 모든 긍정적인 예는 생존자 편향입니다. 그들은 지역 사회의 독성을 헤쳐나갈 수 있을 만큼 운이 좋았습니다.
https://habr.com/ru/company/habr/blog/437072/#comment_19649328

이런 상황은 기술 분야에서 일하는 사람들이 종종 사회 분야에 대한 지식이 부족하다는 사실 때문에 더욱 악화됩니다. 컴퓨터에 대한 이런 빨간불 자폐증은 "사회적 상호작용과 사회적 관계를 유지하고 시작하는 데 대한 무능력"으로 이어집니다. 여기에는 독성이 있고, 여기에는 공격성이 있으며, 여기에는 불쾌하고 특이한 모든 것을 시야에서 제거하려는 욕망이 있습니다.

이 모든 것이 합쳐져서 다음 요점으로 이어집니다.

3 항목.
단점이 아무런 영향을 미치지 않는다면 아무런 문제도 없을 것입니다. 그들은 종종 댓글에서 "하지만 나는 카르마를 전혀 생각하지도 않아, 하하, 왜 필요한가, 너희들은 그저 카르마 멍청이들일 뿐이야" 등의 글을 씁니다. 보통 이들은 카르마가 매우 높은 사람들입니다. 사실, 포털에서의 소통 가능성을 차단하지 않는 낮은 가치의 카르마라면 실제로 카르마는 필요하지 않을 것입니다.

이것이 차단된 이유입니다. 하브르의 카르마 체계의 기초는 객관적으로 존재한다는 생각입니다. 나쁨 и 좋은 사람들. 위를 참조하세요 - "나쁘거나 좋은 사용자 기사"가 아니라 구체적으로 나쁨 и 좋은 사용자. 그들은 나에게 트롤, 즉 "나쁜 사람들"의 예를 들 것이다. 네, 그건 공평합니다. 하지만 실제로는 전문가조차도 이상한 의견을 가진 일반인과 트롤(또는 봇)을 항상 구별할 수는 없다는 것을 보여줍니다.

다른 포털은 이를 막기 위해 무시 메커니즘을 도입했습니다. 만약 당신이 어떤 사람을 한 번 결정했다면 나쁨 - 당신은 그의 카르마에 마이너스를 추가하는 데 신경 쓰지 않습니다. 나쁨하지만 당신은 그냥 그를 무시하고 그의 기사나 댓글을 더 이상 보지 않습니다. 그러나 하브르의 관리자들은 인간 심리와는 거리가 멀기 때문에 그들은 다음과 같이 결정했습니다. 나쁨 и 좋은 이것들은 평가 범주가 아니라 객관적인 진실입니다. 나쁜 그들은 단순히 통신할 권리도 없이 굴라그로 쫓겨나고 인민의 적이라는 이유로 총살당합니다.

사용자 의견은 다음과 같습니다. 바쁜, 하브르 직원
사용자가 폭언, 근거 없는 발언 등을 게시하면 부당한 대우를 받고 마이너스를 받지만, 유용하거나 합리적인 내용을 게시하면 플러스를 받습니다.

보시다시피, 그 직원은 업보가 실제로 사람의 출판물과 댓글의 유용성을 반영한다고 신성하고 진지하게 믿고 있습니다. 총점이 +100이고 카르마가 -10인 사람들은 어디서 왔을까요? 그리고 왜 이런 편차를 보이는 사람들이 이렇게 많은 걸까? 수천 명의 사용자가 스팸과 근거 없는 게시물을 게시하여 카르마에서 마이너스를 받고, 어떤 마법사가 나타나 일반적인 평가를 사용하여 동일한 스팸과 근거 없는 게시물에 플러스를 주는 경우가 있을 수 있지 않을까요? 물론 아니죠.

댓글과 기사의 유용성은 댓글과 기사 옆에 있는 평점을 통해 간단히 표시됩니다. 그리고 카르마는 그것을 반영합니다. 나쁨 또는 좋은 이는 투표 계층의 의견을 따르는 사람입니다. 위에서 우리는 사람들이 왜 해를 끼치기 위해 더 많은 노력을 기울이는지 논의했습니다. 나쁨 사람을 돕다 좋은. 그래서 실행이 가난한 이런 시스템에서는 사람이 죽는 일이 통계적으로 불가피합니다. 조만간 그들은 평소의 "나쁜" 놈들을 모두 죽일 것이고, 그다음에는 "가장 좋지 않은" 놈들을 찾기 시작할 것이고, 이런 식으로 계속될 것입니다.

이러한 모든 어려움은 행정부가 국민의 행동을 이해하고 계산할 수 없는 전적인 무능력에서 비롯된다는 점을 명심하시기 바랍니다. 그들은 기술적인 측면에만 집중하느라 사회적인 측면을 완전히 간과했습니다. 25번째 우주를 설계한 사람과 그 후 수년간 그곳이 낙원이라고 모든 사람에게 말하려고 노력한 사람이 거의 같습니다. 일부 사람들은 여전히 ​​이것을 믿고 있으며, "업보가 하브르를 더 좋게 만든다"고 믿고 있습니다. 물론, 여기서 가장 나쁜 점은 관리자와 많은 참여자가 여기서 무엇이 잘못되었는지조차 이해하지 못한다는 것입니다. 그렇죠. 사람들은 정말 선하기도 하고 악하기도 하다고들 하죠. 그러니 좋은 사람들이 모두 모여서 나쁜 사람들을 모두 죽여버리자! 그리고 그들은 즐거움을 가지고 살인을 저지른다.

"파충류들이 하브르에서 어떻게 했는지:
많은 사용자에게 소구경 소총이 주어지고 다음과 같은 동기 부여가 주어졌습니다. "여러분, 지나가는 사람 중에 마음에 안 드는 사람이 있으면 쏴 버리세요. 부끄러워하지 마세요. 이 일로 곤경에 처하지도 않을 거고, 총을 쏜 사람이 누군지도 아무도 모르게 될 겁니다. 총을 많이 맞히면 좋습니다. 그 사람을 불구로 만들면 말도 많이 못하게 될 겁니다. 세상을 더 나은 곳으로 만들고, 스스로에게 아무것도 거부하지 마세요."
하브르에서 일어나는 일은 사회병리자의 천국이다. 안도르는 다른 자리에서 이렇게 말했습니다. "소셜 네트워크는 반사회적 사람들이 만듭니다."
https://habr.com/ru/company/habr/blog/437072/#comment_19822200

하브르에는 무시가 없다는 게 흥미롭네요. 만약 당신이 어떤 사람에게 불만이 있다면, 당신은 그 사람을 떠나거나 그 사람의 카르마에 마이너스를 찍을 뿐입니다(즉, 그 사람을 떠나게 강요하는 것입니다). 죽이거나 죽임을 당하는 시스템. 두로프는 자신의 텔레그램에서도 거의 비슷한 방식을 적용했습니다. 무시할 수도 없고, 불쾌한 사람을 피하는 유일한 방법은 그룹 채팅을 떠나거나 그 사람이 그룹 채팅을 떠나도록 강요하는 것입니다. 다른 사람보다 앞서 나가는 '성공한 사람'의 소비주의적 접근 방식은 매우 분명하게 드러납니다. 예를 들어, 사람들이 사람들을 위해 만든 IRC와 비교했을 때, Habr이나 Telegram은 "대상 청중"을 위해 "매우 활동적인 사회병리자"가 만든 것입니다. 만약 당신이 타겟 고객이 아니라면, 안녕히 가세요.

에피소드 XNUMX

— 무엇이 우리를 수정으로부터 구할 수 있습니까?
- 죄송하지만, 저희가 아니라 여러분께요.
"작전 Y"


무엇을 할 수 있습니까?

첫째, 우리는 Habr이 더 이상 초대를 필요로 하는 폐쇄적인 커뮤니티가 아니라 일반 포털이라는 사실을 받아들여야 하며, 그러한 포털에 일반적인 간단한 평가 시스템을 갖춰야 합니다. 기사의 존재 여부는 매우 중요하므로 두 배의 평가를 줄 수 있습니다. 하지만 시스템은 균일해야 합니다. 댓글과 기사에는 플러스와 마이너스가 주어지고, 플러스를 더 자주 받으면 좋은 것이고, 마이너스를 더 자주 받으면 나쁜 것입니다. 지나치게 악의적인 논평가들을 막기 위해, 자신의 기사를 작성한 사람만 기사에 투표할 수 있다는 제안이 여러 번 있었습니다. 이 정도면 충분합니다.

둘째, 차단 경계가 너무 터무니없습니다. 수천 명의 사람들이 투표할 수 있는 포털에서 10개나 20개의 마이너스가 무슨 의미가 있을까? 평점의 평균값이 118인 것을 볼 수 있습니다. 이상치가 없다면 100 정도일 것입니다. 따라서 -100을 실제 경계로 삼아야 합니다. 그 이후부터는 10분에 한 번씩 댓글이 나타나고 다른 끔찍한 일도 발생하기 시작하며, 그 이후의 단계는 XNUMX이 아니라 XNUMX입니다.

셋째, 현재 사용되는 평가는 더 많은 활동성(즉, 시간에 대한 의존성)을 보여줍니다. "메시지당 평균 플러스" 평가를 표시하는 것이 더 유용할 것입니다. 그러면 사람들이 의미 없는 댓글로 넘쳐나지 않고, 상위 사용자가 더 정확하게 보일 것입니다. 즉, 더 유용한 메시지를 보낸 사람이 상위에 표시될 것입니다.

넷째, 커뮤니티 내에서 인위적으로 독성과 상호 증오를 조장하는 대신, "마이너스 전쟁"을 거의 공식적으로 승인하는 대신, 결국에는 무시만 추가하면 됩니다. 그리고 단순히 스포일러로 댓글을 숨기는 데 그치지 말고, "UFO가 귀하의 요청에 따라 이 항목을 숨겼습니다"와 같이 댓글을 숨겨주세요. 무시를 취소하려면 설정으로 가서 무시하려는 사람의 닉네임을 직접 입력해야 합니다. 즉, 무시 기능을 켜는 것은 쉽지만 끄는 것은 어려워야 합니다.

다섯째, 다시 한번 '평가가격' 문제를 제기할 때가 되었다고 생각합니다. 어떤 사람에게 마이너스를 주려면, 평가의 일부를 사용해야 합니다. 그 이유는 위에서 논의했습니다. 불만족스러운 사람은 만족한 사람이 플러스를 표시하는 것보다 마이너스를 표시할 가능성이 더 높습니다. 우리는 장단점의 가능성을 균등하게 해야 합니다.

마지막으로, 카르마를 현재 형태 그대로 장식과 전통의 요소로 남겨두고, 막힘과의 연결을 제거할 수 있습니다. 그러면 마침내 "왜 카르마를 걱정하세요? 저는 걱정하지 않아요. 아무 영향도 미치지 않아요"라는 일화를 늘어놓는 이 모든 농담꾼과 광대들이 마침내 진지하게 말할 수 있게 될 것입니다.

등록된 사용자만 설문 조사에 참여할 수 있습니다. 로그인제발

당신은 현재의 카르마 시스템에 만족하시나요?

• Да

• 아니

1710명의 사용자가 투표했습니다. 417명의 사용자가 기권했습니다.

출처 : habr.com