모두가 내 생일을 축하하는 동안 나는 아침까지 클러스터를 고치고 있었는데 개발자들은 자신들의 실수를 내 탓으로 돌렸다.

다음은 데브옵스 작업에 대한 나의 접근 방식을 영원히 바꿔놓은 이야기입니다. 코로나 이전 시대, 그들과 내가 사업을 계획하고 무작위 주문으로 프리랜서를 하고 있을 때, 한 가지 제안이 내 장바구니에 들어갔습니다.

이 글을 쓴 회사는 데이터 분석 회사였습니다. 그녀는 매일 수천 건의 요청을 처리했습니다. 그들은 우리에게 다음과 같은 말을 했습니다. 여러분, 우리는 ClickHouse를 가지고 있고 그 구성과 설치를 자동화하고 싶습니다. 우리는 Ansible, Terraform, Docker 등이 모두 Git에 저장되기를 원합니다. 우리는 각각 XNUMX개의 복제본이 있는 XNUMX개의 노드로 구성된 클러스터를 원합니다.

이는 표준 요청이고 수십 개가 있으므로 똑같이 우수한 표준 솔루션이 필요합니다. 우리는 "알겠습니다"라고 말했고 2~3주 후에 모든 것이 준비되었습니다. 그들은 일을 수락하고 유틸리티를 사용하여 새로운 Clickhouse 클러스터로 이동하기 시작했습니다.

아무도 Clickhouse를 조작하는 방법을 원하거나 알지 못했습니다. 그런 다음 우리는 이것이 그들의 주요 문제라고 생각했기 때문에 회사의 주유소에서는 다시는 거기에 가지 않도록 가능한 한 작업을 자동화하도록 우리 팀에 승인을주었습니다.

우리는 이동에 동행했고 백업 설정 및 모니터링과 같은 다른 작업이 발생했습니다. 동시에 이 회사의 주유소는 다른 프로젝트와 합병되어 우리 회사 중 하나인 Leonid가 사령관이 되었습니다. Lenya는 그다지 재능있는 사람이 아니 었습니다. 갑자기 클릭하우스를 맡게 된 단순 개발자. 무언가를 관리하는 것이 그의 첫 번째 임무인 것 같았고, 그 압도적인 영광은 그를 스타에 대한 감동으로 만들었습니다.

우리는 함께 백업을 시작했습니다. 원본 데이터를 즉시 백업하자고 제안했습니다. 그냥 가져다가 압축을 풀고 c3에 우아하게 던져보세요. 원시 데이터는 금입니다. 고정 및 복사를 사용하여 Clickhouse에서 테이블 자체를 백업하는 또 다른 옵션이 있습니다. 그러나 Lenya는 자신의 솔루션을 생각해 냈습니다.

그는 두 번째 Clickhouse 클러스터가 필요하다고 발표했습니다. 이제부터는 기본 클러스터와 백업 클러스터라는 두 클러스터에 데이터를 쓰겠습니다. 나는 그에게 Lenya에게 그것은 백업이 아니라 활성 복제본이 될 것이라고 말했습니다. 그리고 프로덕션 중에 데이터가 손실되기 시작하면 백업에서도 같은 일이 발생합니다.

그러나 Lenya는 운전대를 꽉 잡고 내 주장을 듣지 않았습니다. 우리는 채팅에서 오랫동안 그와 이야기를 나눴지만 할 일이 없었습니다. Lenya가 프로젝트를 담당했고 우리는 길거리에서 고용 된 아이들이었습니다.

클러스터의 상태를 모니터링하고 관리자의 작업에 대해서만 비용을 청구했습니다. 데이터에 접근하지 않고 순수한 Clickhouse 관리. 클러스터를 사용할 수 있었고 디스크도 양호했으며 노드도 양호했습니다.

우리는 팀 내의 심각한 오해로 인해 이 명령을 받았다는 사실을 거의 알지 못했습니다.

관리자는 Clickhouse가 느리고 데이터가 때때로 손실되는 것에 불만을 나타냈습니다. 그는 서비스 스테이션에 이를 파악하는 임무를 설정했습니다. 그는 최선을 다해 그것을 알아냈고 Clickhouse를 자동화하면 된다고 결론지었습니다. 그게 전부입니다. 그러나 곧 명확해지면서 데브옵스 팀이 전혀 필요하지 않았습니다.

이 모든 것이 매우 고통스러웠습니다. 그리고 가장 불쾌한 일은 그것이 내 생일이었다는 것입니다.

금요일 저녁. 제가 가장 좋아하는 와인바를 예약하고 친구들을 초대했어요.

떠나기 거의 전에 변경 작업을 받고 완료하면 모든 것이 정상입니다. 변경이 통과되고 클릭하우스가 확인되었습니다. 우리는 이미 술집에 가고 있는데 데이터가 충분하지 않다는 편지를 받았습니다. 우리는 모든 것이 충분하다고 계산했습니다. 그리고 그들은 축하하기 위해 떠났습니다.

금요일에 식당은 시끄러웠다. 음료와 음식을 주문한 후 우리는 소파에 누웠다. 그동안 내 여유는 천천히 메시지로 넘쳐났습니다. 그들은 데이터 부족에 대해 글을 썼습니다. 나는 아침이 저녁보다 현명하다고 생각했습니다. 특히 오늘.

XNUMX시가 가까워지자 그들은 전화를 걸기 시작했습니다. 회사장님이셨는데... “아마 축하해주기로 했을 것 같아요.”라고 머뭇거리며 나는 전화를 받았다.

그리고 나는 다음과 같은 말을 들었습니다. “당신이 우리 데이터를 망쳤어요! 돈을 지불하지만 아무것도 작동하지 않습니다! 당신은 백업을 담당했는데 아무 짓도 안 했어요! 고치자!" - 심지어 더 무례합니다.

- 그거 알아, 꺼져! 오늘은 내 생일입니다. 이제 나는 술을 마시고 쓰레기와 막대기로 만든 XNUMX 월 수제 제품을 사용하지 않을 것입니다!

그건 내가 말하지 않은 것입니다. 대신 노트북을 들고 출근했어요.

아니, 난 폭격했어, 난 미친 듯이 폭격했어! 그는 채팅에 "내가 그렇게 말했어"라는 가성을 쏟아 부었습니다. 왜냐하면 전혀 백업이 아닌 백업은 물론 아무것도 저장하지 않았기 때문입니다.

소년들과 나는 녹음을 수동으로 중지하고 모든 것을 확인하는 방법을 알아냈습니다. 우리는 실제로 일부 데이터가 기록되지 않았는지 확인했습니다.

우리는 기록을 중단하고 하루에 있었던 이벤트 수를 세었습니다. 그들은 더 많은 데이터를 업로드했는데 그 중 2/100.000만이 기록되지 않았습니다. 각각 33.000개의 복제본이 있는 XNUMX개의 샤드. XNUMX개의 행을 삽입했는데 XNUMX개가 기록되지 않았습니다.

완전한 혼란이있었습니다. 모두가 서로 차례대로 꺼지라고 말했습니다. Lenya가 먼저 거기에 갔고 그다음에는 나와 회사 창립자가갔습니다. 합류한 주유소만이 우리의 외침과 서신을 문제에 대한 해결책을 찾는 쪽으로 돌리려고 했습니다.

실제로 무슨 일이 일어나고 있는지 아무도 이해하지 못했습니다.

우리와 나는 모든 데이터의 XNUMX분의 XNUMX이 기록되지 않았을 뿐만 아니라 손실되었다는 사실을 깨닫고 깜짝 놀랐습니다! 회사의 순서는 다음과 같습니다. 삽입 후 데이터가 취소할 수 없게 삭제되고 이벤트가 일괄적으로 낭비되었습니다. 나는 Sergei가 이 모든 것을 어떻게 잃어버린 루블로 바꿀지 상상했습니다.

내 생일도 쓰레기통에 버렸어요. 우리는 바에 앉아 우리에게 던져진 퍼즐을 풀기 위해 아이디어를 떠올렸습니다. 클릭하우스의 몰락 이유는 명확하지 않았다. 네트워크일 수도 있고 Linux 설정일 수도 있습니다. 예, 당신이 원하는 것이 무엇이든, 충분한 가설이 있었습니다.

나는 개발자의 맹세를 받아들이지 않았지만 반대편에 있는 사람들을 버리는 것은 부정직한 일이었습니다. 그들이 모든 것에 대해 우리를 비난하더라도 말입니다. 나는 문제가 우리 측이 아니라 우리 결정에 있는 것이 아니라고 99% 확신했습니다. 우리가 망쳤을 1%의 확률은 불안으로 불타올랐다. 하지만 문제가 어느 쪽에 있든 문제는 해결되어야 했습니다. 고객이 누구든지 이러한 끔찍한 데이터 유출을 방치하는 것은 너무 잔인합니다.

우리는 새벽 XNUMX시까지 식당 테이블에서 일했습니다. 이벤트를 추가하고 선택 항목을 삽입한 다음 공백을 메우기 위해 이동했습니다. 데이터를 조작하는 방법은 다음과 같습니다. 이전 날의 평균 데이터를 가져와서 조작된 데이터에 삽입합니다.

새벽 XNUMX시가 지나서 친구와 저는 집에 가서 주류시장에서 맥주를 ​​주문했습니다. 저는 Clickhouse 문제로 노트북을 들고 앉아 있었는데, 친구가 제게 뭔가를 얘기하고 있었습니다. 그 결과 한 시간 후에 그는 내가 일하면서 그와 함께 맥주를 마시지 않는다는 사실에 기분이 상해서 떠났습니다. 클래식 - 저는 Devops의 친구였습니다.

오전 6시가 되자 테이블을 다시 생성했는데 데이터가 넘쳐나기 시작했습니다. 모든 것이 손실 없이 작동했습니다.

그렇다면 힘들었습니다. 모두가 데이터 손실에 대해 서로를 비난했습니다. 새로운 버그가 발생했다면 총격전이 벌어졌을 거라고 확신합니다.

이러한 싸움에서 우리는 마침내 이해하기 시작했습니다. 회사는 우리가 데이터 작업을 하고 테이블 구조를 모니터링하는 사람이라고 생각했습니다. 그들은 관리자와 딜러를 혼동했습니다. 그리고 그들은 관리자들과 다른 것을 우리에게 묻기 위해 왔습니다.

그들의 주된 불만은 - 대체 당신이 백업을 책임지고 제대로 수행하지 않았으며 계속해서 데이터를 낭비한다는 것입니다. 그리고 이 모든 것은 되감기 매트로 가능합니다.

나는 정의를 원했습니다. 나는 서신을 파헤쳐 모든 사람의 스크린샷을 첨부했습니다. Leonid는 온 힘을 다해 백업을 만들도록 강요했습니다. 내 전화 통화 후 해당 주유소가 우리 편을 들었습니다. 나중에 Lenya는 자신의 죄책감을 인정했습니다.

반대로 회사의 대표는 자신의 사람들을 비난하고 싶지 않았습니다. 스크린샷과 말은 그에게 아무런 영향을 미치지 않았습니다. 그는 우리가 이곳의 전문가이기 때문에 모두를 설득하고 우리의 결정을 주장해야 한다고 믿었습니다. 분명히 우리의 임무는 Lenya를 가르치고 더욱이 프로젝트 관리자로 임명 된 그를 우회하여 주요 사항에 도달하고 백업 개념에 대한 모든 의심을 개인적으로 그에게 쏟아 붓는 것이었습니다.

채팅에는 증오와 숨겨진, 그리고 숨길 수 없는 공격성이 스며들어 있었습니다. 나는 무엇을 해야할지 몰랐습니다. 모든 것이 정지되었습니다. 그리고 그들은 나에게 가장 쉬운 방법을 조언했습니다. 관리자에게 개인 메시지를 쓰고 그와의 만남을 주선하는 것입니다. Vasya, 실제 생활의 사람들은 채팅만큼 빠르지 않습니다. 상사는 내 메시지에 이렇게 대답했습니다. 질문하지 마세요.

내 경력에서 가장 무서운 회의였습니다. 클라이언트의 동료인 STO는 시간을 찾을 수 없었습니다. 나는 상사와 레나와 함께 회의에 갔다.

나는 가능한 대화를 머릿속에서 계속해서 반복했습니다. 나는 10분 전에 아주 일찍 도착할 수 있었습니다. 불안해지기 시작해서 담배 XNUMX개피를 피웠고, 그게 다라는 걸 이해했어요. 나는 그들을 설득할 수 없을 것이다. 그리고 그는 엘리베이터 안으로 들어섰다.

그는 일어나다가 라이터를 너무 세게 쳐서 깨뜨렸습니다.

결과적으로 Lenya는 회의에 참석하지 않았습니다. 그리고 우리는 사장님과 모든 것에 대해 좋은 대화를 나눴습니다! Sergei는 자신의 고통에 대해 나에게 말했습니다. 그는 "Clickhouse를 자동화"하고 싶지 않았습니다. 그는 "쿼리가 작동하도록" 하고 싶었습니다.

염소는 못 봤지만 좋은 남자가 자기 사업을 걱정하고 연중무휴 24시간 일에 몰두했어요. 채팅은 종종 우리를 악당, 악당, 어리석은 사람들로 끌어들입니다. 그러나 인생에서 이들은 당신과 같은 사람들입니다.

Sergei는 고용을 위해 두 명의 DevOps가 필요하지 않았습니다. 그들이 겪은 문제는 훨씬 더 큰 것으로 드러났습니다.

나는 그의 문제를 해결할 수 있다고 말했습니다. 그것은 완전히 다른 직업이고 그 일을 하는 친구가 있습니다. 이것이 그들을 위한 거래라는 것을 처음부터 알았더라면 우리는 많은 것을 피했을 것입니다. 늦었지만 문제는 인프라가 아닌 형편없는 데이터 관리에 있다는 것을 깨달았습니다.

우리는 악수를 했고 그들은 우리의 급여를 XNUMX배로 인상했지만, 그들의 데이터와 Clickhouse의 모든 혼란을 내가 스스로 책임진다는 조건으로 말입니다. 엘리베이터에서 나는 같은 DI 담당자 Max와 대화를 나누고 그를 직장에 연결했습니다. 전체 클러스터를 삽질해야했습니다.

채택된 프로젝트에는 쓰레기가 너무 많았습니다. 언급된 "백업"부터 시작합니다. 이 동일한 "백업" 클러스터는 격리되지 않은 것으로 나타났습니다. 그들은 그것에 대한 모든 것을 테스트했고 때로는 심지어 그것을 생산에 투입하기도 했습니다.

우리 내부 개발자들은 자신만의 맞춤형 데이터 삽입기를 만들었습니다. 그는 다음과 같이 작업했습니다. 파일을 일괄 처리하고 스크립트를 실행한 다음 데이터를 테이블에 병합했습니다. 하지만 가장 큰 문제는 하나의 간단한 요청에 엄청난 양의 데이터가 허용된다는 것입니다. 요청은 매초마다 데이터를 결합했습니다. 하나의 숫자 - 하루 금액을 위해서입니다.

사내 개발자가 분석 도구를 잘못 사용했습니다. 그들은 그라파나에 가서 왕실 요청서를 썼습니다. 2주간의 데이터를 업로드했습니다. 아름다운 그래프가 나왔습니다. 하지만 실제로는 데이터 요청이 10초마다 이루어졌습니다. Clickhouse가 단순히 처리를 중단하지 않았기 때문에 이 모든 것이 대기열에 쌓여 있었습니다. 여기에 주된 이유가 숨겨져 있습니다. Grafana에서는 아무 것도 작동하지 않았고 요청이 대기열에 있었으며 오래되고 관련 없는 데이터가 지속적으로 도착했습니다.

클러스터를 재구성하고 삽입을 다시 수행했습니다. 사내 개발자는 "삽입기"를 다시 작성했고 데이터를 올바르게 분할하기 시작했습니다.

Max는 전체 인프라 감사를 실시했습니다. 그는 본격적인 백엔드로의 전환 계획을 간략하게 설명했습니다. 그러나 이것은 회사에 적합하지 않았습니다. 그들은 Max로부터 구식 방식으로 일할 수 있지만 효율적으로만 일할 수 있는 마법의 비밀을 기대했습니다. Lenya는 여전히 프로젝트를 담당하고 있었지만 아무것도 배우지 못했습니다. 제안된 모든 것 중에서 그는 다시 자신의 대안을 선택했습니다. 늘 그렇듯, 이것은 가장 선택적이고... 대담한 결정이었습니다. Lenya는 그의 회사가 특별한 길을 가지고 있다고 믿었습니다. 가시가 많고 빙산이 가득합니다.

사실, 거기서 우리는 헤어졌습니다. 우리는 할 수 있는 일을 했습니다.

이 역사에서 얻은 지식과 지혜로 가득 찬 우리는 사업을 시작하고 스스로 몇 가지 원칙을 세웠습니다. 우리는 지금과 같은 방식으로 일을 시작하지 않을 것입니다.

이번 프로젝트 이후 DJ Max가 합류하게 되었고, 지금도 여전히 좋은 협업을 하고 있습니다. Clickhouse 사례를 통해 작업을 시작하기 전에 완전하고 철저한 인프라 감사를 수행하는 방법을 배웠습니다. 우리는 모든 것이 어떻게 작동하는지 이해한 다음 작업을 수락합니다. 이전에는 인프라 유지 관리를 위해 즉시 서둘러야 했다면 이제는 먼저 일회성 프로젝트를 수행하여 인프라를 작동 상태로 전환하는 방법을 이해하는 데 도움이 됩니다.

그리고 그렇습니다. 인프라가 형편없는 프로젝트는 피합니다. 돈이 많아도, 우정이 없어도. 아픈 프로젝트를 실행하는 것은 수익성이 없습니다. 이것을 깨닫는 것이 우리가 성장하는 데 도움이 되었습니다. 인프라를 정돈하고 유지 관리 계약을 체결하는 일회성 프로젝트이거나 그냥 넘어가는 것입니다. 또 다른 빙산을 지나갑니다.

PS 따라서 인프라에 대해 궁금한 점이 있으면 자유롭게 요청을 남겨주세요.

우리는 한 달에 2번의 무료 감사를 제공하며 아마도 귀하의 프로젝트도 그 중 하나일 것입니다.

출처 : habr.com