WAL-G: 새로운 기능과 커뮤니티 확장. 조지 릴로프

Georgy Rylov의 2020년 초 보고서 "WAL-G: 커뮤니티의 새로운 기회와 확장"의 녹취록을 읽어 보시기 바랍니다.

오픈 소스 관리자는 성장하면서 많은 어려움에 직면합니다. 점점 더 많은 필수 기능을 작성하고, 점점 더 많은 문제를 수정하고, 점점 더 많은 풀 요청을 볼 수 있도록 관리하는 방법은 무엇입니까? WAL-G(PostgreSQL용 백업 도구)를 예로 들어 대학에서 오픈 소스 개발 과정을 시작하여 이러한 문제를 어떻게 해결했는지, 우리가 달성한 성과와 앞으로 나아갈 방향에 대해 말씀드리겠습니다.

다시 한번 안녕하세요 여러분! 저는 예카테린부르크 출신의 Yandex 개발자입니다. 오늘은 WAL-G에 대해 이야기하겠습니다.

보고서 제목에는 백업에 관한 내용이 나와 있지 않았습니다. WAL-G가 무엇인지 아는 사람이 있나요? 아니면 다들 알고 계시나요? 모르시면 손을 드세요. 젠장, 당신은 보고서에 왔는데 그게 무슨 내용인지 모르시는군요.

오늘 무슨 일이 일어날지 말씀드리겠습니다. 우리 팀은 꽤 오랫동안 백업을 수행해 왔습니다. 이는 데이터를 안전하고 안전하며 편리하고 효율적으로 저장하는 방법에 대해 설명하는 시리즈의 또 다른 보고서입니다.

이전 시리즈에는 Andrei Borodin과 Vladimir Leskov의 보고서가 많이 있었습니다. 우리 중 많은 사람들이있었습니다. 그리고 우리는 수년 동안 WAL-G에 대해 이야기해 왔습니다.

clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981

이 보고서는 기술적인 부분에 더 중점을 두었다는 점에서 다른 보고서와 조금 다를 수 있지만, 여기서는 커뮤니티 성장과 관련된 문제에 어떻게 직면했는지에 대해 이야기하겠습니다. 그리고 우리가 이에 대처하는 데 도움이 되는 작은 아이디어를 어떻게 생각해 냈는지.

몇 년 전, WAL-G는 Citus Data에서 얻은 상당히 작은 프로젝트였습니다. 그리고 우리는 그것을 가져갔습니다. 그리고 그것은 한 사람에 의해 개발되었습니다.

그리고 WAL-G만이 다음을 가지고 있지 않았습니다:

• 복제본에서 백업합니다.
• 증분 백업이 없었습니다.
• WAL-Delta 백업이 없었습니다.
• 그리고 아직 부족한 부분이 많이 있었습니다.

지난 몇 년 동안 WAL-G는 많이 성장했습니다.

그리고 2020년에는 위의 모든 사항이 이미 나타났습니다. 그리고 여기에 현재 우리가 갖고 있는 것이 추가되었습니다:

• GitHub의 별표가 1개가 넘습니다.
• 포크 150개.
• 약 15개의 공개 PR이 있습니다.
• 그리고 더 많은 기여자들이 있습니다.
• 그리고 항상 이슈를 공개하세요. 그리고 이것은 우리가 문자 그대로 매일 그곳에 가서 그것에 대해 뭔가를 한다는 사실에도 불구하고 말입니다.

그리고 우리는 Yandex의 관리형 데이터베이스 서비스를 위해 아무것도 구현할 필요가 없는 경우에도 이 프로젝트에 더 많은 관심이 필요하다는 결론에 도달했습니다.

그리고 2018년 가을쯤에 우리는 한 가지 아이디어를 떠올렸습니다. 일반적으로 팀에는 인력이 충분하지 않은 경우 일부 기능을 개발하거나 버그를 수정하는 여러 가지 방법이 있습니다. 예를 들어, 다른 개발자를 고용하고 그에게 돈을 지불할 수 있습니다. 아니면 잠시 동안 인턴을 고용하고 그에게 급여를 지급할 수도 있습니다. 그러나 여전히 꽤 많은 사람들이 있고, 그들 중 일부는 이미 코드 작성 방법을 알고 있습니다. 코드의 품질이 어떤지 항상 알 수는 없습니다.

우리는 그것에 대해 생각하고 학생들을 유치하기로 결정했습니다. 하지만 학생들은 우리와 함께 모든 일에 참여하지 않을 것입니다. 그들은 작업의 일부만을 수행할 것입니다. 예를 들어 테스트 작성, 버그 수정, 주요 기능에 영향을 주지 않는 기능 구현 등을 수행합니다. 주요 기능은 백업 생성 및 백업 복원입니다. 백업 생성에 실수를 하면 데이터 손실이 발생합니다. 물론 누구도 이것을 원하지 않습니다. 모든 사람은 모든 것이 매우 안전하기를 원합니다. 그러므로 물론 우리는 우리 자신의 코드보다 덜 신뢰하는 코드를 허용하고 싶지 않습니다. 즉, 중요하지 않은 코드는 추가 작업자로부터 받고 싶은 코드입니다.

학생 PR은 어떤 조건에서 인정되나요?

• 그들은 테스트를 통해 코드를 다루어야 합니다. 모든 것은 CI에서 이루어져야 합니다.
• 그리고 우리는 또한 2개의 리뷰를 거칩니다. 하나는 안드레이 보로딘(Andrey Borodin)의 것이고 하나는 제가 만든 것입니다.
• 또한, 이로 인해 서비스가 중단되지 않는지 확인하기 위해 이 커밋과 함께 어셈블리를 별도로 업로드합니다. 그리고 우리는 아무것도 실패하지 않는 엔드 투 엔드 테스트를 확인합니다.

오픈소스 특별강좌

이것이 왜 필요한지, 그리고 이것이 왜 멋진 아이디어인지에 대해 조금 설명합니다.

우리에게는 이익이 분명합니다.

• 우리는 추가 손을 얻습니다.
• 그리고 스마트 코드를 작성하는 똑똑한 학생들 중에서 팀의 후보자를 찾고 있습니다.

학생들에게 어떤 혜택이 있나요?

학생들은 최소한 자신이 작성한 코드에 대해 돈을 받지 않고 학생 기록에 대해서만 성적을 받기 때문에 덜 명확할 수 있습니다.

나는 그들에게 이것에 대해 물었습니다. 그리고 그들의 말에 따르면:

• 오픈소스 기여자 경험.
• 이력서에 한 줄씩 적으세요.
• 자신을 증명하고 Yandex 인터뷰에 합격하세요.
• GSoC 회원이 되세요.
• 코드를 작성하고 싶은 사람들을 위한 +1 특별 코스.

코스가 어떻게 구성되었는지는 이야기하지 않겠습니다. WAL-G가 메인 프로젝트였다고만 말씀드리겠습니다. 이 과정에는 Odyssey, PostgreSQL 및 ClickHouse와 같은 프로젝트도 포함되었습니다.

그리고 그들은 이 과정에서만 문제를 낸 것이 아니라 졸업장과 교과 과정도 나눠주었습니다.

사용자에게 어떤 이점이 있나요?

이제 가장 관심 있는 부분으로 넘어가겠습니다. 이것이 당신에게 무슨 소용이 있나요? 요점은 학생들이 많은 버그를 수정했다는 것입니다. 그리고 우리는 귀하가 요청한 요청 기능을 만들었습니다.

그리고 오랫동안 원하셨던 것과 실현된 것들에 대해 말씀드리겠습니다.

테이블스페이스를 지원합니다. WAL-G의 테이블스페이스는 아마도 WAL-G 출시 이후 예상되었을 것입니다. 왜냐하면 WAL-G는 테이블스페이스를 사용한 데이터베이스 백업이 지원되는 또 다른 백업 도구인 WAL-E의 후속이기 때문입니다.

그것이 무엇인지, 왜 그것이 모두 필요한지 간략하게 상기시켜 드리겠습니다. 일반적으로 모든 Postgres 데이터는 파일 시스템에서 기본이라는 디렉터리 하나를 차지합니다. 그리고 이 디렉터리에는 Postgres에 필요한 모든 파일과 하위 디렉터리가 이미 포함되어 있습니다.

테이블스페이스는 Postgres 데이터를 포함하는 디렉터리이지만 기본 디렉터리 외부에 위치하지는 않습니다. 슬라이드에서는 테이블스페이스가 기본 디렉터리 외부에 위치함을 보여줍니다.

Postgres 자체에서는 이것이 어떤 모습입니까? 기본 디렉터리에는 별도의 하위 디렉터리 pg_tblspc가 있습니다. 그리고 기본 디렉터리 외부에 실제로 Postgres 데이터가 포함된 디렉터리에 대한 심볼릭 링크가 포함되어 있습니다.

이 모든 것을 사용하면 이러한 명령이 다음과 같이 보일 수 있습니다. 즉, 지정된 테이블스페이스에 테이블을 생성하고 현재 위치를 확인합니다. 이것은 마지막 두 줄이며 마지막 두 명령이 호출되었습니다. 그리고 어떤 방법이 있다는 것이 분명합니다. 그러나 현실적으로 이것은 실제적인 방식은 아니다. 이는 기본 디렉터리에서 테이블스페이스까지의 접두사가 붙은 경로입니다. 그리고 거기에서 실제 데이터로 연결되는 심볼릭 링크와 일치됩니다.

우리 팀에서는 이 모든 것을 사용하지 않지만 WAL-G로 이동하고 싶다고 우리에게 편지를 보낸 다른 많은 WAL-E 사용자가 사용했지만 이로 인해 중단되었습니다. 이제 이것이 지원됩니다.

우리의 특별 코스가 가져온 또 다른 특징은 따라잡기입니다. Postgres보다 Oracle과 더 많이 일한 사람들은 따라잡기에 대해 알고 있습니다.

그것이 무엇인지 간략하게 설명합니다. 우리 서비스의 클러스터 토폴로지는 일반적으로 다음과 같습니다. 우리에게는 주인이 있습니다. 미리 쓰기 로그를 스트리밍하는 복제본이 있습니다. 그리고 복제본은 현재 어느 LSN에 있는지 마스터에게 알려줍니다. 그리고 이와 병행하여 로그를 보관할 수 있습니다. 그리고 로그 보관 외에도 백업도 클라우드로 전송됩니다. 그리고 델타 백업이 전송됩니다.

무엇이 문제일까요? 데이터베이스가 상당히 큰 경우 복제본이 마스터보다 훨씬 뒤처지기 시작할 수 있습니다. 그리고 그녀는 너무 뒤쳐져서 결코 그를 따라잡을 수 없습니다. 이 문제는 일반적으로 어떻게든 해결되어야 합니다.

그리고 가장 쉬운 방법은 복제본을 제거하고 다시 업로드하는 것입니다. 왜냐하면 결코 따라잡을 수 없고 문제를 처리해야 하기 때문입니다. 그러나 전체 10TB 데이터베이스 백업을 복원하는 데는 매우 오랜 시간이 걸리기 때문에 이것은 꽤 오랜 시간이 걸립니다. 그리고 우리는 그러한 문제가 발생할 경우 가능한 한 빨리 이 모든 작업을 수행하고 싶습니다. 이것이 바로 따라잡기의 목적입니다.

Catchup을 사용하면 이러한 방식으로 클라우드에 저장되는 델타 백업을 사용할 수 있습니다. 지연된 복제본이 현재 어느 LSN에 있는지 말하고 catchup 명령에 이를 지정하여 해당 LSN과 클러스터가 현재 위치한 LSN 사이에 델타 백업을 생성합니다. 그런 다음 이 백업을 뒤처진 복제본으로 복원합니다.

기타 기지

학생들은 또한 우리에게 많은 기능을 한꺼번에 가져왔습니다. Yandex에서는 Postgres뿐만 아니라 MySQL, MongoDB, Redis, ClickHouse도 요리하고 있기 때문에 어떤 시점에서는 MySQL에 대한 특정 시점 복구를 통해 백업을 만들 수 있어야 했고 업로드할 기회가 있었습니다. 클라우드로 이동하세요.

그리고 우리는 WAL-G와 비슷한 방식으로 이를 수행하고 싶었습니다. 그리고 우리는 그것이 어떻게 보일지 실험하고 알아보기로 결정했습니다.

그리고 처음에는 이 논리를 어떤 식으로든 공유하지 않고 포크에 코드를 작성했습니다. 그들은 우리에게 일종의 작동 모델이 있고 그것이 날 수 있다는 것을 보았습니다. 그런 다음 우리의 주요 커뮤니티가 포스트그레스트이고 WAL-G를 사용한다고 생각했습니다. 그러므로 우리는 어떻게든 이 부분들을 분리해야 합니다. 즉, Postgres용 코드를 편집해도 MySQL이 손상되지 않으며, MySQL을 편집해도 Postgres가 손상되지 않습니다.

이를 분리하는 방법에 대한 첫 번째 아이디어는 PostgreSQL 확장에서 사용되는 것과 동일한 접근 방식을 사용한다는 아이디어였습니다. 그리고 실제로 MySQL 백업을 만들려면 일종의 동적 라이브러리를 설치해야 했습니다.

그러나 여기서 이 접근법의 비대칭성은 즉시 드러납니다. Postgres를 백업할 때 Postgres에 대한 일반 백업을 넣으면 모든 것이 정상입니다. 그리고 MySQL의 경우 Postgres용 백업을 설치하고 이를 위한 MySQL용 동적 라이브러리도 설치하는 것으로 나타났습니다. 좀 이상하게 들리네요. 우리도 그렇게 생각했고 이것이 우리에게 필요한 솔루션이 아니라고 결정했습니다.

Postgres, MySQL, MongoDB, Redis를 위한 다양한 빌드

그러나 이를 통해 우리는 서로 다른 기반에 서로 다른 어셈블리를 할당하는 올바른 결정을 내릴 수 있었던 것 같습니다. 이를 통해 WAL-G가 구현하는 공통 API에 액세스하는 다양한 데이터베이스의 백업과 연결된 논리를 분리할 수 있게 되었습니다.

이것은 학생들에게 문제를 주기 전에 우리가 직접 작성한 부분입니다. 즉, 이 부분이 바로 그들이 잘못할 수 있는 부분이기 때문에 우리는 이렇게 하는 것이 낫겠다고 생각했고 모든 것이 잘 될 것입니다.

그 후 우리는 문제를 내놓았습니다. 그들은 즉시 해체되었습니다. 학생들은 세 가지 기지를 지지해야 했습니다.

이것이 우리가 XNUMX년 넘게 이런 방식으로 WAL-G를 이용해 백업해 온 MySQL이다.

이제 MongoDB는 프로덕션에 접근하고 있으며 파일로 마무리하고 있습니다. 사실 우리는 이 모든 것을 위한 프레임워크를 작성했습니다. 그런 다음 학생들은 실행 가능한 몇 가지 글을 썼습니다. 그런 다음 이를 프로덕션에서 수용할 수 있는 상태로 만듭니다.

이러한 문제는 학생들이 각 데이터베이스에 대한 완전한 백업 도구를 작성하는 데 필요한 것처럼 보이지 않았습니다. 우리는 그런 문제가 없었습니다. 문제는 특정 시점 복구를 원하고 클라우드에 백업하고 싶다는 것이었습니다. 그리고 학생들에게 이 문제를 해결할 수 있는 코드를 작성해 달라고 요청했습니다. 학생들은 어떻게든 백업을 수행하는 기존 백업 도구를 사용한 다음 WAL-G로 모두 접착하여 클라우드로 전달했습니다. 그리고 여기에 특정 시점 복구도 추가했습니다.

학생들은 또 무엇을 가져왔나요? 그들은 WAL-G에 Libsodium 암호화 지원을 도입했습니다.

백업 스토리지 정책도 있습니다. 이제 백업을 영구 백업으로 표시할 수 있습니다. 그리고 서비스가 이를 저장하는 과정을 자동화하는 것이 어떻게든 더 편리합니다.

이 실험의 결과는 무엇이었나요?

처음에 100명 이상이 강좌에 등록했습니다. 처음에 나는 예카테린부르크에 있는 대학이 우랄 연방 대학이라고 말하지 않았습니다. 우리는 거기에서 모든 것을 발표했습니다. 100명이 등록했습니다. 실제로 뭔가를 시작한 사람은 훨씬 적은 30명 정도였습니다.

이미 존재하는 코드에 대한 테스트를 작성해야 했기 때문에 과정을 완료한 사람은 더욱 적었습니다. 또한 일부 버그를 수정하거나 일부 기능을 만드세요. 그리고 일부 학생들은 여전히 ​​​​강좌를 폐쇄했습니다.

현재 이 과정에서 학생들은 약 14개의 이슈를 수정하고 다양한 크기의 10개 기능을 만들었습니다. 그리고 제 생각에는 이것은 한두 명의 개발자를 완전히 대체하는 것 같습니다.

무엇보다도 우리는 졸업장과 교과 과정을 발행했습니다. 그리고 12명이 졸업장을 받았습니다. 그 중 6명은 이미 '5'를 방어했습니다. 남은 사람들은 아직 보호를받지 못했지만 그들에게도 모든 것이 잘 될 것이라고 생각합니다.

앞으로의 계획

우리는 미래에 어떤 계획을 갖고 있나요?

최소한 사용자로부터 이미 듣고 원하는 기능 요청이 있습니다. 이것:

• HA 클러스터 백업 아카이브에서 타임라인 추적의 정확성을 모니터링합니다. WAL-G를 사용하면 이 작업을 수행할 수 있습니다. 그리고 저는 이 문제를 다룰 학생들이 있을 것이라고 생각합니다.
• 클라우드 간 백업 및 WAL 전송을 담당하는 사람이 이미 있습니다.
• 그리고 최근에는 페이지를 다시 작성하지 않고 증분 백업의 압축을 풀고 거기로 보내는 아카이브를 최적화하여 WAL-G 속도를 더욱 높일 수 있다는 아이디어를 발표했습니다.

여기에서 공유할 수 있습니다.

이 보고서는 무엇을 위한 것이었습니까? 게다가 지금은 이 프로젝트를 지원해주시는 4명 외에도 추가로 손이 많이 가셔서 그 수가 꽤 많아요. 특히 개인적인 메시지로 편지를 쓰는 경우에는 더욱 그렇습니다. 그리고 데이터를 백업하고 WAL-G를 사용하여 수행하거나 WAL-G로 이동하려는 경우 우리는 귀하의 희망 사항을 매우 쉽게 수용할 수 있습니다.

QR코드와 링크입니다. 당신은 그것을 통해 당신의 모든 소원을 쓸 수 있습니다. 예를 들어, 일부 버그를 수정하는 것이 아닙니다. 또는 어떤 기능을 정말로 원하지만 어떤 이유로든 아직 우리를 포함한 어떤 백업에도 해당 기능이 없습니다. 이것에 대해 꼭 쓰십시오.

질문

안녕하세요! 신고해 주셔서 감사합니다! WAL-G에 관한 질문이지만 Postgres에 관한 질문은 아닙니다. WAL-G는 MySQL을 백업하고 추가 백업을 호출합니다. CentOS에 최신 설치를 하고 MySQL을 yum 설치하면 MariDB가 설치됩니다. 버전 10.3부터는 추가 백업이 지원되지 않고 MariDB 백업이 지원됩니다. 이거 어때요?

현재로서는 MariDB 백업을 시도하지 않았습니다. FoundationDB 지원 요청이 있었지만 일반적으로 그러한 요청이 있으면 이를 수행할 사람을 찾을 수 있습니다. 생각보다 길지도, 어렵지도 않아요.

좋은 오후에요 신고해 주셔서 감사합니다! 잠재적인 새로운 기능에 대한 질문입니다. 테이프에 백업할 수 있도록 WAL-G를 테이프와 함께 사용할 준비가 되셨습니까?

테이프 스토리지에 백업한다는 의미는 무엇입니까?

네.

이 질문에 나보다 더 잘 답할 수 있는 사람은 안드레이 보로딘(Andrei Borodin)이다.

(안드레이) 네, 질문해주셔서 감사합니다! 클라우드 스토리지에서 테이프로 백업을 전송해 달라는 요청이 있었습니다. 그리고 이를 위해 제재 클라우드 간 전송. 클라우드 간 전송은 테이프 전송의 일반화된 버전이기 때문입니다. 또한 스토리지 측면에서 확장 가능한 아키텍처를 갖추고 있습니다. 그런데 많은 Storoges는 학생들이 썼습니다. 그리고 테이프용 스토리지를 작성하면 당연히 지원됩니다. 우리는 끌어오기 요청을 고려할 준비가 되었습니다. 거기에서 파일을 쓰고 파일을 읽어야 합니다. Go에서 이러한 작업을 수행하면 일반적으로 50줄의 코드가 생성됩니다. 그러면 WAL-G에서 테이프가 지원됩니다.

신고해 주셔서 감사합니다! 흥미로운 개발 과정. 백업은 테스트를 통해 잘 다루어야 하는 중요한 기능입니다. 새 데이터베이스에 대한 기능을 구현할 때 학생들도 테스트를 작성했습니까, 아니면 직접 테스트를 작성한 다음 학생들에게 구현을 제공했습니까?

학생들은 또한 테스트를 작성했습니다. 그러나 학생들은 새로운 데이터베이스와 같은 기능에 대해 더 많은 글을 썼습니다. 그들은 통합 테스트를 작성했습니다. 그리고 그들은 단위 테스트를 작성했습니다. 통합이 통과되면, 즉 현재 이 스크립트는 수동으로 실행하거나 cron에서 수행하는 스크립트입니다. 즉, 거기의 대본은 매우 명확합니다.

학생들은 경험이 많지 않습니다. 검토하는데 시간이 많이 걸리나요?

네, 검토에는 시간이 꽤 많이 걸립니다. 즉, 일반적으로 여러 명의 커미터가 동시에 와서 내가 이것을 했다, 내가 저것을 했다고 말하면 그들이 거기에 무엇을 썼는지 알아내기 위해 반나절 정도 생각하고 따로 시간을 할애해야 합니다. 코드를 주의 깊게 읽어야 하기 때문입니다. 그들은 인터뷰를 하지 않았습니다. 우리는 그것들을 잘 알지 못하기 때문에 상당한 시간이 걸립니다.

신고해 주셔서 감사합니다! 이전에 Andrey Borodin은 WAL-G의 archive_command를 직접 호출해야 한다고 명시했습니다. 그러나 일종의 클러스터 카트리지의 경우 샤프트를 보낼 노드를 결정하기 위한 추가 논리가 필요합니다. 이 문제를 어떻게 스스로 해결합니까?

여기서 당신의 문제는 무엇입니까? 백업을 만드는 데 사용할 동기식 복제본이 있다고 가정해 보겠습니다. 또는 무엇을?

(Andrey) 사실 WAL-G는 쉘 스크립트 없이 사용되도록 고안되었습니다. 누락된 항목이 있으면 WAL-G 내부에 있어야 하는 논리를 추가해 보겠습니다. 보관이 어디서 이루어져야 하는지에 관해서는 클러스터의 현재 마스터에서 보관이 이루어져야 한다고 믿습니다. 복제본을 보관하는 것은 좋지 않은 생각입니다. 문제가 있는 다양한 시나리오가 있습니다. 특히 일정 및 추가 정보를 보관하는 데 문제가 있습니다. 질문해주셔서 감사합니다!

(설명: 쉘 스크립트를 제거했습니다. 이 문제에)

좋은 저녁이에요! 신고해 주셔서 감사합니다! 말씀하신 캐치업 기능에 관심이 있습니다. 복제본이 뒤쳐져 따라잡을 수 없는 상황에 직면하게 되었습니다. 그리고 WAL-G 문서에서는 이 기능에 대한 설명을 찾지 못했습니다.

Catchup은 말 그대로 20년 2020월 XNUMX일에 등장했습니다. 문서에 추가 작업이 필요할 수 있습니다. 우리는 그것을 스스로 작성하지만 아주 잘 작성하지는 않습니다. 그리고 아마도 우리는 학생들에게 그것을 쓰도록 요구하기 시작해야 할 것입니다.

이미 출시됐나요?

끌어오기 요청이 이미 종료되었습니다. 즉, 확인했습니다. 테스트 클러스터에서 이것을 시도했습니다. 지금까지는 전투 예시에서 이를 테스트할 수 있는 상황이 없었습니다.

언제 예상하나요?

모르겠습니다. 한달만 기다려주시면 확인해보겠습니다.

출처 : habr.com