19개의 히드라 머리. 프로그램에 대한 훌륭한 개요

11월 12~XNUMX일 상트페테르부르크에서 회의가 개최됩니다. 히드라, 병렬 및 분산 시스템 개발에 전념하고 있습니다. Hydra의 비결은 과학과 실무의 교차점에서 멋진 과학자(보통 외국 과학 회의에서만 볼 수 있음)와 유명한 실무 엔지니어를 하나의 큰 프로그램으로 통합한다는 것입니다.

Hydra는 지난 몇 년간 가장 중요한 컨퍼런스 중 하나입니다. 그 전에는 매우 진지한 준비, 연사 선정 및 보고서가 있었습니다. 지난주에는 이에 대해 하브로 인터뷰 나왔어요 JUG.ru 그룹의 이사인 Alexey Fedorov(23데레보).

우리 이미 말했다 분산 시스템 이론의 창시자인 Leslie Lamport, Maurice Herlihy 및 Michael Scott 등 세 명의 중요한 참가자에 대해 설명합니다. 이제 전체 프로그램에 대해 더 자세히 이야기할 시간입니다!

자극

프로그래밍에 참여하고 있다면 어떤 식으로든 멀티스레딩과 분산 컴퓨팅을 다루고 있는 것입니다. 관련 분야의 전문가들이 그들과 직접적으로 협력하지만, 암시적으로 분산은 모든 곳에서 우리를 바라보고 있습니다. 모든 멀티 코어 컴퓨터나 분산 서비스에는 계산을 병렬로 수행하는 것이 있습니다.

애플리케이션 프로그래밍의 다양한 측면을 다루는 많은 컨퍼런스가 있습니다. 스펙트럼의 반대편에는 강의 형식으로 방대한 양의 복잡한 이론을 공개하는 전문 과학 학교가 있습니다. 예를 들어, 상트페테르부르크의 Hydra와 병행하여 SPTDDC 학교. Hydra 회의에서 우리는 가혹한 관행과 과학, 그리고 교차점에 있는 모든 것을 하나로 모으려고 노력했습니다.

생각해 보십시오. 우리는 우리가 연구하는 과학 및 공학 분야의 창시자들을 직접 만날 수 있는 놀라운 시대에 살고 있습니다. 물리학자들은 뉴턴이나 아인슈타인을 만나지 않을 것입니다. 기차는 떠났습니다. 그러나 우리 옆에는 분산 시스템 이론의 기초를 만들고, 대중적인 프로그래밍 언어를 발명하고, 이 모든 것을 처음으로 작동하는 프로토타입에 구현한 사람들이 여전히 살고 있습니다. 이들은 중도에 회사를 그만둔 것이 아니라 현재 세계 유수의 대학과 기업에서 시급한 문제를 해결하기 위해 노력하고 있으며 오늘날 가장 큰 지식과 경험의 원천입니다.

반면에 그들을 만날 기회는 일반적으로 순전히 이론적으로 남아 있습니다. 우리 중 일부는 로체스터 대학교에서 공개 이벤트를 지속적으로 모니터링한 다음 Michael Scott과 함께 강의하기 위해 미국으로 달려갔다가 돌아올 수 있습니다. 모든 Hydra 회원을 방문하려면 엄청난 시간 낭비를 제외하고는 약간의 비용이 들 것입니다(흥미로운 퀘스트처럼 들리지만).

반면에, 현재 분산 시스템의 긴급한 문제를 해결하기 위해 노력하고 있는 최고의 엔지니어들이 많이 있는데, 그들은 분명히 할 말이 많습니다. 하지만 여기에 문제가 있습니다. работают, 그리고 그들의 시간은 소중합니다. 예, Microsoft, Google 또는 JetBrains의 직원이라면 내부 이벤트에서 유명한 연사 중 한 명을 만날 가능성이 급격히 높아지지만 일반적으로 아니요, 매일 이런 일이 발생하는 것은 아닙니다.

이러한 방식으로 Hydra 회의는 우리 대부분이 스스로 할 수 없는 중요한 작업을 수행합니다. 한 장소에서 한 번에 여러분의 삶을 변화시킬 수 있는 아이디어나 상호 작용을 가진 사람들을 한자리에 모으는 것입니다. 모든 사람에게 분산 시스템이나 복잡한 기본 사항이 필요한 것은 아니라는 점을 인정합니다. 평생 동안 PHP로 CRUD를 프로그래밍하고 완전히 행복한 상태를 유지할 수 있습니다. 하지만 필요하신 분은 지금이 기회입니다.

하브레에 대한 하이드라 회의가 처음 발표된 이후 꽤 오랜 시간이 흘렀습니다. 이 기간 동안 많은 작업이 수행되었으며 이제 거의 모든 보고서 목록이 제공됩니다. 느린 단일 스레드 알고리즘이 아닌 순수한 분산 하드코어입니다! 일반적인 단어로 끝내고 지금 우리 손에 무엇이 있는지 살펴 보겠습니다.

기조연설

기조 연설은 컨퍼런스 기간의 시작과 끝을 맺습니다. 일반적으로 개회 기조연설의 핵심은 회의의 전반적인 정신과 방향을 설정하는 것입니다. 마지막 기조연설에서는 선을 긋고 컨퍼런스 동안 습득한 지식과 기술로 우리가 어떻게 살아갈 수 있는지 설명합니다. 시작과 끝: 가장 잘 기억되고 일반적으로 의미가 높아지는 것.

클리프 클릭 H2O 분산 K/V 알고리즘

Cliff는 Java 세계의 전설입니다. 90년대 후반에 그는 박사 학위 논문을 위해 다음과 같은 논문을 썼습니다. "분석 결합, 최적화 결합", 이는 얼마 후 HotSpot JVM Server Compiler의 기초가 되었습니다. XNUMX년 후 그는 이미 Sun Microsystems의 JVM에서 일하고 있었고 JIT가 존재할 권리가 있음을 전 세계에 보여주었습니다. Java가 어떻게 가장 스마트하고 빠른 최적화 기능을 갖춘 가장 빠른 최신 런타임 중 하나인지에 대한 전체 이야기는 Cliff Click에서 나왔습니다. 처음에는 정적 컴파일러가 액세스할 수 있는 항목이 있으면 이를 지팅할 필요조차 없다고 믿었습니다. Cliff와 팀의 노력 덕분에 모든 새로운 언어는 기본적으로 JIT 컴파일이라는 아이디어로 만들어지기 시작했습니다. 물론 이 일이 혼자만의 일은 아니었지만, 그 일에서 클리프의 역할은 매우 중요했다.

오프닝 기조연설에서 Cliff는 그의 또 다른 노력에 대해 이야기할 것입니다. H20, 산업용 애플리케이션을 위한 분산 및 확장 가능한 기계 학습을 위한 인메모리 플랫폼입니다. 또는 더 정확하게는 내부에 키-값 쌍의 분산 저장에 관한 것입니다. 이는 흥미로운 속성이 많이 포함된 매우 빠른 저장소입니다(정확한 목록은 설명), 이를 통해 빅 데이터 스트리밍 수학에서 유사한 솔루션을 사용할 수 있습니다.

Cliff가 제공할 또 다른 보고서는 다음과 같습니다. Azul 하드웨어 트랜잭션 메모리 경험. 그의 전기의 또 다른 부분 - XNUMX년 아줄에서 ​​근무, 그는 Azul 하드웨어 및 기술 스택에서 JIT 컴파일러, 런타임, 스레드 모델, 오류 처리, 스택 처리, 하드웨어 인터럽트, 클래스 로딩 등 많은 항목을 업데이트하고 개선했습니다. 아이디어.

가장 흥미로운 부분은 그들이 대기업을 위한 하드웨어, 즉 Java를 실행하는 슈퍼컴퓨터를 만들면서 시작되었습니다. 이는 짧은 일시정지 가비지 수집을 위한 읽기 메모리 장벽, 경계 검사가 포함된 배열, 가상 호출 등 특별한 요구 사항이 있는 Java용으로 특별히 맞춤화된 다소 혁신적인 것이었습니다. 가장 멋진 기술 중 하나는 하드웨어 트랜잭션 메모리입니다. 1개 코어의 전체 L864은 트랜잭션 쓰기에 참여할 수 있으며 이는 Java의 잠금 작업에 특히 중요합니다(동기화된 블록은 실제 메모리 충돌이 없는 한 병렬로 작동할 수 있습니다). 그러나 이 아름다운 아이디어는 가혹한 현실에 의해 무너졌습니다. 이 강연에서 Cliff는 왜 HTM과 STM이 멀티스레드 컴퓨팅의 실제 요구에 적합하지 않은지 설명할 것입니다.

마이클 스콧 - 이중 데이터 구조

마이클 스콧 - 운명적으로 인연을 맺은 로체스터 대학교 컴퓨터 과학 교수 벌써 34살이네, 그리고 그의 고향인 University of Wisconsin–Madison에서 그는 XNUMX년 동안 학장을 역임했습니다. 그는 병렬 및 분산 프로그래밍과 언어 설계에 대해 연구하고 학생들을 가르칩니다.

교과서 덕분에 전 세계가 마이클을 알아요 "프로그래밍 언어 화용론", 최신판은 비교적 최근인 2015년에 출판되었습니다. 그의 직업 "공유 메모리 다중 프로세서에서 확장 가능한 동기화를 위한 알고리즘" 받은 데이크스트라 상 분산 컴퓨팅 분야에서 가장 유명한 사람 중 하나이며 공개적으로 거짓말 로체스터 대학교 온라인 도서관에서. 당신은 또한 그를 Michael-Scott 알고리즘의 저자로 알고 있을 수도 있습니다. "간단하고 빠르며 실용적인 비차단 및 차단 동시 대기열 알고리즘".

Java 세계의 경우 이는 특별한 경우입니다. Doug Lea와 함께 그는 Java 라이브러리가 작동하는 비차단 알고리즘과 동기 대기열을 개발했습니다. 이것이 바로 "이중 데이터 구조" 기조연설에 관한 내용입니다. Java SE 6에 이러한 구조가 도입되면서 성능이 10배 향상되었습니다. java.util.concurrent.ThreadPoolExecutor. 이러한 "이중 데이터 구조"가 무엇인지 미리 궁금하다면 이에 대한 정보가 있습니다. 관련된 일.

모리스 헐리히 - 블록체인과 분산 컴퓨팅의 미래

모리스 헐리히 - Dijkstra 상을 두 번이나 수상했습니다. 첫 번째는 작업용입니다. "대기 없는 동기화" (Brown University), 그리고 두 번째로 최근에는 - "트랜잭션 메모리: 잠금 해제 데이터 구조를 위한 아키텍처 지원" (버지니아 공과대학교). 다익스트라상(Dijkstra Prize)은 적어도 XNUMX년 동안 그 중요성과 영향력이 눈에 띄게 나타난 작품을 인정하며, 모리스는 분명히 해당 분야에서 가장 유명한 전문가 중 한 명입니다. 그는 현재 브라운 대학교에서 교수로 재직하고 있으며, 한 단락에 달하는 업적 목록을 보유하고 있습니다.

이번 마지막 기조 연설에서 Maurice는 분산 컴퓨팅의 고전적 관점에서 블록체인 분산 시스템의 이론과 실제, 그리고 이것이 많은 관련 문제를 단순화하는 방법에 대해 이야기할 것입니다. 이것은 컨퍼런스 주제에 관한 보고서입니다. 채굴에 대한 과대광고에 관한 것이 아니라 우리의 지식이 다양한 작업과 관련하여 놀랍도록 효과적이고 적절하게 사용될 수 있는 방법에 대한 것입니다.

2017년 XNUMX월, Maurice는 이미 SPTDC 학교에 다니기 위해 러시아에 왔고, JUG.ru 모임에 참여했으며, 녹음 내용은 YouTube에서 볼 수 있습니다.

주요 프로그램

다음으로 프로그램에 포함된 보고서에 대한 간략한 개요를 살펴보겠습니다. 보고서 중 일부는 여기에 자세히 설명되어 있고 일부 보고서는 더 간략하게 설명되어 있습니다. 긴 설명은 주로 과학 논문, Wikipedia의 용어 등에 대한 링크가 필요한 영어 보고서에 사용되었습니다. 전체 목록을 사용할 수 있습니다. 컨퍼런스 웹사이트에서 확인하세요. 웹사이트의 목록은 업데이트되고 보완될 예정입니다.

레슬리 램포트 - 질의 응답

Leslie Lamport는 분산 컴퓨팅 분야의 중요한 저작의 저자입니다. "유액" "Lamport TeX"의 약자입니다. 1979년에 처음으로 개념을 도입한 사람은 바로 그 사람이었습니다. 일관된 일관성, 그리고 그의 기사 "다중 프로세스 프로그램을 올바르게 실행하는 다중 프로세서 컴퓨터를 만드는 방법" 다익스트라 상을 받았습니다.

이는 보고서 형식도 아닌 질의응답 형식으로 진행되는 프로그램 형식에서 가장 특이한 부분이다. 청중의 상당 부분이 이미 "Lamport의 이론"을 기반으로 한 모든 종류의 작품, 자신의 기사 및 보고서에 대해 잘 알고 있거나 익숙해질 수 있는 경우 직접 의사 소통에 사용 가능한 모든 시간을 소비하는 것이 더 중요합니다.

아이디어는 간단합니다. YouTube에서 두 가지 보고서를 시청합니다. "프로그래밍은 코딩 그 이상이어야 합니다" и "프로그램을 작성하지 않는다면 프로그래밍 언어를 사용하지 마십시오" 질문을 하나 이상 준비하면 Leslie가 대답합니다.

우리가 이미 가지고 있는 두 개의 비디오 중 첫 번째 비디오 하브로 기사로 바뀌었어요. 영상을 볼 시간이 없다면, 텍스트 형식으로 빠르게 모두 읽어보실 수 있습니다.

참고: YouTube에는 더 많은 Leslie Lamport 동영상이 있습니다. 예를 들어, 우수한 TLA+ 과정. 이 전체 과정의 오프라인 버전은 다음에서 사용할 수 있습니다. 작가의 홈페이지, 휴대기기에서 쉽게 볼 수 있도록 YouTube에 업로드했습니다.

마틴 클레프만 - 분산 협업을 위해 사용자 장치 간 데이터 동기화

Martin Kleppmann은 캠브리지 대학의 연구원으로 CRDT 및 알고리즘의 공식 검증을 연구하고 있습니다. 마틴의 책 "데이터 집약적인 애플리케이션 설계"2017년에 출판된 는 매우 성공적인 것으로 입증되어 데이터 저장 및 처리 분야의 베스트셀러 목록에 올랐습니다. 마이크로소프트의 CTO 케빈 스콧(Kevin Scott)은 한번은 말했다: “이 책은 소프트웨어 엔지니어에게 꼭 필요한 책입니다. 이는 개발자가 인프라와 데이터 시스템을 보다 스마트하게 설계하고 구현하는 데 도움이 되는 이론과 실제를 결합한 보기 드문 리소스입니다.” Kafka의 창시자이자 Confluent의 CTO인 Jay Kreps도 비슷한 말을 했습니다.

학술 연구로 전환하기 전에 Martin은 업계에서 일했으며 두 개의 성공적인 스타트업을 공동 설립했습니다.

• LinkedIn이 2012년에 구입한 이메일 연락처의 소셜 프로필을 표시하는 데 전념하는 Rapportive
• Go Test It은 RedGate가 2009년에 인수한 다양한 브라우저에서 웹사이트를 자동으로 테스트하는 서비스입니다.

일반적으로 Martin은 기조 연설보다 덜 유명하지만 이미 분산 컴퓨팅 개발과 업계에 어느 정도 기여할 수 있었습니다.

이번 강연에서 마틴은 그의 학문적 연구에 더 가까운 주제에 관해 이야기할 것입니다. Google Docs 및 유사한 문서 공동 편집 소파에서 '공동 편집'은 복제 작업을 의미합니다. 각 사용자는 공유 문서의 자체 복제본을 갖고 이를 수정하며 모든 변경 사항은 네트워크를 통해 나머지 문서로 전송됩니다. 참가자들. 오프라인에서 문서를 변경하면 다른 참가자와 관련하여 문서가 일시적으로 불일치하게 되며 재동기화하려면 충돌 처리가 필요합니다. 그것이 바로 그들이 존재하는 이유이다 충돌 없는 복제 데이터 유형 (CRDT)는 실제로 상당히 새로운 것이며 그 본질은 2011년에야 공식화되었습니다. 이 강연에서는 그 이후로 CRDT 세계에서 무슨 일이 일어났는지, 가장 최근의 발전은 무엇인지, 일반적으로 로컬 우선 애플리케이션을 만드는 접근 방식과 오픈 소스 라이브러리의 사용에 대해 논의합니다. 자동 병합 특히.

다음 주에 우리는 Habré에서 Martin과의 긴 인터뷰를 발표할 예정입니다. 흥미로울 것입니다.

페드로 라말헤테 - 대기 없는 데이터 구조 및 대기 없는 트랜잭션

Pedro는 Cisco에서 근무하며 지난 XNUMX여년 동안 동기화 메커니즘, 잠금 및 대기 없는 데이터 구조 및 이 주제에 대해 상상할 수 있는 모든 것을 포함하는 병렬 알고리즘을 개발해 왔습니다. 현재 그의 연구 및 엔지니어링 관심 분야는 범용 구성, 소프트웨어 트랜잭션 메모리, 영구 메모리 및 올바르고 확장 가능하며 내결함성이 있는 애플리케이션을 가능하게 하는 유사 기술에 중점을 두고 있습니다. 그는 또한 좁은 범위에서 널리 알려진 블로그의 저자이기도 합니다. 동시성 괴물.

대부분의 멀티스레드 애플리케이션은 이제 액터 간의 메시지 대기열 사용부터 키-값 저장소의 인덱스 데이터 구조에 이르기까지 병렬 데이터 구조에서 실행됩니다. 이들은 수년 동안 Java JDK에서 성공적으로 작업해 왔으며 C++에도 천천히 추가되고 있습니다.

병렬 데이터 구조를 구현하는 가장 간단한 방법은 메소드가 뮤텍스로 보호되는 순차(단일 스레드) 구현입니다. 이는 XNUMX월 어느 때나 액세스할 수 있지만 확장성 및 성능 면에서 명백한 문제가 있습니다. 동시에 잠금 없는 데이터 구조와 대기 없는 데이터 구조는 오류에 더 잘 대처할 뿐만 아니라 더 나은 성능 프로필을 갖습니다. 그러나 이러한 구조를 개발하려면 심층적인 전문 지식과 특정 애플리케이션에 대한 적응이 필요합니다. 잘못된 코드 한 줄만으로도 모든 것이 망가질 수 있습니다.

비전문가도 이러한 데이터 구조를 설계하고 구현할 수 있도록 하려면 어떻게 해야 할까요? 다음 중 하나를 사용하여 모든 순차 알고리즘을 스레드로부터 안전하게 만들 수 있는 것으로 알려져 있습니다. 유니버설 디자인, 또는 트랜잭션 메모리. 우선, 그들은 이 문제를 해결하기 위한 진입 장벽을 낮출 수 있습니다. 그러나 두 솔루션 모두 일반적으로 비효율적인 구현으로 이어집니다. Pedro는 이러한 설계를 보다 효율적으로 만드는 방법과 이를 알고리즘에 사용할 수 있는 방법에 대해 이야기합니다.

하이디 하워드 - 분산된 합의 해방

Heidi Howard는 Martin과 마찬가지로 University of Cambridge의 분산 시스템 연구원입니다. 그녀의 전문 분야는 일관성, 내결함성, 성능 및 분산 합의입니다. 그녀는 Paxos 알고리즘을 일반화한 것으로 가장 잘 알려져 있습니다. 유연한 팩소스.

그런 기억 Paxos Leslie Lamport의 작업을 기반으로 신뢰할 수 없는 컴퓨터 네트워크의 합의 문제를 해결하기 위한 프로토콜 제품군입니다. 따라서 우리 연사 중 일부는 원래 다른 연사들이 제안한 문제를 해결하기 위해 노력하고 있으며 이는 놀라운 일입니다.

주소 지정, 리더 선택, 차단 또는 조정을 위해 여러 호스트 간에 합의를 찾는 기능은 현대 분산 시스템의 근본적인 문제입니다. Paxos는 이제 합의 문제를 해결하는 주요 방법이며, 다양한 실제 요구에 맞게 알고리즘을 확장하고 최적화하기 위해 이를 중심으로 많은 연구가 진행되고 있습니다.

이번 강연에서 우리는 Paxos의 이론적 기초를 다시 살펴보고 원래 요구 사항을 완화하고 알고리즘을 일반화할 것입니다. 우리는 Paxos가 본질적으로 광범위한 합의 접근 방식 중 하나의 옵션일 뿐이며 스펙트럼의 다른 지점도 좋은 분산 시스템을 구축하는 데 매우 유용하다는 것을 알게 될 것입니다.

알렉스 페트로프 — 임시 복제 및 저렴한 쿼럼으로 스토리지 비용 절감

Alex는 데이터베이스 및 스토리지 시스템 전문가이며, 더 중요한 것은 우리에게 있어서 커미터입니다. 카산드 라. 그는 현재 O'Reilly와 함께 Database Internals라는 책을 집필하고 있습니다.

다음을 갖춘 시스템의 경우 최종 일관성 (러시아어 용어 - "궁극적 일관성") 노드 충돌 또는 네트워크 분할 후 다음 딜레마를 해결해야 합니다. 요청을 계속 실행하거나 일관성을 희생하거나 요청 실행을 거부하고 가용성을 희생해야 합니다. 이러한 시스템에서는 노드의 하위 집합이 겹치고 적어도 하나의 노드에 최신 값이 포함되도록 보장하는 쿼럼이 좋은 엣지 솔루션이 될 수 있습니다. 최신 값으로 계속 응답하면서 일부 노드에 대한 오류 및 연결 끊김을 극복할 수 있습니다.

그러나 모든 것에는 가격이 있습니다. 쿼럼 복제 체계는 저장소 비용의 증가를 의미합니다. 문제가 발생할 때 사용할 수 있는 복사본이 충분하도록 중복 데이터를 여러 노드에 동시에 저장해야 합니다. 모든 복제본에 모든 데이터를 저장할 필요는 없다는 것이 밝혀졌습니다. 노드의 일부에만 데이터를 저장하고, 장애 처리 시나리오를 위해 특수 노드(임시 복제본)를 사용하면 스토리지의 부하를 줄일 수 있습니다.

보고서가 진행되는 동안 우리는 다음을 고려할 것입니다. 증인 복제본, 다음에 사용되는 복제 체계 스패너 и 메가 스토어, Apache Cassandra에서 이 개념을 구현하는 방법은 다음과 같습니다. 임시 복제 및 저렴한 쿼럼.

드미트리 뷰코프 - 고루틴이 노출됨

Dmitry는 Google에서 C/C++ 및 Go(Address/Memory/ThreadSanitizer) 및 유사한 Linux 커널용 도구에 대한 동적 테스트를 담당하는 개발자입니다. 확장 가능한 고루틴 스케줄러, 네트워크 폴러 및 병렬 가비지 수집기를 Go에 기여했습니다. 그는 멀티스레딩 전문가이며 XNUMX개의 새로운 비차단 알고리즘의 저자이자 다음의 소유자입니다. 검은띠 인텔.

이제 보고서 자체에 대해 조금 설명합니다. Go 언어는 고루틴(라이트 스레드) 및 채널(FIFO 대기열) 형태로 멀티스레딩을 기본적으로 지원합니다. 이러한 메커니즘을 통해 사용자는 최신 멀티스레드 애플리케이션을 매우 쉽고 즐겁게 작성할 수 있으며 이는 마치 마법처럼 보입니다. 우리가 이해하듯이 여기에는 마법이 없습니다. 이 강연에서 Dmitry는 Go 스케줄러의 복잡성을 탐구하고 이 "마법"을 구현하는 비결을 보여줄 것입니다. 먼저 그는 스케줄러의 주요 구성 요소에 대한 개요를 설명하고 작동 방식을 알려줄 것입니다. 다음으로 주차/출차 전략, 차단 시스템 호출 처리 등 개별적인 측면을 자세히 살펴보겠습니다. 마지막으로 Dmitry는 스케줄러의 가능한 개선 사항에 대해 조금 이야기할 것입니다.

드미트리 부가이첸코 - 확률적 스케치 등을 통해 분산 그래프 분석 속도 향상

Dmitry는 대학 및 과학계와의 접촉을 유지하면서 거의 9년 동안 아웃소싱 분야에서 일했습니다. Odnoklassniki의 빅 데이터 분석은 그에게 이론 교육과 과학적 기반을 실제 수요가 많은 제품 개발과 결합할 수 있는 독특한 기회가 되었습니다.

분산 그래프 분석은 예전부터 지금까지 어려운 작업이었습니다. 인접한 정점의 연결에 대한 정보를 얻어야 하는 경우 데이터를 시스템 간에 전송해야 하는 경우가 많아 실행 시간이 늘어나고 네트워크 인프라에 대한 부하가 증가합니다. 이번 강연에서는 확률적 데이터 구조나 소셜 네트워크의 우정 그래프의 대칭성과 같은 사실을 사용하여 어떻게 상당한 처리 속도를 얻을 수 있는지 살펴보겠습니다. 이 모든 내용은 Apache Spark의 코드 예제를 통해 설명됩니다.

데니스 리스트소프 - 임시 복제 및 저렴한 쿼럼으로 스토리지 비용 절감

데니스 - 개발자 코스모스 DB, 일관성 모델, 합의 알고리즘 및 분산 트랜잭션 확인 전문가입니다. 그는 현재 Microsoft에서 근무하고 있으며 그 전에는 Amazon 및 Yandex에서 분산 시스템 분야에서 근무했습니다.

이 강연에서는 조건부 업데이트(비교 및 설정)를 지원하는 모든 데이터 저장소 상단의 클라이언트 측에서 구현될 수 있는 지난 몇 년 동안 개발된 분산 트랜잭션 프로토콜을 살펴보겠습니다. 결론은 수명이 2단계 커밋으로 끝나지 않는다는 것입니다. 애플리케이션 수준에서 모든 데이터베이스 위에 트랜잭션을 추가할 수 있지만 프로토콜(XNUMXPC, Percolator, RAMP)마다 서로 다른 장단점이 있으므로 우리에게 제공되지 않습니다. 무료로.

알렉세이 지노비예프 - 모든 ML 알고리즘이 분산 천국에 도달하는 것은 아닙니다.

알렉세이(잘레스와프)는 오랫동안 다른 컨퍼런스의 연사이자 프로그램 위원회 위원으로 활동하고 있습니다. EPAM Systems에서 트레이너로 활동하고 있으며 2012년부터 Hadoop/Spark 및 기타 빅데이터와 친구가 되었습니다.

이 강연에서 Alexey는 Apache Spark ML, Apache Mahout, Apache Flink ML 작업 경험과 Apache Ignite ML 생성 경험을 바탕으로 분산 모드에서 실행하기 위해 기존 기계 학습 알고리즘을 적용하는 데 따른 문제에 대해 이야기합니다. Alexey는 또한 이러한 프레임워크에서 분산 ML 알고리즘을 구현하는 방법에 대해서도 이야기합니다.

마지막으로 Yandex 데이터베이스에 대한 Yandex의 두 가지 보고서가 있습니다.

블라디슬라프 쿠즈네초프 - Yandex 데이터베이스 - 내결함성을 보장하는 방법

Vladislav는 분산 플랫폼 그룹의 Yandex 개발자입니다. Yandex 데이터베이스는 일관성을 잃지 않고 디스크, 서버, 랙 및 데이터 센터의 오류를 견딜 수 있는 수평으로 확장 가능하고 지리적으로 분산된 내결함성 DBMS입니다. 내결함성을 보장하기 위해 분산 합의를 달성하기 위한 독점 알고리즘과 다양한 기술 솔루션이 사용되며 이에 대해서는 보고서에서 자세히 설명합니다. 이 보고서는 DBMS 개발자와 DBMS 기반 애플리케이션 솔루션 개발자 모두에게 흥미로울 수 있습니다.

세면 체체린다 - YDB의 분산 트랜잭션

Semyon은 Yandex 분산 플랫폼 그룹의 개발자로서 YDB 설치의 다중 테넌트 사용 가능성을 연구하고 있습니다.

Yandex 데이터베이스는 OLTP 쿼리용으로 설계되었으며 트랜잭션 시스템에 대한 ACID 요구 사항을 준수합니다. 본 보고서에서는 YDB 트랜잭션 시스템의 기반이 되는 트랜잭션 스케줄링 알고리즘을 살펴보겠습니다. 트랜잭션에 참여하는 엔터티, 트랜잭션에 글로벌 순서를 할당하는 엔터티, 트랜잭션 원자성, 신뢰성 및 엄격한 수준의 격리가 어떻게 달성되는지 살펴보겠습니다. 일반적인 문제를 예로 들어 XNUMX단계 커밋과 결정적 트랜잭션을 사용하는 트랜잭션 구현을 살펴보겠습니다. 차이점을 논의해 보겠습니다.

다음은 뭐지?

회의 프로그램은 계속해서 새로운 보고서로 채워집니다. 특히 우리는 다음과 같은 보고서를 기대합니다. 니키타 코발 (엔드코발) JetBrains 및 올렉 아나스타시예프 (멍청이) Odnoklassniki 회사에서. Nikita는 Kotlin 팀에서 코루틴용 알고리즘을 연구하고 Oleg는 Odnoklassniki 플랫폼에서 고부하 시스템용 아키텍처와 솔루션을 개발합니다. 또한, 조건부로 비어 있는 자리가 1개 더 있는데, 프로그램 위원회는 현재 이를 위해 후보자들과 협력하고 있습니다.

Hydra 컨퍼런스는 11월 12~XNUMX일 상트페테르부르크에서 개최됩니다. 티켓 구매 가능 공식 홈페이지에서 구매. 온라인 티켓 이용 가능 여부에 주의하세요. 어떤 이유로 요즘 상트페테르부르크에 갈 수 없는 경우가 있습니다.

하이드라에서 만나요!

출처 : habr.com