모리스 헐리히 - 두 사람의 주인 데이크스트라 상. 첫 번째는 작업용입니다. "대기 없는 동기화" (Brown University) 그리고 두 번째로 최근에는 - "트랜잭션 메모리: 잠금 해제 데이터 구조를 위한 아키텍처 지원" (버지니아 공과대학교). 다익스트라상(Dijkstra Prize)은 최소한 XNUMX년 동안 그 중요성과 영향력이 눈에 띄는 작품에 수여되며, 모리스는 분명히 해당 분야에서 가장 유명한 전문가 중 한 명입니다. 현재 브라운대학교 교수로 재직하고 있으며 한 문단에 달하는 수많은 업적을 이뤘다. 그는 현재 고전적인 분산 컴퓨팅의 맥락에서 블록체인을 연구하고 있습니다.

이전에 Maurice는 이미 SPTCC를 위해 러시아에 왔습니다.비디오 녹화) 상트페테르부르크에서 JUG.ru Java 개발자 커뮤니티와 훌륭한 회의를 가졌습니다(비디오 녹화).

이 habrapost는 Maurice Herlihy와의 훌륭한 인터뷰입니다. 다음 주제를 논의합니다.

• 학계와 산업계의 상호작용
• 블록체인 연구 재단;
• 획기적인 아이디어는 어디에서 나오나요? 인기의 영향;
• Barbara Liskov 감독하에 박사 학위를 취득했습니다.
• 세상은 멀티코어를 기다리고 있습니다.
• 새로운 세상은 새로운 문제를 가져옵니다. NVM, NUMA 및 아키텍처 해킹;
• 컴파일러 대 프로세서, RISC 대 CISC, 공유 메모리 대 메시지 전달;
• 깨지기 쉬운 멀티스레드 코드를 작성하는 기술
• 학생들에게 복잡한 멀티스레드 코드 작성 방법을 가르치는 방법
• "다중 프로세서 프로그래밍 기술"이라는 책의 신판;
• 트랜잭션 메모리는 어떻게 발명되었나요?   
• 분산 컴퓨팅 분야에서 연구를 수행할 가치가 있는 이유
• 알고리즘 개발이 중단되었으며 앞으로 나아갈 방법은 무엇입니까?
• 브라운 대학교에서 일하세요.
• 대학 내 연구와 기업 내 연구의 차이점
• 히드라와 SPTDC.

인터뷰는 다음과 같이 진행됩니다.

비탈리 악세노프 — 현재 IST 오스트리아의 박사후 연구원이자 ITMO 대학교 컴퓨터 기술과의 직원입니다. 경쟁적 데이터 구조의 이론 및 실제 분야에 대한 연구를 수행합니다. IST에서 일하기 전, 그는 Peter Kuznetsov 교수 지도 하에 Paris Diderot 대학과 ITMO 대학에서 박사 학위를 받았습니다.

알렉세이 페도로프 - 개발자를 위한 컨퍼런스를 주최하는 러시아 회사인 JUG Ru Group의 프로듀서입니다. Alexey는 50개 이상의 컨퍼런스 준비에 참여했으며 그의 이력서에는 Oracle(JCK, Java Platform Group)의 개발 엔지니어 위치부터 Odnoklassniki의 개발자 위치까지 모든 것이 포함되어 있습니다.

블라디미르 시트니코프 - Netcracker의 엔지니어. 통신 사업자가 네트워크 및 네트워크 장비 관리 프로세스를 자동화하기 위해 사용하는 소프트웨어인 NetCracker OS의 성능과 확장성에 대해 XNUMX년 동안 연구했습니다. Java 및 Oracle 데이터베이스 성능 문제에 관심이 있습니다. 공식 PostgreSQL JDBC 드라이버에서 XNUMX개 이상의 성능 개선을 이룬 저자입니다.

학계와 산업계의 상호작용

알렉세이: 모리스, 당신은 매우 오랫동안 학문적 환경에서 일해왔습니다. 첫 번째 질문은 학문적 영역과 산업적 영역 사이의 상호 작용입니다. 최근 그들 사이의 상호작용이 어떻게 변했는지 이야기해 주실 수 있나요? 20~30년 전에는 무슨 일이 일어났고, 지금은 무슨 일이 일어나고 있는 걸까? 

모리스: 나는 흥미로운 문제를 안고 있는 상업 회사들과 긴밀히 협력하려고 항상 노력해 왔습니다. 그들은 원칙적으로 결과를 발표하거나 세계 공동체에 문제에 대한 자세한 설명을 하는 데 별로 관심이 없습니다. 그들은 이러한 문제를 해결하는 데에만 관심이 있습니다. 나는 한동안 그런 회사에서 일했습니다. 나는 대규모 컴퓨터 회사였던 Digital Equipment Corporation의 연구실에서 XNUMX년 동안 풀타임으로 일했습니다. 저는 일주일에 하루는 Sun, Microsoft, Oracle에서 일하고 Facebook에서 약간의 일을 했습니다. 이제 안식년을 내고(미국 대학의 교수는 XNUMX년에 한 번씩 XNUMX년 정도 휴가를 낼 수 있다.) 일을 하려고 한다. 알고리즘, 보스턴에 있는 암호화폐 회사입니다. 회사와 긴밀하게 협력하는 것은 항상 즐거운 일이었습니다. 그렇게 하면 새롭고 흥미로운 것을 배울 수 있기 때문입니다. 다른 사람들이 이미 작업하고 있는 문제에 대한 솔루션을 점진적으로 개선하기 위해 노력하기보다는 선택한 주제에 대한 기사를 게시하는 첫 번째 또는 두 번째 사람이 될 수도 있습니다.

알렉세이: 이런 일이 어떻게 일어나는지 좀 더 자세히 말씀해주실 수 있나요?

모리스: 물론이죠. 아시다시피 제가 Digital Equipment Corporation에서 근무할 때 저와 Elliot Moss는 트랜잭션 메모리를 발명했습니다. 모두가 정보기술에 관심을 갖기 시작한 매우 유익한 시기였습니다. 멀티 코어 시스템을 포함한 병렬성은 아직 존재하지 않았습니다. Sun과 Oracle 시절에는 병렬 데이터 구조에 대한 작업을 많이 했습니다. Facebook에서 저는 그들의 블록체인 프로젝트에 참여했습니다. 이에 대해서는 이야기할 수 없지만 곧 공개되기를 바랍니다. 내년에는 알고랜드에서 스마트 계약을 연구하는 연구 그룹에서 일할 예정입니다.

Alexey: 블록체인은 지난 몇 년 동안 매우 인기 있는 주제가 되었습니다. 이것이 당신의 연구에 도움이 될까요? 아마도 보조금을 받거나 업계에서 활동하는 회사로부터 리소스에 대한 액세스를 제공하는 것이 더 쉬워질 것입니까?

모리스: 저는 이미 이더리움 재단으로부터 소액의 보조금을 받았습니다. 블록체인의 인기는 학생들이 이 분야에서 일하도록 영감을 주는 데 매우 도움이 됩니다. 그들은 그것에 매우 관심이 있고 참여하게 되어 기쁩니다. 그러나 때로는 겉으로는 흥미로워 보이는 연구가 실제로는 정말 힘든 작업을 수반한다는 사실을 깨닫지 못합니다. 하지만 저는 학생들의 관심을 끌기 위해 블록체인에 관한 이 모든 신비로움을 활용하게 되어 정말 기쁩니다. 

그러나 그것이 전부는 아닙니다. 저는 여러 블록체인 스타트업의 자문위원으로 활동하고 있습니다. 그들 중 일부는 성공할 수도 있고 일부는 그렇지 않을 수도 있지만, 그들의 아이디어를 보고, 연구하고, 사람들에게 조언하는 것은 항상 매우 흥미롭습니다. 가장 흥미로운 일은 사람들에게 어떤 일을 하지 말라고 경고할 때입니다. 많은 것들이 처음에는 좋은 생각처럼 보이지만, 정말 그럴까요?

블록체인 연구 기반

비탈리: 어떤 사람들은 미래가 블록체인과 그 알고리즘에 달려 있다고 생각합니다. 그리고 다른 사람들은 그것이 또 다른 거품일 뿐이라고 말합니다. 이 문제에 대한 의견을 공유해 주실 수 있나요?

모리스: 블록체인 세계에서 벌어지고 있는 많은 일들이 잘못되었고, 일부는 단지 사기일 뿐이며, 많은 부분이 과대평가되었습니다. 그러나 나는 이러한 연구들에는 확고한 과학적 근거가 있다고 생각합니다. 블록체인 세계가 이념적 차이로 가득 차 있다는 사실은 흥분과 헌신의 수준을 보여줍니다. 반면에 이것은 과학 연구에 특히 유익하지 않습니다. 이제 특정 알고리즘의 단점에 대해 이야기하는 기사를 게시하면 그에 따른 반응이 항상 완전히 과학적이지는 않습니다. 사람들은 종종 자신의 감정을 버립니다. 나는 이 분야에서 이런 종류의 흥분이 어떤 사람들에게는 매력적으로 보일 수 있다고 생각합니다. 그러나 결국에는 해결해야 할 실제 과학 및 공학 문제가 있습니다. 여기에는 컴퓨터 과학이 많이 있습니다.

비탈리: 그럼 블록체인 연구의 기반을 마련하려고 하는 거죠?

모리스: 저는 견고하고 과학적이며 수학적으로 건전한 학문의 기초를 다지려고 노력하고 있습니다. 그리고 문제의 일부는 때때로 다른 사람들의 지나치게 가혹한 입장을 반박하고 무시해야 한다는 것입니다. 가끔 사람들은 테러리스트와 마약 밀매업자들만 관심을 갖는 지역에서 왜 일하는지 묻습니다. 그러한 반응은 맹목적으로 당신의 말을 반복하는 추종자들의 행동만큼 의미가 없습니다. 나는 진실이 중간 어딘가에 있다고 생각합니다. 블록체인은 사회와 세계 경제에 큰 영향을 미칠 것입니다. 하지만 현대 기술 덕분에 이런 일은 일어나지 않을 것 같습니다. 현대 기술은 발전할 것이고, 미래에는 블록체인이라고 불리는 것이 매우 중요해질 것입니다. 현대 블록체인처럼 보이지 않을 수도 있습니다. 이는 공개 질문입니다.

사람들이 새로운 기술을 발명하면 계속해서 그것을 블록체인이라고 부를 것입니다. 내 말은, 오늘날의 포트란이 1960년대의 포트란 언어와 아무 관련이 없는 것처럼, 모두가 계속 포트란이라고 부르는 것입니다. UNIX에서도 마찬가지입니다. “블록체인”이라고 불리는 것은 여전히 ​​혁명을 일으킬 것입니다. 그러나 나는 이 새로운 블록체인이 오늘날 모두가 즐겨 사용하는 블록체인과 같을지는 의문입니다.

획기적인 아이디어는 어디에서 나오나요? 인기의 영향

Alexey: 블록체인의 인기가 과학적 관점에서 새로운 결과로 이어졌나요? 더 많은 상호 작용, 더 많은 학생, 더 많은 회사가 해당 지역에 있습니다. 이러한 인기 상승으로 인한 결과가 이미 있습니까?

모리스: 누군가 나에게 꽤 많은 돈을 모은 회사의 공식 전단지를 건네주면서 나는 이것에 관심을 가지게 되었습니다. 그것은 다음과 같이 썼다. 비잔틴 장군의 임무, 나는 그것에 대해 더 잘 알고 있습니다. 전단지에 적힌 내용은 기술적으로 명백히 부정확했습니다. 이 글을 쓴 사람들은 문제 뒤에 숨은 모델을 제대로 이해하지 못했습니다. 그런데도 이 회사는 많은 돈을 모았습니다. 그 후 회사는 조용히 이 전단지를 훨씬 더 정확한 버전으로 교체했습니다. 이 회사의 이름이 무엇인지는 밝히지 않겠습니다. 그들은 여전히 ​​​​주변에 있고 아주 잘 지내고 있습니다. 이 사건을 통해 저는 첫째, 블록체인이 단순히 분산 컴퓨팅의 한 형태일 뿐이라는 확신을 갖게 되었습니다. 둘째, 진입 문턱(적어도 XNUMX년 전만 해도)이 상당히 낮았다. 이 분야에서 일하는 사람들은 매우 활기차고 똑똑했지만 과학 논문을 읽지 않았습니다. 그들은 알려진 것을 재발명하려고 시도했지만 잘못했습니다. 오늘은 드라마가 줄었어요.

Alexey: 이것은 매우 흥미롭습니다. 몇 년 전에는 다른 추세가 있었기 때문입니다. 이는 브라우저 기반 프런트엔드 개발자가 이미 백엔드에서 널리 사용되던 전체 기술(빌드 시스템, 지속적인 통합 등)을 재창조한 프런트엔드 개발과 약간 비슷합니다. 

모리스: 동의합니다. 그러나 이것은 놀라운 일이 아닙니다. 왜냐하면 진정으로 획기적인 아이디어는 항상 기존 커뮤니티 외부에서 나오기 때문입니다. 기성 연구자, 특히 기성 학자들은 진정으로 획기적인 일을 할 가능성이 거의 없습니다. 과거 작업의 결과를 어떻게 약간 향상시켰는지에 관해 다음 컨퍼런스를 위한 논문을 작성하는 것은 쉽습니다. 회의에 참석하고, 친구들과 함께 모여 같은 것에 대해 이야기하십시오. 그리고 획기적인 아이디어를 가지고 뛰어드는 사람들은 거의 항상 외부에서 왔습니다. 그들은 규칙도 모르고 언어도 모르지만 그럼에도 불구하고... 확립된 커뮤니티에 속해 있다면 새로운 것, 전체적인 그림에 맞지 않는 것에 주의를 기울이는 것이 좋습니다. 어떤 의미에서는 외부적이고 보다 유동적인 개발을 우리가 이미 이해하고 있는 방법과 결합하려는 시도가 이루어질 수 있습니다. 첫 번째 단계로 과학적 기반을 구축하고, 이를 새로운 획기적인 아이디어에 적용할 수 있도록 변경해 보세요. 저는 블록체인이 신선하고 파괴적인 아이디어로 훌륭하다고 생각합니다.

알렉세이: 왜 이런 일이 일어난다고 생각하시나요? "외부" 사람들은 커뮤니티에 내재된 특별한 장벽이 없기 때문에?

모리스: 여기에는 패턴이 있습니다. 일반적으로 회화와 예술 분야에서 인상파의 역사를 읽으면 한때 유명한 예술가들이 인상주의를 거부했습니다. 좀 유치하다고 하더라고요. 한 세대 후에는 이전에 거부되었던 이 예술 형식이 표준이 되었습니다. 제 분야에서 제가 본 것은 블록체인 발명가들은 권력에 관심이 없었고 출판물과 인용 지수를 늘리는 데 관심이 있었고 단지 좋은 일을 하고 싶었을 뿐입니다. 그래서 그들은 앉아서 그 일을 시작했습니다. 기술적 깊이가 어느 정도 부족했지만 이는 고칠 수 있습니다. 성숙하지 못한 아이디어를 수정하고 강화하는 것보다 새로운 창의적인 아이디어를 생각해내는 것이 훨씬 더 어렵습니다. 이 발명가들 덕분에 이제 할 일이 생겼다!

Alexey: 이는 스타트업과 레거시 프로젝트의 차이점과 유사합니다. 우리는 사고의 많은 한계, 장벽, 특별한 요구 사항 등을 물려받았습니다.

모리스: 좋은 비유는 분산 컴퓨팅입니다. 블록체인을 스타트업으로 생각하고 분산 컴퓨팅을 거대하고 확고한 회사로 생각하십시오. 분산 컴퓨팅은 인수되어 블록체인과 병합되는 과정에 있습니다.

Barbara Liskov 감독하에 박사 학위 취득

비탈리: 아직 질문이 많아요! 우리는 귀하의 배경을 조사하던 중 귀하의 박사 학위에 관한 흥미로운 사실을 발견했습니다. 네, 오래전 이야기지만 중요한 주제인 것 같습니다. 본인의 지도하에 박사학위를 취득하였습니다. 바바라 리스코프! Barbara는 프로그래밍 언어 커뮤니티에서 매우 잘 알려져 있으며 일반적으로 매우 잘 알려진 사람입니다. 귀하의 연구가 프로그래밍 언어 분야에 관한 것이라는 것은 논리적입니다. 어떻게 병렬 컴퓨팅으로 전환하셨나요? 왜 주제를 바꾸기로 결정했나요?

모리스: 당시 Barbara와 그녀의 그룹은 매우 새로운 아이디어인 분산 컴퓨팅을 고려하고 있었습니다. 분산컴퓨팅은 말도 안되고, 컴퓨터끼리 소통하는 것은 무의미하다고 말하는 이들도 있었다. 중앙 집중식 컴퓨팅과 구별되는 분산 컴퓨팅에서 다루는 문제 중 하나는 내결함성입니다. 많은 연구 끝에 우리는 원격 호출이 성공할지 확신할 수 없기 때문에 분산 컴퓨팅 프로그래밍 언어에 원자 트랜잭션과 같은 기능이 필요하다고 결정했습니다. 트랜잭션이 있으면 동시성 관리 문제가 발생합니다. 그런 다음 고도로 병렬적인 트랜잭션 데이터 구조를 얻기 위한 많은 작업이 있었습니다. 그러다가 졸업하고 대학에 갔어요. 카네기 멜론 그리고 작업할 주제를 찾기 시작했습니다. 컴퓨팅이 개별 컴퓨터에서 컴퓨터 네트워크로 이동했다는 생각이 들었습니다. 멀티프로세서는 자연스러운 발전의 연속이 될 것입니다. "멀티코어"라는 단어는 아직 존재하지 않았습니다. 나는 생각했습니다: 멀티 코어 시스템의 원자 트랜잭션과 동등한 것은 무엇입니까? 너무 크고 무거워서 확실히 일반적인 거래는 아닙니다. 그리고 그게 내가 아이디어를 생각해낸 방법이야 선형성 이것이 제가 전체 대기 시간 없는 동기화를 생각해낸 방법입니다. 이는 공유 메모리를 사용하는 다중 프로세서 시스템에 대한 원자 트랜잭션의 유사점이 무엇인지에 대한 질문에 답하려는 시도였습니다. 이 작품은 얼핏 보면 전혀 다른 것처럼 보이지만 사실은 같은 주제의 연속이다.

세상은 멀티코어를 기다리고 있습니다

비탈리: 그 당시에는 멀티코어 컴퓨터가 거의 없었다고 말씀하셨죠?

모리스: 그들은 단지 거기에 없었을 뿐입니다. 기본적으로 동일한 버스에 연결된 소위 대칭형 다중 프로세서가 여러 개 있었습니다. 새로운 회사가 비슷한 것을 만들 때마다 인텔은 멀티프로세서보다 뛰어난 단일 프로세서를 출시했기 때문에 이는 잘 작동하지 않았습니다.

알렉세이: 고대에는 이론적인 연구가 더 많았다는 뜻 아닌가요?

모리스: 이론적인 연구가 아니라 추측에 가까운 연구였습니다. 이 모든 것은 많은 정리를 가지고 작업하는 것이 아니라 당시 존재하지 않았던 아키텍처에 대한 가설을 제시하는 것이었습니다. 이것이 바로 연구의 목적입니다! 어떤 회사도 이런 일을 하지 않았을 것이고, 모두 먼 미래의 일이었습니다. 실제로 이는 실제 멀티코어 프로세서가 등장한 2004년까지만 해도 그랬습니다. 프로세서가 과열되기 때문에 프로세서를 더 작게 만들 수는 있지만 더 빠르게 만들 수는 없습니다. 이로 인해 멀티 코어 아키텍처로의 전환이 이루어졌습니다. 그리고 그것은 갑자기 우리가 과거에 개발했던 모든 개념이 갑자기 사용된다는 것을 의미했습니다.

Alexey: 멀티코어 프로세서가 XNUMX년대에만 등장한 이유가 무엇이라고 생각하시나요? 그러면 왜 이렇게 늦습니까?

모리스: 이는 하드웨어 제한 때문입니다. Intel, AMD 및 기타 회사는 프로세서 속도를 높이는 데 매우 능숙합니다. 어느 시점에서 프로세서가 소진되기 시작하여 더 이상 클럭 속도를 높일 수 없을 정도로 프로세서가 작아졌을 때. 더 작게 만들 수는 있지만 더 빠르게 만들 수는 없습니다. 그 힘은 무엇입니까? 매우 작은 프로세서 대신 이전에는 하나만 들어갈 수 있었던 동일한 볼륨의 케이스에 XNUMX개, XNUMX개 또는 XNUMX개의 프로세서를 넣을 수 있습니다. 이제 캐시를 공유하기 때문에 멀티스레딩과 빠른 통신이 가능합니다. 하지만 강제로 더 빨리 달리게 할 수는 없습니다. 매우 구체적인 속도 제한이 있습니다. 계속해서 조금씩 개선되고 있지만, 더 이상 그렇게 많지는 않습니다. 물리학의 법칙이 개선을 가로막고 있었습니다.

새로운 세상은 새로운 문제를 가져옵니다. NUMA, NVM 및 아키텍처 해킹

알렉세이: 매우 합리적으로 들리네요. 새로운 멀티 코어 프로세서로 인해 새로운 문제가 발생했습니다. 당신과 당신의 동료들은 이러한 문제를 예상했습니까? 아마도 당신은 그것들을 미리 공부했을 것입니다. 이론적 연구에서는 그러한 것을 예측하는 것이 쉽지 않은 경우가 많습니다. 문제가 발생했을 때 귀하와 동료의 기대에 어떻게 부응했습니까? 아니면 완전히 새로운 문제였기 때문에 당신과 당신의 동료들은 문제가 나타나는 대로 해결하는 데 많은 시간을 소비해야 했습니까?

Vitaly: Alexey의 질문에 추가하겠습니다. 이론을 공부하는 동안 프로세서 아키텍처를 올바르게 예측하셨나요?

모리스: 100%는 아닙니다. 하지만 내 동료들과 나는 공유 메모리를 갖춘 멀티 코어를 잘 예측했다고 생각합니다. 잠금 없이 작동하는 병렬 데이터 구조를 개발할 때의 어려움을 정확하게 예측했다고 생각합니다. 이러한 데이터 구조는 전부는 아니지만 많은 응용 프로그램에서 중요했지만 종종 실제로 필요한 것은 비잠금 데이터 구조입니다. 우리가 그것들을 발명했을 때 많은 사람들은 이것이 말도 안 되는 일이며 자물쇠가 있으면 모든 것이 잘 작동한다고 주장했습니다. 우리는 많은 프로그래밍 문제와 데이터 구조 문제에 대한 기성 솔루션이 있을 것이라고 아주 잘 예측했습니다. 다음과 같은 더 복잡한 문제도 있었습니다. 누마 – 메모리에 대한 접근이 고르지 않습니다. 사실 멀티 코어 프로세서가 발명되기 전까지는 너무 구체적이어서 고려조차 되지 않았습니다. 연구 커뮤니티는 일반적으로 예측 가능한 질문을 연구하고 있었습니다. 특정 아키텍처와 관련된 일부 하드웨어 문제는 실제로 이러한 아키텍처의 출현을 기다려야 했습니다. 예를 들어, 그 당시에는 GPU가 없었기 때문에 실제로 GPU 관련 데이터 구조에 대해 작업한 사람은 아무도 없었습니다. 많은 작업이 이루어졌음에도 불구하고 심드, 이러한 알고리즘은 적합한 하드웨어가 출시되자마자 사용할 준비가 되었습니다. 그러나 모든 것을 예측하는 것은 불가능합니다.

Alexey: 제가 올바르게 이해한다면 NUMA는 비용, 성능 및 기타 사항 간의 일종의 절충안입니다. NUMA가 왜 그렇게 늦게 나온 것인지 아시나요?

모리스: NUMA가 존재하는 이유는 메모리를 생성하는 데 사용되는 하드웨어의 문제 때문이라고 생각합니다. 구성 요소가 멀리 떨어져 있을수록 액세스 속도가 느려집니다. 반면에 이 추상화의 두 번째 가치는 메모리 균일성입니다. 따라서 병렬 컴퓨팅의 특징 중 하나는 모든 추상화가 약간 깨졌다는 것입니다. 액세스가 완벽하게 균일하다면 모든 메모리는 등거리에 있을 것이지만 이는 경제적으로, 어쩌면 물리적으로도 불가능할 수도 있습니다. 그러므로 이런 갈등이 발생한다. 메모리가 균일한 것처럼 프로그램을 작성한다면 아마도 정확할 것입니다. 틀린 답을 주지 않는다는 의미에서요. 하지만 그녀의 연기도 하늘의 별을 포착하지는 못할 것이다. 마찬가지로 써보면 스핀록 캐시 계층 구조를 이해하지 않으면 차단 자체는 올바르지만 성능을 잊어버릴 수 있습니다. 어떤 의미에서는 매우 단순한 추상화 위에 존재하는 프로그램을 작성해야 하지만 그 추상화를 제공한 사람들보다 한 수 앞서야 합니다. 추상화 아래에는 메모리의 계층 구조가 있다는 것을 알아야 합니다. 당신과 이 기억 사이의 버스 등등. 따라서 개별적으로 유용한 추상화 사이에는 약간의 충돌이 있으며 이는 매우 구체적이고 실용적인 문제로 이어집니다.

비탈리: 미래는 어떻습니까? 프로세서가 다음에 어떻게 발전할 것인지 예측할 수 있습니까? 그 답 중 하나가 트랜잭션 메모리라는 생각이 있습니다. 아마도 다른 재고가 있을 것입니다.

모리스: 앞으로 몇 가지 중요한 과제가 있습니다. 하나는 일관된 기억이 훌륭한 추상화이지만 특별한 경우에는 무너지기 시작한다는 것입니다. 예를 들어 NUMA는 균일한 메모리가 존재한다고 계속 가정할 수 있는 살아있는 예입니다. 사실 아니요, 생산성이 당신을 울게 만들 것입니다. 어느 시점에서 건축가는 단일 메모리 아키텍처에 대한 아이디어를 포기해야 할 것입니다. 영원히 척할 수는 없습니다. 사용하기 쉽고 기본 하드웨어를 효율적으로 만들 수 있을 만큼 강력한 새로운 프로그래밍 모델이 필요합니다. 프로그래머에게 실제로 하드웨어에 사용되는 아키텍처를 보여주면 그들은 미쳐버릴 것이기 때문에 이는 매우 어려운 절충안입니다. 너무 복잡하고 이식성이 없습니다. 너무 단순한 인터페이스를 제시하면 성능이 저하됩니다. 따라서 진정한 대형 멀티 코어 프로세서에 적용할 수 있는 유용한 프로그래밍 모델을 제공하려면 매우 어려운 많은 절충안을 마련해야 합니다. 전문가가 아닌 다른 사람이 2000코어 컴퓨터에서 프로그래밍을 할 수 있는지 잘 모르겠습니다. 그리고 매우 전문적이거나 과학적인 컴퓨팅이나 암호화 또는 이와 유사한 작업을 수행하지 않는 한 이를 올바르게 수행하는 방법은 아직 명확하지 않습니다. 

또 다른 유사한 분야는 전문화된 아키텍처입니다. 그래픽 가속기는 오랫동안 사용되어 왔지만 특수한 유형의 컴퓨팅을 전용 칩에서 실행하는 방법을 보여주는 전형적인 예가 되었습니다. 여기에는 해당 장치와 통신하는 방법, 프로그래밍하는 방법 등 고유한 과제가 추가됩니다. 나는 최근 이 지역의 문제를 해결하기 위해 노력하고 있습니다. 메모리 컴퓨팅 근처. 작은 프로세서를 거대한 메모리 덩어리에 접착하여 메모리가 L1 캐시 속도로 실행되고 다음과 같은 장치와 통신하도록 합니다. TPU – 프로세서가 메모리 코어에 새 작업을 로드하는 중입니다. 이런 종류의 데이터 구조와 통신 프로토콜을 설계하는 것은 또 다른 흥미로운 예입니다. 따라서 맞춤형 프로세서와 하드웨어는 꽤 오랫동안 계속해서 개선될 것입니다.

Alexey: 비휘발성 메모리는 어떻습니까(비 휘발성 기억 장치)?

모리스: 아, 또 다른 좋은 예네요! NVM은 데이터 구조와 같은 사물을 보는 방식을 크게 바꿀 것입니다. 어떤 의미에서 비휘발성 메모리는 작업 속도를 실제로 향상시킬 것을 약속합니다. 그러나 대부분의 프로세서, 캐시 및 레지스터는 여전히 휘발성이기 때문에 생활이 더 쉬워지지는 않습니다. 충돌 후 시작할 때 상태와 메모리 상태는 충돌 전과 정확히 동일하지 않습니다. 나는 NVM에서 일하는 사람들에게 매우 감사합니다. 연구자들이 정확성 조건을 파악하기 위해 오랫동안 해야 할 일이 많을 것입니다. 캐시와 레지스터의 내용이 손실되는 충돌에서 살아남을 수 있지만 주 메모리는 그대로 남아 있으면 계산이 정확합니다.

컴파일러 vs 프로세서, RISC vs CISC, 공유 메모리 vs 메시지 전달

블라디미르: 명령어 세트 관점에서 '컴파일러 대 프로세서' 딜레마에 대해 어떻게 생각하시나요? 잘 모르는 사람들을 위해 설명하겠습니다. 왜곡된 메모리나 이와 유사한 것으로 이동하면 매우 간단한 명령 세트를 사용하고 컴파일러에게 새로운 이점을 활용할 수 있는 복잡한 코드를 생성하도록 요청할 수 있습니다. 또는 다른 방법으로 갈 수도 있습니다. 복잡한 명령어를 구현하고 프로세서에 명령어 순서를 변경하고 다른 조작을 수행하도록 요청하는 것입니다. 당신이 그것에 대해 어떻게 생각하십니까?

모리스: 저는 그 질문에 대한 답을 정말로 갖고 있지 않습니다. 이 논쟁은 XNUMX년 동안 계속되어 왔습니다. 그 사이에 시간이 있었다 약칭 일련의 명령과 어려운 내전은 일련의 명령에 의해 싸웠습니다. 한동안 RISC 사람들이 승리했지만 Intel은 축소된 명령 세트를 내부적으로 사용하고 전체 세트를 외부로 내보내도록 엔진을 재구축했습니다. 이는 아마도 각 새로운 세대가 스스로 타협점을 찾고 스스로 결정을 내려야 하는 주제일 것입니다. 이들 중 어느 것이 더 나을지 예측하는 것은 매우 어렵습니다. 그래서 내가 하는 모든 예측은 일정 기간 동안은 맞다가 잠시 동안은 다시 틀렸다가 다시 맞을 것입니다.

Alexey: 일부 아이디어가 수십 년 동안 성공했다가 다음에는 패배하는 것이 업계에서 얼마나 흔한가요? 그러한 주기적인 변화의 다른 예가 있습니까?

모리스: 분산 컴퓨팅에 관해 다음과 같은 주장을 하는 사람들이 있습니다. 공유 메모리 그리고 그것을 믿는 사람들 메시지 교환. 처음에 분산 컴퓨팅에서 병렬 컴퓨팅은 메시지 전달을 의미합니다. 그러다가 누군가 공유 메모리를 사용하여 프로그래밍하는 것이 훨씬 쉽다는 것을 발견했습니다. 반대편에서는 공유 메모리는 잠금 등이 필요하기 때문에 너무 복잡하므로 단순히 메시지 전달만 존재하는 언어로 이동할 가치가 있다고 말했습니다. 누군가 이것을 보고 이렇게 말했습니다. “와, 이 메시징 구현은 공유 메모리와 매우 유사해 보입니다. 왜냐하면 이 작은 모듈을 아주 많이 생성하고, 서로 메시지를 보내고, 모두 연동“더 나은 공유 메모리 데이터베이스를 만들자!” 이 모든 것이 계속해서 반복되고 있으며 당사자 중 하나가 확실히 옳다고 말할 수는 없습니다. 한 쪽이 거의 승리하자마자 사람들은 다른 쪽을 개선할 방법을 계속해서 고안하기 때문에 한쪽이 항상 지배하게 됩니다.

깨지기 쉬운 멀티스레드 코드 작성 기술

알렉세이: 매우 흥미롭습니다. 예를 들어, 코드를 작성할 때 어떤 프로그래밍 언어에 관계없이 일반적으로 읽고 쓸 수 있는 셀과 같은 추상화를 만들어야 합니다. 그러나 실제로 일부 물리적 수준에서는 이는 서로 다른 컴퓨터와 다른 장치 간에 하드웨어 버스를 통해 메시지를 보내는 것처럼 보일 수 있습니다. 두 가지 추상화 수준 모두에서 작업이 동시에 진행되는 것으로 나타났습니다.

Maurice: 공유 메모리가 버스, 캐시 등의 메시지 전달을 기반으로 구축된다는 것은 절대적으로 사실입니다. 그러나 메시지 전달을 사용하여 프로그램을 작성하는 것은 어렵기 때문에 하드웨어는 의도적으로 일종의 균일한 메모리를 가지고 있는 것처럼 가장합니다. 이렇게 하면 성능이 저하되기 전에 간단하고 올바른 프로그램을 더 쉽게 작성할 수 있습니다. 그러면 당신은 이렇게 말할 것입니다: 캐시와 친구가 될 때가 된 것 같습니다. 그리고 나서 캐시의 위치에 대해 걱정하기 시작하고 거기서부터 캐시가 시작됩니다. 어떤 의미에서 당신은 추상화를 해킹하고 있는 것입니다. 당신은 그것이 단지 평면적이고 균일한 메모리가 아니라는 것을 알고 있으며 그 지식을 사용하여 캐시 친화적인 프로그램을 작성하게 될 것입니다. 이것이 실제 문제에서 해야 할 일입니다. 여러분에게 주어진 달콤하고 단순하며 멋진 추상화와 기본 하드웨어의 끔찍할 정도로 복잡한 구현 사이의 이러한 충돌은 모든 사람이 스스로 타협하게 되는 지점입니다. 나는 다중 프로세서와 동기화에 관한 책을 가지고 있는데, 어느 시점에서 나는 데이터 구조에 관한 장을 쓰려고 했습니다. java.util.동시. 따지고 보면 이런 것들이 누락된 목록 이것은 놀라운 예술 작품입니다. (편집자 주: Java 언어에 익숙한 사람들은 최소한 구현을 살펴보아야 합니다. ConcurrentSkipListMap, 당신은 링크를 볼 수 있습니다 API и 소스 코드). 하지만 내 관점에서는 학생들에게 이를 보여주는 것은 무책임하다. 왜냐하면 그러한 데이터 구조는 마치 곰 구덩이 위를 줄타기를 하는 서커스단의 남자와 비슷하기 때문이다. 작은 부분 하나라도 바꾸면 전체 구조가 무너집니다. 이 코드는 완벽하게 작성되었기 때문에 매우 빠르고 우아하지만 조금만 변경해도 완전한 실패로 이어질 수 있습니다. 학생들에게 이 코드를 예시로 주면 학생들은 즉시 이렇게 말할 것입니다. 나도 할 수 있어요! 그러면 비행기가 추락하거나 원자로가 폭발할 것이고, 나는 그들에게 잘못된 시간에 너무 많은 정보를 제공한 죄를 범하게 될 것입니다.

Alexey: 저는 어렸을 때 Doug Lee의 소스 코드를 여러 번 연구하려고 했습니다. 예를 들면 다음과 같습니다. java.util.동시, 오픈 소스이기 때문에 거기에서 무슨 일이 일어나고 있는지 찾고 이해하는 것이 매우 쉽습니다. 별로 좋은 결과가 나오지 않았습니다. 다른 사람들은 모두 다르게 하고 있는데 왜 Doug가 이런 식으로 결정했는지 완전히 불분명한 경우가 많습니다. 이런 것들을 학생들에게 어떻게 설명하시나요? 예를 들어, 하드코어 알고리즘의 특정 세부 사항을 설명하는 특정한 올바른 방법이 있습니까? 어떻게 하나요?

모리스: 그림 선생님들은 가장 먼저 기억하는 진부한 표현이 있습니다. 피카소처럼 그림을 그리고 싶다면 먼저 간단하고 사실적인 그림을 그리는 방법을 배워야 하며, 규칙을 알아야만 규칙을 깨기 시작할 수 있습니다. 당장 규칙을 어기는 것부터 시작하면 결국 엉망이 됩니다. 첫째, 학생들에게 성능 걱정 없이 간단하고 정확한 코드를 작성하는 방법을 가르칩니다. 내가 말하려는 것은 여기에는 복잡한 타이밍 문제가 숨어 있으므로 캐시나 메모리 모델에 대해 걱정하지 말고 모든 것이 올바르게 작동하는지 확인하라는 것입니다. 이것은 이미 충분히 어렵습니다. 현대 프로그래밍은 그 자체로 쉽지 않습니다. 특히 신입생에게는 더욱 그렇습니다. 그리고 그들이 올바른 프로그램을 작성하는 방법에 대한 직관을 갖게 되면 다음과 같이 말합니다. 이 두 개의 스핀록 구현을 살펴보십시오. 하나는 매우 느리고 두 번째도 그다지 좋지는 않지만 더 좋습니다. 그러나 수학적으로 두 알고리즘은 동일합니다. 실제로 그 중 하나는 캐시 지역성을 사용합니다. 그 중 하나는 로컬로 캐시된 데이터에서 실행되고 다른 하나는 버스 전체에서 반복적으로 작업을 수행합니다. 코드가 무엇인지 이해하지 못하고 추상화를 깨고 기본 구조를 살펴보는 방법을 모르면 효율적인 코드를 작성할 수 없습니다. 하지만 이 일을 바로 시작할 수는 없습니다. 이 일을 바로 시작하고 자신의 천재성을 믿는 사람들이 있는데, 대개 원칙을 이해하지 못하기 때문에 나쁘게 끝나게 됩니다. 피카소처럼 그림을 그리는 사람도 없고 대학을 갓 졸업하고 첫 주에 Doug Lee처럼 프로그램을 쓰는 사람도 없습니다. 이 수준의 지식에 도달하려면 수년이 걸립니다.

Alexey: 문제를 두 부분으로 나누는 것으로 나타났습니다. 첫 번째는 정확성이고 두 번째는 성능입니까?

모리스: 정확해요. 그리고 정확히 그 순서대로. 문제의 일부는 신입생들이 정확성을 달성하기 어렵다는 사실을 이해하지 못한다는 것입니다. 언뜻보기에 그들은 이것이 분명히 옳습니다. 남은 것은 속도를 높이는 것뿐입니다. 그래서 때로는 처음에는 잘못된 알고리즘이 올바른 것처럼 이야기하기도 합니다.

학생들에게 복잡한 멀티스레드 코드 작성을 가르치는 방법

알렉세이: 단지 그들이 잡는 것을 감지할 수 있는지 알아보려고요?

모리스: 저는 가끔 잘못된 알고리즘을 제안할 수도 있다는 점을 항상 미리 경고합니다. 사람을 속이면 안 됩니다. 나는 그들이 정보를 약간의 소금으로 받아들일 것을 제안합니다. 내가 무언가를 말하고 "보세요, 이것은 분명히 맞습니다"라고 말하면 이것은 그들이 어딘가에서 당신을 속이려고 한다는 신호이므로 질문을 시작해야 합니다. 다음으로 학생들이 계속해서 질문하도록 유도한 다음, “이대로 놔두면 어떻게 될까요?”라고 제안합니다. 그리고 그들은 즉시 실수를 발견합니다. 그러나 정확성에 대해 걱정할 필요가 있음을 학생들에게 설득하는 것은 언뜻 보이는 것보다 훨씬 더 어렵습니다. 이 학생들 중 상당수는 고등학교에서 프로그래밍 경험이 있고, 일부는 취업하여 프로그래밍을 해본 경험이 있으며, 모두 자신감이 넘칩니다. 이는 군대와 비슷합니다. 발생하는 문제를 해결하기 위해 인내심을 갖고 접근하도록 설득하려면 먼저 기분을 바꿔야 합니다. 아니면 불교 승려와 같을 수도 있습니다. 먼저 정확성에 대해 추론하는 방법을 배우고, 정확성에 대해 추론하는 방법을 이해하면 다음 단계로 이동하여 수행에 대해 걱정하기 시작할 수 있습니다.

Alexey: 즉, 학생들에게 작동하지 않는 예를 보여주는 경우가 있습니다. 덕분에 학생들이 문제의 본질을 이해하고 있는지, 잘못된 코드와 잘못된 결과를 찾을 수 있는지 보여주는 피드백을 받을 수 있습니다. 그러면 학생들은 대개 당신을 행복하게 합니까, 아니면 슬프게 합니까?

모리스: 학생들은 거의 항상 결국에는 실수를 찾아냅니다. 그들이 너무 느리게 검색하면 나는 유도적인 질문을 하며, 여기서 당신이 그들을 속이지 않으면 그들이 당신의 말을 궁극적인 진실로 무의식적으로 인식하기 시작할 것임을 이해하는 것이 중요합니다. 그러면 수업 중에 노트북으로 Facebook을 읽다가 지루해져서 잠이 들기 시작합니다. 하지만 속일 것이고, 속임수를 감지하지 못하면 바보처럼 보일 것이라고 미리 말해 주면 훨씬 더 경계하게 됩니다. 이것은 여러 가지 면에서 좋습니다. 나는 학생들이 문제에 대한 자신의 이해에 의문을 제기할 뿐만 아니라 교사의 권위에 대해서도 의문을 제기하기를 바랍니다. 아이디어는 학생이 언제든지 손을 들고 다음과 같이 말할 수 있다는 것입니다. 방금 말씀하신 내용은 잘못된 것 같습니다. 중요한 학습 도구입니다. 나는 학생들이 앉아서 조용히 생각하는 것을 원하지 않습니다. 이 모든 것이 완전히 말도 안되는 것처럼 보이지만 손을 드는 것은 너무 무섭고 어쨌든 그는 교수이므로 그가 말하는 모든 것은 진실입니다. 그러므로, 말한 모든 것이 반드시 사실이 아닐 수도 있다는 점을 사전에 경고한다면, 그들은 그 내용에 더 많은 관심을 기울일 동기를 갖게 됩니다. 손을 들고 질문해도 괜찮다는 점을 분명히 말씀드립니다. 귀하의 질문이 어리석거나 순진하게 들릴 수도 있지만, 이것이 종종 최고의 질문이 떠오르는 방식입니다.

알렉세이: 매우 흥미롭습니다. 일반적으로 사람들은 교수에게 질문하는 것을 허용하지 않는 일종의 심리적 장벽을 가지고 있습니다. 특히 방에 많은 사람들이 있고, 모두가 당신의 어리석은 질문에 대해 토론하는 것이 이 사람들의 시간을 모두 차지하게 될까 봐 두려워한다면 더욱 그렇습니다. 이를 처리할 수 있는 트릭이 있나요?

모리스: 저는 자주 멈춰서 고전적인 질문을 합니다. 진술이 올바른지 또는 논의 중인 문제를 어떻게 해결할 것인지 여부. 이는 특히 수업이 시작될 때 사람들이 아주 작은 말조차 하기가 부끄러울 때 중요한 행동입니다. 학생들에게 질문을 하고 더 이상 아무 말도 하지 않습니다. 침묵이 흐르고 모두가 약간 긴장하고 긴장이 커지다가 갑자기 누군가가 참지 못하고 무너지고 대답을 합니다. 이것이 상황을 바꾸는 방법입니다. 계속 침묵하는 것이 대답하는 것보다 더 어렵고 불편해집니다! 이것은 표준 교육학 트릭입니다. 세상의 모든 교사는 이를 수행하는 방법을 알아야 합니다.

알렉세이: 이제 이 인터뷰에 대한 훌륭한 제목이 생겼습니다. "침묵을 유지하는 것보다 대답하는 것이 더 쉽습니다."

비탈리: 다시 물어보겠습니다. 당신은 토폴로지 증명을 연구하고 있습니다. 분산 컴퓨팅과 토폴로지는 완전히 다른 것이기 때문에 어떻게 여기에 참여하게 되었습니까?

모리스: 거기에는 숨겨진 연관성이 있어요. 저는 수학을 공부하는 학생이었을 때 순수 수학을 공부했습니다. 나는 공부가 끝날 때까지 컴퓨터에 전혀 관심이 없었고 일자리를 찾아야 하는 긴급한 필요성에 직면하게 되었습니다. 저는 학생 때 대수적 위상수학을 공부했습니다. 수년 후, 라는 문제를 해결하면서 "k-Set 합의 문제", 나는 그래프를 사용하여 문제를 모델링했고 당시에는 해결책을 찾았습니다. 당신은 앉아서 카운트를 돌아야했습니다. 이 그래프에서 적절한 답을 찾아보세요. 하지만 내 알고리즘은 작동하지 않았습니다. 그는 영원히 원을 그리며 달릴 것이라는 것이 밝혀졌습니다. 불행하게도 이 모든 것은 모든 컴퓨터 과학자들이 알고 있는 그래프 이론의 공식 언어로는 설명될 수 없습니다. 그러다가 수년 전 토폴로지 수업 시간에 우리가 다음 개념을 사용했다는 것을 기억했습니다. "단순한 콤플렉스", 이는 그래프를 더 높은 차원으로 일반화한 것입니다. 그런 다음 나는 스스로에게 질문했습니다. 단순 복합체의 관점에서 문제를 다시 공식화하면 어떻게 될까요? 이것이 중요한 순간이 되었습니다. 보다 강력한 형식을 사용하면 문제가 갑자기 훨씬 단순해집니다. 사람들은 그래프를 이용하여 오랫동안 이에 맞서 싸웠지만 아무것도 할 수 없었습니다. 그리고 지금도 그들은 할 수 없습니다. 정답은 알고리즘이 아니라 문제 해결이 불가능하다는 증거로 밝혀졌습니다. 즉, 그러한 알고리즘은 존재하지 않습니다. 하지만 모든 불가능의 증거 단순 복합체 또는 사람들이 단순 복합체를 고려하지 않는 척하는 것에 기초합니다. 새로운 이름을 부른다고 해서 본질을 잃지는 않습니다.

비탈리: 그냥 운이 좋았나 봐요?

모리스: 행운 외에도 준비. 이는 앞서 배운 "쓸모없는" 내용을 잊어서는 안 된다는 뜻입니다. 쓸모없는 것을 더 많이 배울수록 새로운 문제에 직면했을 때 더 많은 아이디어를 추출할 수 있습니다. 이런 종류의 직관적인 패턴 매칭이 중요한 이유는... 이렇게 합시다, 이것은 연쇄입니다. 처음에는 그래프가 전혀 작동하지 않거나 전혀 작동하지 않는다는 것을 발견했습니다. 이는 XNUMX차 사건의 무언가를 생각나게 했습니다. 몇 년 전과 나의 학생 시절, 우리가 이 모든 단순한 복합체를 연구했을 때. 이를 통해 나는 이전 토폴로지 교과서를 찾아 다시 머릿속에 로드할 수 있었습니다. 하지만 그 오래된 지식이 아니었다면 나는 원래의 문제를 해결하는 데 결코 진전을 이루지 못했을 것입니다.

"다중 프로세서 프로그래밍의 기술"이라는 책의 신판

Alexey: 당신은 당신의 책에 대해 몇 마디 말씀하셨습니다. 당신이 멀티스레딩에 관해 세계에서 가장 유명한 책을 썼다는 것은 아마도 최악의 비밀은 아닐 것입니다. "멀티프로세서 프로그래밍의 예술". 벌써 11년쯤 됐는데 그 이후로 이제야 출시됐네요.  개정 재판. 두 번째 판이 나올까요?

모리스: 물어보셨다니 다행이네요! 아주 빨리, XNUMX개월 정도 지나면 됩니다. 저자가 두 명 더 있고, 더 많은 자료를 추가하고, 포크/조인 병렬성에 대한 섹션을 개선하고, MapReduce에 대한 섹션을 작성하고, 많은 새로운 항목을 추가하고, 불필요한 항목을 버렸습니다. 이 내용은 작성 당시 매우 흥미로웠습니다. 초판이었는데 오늘은 더 이상 존재하지 않습니다. 그 결과 매우 심각하게 개정된 책이 탄생했습니다.

Alexey: 이미 모든 작업이 완료되었습니다. 이제 출시만 남았나요?

모리스: 몇 챕터에는 아직 작업이 필요합니다. 우리 출판사(이미 우리를 싫어하는 것 같습니다)는 여전히 우리가 더 빨리 작업해야 한다는 메시지를 전달하려고 노력하고 있습니다. 우리는 일정보다 훨씬 뒤처져 있습니다. 이론적으로 우리는 이 책을 몇 년 전에 완성할 수도 있었습니다.

알렉세이: 크리스마스 전에 새 버전의 책을 받을 기회가 있나요?

모리스: 이것이 우리의 목표입니다! 하지만 나는 승리를 너무 많이 예측했기 때문에 더 이상 아무도 나를 믿지 않습니다. 당신도 이 문제에 있어서 나를 너무 믿어서는 안 될 것입니다.

Alexey: 어쨌든 이것은 환상적인 소식입니다. 나는 책의 초판을 정말 좋아했습니다. 나는 팬이라고 말할 수 있습니다.

모리스: 새 판이 여러분의 뜨거운 열정에 걸맞은 작품이 되기를 바랍니다. 감사합니다!

트랜잭션 메모리가 발명된 방법

Vitaly: 다음 질문은 트랜잭션 메모리에 관한 것입니다. 내가 아는 한, 당신은 이 분야의 선구자이고, 아무도 그런 것에 대해 생각하지 않았을 때 그것을 발명했습니다. 왜 이 분야로 진출하기로 결정했나요? 왜 거래가 중요하다고 보셨나요? 언젠가 하드웨어로 구현될 것이라고 생각하셨나요?

모리스: 저는 대학원 연구 시절부터 거래에 대해 알고 있었습니다.

비탈리: 네, 하지만 이건 다른 거래입니다!

모리스: 저는 Elliott Moss와 함께 비차단 가비지 수집 작업을 했습니다. 우리의 문제는 메모리의 몇 단어를 원자적으로 변경하려고 하면 알고리즘이 매우 단순해지고 적어도 일부는 더 효율적이 된다는 것입니다. 사용 비교 및 교환 에 로드 링크/저장 조건부병렬 아키텍처가 제공하면 무언가를 수행하는 것이 가능하지만 간접 계층을 처리해야 하기 때문에 매우 비효율적이고 보기 흉합니다. 나는 메모리 단어를 변경하고 싶고 하나의 포인터만 변경할 수 있기 때문에 전환해야 합니다. 그래서 포인터는 일종의 디렉토리와 같은 구조를 가리켜야 합니다. 동시 녹음이 가능하도록 하드웨어를 바꿀 수 있다면 얼마나 좋을까 이야기를 나눴습니다. Elliott는 이것을 알아차린 것 같습니다. 캐시 일관성 프로토콜을 살펴보면 이미 필요한 기능의 대부분을 제공하고 있습니다. 낙관적 트랜잭션에서 캐시 일관성 프로토콜은 타이밍 충돌이 있음을 인식하고 캐시는 다음과 같이 됩니다. 무효. 추측에 따라 캐시에서 트랜잭션을 실행하고 일관성 프로토콜 메커니즘을 사용하여 충돌을 감지하면 어떻게 되나요? 투기적인 하드웨어 아키텍처는 설계하기 쉬웠습니다. 그래서 우리는 그걸 썼어요 첫 번째 출판 트랜잭션 메모리에 대해 동시에 제가 근무하던 회사인 Digital Equipment Corporation은 Alpha라는 새로운 64비트 프로세서를 만들고 있었습니다. 그래서 저는 Alpha 개발 그룹에 가서 우리의 놀라운 트랜잭션 메모리에 대해 프레젠테이션을 했고 그들은 이렇게 물었습니다. 이 모든 것을 프로세서에 직접 추가하면 우리 회사는 얼마나 많은 추가 수익을 얻을 수 있습니까? 그리고 저는 이에 대해 전혀 대답할 수 없었습니다. 왜냐하면 저는 기술 전문가이고 마케팅 전문가가 아니기 때문입니다. 정말 대답할 말이 없었습니다. 그들은 내가 아무것도 모른다는 사실에 그다지 감동받지 않았습니다.

비탈리: 수십억! 수십억이라고 말해보세요!

모리스: 응, 그렇게 말했어야 했는데. 이제 스타트업이니 뭐니 하는 시대에 나는 사업계획서를 작성할 줄 안다. 잠재적 이익의 규모에 대해 약간의 거짓말을 할 수 있습니다. 그런데 그때는 순진한 것 같아서 그냥 “모른다”고 했어요. 트랜잭션 메모리에 대한 출판 내역을 살펴보면 2004년 후에 이에 대한 여러 참조가 있었고 약 XNUMX년 동안 이 문서를 전혀 인용한 사람이 없다는 것을 알 수 있습니다. 이러한 인용문은 진정한 멀티코어가 등장한 XNUMX년경에 나타났습니다. 사람들이 병렬 코드를 작성하면 돈을 벌 수 있다는 사실을 발견했을 때 새로운 연구가 시작되었습니다. 라비 라지와르 기사를 썼다, 이는 어떤 방식으로든 트랜잭션 메모리의 개념을 주류에 도입했습니다. (편집자 주: 이 기사의 두 번째 버전이 2010년에 발표되어 무료로 제공됩니다. PDF로). 갑자기 사람들은 이 모든 것이 어떻게 사용될 수 있는지, 잠금 기능이 있는 기존 알고리즘이 어떻게 가속화될 수 있는지 정확히 깨달았습니다. 과거에는 단지 흥미로운 학문적 문제처럼 보였던 것의 좋은 예입니다. 그리고 네, 만약 당신이 그 당시 나에게 이 모든 것이 미래에 중요할 것이라고 생각하는지 묻는다면 나는 이렇게 대답했을 것입니다. 물론이지만 정확히 언제인지는 확실하지 않습니다. 아마도 50년 후에는? 실제로 이는 불과 XNUMX년밖에 걸리지 않았습니다. 뭔가를 하면 정말 좋은데, XNUMX년만 지나면 사람들이 그걸 알아차리죠.

분산 컴퓨팅 분야에서 연구를 수행할 가치가 있는 이유

Vitaly: 새로운 연구에 관해 이야기한다면 독자들에게 분산 컴퓨팅이나 멀티 코어 중 무엇을 조언하시겠습니까? 그리고 그 이유는 무엇입니까? 

모리스: 요즘에는 멀티 코어 프로세서를 구입하기가 쉽지만 진정한 분산 시스템을 설정하기는 더 어렵습니다. 박사 논문과 다른 일을 하고 싶어서 이 일을 시작하게 됐어요. 제가 신입생들에게 항상 주는 조언은 바로 논문을 연속해서 쓰지 말고 새로운 방향으로 나아가도록 하세요. 그리고 멀티스레딩도 쉽습니다. 침대에서 일어나지 않고도 노트북에서 포크를 실행하여 실험할 수 있습니다. 하지만 갑자기 실제 분산 시스템을 만들고 싶다면 많은 노력을 해야 하고 학생을 유치하는 등의 작업을 해야 합니다. 나는 게으른 사람이고 차라리 멀티 코어에서 작업하고 싶습니다. 멀티 코어 시스템에서 실험하는 것은 분산 시스템에서 실험하는 것보다 쉽습니다. 왜냐하면 어리석은 분산 시스템에서도 제어해야 할 요소가 너무 많기 때문입니다.

비탈리: 블록체인을 연구하면서 지금 무엇을 하고 있나요? 어떤 기사에 먼저 주목해야 할까요?

모리스: 최근 등장 아주 좋은 기사, 특히 강연을 위해 제 학생인 Vikram Saraf와 함께 쓴 글입니다. 토큰놈컨퍼런스 XNUMX주 전 파리에서. 이 글은 이더리움을 멀티스레드로 만들 것을 제안하는 실용적인 분산 시스템에 관한 기사입니다. 현재 스마트 계약(블록체인에서 실행되는 코드)은 순차적으로 실행됩니다. 우리는 프로세스 속도를 높이기 위해 투기 거래를 사용하는 방법에 대해 이야기한 기사를 일찍 썼습니다. 우리는 소프트웨어 트랜잭션 메모리에서 많은 아이디어를 얻었고 이러한 아이디어를 Etherium 가상 머신의 일부로 만들면 모든 것이 더 빠르게 작동할 것이라고 말했습니다. 그러나 이를 위해서는 계약서에 데이터 충돌이 없어야 합니다. 그리고 우리는 실제 생활에서는 그러한 갈등이 실제로 없다고 가정했습니다. 그러나 우리는 그것을 알아낼 방법이 없었습니다. 그러다가 우리 손에 거의 XNUMX년에 달하는 실제 계약 내역이 있다는 생각이 떠올랐습니다. 그래서 우리는 이더리움 블록체인을 버리고 스스로에게 물었습니다. 이러한 역사적 기록이 동시에 실행되면 어떻게 될까요? 속도가 크게 증가한 것을 발견했습니다. 이더리움 초기에는 속도가 엄청나게 빨라졌지만, 오늘날에는 계약 수가 적고 직렬화가 필요한 데이터에 대한 충돌 가능성이 높아지기 때문에 모든 것이 다소 복잡해졌습니다. 그러나 이 모든 것은 실제 역사적 데이터를 사용한 실험적인 작업입니다. 블록체인의 좋은 점은 모든 것을 영원히 기억한다는 것입니다. 따라서 우리는 시간을 거슬러 올라가 코드를 실행하기 위해 다른 알고리즘을 사용했다면 어떤 일이 일어났을지 연구할 수 있습니다. 과거 사람들은 우리의 새로운 아이디어를 어떻게 좋아했을까요? 그런 연구는 훨씬 더 쉽고 즐겁습니다. 모든 것을 감시하고 기록하는 것이 있기 때문입니다. 이것은 이미 알고리즘 개발보다 사회학과 더 유사한 것입니다.

알고리즘 개발이 중단되었으며 어떻게 진행됩니까?

비탈리: 마지막 이론적 질문을 할 시간입니다! 경쟁적인 데이터 구조의 발전이 매년 감소하고 있다고 느끼시나요? 데이터 구조에 대한 이해가 정체기에 도달했다고 생각하시나요? 아니면 몇 가지 중요한 개선이 있을 것으로 생각하시나요? 어쩌면 모든 것을 완전히 바꿀 수 있는 영리한 아이디어가 있을까요?

모리스: 우리는 전통적인 아키텍처의 데이터 구조가 정체 상태에 도달했을 수 있습니다. 그러나 새로운 아키텍처를 위한 데이터 구조는 여전히 매우 유망한 분야입니다. 예를 들어 하드웨어 가속기에 대한 데이터 구조를 생성하려는 경우 GPU의 데이터 구조는 CPU의 데이터 구조와 매우 다릅니다. 블록체인용 데이터 구조를 개발할 때 데이터 조각을 해시한 다음 다음과 같은 형태로 넣어야 합니다. 머클 트리, 위조를 방지하기 위해. 최근 이 분야에서 활동이 급증하고 있으며 많은 사람들이 매우 좋은 일을 하고 있습니다. 하지만 앞으로 일어날 일은 새로운 아키텍처와 새로운 애플리케이션이 새로운 데이터 구조로 이어질 것이라고 생각합니다. 레거시 애플리케이션과 기존 아키텍처 - 더 이상 탐색할 여지가 많지 않을 수 있습니다. 그러나 사람이 많이 다니는 길에서 벗어나 가장자리 너머를 보면 주류가 심각하게 받아들이지 않는 미친 일을 보게 될 것입니다. 그곳에서 모든 흥미로운 일이 실제로 발생합니다.

비탈리: 그래서 아주 유명한 연구자가 되기 위해 나만의 건축물을 고안해야 했어요 :)

모리스: 다른 사람의 새 아키텍처를 "훔칠" 수 있습니다. 훨씬 쉬운 것 같습니다!

브라운대학교에서 근무

비탈리: 더 자세히 말씀해주실 수 있나요? 브라운대학교당신은 어디서 일해요? 정보 기술 분야에서 그에 대해 알려진 바는 많지 않습니다. 예를 들어 MIT보다 적습니다.

모리스: 브라운 대학교는 미국에서 가장 오래된 대학교 중 하나입니다. 하버드만 좀 나이가 많은 것 같아요. 브라운은 소위 말하는 것의 일부입니다. 아이비 리그, 이는 가장 오래된 XNUMX개 대학의 모음입니다. 하버드, 브라운, 코넬, 예일, 콜롬비아, 다트머스, 펜실베니아, 프린스턴. 그것은 일종의 오래되고 작고 약간 귀족적인 대학입니다. 교양교육에 중점을 두고 있습니다. MIT처럼 되려고 하는 것이 아닙니다. MIT는 매우 전문적이고 기술적입니다. 브라운은 러시아 문학이나 고전 그리스어는 물론 컴퓨터 공학도 공부하기에 좋은 곳입니다. 종합교육에 중점을 두고 있습니다. 우리 학생들 대부분은 Facebook, Apple, Google에 접속합니다. 그래서 우리 학생들은 업계에서 일자리를 찾는 데 아무런 문제가 없다고 생각합니다. 나는 이전에 보스턴에 있는 Digital Equipment Corporation에서 근무했기 때문에 Brown에서 일하게 되었습니다. 이 회사는 많은 흥미로운 것들을 발명했지만 개인용 컴퓨터의 중요성을 부인했습니다. 운명이 어려운 회사를 창립한 사람들은 한때 젊은 혁명가들이었는데 아무것도 배우지 못하고 아무것도 잊지 않았으므로 십여 년도 안 되어 혁명가에서 반동으로 변했습니다. 그들은 개인용 컴퓨터가 차고(물론 버려진 차고)에 있다고 농담하기를 좋아했습니다. 더 유연한 회사에 의해 그들이 파괴되었다는 것은 매우 분명합니다. 회사에 문제가 있다는 것이 분명해지자 나는 보스턴에서 약 한 시간 거리에 있는 브라운에 있는 친구에게 전화를 걸었습니다. 그 당시에는 다른 대학에 자리가 많지 않았기 때문에 보스턴을 떠나고 싶지 않았습니다. 그때는 지금처럼 컴퓨터 과학 분야에 일자리가 많지 않았던 때였습니다. 그리고 브라운에게는 자리가 생겼고, 집이나 가족을 이사할 필요도 없었고, 보스턴에 사는 것이 정말 좋아요! 그래서 브라운으로 가기로 결정했어요. 좋아요. 학생들이 너무 좋아서 다른 곳은 가려고 한 적도 없어요. 안식년 동안 저는 Microsoft에서 XNUMX년, 하이파의 Technion에서 XNUMX년, 그리고 이제 알고랜드에 근무하게 되었습니다. 저는 어디에나 동료가 많기 때문에 교실의 물리적 위치는 그다지 중요하지 않습니다. 하지만 가장 중요한 것은 학생들입니다. 그들은 여기에서 최고입니다. 나는 이곳이 매우 행복하기 때문에 다른 곳으로 가려고 한 적이 없습니다.

그러나 미국에서 브라운의 명성에도 불구하고 그는 놀랍게도 해외에서는 알려지지 않았습니다. 보시다시피 저는 지금 이 상황을 바로잡기 위해 가능한 모든 일을 하고 있습니다.

대학 내 연구와 기업 내 연구의 차이점

Vitaly: 좋습니다. 다음 질문은 디지털 장비에 관한 것입니다. 당신은 연구원으로 거기에있었습니다. 대기업 R&D 부서에서 일하는 것과 대학에서 일하는 것의 차이점은 무엇인가요? 장점과 단점은 무엇입니까?

모리스: 저는 XNUMX년 동안 Microsoft에서 일했고 Sun Microsystems, Oracle, Facebook, 그리고 지금은 Algorand의 직원들과 긴밀히 협력했습니다. 이 모든 것을 바탕으로 기업과 대학 모두에서 일류 연구를 수행하는 것이 가능하다고 말하고 싶습니다. 중요한 차이점은 회사에서는 동료들과 함께 일한다는 것입니다. 아직 존재하지 않는 프로젝트에 대한 아이디어가 갑자기 떠오른다면, 이것이 좋은 아이디어라는 것을 동료들에게 설득해야 합니다. 제가 브라운 대학에 있다면 학생들에게 이렇게 말할 수 있습니다. 반중력에 대해 연구하자! 그들은 다른 사람을 위해 떠나거나 프로젝트를 맡을 것입니다. 예, 자금을 찾아야 하고 보조금 신청서를 작성해야 합니다. 어쨌든 학생은 항상 많을 것이고, 일방적으로 결정을 내릴 수도 있을 것입니다. 하지만 대학에서는 같은 수준의 사람들과 일하지 않을 가능성이 높습니다. 산업 연구의 세계에서는 먼저 프로젝트를 수행할 가치가 있다는 점을 모든 사람에게 납득시켜야 합니다. 나는 누구에게도 아무것도 주문할 수 없습니다. 그리고 이 두 가지 작업 방식은 모두 가치가 있습니다. 왜냐하면 당신이 정말 말도 안되는 일을 하고 있는데 동료를 설득하기 어려운 경우 대학원생을 설득하는 것이 더 쉽기 때문입니다. 특히 돈을 지불하는 경우에는 더욱 그렇습니다. 많은 경험과 깊이 있는 전문성이 필요한 일을 하고 있다면 “아니요, 제가 이 분야에 대해 이해하고 있는데 당신의 아이디어가 나쁘면 안 될 것 같아요”라고 말할 수 있는 동료가 필요합니다. 시간 낭비 측면에서 매우 유용합니다. 또한 산업 실험실에서 보고서를 작성하는 데 많은 시간을 소비한다면 대학에서는 돈을 찾는 데 이 시간을 소비합니다. 학생들이 어딘가로 갈 수 있기를 원한다면, 나는 그것을 위한 돈을 다른 곳에서 찾아야 합니다. 그리고 대학에서의 지위가 중요할수록 돈을 모으는 데 더 많은 시간을 소비해야 합니다. 이제 내가 무엇을 위해 일하는지 아시겠죠? 전문적인 거지입니다! 공양 접시를 들고 돌아다니는 스님처럼요. 일반적으로 이 두 가지 활동은 서로를 보완합니다. 그래서 나는 두 세계 모두에서 땅에 발을 딛고 살려고 노력합니다.

비탈리: 회사를 설득하는 것이 다른 과학자를 설득하는 것보다 더 어려운 것 같아요.

모리스: 더 어렵고 훨씬 더 어렵습니다. 더욱이, 분야에 따라 다릅니다. 일부는 본격적인 연구를 수행하고 다른 일부는 주제에 중점을 둡니다. 내가 마이크로소프트나 페이스북에 가서 반중력을 만들자고 말하면 그들은 거의 감사하지 않을 것입니다. 그러나 내가 대학원생들에게 똑같은 말을한다면 그들은 즉시 일할 가능성이 높지만 지금은 문제가 생길 것입니다. 결국 나는 이것을 위해 돈을 찾아야합니다. 하지만 당신이 회사의 목표에 부합하는 일을 하고 싶다면, 그 회사는 연구를 하기에 아주 좋은 곳이 될 수 있습니다.

히드라와 SPTDC

비탈리: 질문이 이제 끝나가는데, 앞으로 러시아 여행에 대해 잠깐 얘기해보겠습니다.

모리스: 네, 상트페테르부르크로 돌아가는 걸 기대하고 있어요.

Alexey: 올해 여러분과 함께하게 되어 영광입니다. 상트페테르부르크는 이번이 두 번째죠?

모리스: 벌써 세 번째예요!

알렉세이: 이해합니다만 SPTDC – 확실히 두 번째입니다. 지난번에 학교에서 전화가 왔을 때 SPTCC, 올해에는 특히 분산 컴퓨팅과 관련된 영역이 더 많다는 점을 강조하기 위해 한 글자(C에서 D, Concurrent에서 Distributed로)를 변경했습니다. 학교 보고서와 보고서에 대해 몇 마디 말씀해 주시겠어요? 히드라 컨퍼런스?

모리스: 학교에서 블록체인의 기본과 블록체인으로 무엇을 할 수 있는지에 대해 이야기하고 싶습니다. 저는 블록체인이 우리에게 친숙한 멀티스레드 프로그래밍과 매우 유사하지만 고유한 뉘앙스가 있다는 점을 보여주고 싶습니다. 이러한 차이점은 이해하는 것이 중요합니다. 일반 웹 애플리케이션에서 실수를 하면 짜증만 날 뿐입니다. 금융 애플리케이션에 버그가 있는 코드를 작성하면 누군가가 분명히 모든 돈을 훔칠 것입니다. 이는 완전히 다른 수준의 책임과 결과입니다. 작업 증명, 스마트 계약, 서로 다른 블록체인 간의 거래에 대해 조금 이야기하겠습니다.

제 옆에는 블록체인에 대해 할 이야기가 있는 다른 연사들도 있을 텐데, 우리의 이야기가 잘 맞을 수 있도록 서로 조율하기로 했습니다. 그러나 엔지니어링 보고서의 경우 블록체인에 대해 듣는 모든 것을 믿어서는 안되는 이유, 블록체인이 훌륭한 분야인 이유, 알려진 다른 아이디어와 어떻게 부합하는지, 그리고 우리가 대담하게 살펴봐야 하는 이유에 대해 광범위한 청중에게 이해할 수 있는 설명을 말하고 싶습니다. 미래로.

Alexey: 게다가 120년 전처럼 모임이나 사용자 그룹 형식으로 진행되지는 않을 것이라는 점을 말씀드리고 싶습니다. 우리는 학교 근처에서 소규모 회의를 열기로 결정했습니다. 그 이유는 Peter Kuznetsov와 대화를 나눈 후 학교가 단지 XNUMX명, 아마도 XNUMX명으로 제한되어 있다는 것을 깨달았기 때문입니다. 동시에 귀하와 소통하고 싶고, 프레젠테이션에 참석하고, 일반적으로 해당 주제에 관심이 있는 엔지니어가 많이 있습니다. 이러한 이유로 우리는 새로운 컨퍼런스를 만들었습니다. 히드라라고 불림. 그런데 Hydra가 왜 필요한가요?

모리스: XNUMX명의 연사가 있기 때문에요? 그리고 그들의 머리가 잘릴 수도 있고, 그 자리에 새로운 연설가가 자라날 수도 있겠죠?

Alexey: 새로운 스피커를 키우는 좋은 아이디어입니다. 그런데 사실 여기에는 사연이 있습니다. 오디세우스가 바다와 바다 사이를 항해해야 했던 전설을 기억하세요. 스킬라와 카리브디스? 히드라는 Charybdis와 비슷합니다. 이야기는 제가 한 컨퍼런스에서 멀티스레딩에 대해 이야기한 적이 있다는 것입니다. 이번 컨퍼런스에는 트랙이 두 개뿐이었습니다. 보고서 시작 부분에서 나는 홀에 있는 청중에게 이제 Scylla와 Charybdis 중에서 선택할 수 있다고 말했습니다. 내 영혼의 동물은 Charybdis입니다. Charybdis에는 머리가 많고 내 테마는 멀티스레딩이기 때문입니다. 회의 이름이 나타나는 방식입니다.

어쨌든 질문도 시간도 부족합니다. 좋은 인터뷰를 해주신 친구들에게 감사드리며, SPTDC School and Hydra 2019에서 뵙겠습니다!

2019년 11월 12~2019일 상트페테르부르크에서 개최되는 Hydra XNUMX 컨퍼런스에서 Maurice와의 대화를 계속하실 수 있습니다. 그는 보고서를 가지고 올 것이다 «블록체인과 분산 컴퓨팅의 미래». 티켓 구매 가능 공식 웹 사이트.

출처 : habr.com