마이클 스콧 - 34년 동안 그는 로체스터 대학교의 컴퓨터 과학 교수이자 자신의 고향인 위스콘신 매디슨 대학교에서 5년 동안 학장을 역임했습니다. 그는 병렬 및 분산 프로그래밍과 언어 설계에 대해 연구하고 학생들을 가르칩니다.

세상은 교과서를 통해 마이클을 알고 있다 "프로그래밍 언어 화용론", 일은 어때 "공유 메모리 다중 프로세서에서 확장 가능한 동기화를 위한 알고리즘" 분산 컴퓨팅 분야에서 가장 유명한 상 중 하나로 Dijkstra 상을 받았습니다. 당신은 그를 바로 그 알고리즘의 저자로 알고 있을 수도 있습니다. 마이클-스콧.

그는 Doug Lee와 함께 Java 라이브러리를 구동하는 비차단 알고리즘과 동기 대기열을 개발했습니다. 구현 "이중 데이터 구조" JavaSE 6에서는 성능이 10배 향상되었습니다. ThreadPoolExecutor.

Содержание :

• 초기 경력, 로체스터 대학교. Project Charlotte, Lynx 언어;
• IEEE 확장형 일관성 인터페이스, MCS 잠금;
• 끊임없이 변화하는 세계에서의 생존;
• 학생들이 점점 멍청해지고 있나요? 글로벌 트렌드, 국제화;
• 학생들과의 효과적인 협력;
• 새로운 강좌와 책을 준비하는 방법
• 비즈니스와 학계 간의 연결;
• 아이디어의 실질적인 구현. MCS, MS, CLH, JSR 166, Doug Lee 등과 협력
• 트랜잭션 메모리;
• 새로운 아키텍처. 트랜잭션 메모리의 승리가 가까워졌습니다.
• 비휘발성 메모리, Optane DIMM, 초고속 장치;
• 다음 큰 추세. 이중 데이터 구조. 히드라.

인터뷰는 다음과 같이 진행됩니다.

비탈리 악세노프 — 현재 IST 오스트리아의 박사후 연구원이자 ITMO 대학교 컴퓨터 기술학과의 회원입니다. 경쟁적 데이터 구조의 이론 및 실제 분야에 대한 연구를 수행합니다. IST에서 일하기 전, 그는 Peter Kuznetsov 교수 지도 하에 Paris Diderot 대학과 ITMO 대학에서 박사 학위를 받았습니다.

알렉세이 페도로프 - 개발자를 위한 컨퍼런스를 주최하는 러시아 회사인 JUG Ru Group의 프로듀서입니다. Alexey는 50개 이상의 컨퍼런스 준비에 참여했으며 그의 이력서에는 Oracle(JCK, Java Platform Group)의 개발 엔지니어 위치부터 Odnoklassniki의 개발자 위치까지 모든 것이 포함되어 있습니다.

블라디미르 시트니코프 - Netcracker의 엔지니어. 통신 사업자가 네트워크 및 네트워크 장비 관리 프로세스를 자동화하기 위해 사용하는 소프트웨어인 NetCracker OS의 성능과 확장성에 대해 XNUMX년 동안 연구했습니다. Java 및 Oracle 데이터베이스 성능 문제에 관심이 있습니다. 공식 PostgreSQL JDBC 드라이버에서 XNUMX개 이상의 성능 개선을 이룬 저자입니다.

초기 경력, 로체스터 대학교. Charlotte 프로젝트, Lynx 언어.

알렉세이: 우선 러시아에서는 우리 모두가 컴퓨터 과학, 데이터 과학, 알고리즘을 정말 좋아한다는 점을 말씀드리고 싶었습니다. 정말 외설적이에요. 우리는 모든 것을 읽었습니다. Cormen, Leiserson 및 Rivest의 저서. 그러므로 다가오는 컨퍼런스, 학교, 그리고 이번 인터뷰 자체가 매우 인기가 있을 것입니다. 이번 인터뷰를 위해 학생, 프로그래머, 커뮤니티 구성원으로부터 많은 질문을 받았는데, 이 기회를 주셔서 매우 감사드립니다. 컴퓨터 공학이 미국에서도 같은 사랑을 받나요?

마이클: 우리 분야는 너무 다양하고, 방향도 다양하고, 사회에 미치는 영향도 너무 다양해서 확답을 드리기가 어렵습니다. 그러나 사실은 지난 30년 동안 비즈니스, 산업, 예술, 사회 전반에 엄청난 변화를 가져왔습니다.

Виталий: 먼 이야기부터 시작해보자. 많은 대학에는 특정 분야에 대한 전문화와 같은 것이 있습니다. Carnegie Mellon University의 경우 이는 병렬 컴퓨팅이고 MIT의 경우 암호화, 로봇 및 멀티스레딩입니다. 로체스터 대학교에 그러한 전문 분야가 있습니까?

마이클: 솔직히 말해서 CMU와 MIT는 모든 분야에 특화되어 있다고 말하고 싶습니다. 우리 부서는 항상 인공지능에 가장 많은 관심을 기울여 왔습니다. 우리에서 일하는 직원 중 절반은 AI 또는 인간-컴퓨터 상호작용에 종사하고 있습니다. 이 비율은 다른 부서보다 ​​높고 항상 그랬습니다. 하지만 저는 대학에 다닐 때 AI에 대한 강좌가 없었고 이 분야에서 일한 적도 없었습니다. 그래서 우리 부서는 나와 관련이 없는 문제를 전문적으로 다루고 있습니다. 위로가 되는 것은 우리 학과에서 두 번째로 중요한 문제가 병렬 및 다중 스레드 프로그래밍, 즉 나의 전문 분야라는 점입니다.

Виталий: 당신은 멀티스레드 프로그래밍 분야가 막 떠오르던 시기에 컴퓨터 과학 분야에서 일하기 시작했습니다. 당신의 출판물 목록을 보면 당신의 첫 번째 작품이 멀티스레드 시스템의 메모리 관리, 분산 파일 시스템, 운영 체제 등 상당히 광범위한 문제를 다루고 있음을 알 수 있습니다. 왜 그렇게 다재다능합니까? 연구 커뮤니티에서 자신의 자리를 찾으려고 노력해 보셨나요?

마이클: 학생으로서 참여했습니다. 샬럿 프로젝트 최초의 분산 운영 체제 중 하나가 개발된 위스콘신 대학에서. 그곳에서 저는 Rafael Finkel(라파엘 핀켈) 및 마빈 솔로몬(마빈 솔로몬). 내 논문은 분산 시스템용 시스템 소프트웨어용 언어 개발에 관한 것이었습니다. 이제 모두가 그것을 잊어버렸고 신께 감사드립니다. 저는 느슨하게 결합된 분산 운영 체제용 서버를 더 쉽게 만들 수 있도록 하기 위해 Lynx 프로그래밍 언어를 만들었습니다. 당시 나는 주로 운영체제 분야에 종사했기 때문에 내 경력도 주로 운영체제와 연관될 것이라고 생각했다. 그러나 로체스터는 매우 작은 대학이었고 이로 인해 그곳의 다양한 그룹이 서로 매우 긴밀하게 상호 작용했습니다. 내가 대화할 수 있는 다른 운영 체제 사람들이 십여 명도 없었기 때문에 내가 접촉한 사람들은 모두 완전히 다른 분야에서 일하는 사람들이었습니다. 정말 즐거웠습니다. 만능 선수라는 것이 저에게 큰 장점입니다. 멀티 스레드 데이터 구조와 동기화 알고리즘에 대해 구체적으로 이야기한다면 우연히 작업을 시작했습니다.

IEEE 확장형 일관성 인터페이스, MCS 잠금.

Виталий: 이에 대해 좀 더 말씀해 주시겠어요?

마이클: 이것은 내가 모두에게 말해도 질리지 않는 재미있는 이야기입니다. 컨퍼런스에서 있었던 일입니다 아스플로스 보스턴에서는 80년대 후반이나 90년대 초반이었습니다. 존 멜러-크러미(John Mellor-Crummey)존 멜러-크러미), 우리 학부를 졸업했습니다. 나는 그를 알고 있었지만 이전에 공동 연구를 수행한 적이 없었습니다. 메리 버논(메리 버논) 위스콘신에서 위스콘신에서 개발 중인 다중 프로세서 시스템에 대해 이야기했습니다. 위스콘신 멀티큐브. 이 멀티큐브에는 하드웨어 수준에서 Q on Sync Bit라는 동기화 메커니즘이 있었는데 나중에는 말장난인 콜비 치즈처럼 들리기 때문에 Q on Lock Bit로 이름이 바뀌었습니다. 멀티스레딩 메커니즘에 관심이 있다면 Colby가 결국 IEEE Scalable Coherent Interface 표준의 동기화 엔진이 되었다는 사실을 알고 계실 것입니다. 이는 각 잠금 보유자가 누구의 차례인지 알 수 있도록 하드웨어 수준에서 한 캐시에서 다른 캐시로 포인터를 생성하는 잠금 메커니즘이었습니다. John과 내가 이 이야기를 들었을 때 우리는 서로를 바라보며 말했습니다. 왜 하드웨어 수준에서 이것을 하는가? 비교 및 교환을 사용하여 동일한 결과를 얻을 수 없습니까? 우리는 교실에 놓여 있는 공책 중 하나를 꺼내서 적었습니다. MCS 차단, Mary는 보고를 계속했습니다. 그 후 우리는 이를 구현하고 실험한 결과 아이디어가 성공하여 기사를 출판했습니다. 그 당시 나에게 이 주제는 단지 재미있는 방해 요소로 보였고 그 후에는 운영 체제로 돌아갈 계획이었습니다. 그러나 같은 맥락에서 또 다른 문제가 발생했고 결국 동기화, 멀티스레딩, 데이터 구조가 내 전문 분야가 되었습니다. 보시다시피 이 모든 일은 우연히 일어났습니다.

Виталий: MCS 차단에 대해서는 오래전부터 익히 알고 있었지만 지금까지 귀하의 작품인지도 몰랐고, 귀하의 성의 약어인 것도 이해하지 못했습니다.

끊임없이 변화하는 세상에서 살아남는 방법은 무엇입니까?

알렉세이: 관련 주제에 대해 질문이 있습니다. 30~40년 전에는 다양한 전문 분야에서 더 많은 자유가 있었습니다. 멀티스레딩이나 분산 시스템 분야에서 경력을 시작하고 싶다면 언제든지 환영합니다. 운영 체제에 들어가고 싶다면 문제 없습니다. 각 분야에는 미결 질문이 많았고 전문가는 거의 없었습니다. 이제 좁은 전문 분야가 등장했습니다. 일반적으로 운영 체제에 대한 전문가만 있는 것이 아니라 개별 시스템에 대한 전문가도 있습니다. 멀티스레딩 및 분산 시스템에서도 마찬가지입니다. 그러나 문제는 우리의 삶이 끝이 없다는 것입니다. 누구나 연구에 전념할 수 있는 시간은 몇십 년에 불과합니다. 이 새로운 세상에서 살아남는 방법은 무엇입니까?

마이클: 이 점에 있어서 우리는 특별하지 않습니다. 다른 지역에서도 같은 일이 일어났습니다. 운이 좋게도 컴퓨터 과학 분야가 '10대' 시절에 일하기 시작했습니다. 일부 기초는 이미 다져졌지만 모든 것이 아직 미성숙했습니다. 이런 기회는 자주 오지 않습니다. 전기 공학은 아주 오랫동안 존재해왔고, 물리학은 훨씬 더 오래되었으며, 수학은 거의 태초부터 존재해 왔습니다. 그러나 이것이 더 이상 수학에서 흥미로운 발견을 하는 사람이 아무도 없다는 뜻은 아닙니다. 아직 해결해야 할 문제가 많지만 동시에 더 많은 것을 배워야 합니다. 이제 이전보다 더 많은 전문 분야가 있다는 점을 지적하는 것이 옳습니다. 그러나 이는 우리가 인간 활동의 대부분의 다른 영역과 동일한 상황에 처해 있음을 의미할 뿐입니다.

알렉세이: 나는 여기서 문제의 보다 실용적인 측면에 관심이 있습니다. 저는 수학에 대한 배경 지식을 가지고 있으며 공부하는 동안 종종 컨퍼런스에 참석하고 다양한 과학 주제에 대해 연구했습니다. 나는 청중 중 어느 누구도 내 보고를 이해하지 못했고, 마찬가지로 다른 사람들의 보고도 그들 자신만이 이해할 수 있다는 것을 발견했습니다. 높은 수준의 주제에서는 그렇지 않지만, 무언가를 탐구하기 시작하자마자 청중은 더 ​​이상 따라갈 수 없습니다. 이 문제를 어떻게 처리합니까?

마이클: 항상 성공하는 것은 아닙니다. 나는 최근 기술적인 세부 사항을 너무 깊이 다룬 보고서를 준비했습니다. 강연이 진행되면서 대부분의 청중이 내 말을 이해하지 못한다는 것이 분명해졌고, 그래서 나는 상황에 즉각 적응해야 했다. 슬라이드는 바꿀 수가 없어서 결과물이 별로 좋지 않아서 일반적으로 슬라이드는 사용하지 않으려고 노력하고 있어요. 전반적으로 내 조언은 청중을 고려하라는 것입니다. 당신은 누구와 대화하고 있는지, 그들의 지식 수준이 무엇인지, 당신의 작품을 감상하기 위해 그들이 무엇을 들어야 하는지 알아야 합니다.

Виталий: 이번 강의 내용에 대해 힌트를 주실 수 있나요?

마이클: 솔직히 말해서 문제의 사람들을 익명으로 남겨두기 위해 이 주제에 대해 더 이상 설명하고 싶지 않습니다. 요점은 우리가 다루고 있는 문제의 복잡성에 너무 깊이 빠져들기 때문에 강연 시작 부분에서 그 문제가 왜 흥미롭고 중요한지, 그리고 그것이 우리가 다루고 있는 문제와 어떻게 관련되어 있는지 설명하기가 어렵다는 것입니다. 청중은 이미 알고 있다. 내 관찰에 따르면 학생들은 이 기술을 배우는 데 가장 어려움을 겪는다. 그리고 이것이 최근 보고서의 약점이기도 했습니다. 적절하게 구성된 보고서는 처음부터 청중과 접촉하여 문제가 정확히 무엇인지, 그리고 그것이 이미 알려진 주제와 어떻게 관련되어 있는지 설명해야 합니다. 이 소개가 얼마나 기술적인지는 청중에 따라 다릅니다. 완전히 잡다한 경우 보고서는 다단계가 될 수 있습니다. 소개는 모든 사람이 접근할 수 있어야 하며, 결국에는 내용이 귀하의 의견을 따라가지 못할 수도 있지만 귀하의 분야에 상대적으로 익숙한 사람들은 그것을 알아낼 수 있을 것입니다.

학생들이 점점 멍청해지고 있나요? 글로벌 트렌드, 국제화.

알렉세이: 당신은 수십 년 동안 학생들을 관찰해 왔습니다. 학생들은 10년이 지나면서, 또는 해마다 점점 더 멍청해지거나 더 똑똑해지고 있습니까? 러시아에서는 교수들이 학생들이 해마다 멍청해지고 있다고 끊임없이 불평하는데, 이에 대해 어떻게 해야 할지 정말 불투명합니다.

마이클: 우리 노인들에게서 부정적인 말을 많이 듣게 됩니다. 무의식적으로 우리는 학생들이 우리가 이미 가지고 있는 30년의 경험을 모두 흡수하기를 기대하는 경향이 있습니다. 내가 1985년보다 더 깊은 이해를 갖고 있는데 왜 학생들은 그것을 갖지 못하는 걸까요? 아마도 20살이기 때문일 텐데요, 어떻게 생각하시나요? 최근 수십 년 동안 가장 중요한 변화는 인구통계학적 구성에 있다고 생각합니다. 이제 캐나다인을 제외하고는 훨씬 더 많은 유학생이 있습니다. 캐나다 국경과 매우 가깝고 그곳에서 온 학생들이 주말에 집으로 돌아갈 수 있기 때문에 캐나다인들이 많았습니다. 그러나 이제 캐나다에는 좋은 대학이 많이 있으며 캐나다인들은 여기서 공부하는 것을 선호하며 그 중 미국으로 오는 대학은 훨씬 적습니다.

알렉세이: 이것이 국내적 추세라고 생각하시나요, 아니면 글로벌 추세라고 생각하시나요?

마이클: 정확히 누구인지는 기억나지 않지만, 누군가가 세상은 평평하다고 말하더군요. 우리 분야는 훨씬 더 국제화되었습니다. ACM 컨퍼런스 이전에는 미국 내에서만 개최되다가 4년에 한 번씩 다른 나라에서도 개최하기로 하여 이제는 전 세계에서 개최하게 되었습니다. 이러한 변화는 훨씬 더 많은 영향을 미쳤습니다. IEEE, ACM보다 항상 더 국제적인 조직이었기 때문입니다. 그리고 중국, 인도, 러시아, 독일 및 기타 여러 국가의 프로그램 의장이 있습니다. 왜냐하면 현재 모든 곳에서 많은 일이 일어나고 있기 때문입니다.

알렉세이: 그런데 아마도 이러한 국제화에는 부정적인 측면도 있지 않을까요?

마이클: 모든 부정적인 측면은 기술이 아니라 정치와 관련이 있다고 말하고 싶습니다. 옛날에는 미국이 전 세계에서 가장 똑똑하고 재능 있는 사람들을 훔치고 있다는 것이 가장 큰 문제였습니다. 그리고 이제 주요 문제는 비자와 이민을 둘러싼 여러 국가 간의 정치적 게임입니다.

알렉세이: 즉, 장벽 같은 것입니다. 알았습니다.

블라디미르: 개인적으로 새로운 과목을 학생들에게 가르칠 때 어떤 접근 방식을 취하시는지 궁금합니다. 다양한 옵션이 있습니다. 먼저 그들이 새로운 것을 시도하도록 영감을 줄 수도 있고, 특정 기술이 어떻게 작동하는지에 대한 세부 사항에 더 많은 관심을 기울일 수도 있습니다. 당신은 무엇을 선호합니까?

학생들과의 효과적인 작업

알렉세이: 그리고 첫 번째와 두 번째 사이의 빌어먹을 균형을 찾는 방법은 무엇입니까?

마이클: 문제는 수업이 항상 내 뜻대로 흘러가지 않는다는 거예요. 저는 보통 학생들에게 미리 읽을거리를 주어 그들이 깊이 파고들어 최선을 다해 이해하도록 하고, 이해하지 못하는 부분에 대해서는 질문을 공식화하도록 합니다. 그런 다음 수업 시간에 가장 어려운 순간에 집중하고 함께 탐색할 수 있습니다. 이것이 제가 수업을 가장 좋아하는 방법입니다. 하지만 이제 학생들이 짊어지고 있는 부담을 고려하면, 학생들이 미리 준비하는지 항상 확인할 수는 없습니다. 결과적으로 원하는 것보다 자료를 전반적으로 다시 설명하는 데 훨씬 더 많은 시간을 할애해야 합니다. 그럼에도 불구하고 저는 수업을 상호작용적으로 유지하려고 노력합니다. 그렇지 않으면 학생들이 집에서 볼 수 있도록 비디오를 녹화하는 것이 더 쉽습니다. 라이브 수업의 포인트는 인간의 상호작용입니다. 수업에서는 도표가 너무 복잡해서 칠판에 표현할 수 없는 경우를 제외하고는 슬라이드보다는 분필과 칠판을 사용하는 것을 선호합니다. 덕분에 딱딱한 수업 계획에 얽매일 필요가 없어요. 자료를 제공하는 데 엄격한 순서가 없기 때문에 내가 받는 질문에 따라 청중에게 맞게 자료를 조정할 수 있습니다. 일반적으로 나는 내가 제시하는 자료가 나에게 묻는 질문에 따라 달라지도록 수업을 가능한 한 대화식으로 만들려고 노력합니다.

블라디미르: 훌륭해요. 내 경험상 청취자들이 질문을 하게 만드는 것은 상당히 어렵다. 어떤 질문을 하려고 미리 물어봐도, 아무리 멍청하고 똑똑해도 그들은 여전히 ​​침묵을 지킨다. 이 문제를 어떻게 처리합니까?

마이클: 웃으시겠지만, 오랫동안 침묵 속에 서 있으면 조만간 모두가 불편해지며 누군가 질문을 하게 될 것입니다. 또는 사람들이 방금 말한 내용을 이해했는지 확인하기 위해 예 또는 아니요로 대답하는 간단한 기술 질문을 할 수도 있습니다. 예를 들어, 위의 예에 데이터 경합이 있습니까? 누가 그렇게 생각하나요? 누가 그렇지 않다고 생각합니까? 전체적으로 손의 절반 만 올라 갔기 때문에 아무것도 이해하지 못하는 사람은 누구입니까?

Виталий: 그리고 오답일 경우 퇴실 조치됩니다 :)

마이클: 아직 답변하지 않으셨다면 질문을 해주시기 바랍니다. 제가 방금 질문한 질문에 대답하려면 학생이 정확히 무엇을 알아야 하는지 이해해야 합니다. 나는 그들을 도울 수 있도록 그들이 필요합니다. 나는 그들이 문제를 이해할 수 있도록 적응할 준비가 되어 있습니다. 하지만 그들의 머릿속에서 무슨 일이 일어나고 있는지 모른다면 나는 할 수 없습니다. 그리고 학생들에게 충분한 시간 동안 평화를 주지 않으면, 때로는 결국 학생들이 올바른 질문, 즉 학생들의 머릿속에서 정확히 무슨 일이 일어나고 있는지 볼 수 있게 해주는 질문을 하기도 합니다. 

알렉세이: 이러한 질문이 때로는 이전에 생각하지 못했던 아이디어로 이어지나요? 예상치 못한 일인가요? 문제를 새로운 시각으로 볼 수 있게 합니까?

마이클: 자료를 발표하는 새로운 방식을 여는 질문이 있습니다. 제가 이야기하려고 계획하지 않았던 흥미로운 문제로 이어지는 질문이 종종 있습니다. 학생들은 이런 일이 발생하면 주제에서 벗어나는 경향이 있다고 종종 말합니다. 그리고 그들에 따르면 이것이 수업에서 가장 흥미로운 부분인 경우가 많습니다. 아주 드물게, 단 몇 번만 학생들이 연구의 새로운 방향을 제시하고 기사로 성장한 질문을 했습니다. 이런 일은 수업 중보다는 학생들과의 대화에서 훨씬 더 자주 발생하지만, 수업 중에도 가끔 발생했습니다. 

알렉세이: 그러면 학생들이 당신에게 질문을 했고 그 근거로 기사를 출판할 수 있었나요?

마이클예. 

Виталий: 학생들과 이런 대화를 얼마나 자주 나누시나요? 수업에서 다룬 것보다 더 많은 것을 배우고 싶은 때는 언제입니까?

마이클: 대학원생들과 함께 - 항상. 그 중 5, 6명 정도 있는데, 그들과 늘 뭔가 이야기를 나눕니다. 그리고 단순히 내 수업에 참석하는 학생들과 이런 종류의 대화는 그리 흔하지 않습니다. 이런 일이 더 자주 일어났으면 좋겠지만. 나는 그들이 근무 시간에 교수진에 오는 것을 두려워하는 것 같다고 생각합니다. 매 학기마다 일부 학생들은 이러한 심리적 장벽을 극복하는데, 수업이 끝난 후 그들과 대화하는 것은 항상 매우 흥미롭습니다. 사실, 모든 학생들이 그렇게 용감하다면 나에게는 시간이 충분하지 않을 것입니다. 어쩌면 모든 것이 제대로 작동하고 있을 수도 있습니다. 

Виталий: 학생들과 소통할 시간은 어떻게 마련하시나요? 내가 아는 한, 미국 교사들은 보조금 신청 등 많은 일을 합니다. 

마이클: 솔직히 학생들과 함께 일하는 것이 제가 가장 좋아하는 일입니다. 그래서 나는 이것에 대한 충분한 동기를 가지고 있습니다. 제가 사무실에서 보내는 대부분의 시간은 온갖 종류의 회의에 사용됩니다. 지금은 여름이라 스케줄이 덜 바쁜데, 학기 중에는 매일 9시부터 17시까지 모든 것을 챙깁니다. 연구 작업, 리뷰, 보조금 - 이 모든 것에는 저녁과 주말만 있습니다. 

새로운 강좌와 책을 준비하는 방법.

알렉세이: 오랫동안 가르치셨던 과목을 현재도 계속 가르치고 계시나요? 컴퓨터 과학에 대한 소개와 같은 것입니다.

마이클: 여기서 가장 먼저 떠오르는 것은 프로그래밍 언어 강좌입니다. 

알렉세이: 오늘날의 이 강좌는 10년, 20년, 30년 전의 강좌와 얼마나 다른가요? 아마도 여기서 더 흥미로운 것은 특정 코스의 세부 사항이 아니라 일반적인 추세일 것입니다.

마이클: 제가 프로그래밍 언어에 관한 강좌를 개설할 당시에는 다소 특이했습니다. 나는 1980년대 후반에 동료인 더그 볼드윈(Doug Baldwin)을 대신하여 이 책을 읽기 시작했습니다.더그 볼드윈). 강좌의 주제는 내 전문 분야와 접선적인 관련이 있을 뿐이었지만 그가 떠났을 때 나는 강좌를 가르칠 가장 적합한 후보자였습니다. 나는 당시 존재하는 어떤 교과서도 마음에 들지 않아서 결국 이 강좌의 교과서를 직접 집필하게 되었습니다. (편집자 주: 우리는 책에 대해 이야기하고 있습니다. "프로그래밍 언어 화용론") 현재 전 세계 200개 이상의 대학에서 사용되고 있습니다. 나의 접근 방식은 언어 설계와 구현의 문제를 의도적으로 혼합하고 가능한 모든 영역에서 이러한 측면 간의 상호 작용에 큰 관심을 기울인다는 점에서 특이합니다. 추상화, 네임스페이스, 모듈성, 유형 등 많은 기본 개념이 그렇듯이 기본 접근 방식은 변경되지 않았습니다. 그러나 이러한 개념을 보여주는 언어 세트는 완전히 변경되었습니다. 강좌가 처음 만들어졌을 때는 Pascal로 작성된 예제가 많았지만 오늘날에는 이 언어를 들어본 적도 없는 학생들이 많습니다. 하지만 그들은 Swift, Go, Rust를 알고 있으므로 오늘날 사용되는 언어에 대해 이야기해야 합니다. 또한 학생들은 이제 스크립팅 언어에 정통하지만, 제가 이 강좌를 가르치기 시작했을 때는 컴파일된 언어에 관한 것이 전부였습니다. 이제 Python, Ruby, 심지어 Perl에 대한 많은 자료가 필요합니다. 요즘에는 이것이 코드로 작성되고 언어 디자인 분야를 포함하여 이러한 언어에서 많은 흥미로운 일이 일어나고 있기 때문입니다. 

Виталий: 그럼 다음 질문은 이전 질문과 관련이 있겠네요. 이 분야를 따라잡는 방법은 무엇입니까? 이와 같은 코스를 업데이트하려면 많은 작업이 필요하다고 생각합니다. 새로운 언어를 이해하고 주요 아이디어를 이해해야 합니다. 어떻게 하나요?

마이클: 항상 100% 성공한다고는 자랑할 수 없습니다. 하지만 대부분의 경우 나는 다른 사람들이 하는 대로 인터넷을 읽는다. Rust를 이해하고 싶다면 Google에서 Mozilla 페이지로 가서 그곳에 게시된 매뉴얼을 읽어보세요. 이는 상업 개발에서 일어나는 일의 일부입니다. 과학에 관해 이야기한다면 주요 회의의 보고서를 따라야 합니다. 

기업과 학계의 연결

Виталий: 비즈니스와 과학연구의 연관성에 대해 이야기해 봅시다. 귀하의 작품 목록에서 캐시 일관성에 관한 여러 기사를 찾았습니다. 캐시 일관성 알고리즘이 게시 당시 불안정했다는 것을 알고 있습니까? 아니면 충분히 널리 퍼지지 않았습니다. 당신의 아이디어는 실제로 얼마나 흔했습니까?

마이클: 어떤 출판물을 말씀하시는지 정확히 모르겠습니다. 나는 내 학생들인 Bill Bolosky(윌리엄 볼로스키) 및 레오니다스 콘토타나시스(레오니다스 콘토타나시스) 1990년대 초 Neumann 머신의 메모리 관리에 관한 것입니다. 그 당시 기업은 다중 프로세서 시스템을 올바르게 만드는 방법에 대해 아직 이해하지 못했습니다. 하드웨어 수준에서 원격 메모리 액세스를 지원하는 것이 가치가 있는지, 메모리를 분산시킬 가치가 있는지, 캐시를 로드할 수 있는지 원격 메모리, 아니면 수술실에서 페이지를 이동해야 합니까? Bill과 Leonidas는 모두 이 분야에서 작업했으며 원격 캐시 로딩 없이 접근 방식을 탐색했습니다. 이는 캐시 일관성과 직접적인 관련이 없었지만 여전히 NUMA 메모리 관리에 대한 작업이었으며 이후 최신 운영 체제의 페이지 배치에 대한 현대적인 접근 방식이 여기에서 성장했습니다. 전반적으로 Bill과 Leonidas는 중요한 작업을 수행했습니다. 비록 이 분야에서 가장 영향력 있는 사람은 아니었지만 당시에는 같은 작업을 수행하는 다른 사람들이 많이 있었습니다. 나중에 하드웨어 트랜잭션 메모리의 맥락에서 캐시 일관성과 관련된 주제를 다루었습니다. 이 문제를 해결하기 위해 제가 함께 일한 그룹은 결국 여러 개의 특허를 받았습니다. 그 뒤에는 몇 가지 꽤 흥미로운 아이디어가 있지만 실제로 구현될 것이라고는 생각하지 않습니다. 어떤 식 으로든 수익성을 판단하기가 어렵습니다. 

알렉세이: 이와 관련하여 좀 더 개인적인 질문이 있습니다. 귀하의 아이디어를 실행에 옮기는 것이 귀하에게 얼마나 중요합니까? 아니면 그것에 대해 생각하지 않습니까?

마이클: 저는 다른 사람, 지원자 또는 교수진에 합류하기를 원하는 후보자와의 인터뷰에서 이 질문을 하는 것을 좋아합니다. 이 질문에는 정답이 없다고 생각합니다. 멋진 일을 하는 사람들은 동기가 매우 다를 수 있습니다. 나는 문제의 실질적인 이점 때문이 아니라 개인적으로 흥미롭다고 생각하기 때문에 문제에 매력을 느낍니다. 하지만 반면에 흥미로운 일이 여전히 적용되면 정말 좋아합니다. 그래서 여기서는 쉽지 않습니다. 그러나 작업 초기에는 여전히 세상의 최종 용도에 대한 생각이 아니라 아이디어의 조화와 그것을 탐구하고 그 결과를 확인하려는 욕구에 의해 움직입니다. 결국 실용적인 결과가 나온다면 좋습니다. 

알렉세이: 당신의 교육과 경험으로 인해 당신은 다른 사람들의 아이디어의 가치를 대부분의 사람들보다 더 잘 판단할 수 있습니다. 그것들을 비교하고 어느 것이 더 나은지 결정할 수 있습니다. 현재 인텔과 같은 대형 제조업체에서 실제로 사용하고 있는 것들에 대해 여러분의 의견이 있을 것이라고 확신합니다. 귀하의 관점에서 볼 때 이들 기업이 취하고 있는 과정은 얼마나 올바른 것입니까?

마이클: 연습은 항상 상업적으로 성공할 수 있는 것, 즉 이익을 창출하는 것 중심으로 이루어지며, 그것에 대해서는 다른 사람에게 물어보는 것이 좋습니다. 내 작업은 주로 출판물로 이루어지며 운영 체제 분야에서는 속도, 에너지 소비, 코드 크기 등 성능 지표를 기반으로 평가됩니다. 그러나 이러한 경험적 결과는 출판을 위해서만 기사에 추가되고 사람들의 작업에 대한 실제 동기는 미학적이라고 항상 생각되었습니다. 연구자들은 예술적 관점에서 솔루션을 평가하고, 아이디어가 얼마나 우아한지에 관심을 갖고, 기존 접근 방식보다 더 나은 것을 만들려고 노력합니다. 연구자들은 개인적, 주관적, 미학적 동기에 따라 움직입니다. 하지만 기사 자체에서는 이에 대해 쓸 수 없습니다. 이러한 내용은 프로그램 위원회의 주장이 아닙니다. 다행히도 우아한 솔루션은 빠르고 저렴하기도 합니다. 15명의 동료들과 나는 약 XNUMX년 ​​전에 이 주제에 대해 논의했고 결국 그것에 관한 기사를 작성하게 되었습니다. 지금도 찾을 수 있을 것 같아요. "시스템 연구를 평가하는 방법" 또는 그와 유사한 것에는 12명이 넘는 작가가 있습니다. 이것은 내가 함께 저자인 유일한 기사입니다. 사샤 페도로바, 그러니 내 출판물 목록에서 그녀의 이름을 검색하시면 필요한 것을 찾으실 수 있습니다. 시스템 연구 평가와 우아함이 얼마나 중요한지에 대해 이야기합니다. 

알렉세이: 그래서 과학에서 좋다고 생각하는 것과 비즈니스에서 좋다고 생각하는 것의 기준에는 차이가 있는 거죠. 과학은 성능, 전력 소비, TDP, 구현 용이성 등을 평가합니다. 대학에서 이런 연구를 할 기회가 있나요? 실험을 수행할 수 있는 다양한 기계와 다양한 아키텍처를 갖춘 실험실이 있습니까?

마이클: 네, 저희 부서에는 다양하고 흥미로운 기계들이 많이 있어요. 대부분 규모가 작습니다. 작은 클러스터와 다양한 가속기를 갖춘 많은 다중 프로세서 시스템이 있습니다. 또한 캠퍼스에는 수십 가지 다양한 분야의 과학자들에게 서비스를 제공하는 거대한 컴퓨팅 센터가 있습니다. Linux에는 약 1,000개의 노드와 2,000개의 코어가 있습니다. 필요한 경우 언제든지 AWS를 구입할 수 있습니다. 따라서 하드웨어에는 큰 제한이 없습니다. 

알렉세이: 30년 전은 어땠나요? 그때 문제가 있었나요?

마이클: 그때는 좀 달랐어요. 1980년대 중후반까지 과학은 컴퓨팅 자원이 부족하다고 여겨졌습니다. 이러한 상황을 해결하기 위해 국립과학재단은 (국립과학재단) 조정된 실험 연구 프로그램(Coordinated Experimental Research, CER)을 만들었습니다. 이 프로그램의 임무는 컴퓨터 공학과에 컴퓨팅 인프라를 제공하는 것이었고 상당한 변화를 이루었습니다. 그녀가 제공한 돈으로 우리는 로체스터 대학에서 1984년에 128노트 BBN 버터플라이를 구입했는데, 이는 내가 그곳에 도착하기 128년 전이었습니다. 당시에는 공유 메모리를 갖춘 세계 최대의 다중 프로세서 시스템이었습니다. 128개의 프로세서가 있고 각각 별도의 마더보드에 있으며 XNUMX개의 랙을 차지합니다. 각 프로세서에는 메가바이트의 메모리가 있었는데, XNUMXMB의 RAM은 당시로서는 상상할 수 없는 양이었습니다. 이 머신에서는 처음으로 MCS 잠금을 구현했습니다. 

알렉세이: 그렇다면 제가 이해한 것이 맞다면 현재 하드웨어 문제는 해결되었다는 뜻인가요? 

마이클: 대체로 그렇습니다. 몇 가지 주의 사항이 있습니다. 첫째, 칩 수준에서 컴퓨터 아키텍처를 수행하는 경우 비즈니스에서는 훨씬 더 나은 도구가 있기 때문에 학문적 환경에서는 수행하기가 어렵습니다. 10나노미터보다 작은 것이 필요한 경우 다른 사람에게 주문해야 합니다. 이 분야에서는 인텔의 연구원이 되는 것이 훨씬 쉽습니다. 칩이나 솔리드 스테이트 메모리에서 광통신을 연구하는 경우 아직 과학에 포함되지 않은 기술을 비즈니스에서 발견하게 되므로 동맹을 맺어야 합니다. 예를 들어 스티븐 스완슨(스티븐 스완슨) 만들어진 그런 파트너십 새로운 메모리 기술을 위해. 이 형식이 항상 작동하는 것은 아니지만 어떤 경우에는 꽤 성공적일 수 있습니다. 게다가 과학 분야에서 가장 강력한 컴퓨팅 시스템을 개발하는 것은 더욱 어렵습니다. 현재 미국, 일본, 중국의 최대 슈퍼컴퓨터 프로젝트는 모두 비즈니스에 초점을 맞추고 있습니다. 

아이디어의 실질적인 구현. MCS, MS, CLH, JSR 166, Doug Lee 등과 협력.

Виталий: 동기화 알고리즘 작업을 어떻게 시작했는지에 대해 이미 이야기하셨습니다. 당신은 매우 유명한 기사 두 개를 가지고 있습니다. MCS 차단 и 마이클-스콧 큐(MS), 어떤 의미에서는 Java로 구현되었습니다. (편집자 주: 모든 출판물을 볼 수 있습니다. 링크). 이 차단은 일부 변경 사항을 적용하여 구현되었으며 결과는 다음과 같습니다. CLH 잠금, 큐는 의도한 대로 구현되었습니다. 그러나 귀하의 기사가 출판된 후 실제 적용되기까지는 수년이 걸렸습니다. 

알렉세이: 큐의 경우 10년 정도 되는 것 같습니다.

마이클: 이러한 기능이 Java 표준 라이브러리에 나타나기 전에는?

Виталий: 예. 이런 일이 일어나도록 당신은 무엇을 했나요? 아니면 아무것도 하지 않았나요?

마이클: MS Queue가 Java 5에 어떻게 적용되었는지 말씀드릴 수 있습니다. Java 25가 출시되기 몇 년 전에 저는 Sun Microsystems의 보스턴 근처 연구실에서 Mark Moyers 그룹과 함께 일했습니다. 그는 회사에 판매할 수 있는 주제를 찾고 싶었기 때문에 멀티스레딩의 흥미로운 문제를 연구하고 있는 자신이 아는 사람들을 위한 워크숍을 조직했습니다. 그곳에서 처음으로 Doug Lea를 만났습니다. Doug와 나 그리고 Sun의 다른 약 XNUMX명의 사람들이 함께 Doug의 프리젠테이션에 대해 토론하고 있었습니다. JSR 166, 나중에 java.util.concurrent가 되었습니다. 그 과정에서 Doug는 MS 대기열을 사용하고 싶지만 이를 위해서는 인터페이스 대기열의 요소 수에 대한 카운터가 필요하다고 말했습니다. 즉, 이는 원자적이고 정확하며 빠른 별도의 방법으로 수행되어야 합니다. 나는 단순히 노드에 일련 번호를 추가하고 첫 번째 노드와 마지막 노드의 번호를 취하고 다른 노드에서 하나를 빼는 것을 제안했습니다. Doug는 머리를 긁적이며 “왜 안되겠어요?”라고 말했고 결국 그렇게 했습니다. 우리는 이 접근 방식을 라이브러리에 구현하는 것에 대해 논의했지만 Doug가 대부분의 작업을 직접 수행했습니다. 그 결과, 그는 Java에서 탁월한 멀티스레딩 지원을 구축할 수 있었습니다. 

알렉세이: 그렇다면 제가 올바르게 이해했다면 .size() 메서드는 표준 대기열 인터페이스의 일부여야 하고 O(1)의 알고리즘 복잡도를 가져야 합니까?

마이클: 네, 그리고 이 외에도 별도의 카운터가 필요합니다.

알렉세이: Java에서 .size() 메서드를 호출하면 컬렉션의 실제 크기를 기반으로 하지 않고 결과를 즉시 사용할 수 있을 것으로 예상되기 때문입니다. 알겠습니다. 감사합니다.

마이클: 몇 년 후 나는 내 학생인 Bill Scherer와 함께 이중 데이터 구조에 대해 작업하고 있었습니다. 실제로 이것이 제가 이야기할 내용입니다. 히드라에 대한 보고. Doug가 우리에게 와서 Java Executor Framework에서 사용할 수 있다고 말했습니다. Bill과 함께 그들은 소위 공정 대기열과 불공정 대기열이라는 두 가지 구현을 만들었습니다. 나는 실제 코드 작성에는 참여하지 않았지만 이 프로젝트에 대해 조언했습니다. 결과적으로 실행자의 속도가 크게 향상되었습니다. 

블라디미르: 알고리즘이 잘못 구현되었거나 새로운 기능을 추가하라는 요청을 받은 적이 있나요? 일반적으로 실천은 이론과 일치해야 하지만 종종 서로 다릅니다. 당신이 알고리즘을 작성했고 서류상으로는 작동하지만 구현에 참여한 사람들이 당신에게 더 많은 기능이나 알고리즘의 조정을 요청하기 시작했다고 가정해 보겠습니다. 이런 상황을 겪어본 적이 있나요?

마이클: 누군가가 나에게 와서 “어떻게 구현해야 합니까?”라고 묻는 유일한 예는 이미 언급한 Doug의 질문이었습니다. 그러나 실용적인 요구에 맞게 흥미로운 변경이 이루어진 몇 가지 사례가 있었습니다. 예를 들어, IBM의 K42 팀은 MCS 잠금을 변환하여 표준 인터페이스로 만들었으므로 큐 노드를 획득 및 해제 루틴으로 앞뒤로 전달할 필요가 없었습니다. 이 표준 인터페이스 덕분에 이론적으로는 아름다운 아이디어가 실제로 작동하기 시작했습니다. 놀랍게도 그들은 이에 대한 기사를 한 번도 발표하지 않았고, 특허를 받았지만 나중에 이를 포기했습니다. 그 아이디어는 훌륭했고, 가능할 때마다 그것에 대해 이야기하려고 노력합니다. 

내가 게시한 알고리즘을 사람들이 개선한 다른 사례도 있었습니다. 예를 들어 MS 대기열에는 30단계 설치 메커니즘이 있습니다. 이는 대기열의 주요 경로에 두 개의 CAS가 있음을 의미합니다. 구형 자동차의 경우 CAS는 상당히 비쌌습니다. Intel과 다른 제조업체는 최근 이를 매우 잘 최적화했지만 옛날에는 이것이 1사이클 명령이었기 때문에 중요한 경로에 둘 이상의 명령을 두는 것은 바람직하지 않았습니다. 결과적으로 MS 큐와 유사하지만 중요한 경로에 하나의 원자 작업만 있는 다른 큐가 개발되었습니다. 이는 특정 기간 동안 작업에 O(XNUMX)이 아닌 O(n) 시간이 걸릴 수 있다는 사실로 인해 달성되었습니다. 그럴 것 같지는 않지만 가능했습니다. 이는 특정 순간에 알고리즘이 이 대기열의 처음부터 현재 위치까지 대기열을 순회했기 때문에 발생했습니다. 일반적으로 알고리즘은 매우 성공적인 것으로 나타났습니다. 내가 아는 한, 원자적 작업에는 이전보다 훨씬 적은 리소스가 필요하기 때문에 널리 사용되지는 않습니다. 하지만 아이디어는 훌륭했습니다. 저는 또한 Oracle의 Dave Dice의 작업을 정말 좋아합니다. 그가 하는 모든 일은 매우 실용적이며 철을 매우 영리하게 사용합니다. 그는 NUMA 인식 동기화 알고리즘과 다중 스레드 데이터 구조의 대부분을 다루었습니다. 

블라디미르: 알고리즘을 작성하거나 학생들을 가르칠 때 작업 결과가 즉시 눈에 띄지는 않습니다. 커뮤니티가 새로운 기사에 익숙해지려면 시간이 필요합니다. 새로운 알고리즘은 즉시 응용 프로그램을 찾지 않습니다. 

마이클: 기사가 중요한지 여부는 즉각적으로 명확하지 않습니다. 학회에서 상을 받은 논문을 연구해 보는 것도 흥미로울 것 같아요. 즉, 프로그램 위원회 사람들이 한때 최고라고 생각했던 기사를 살펴보십시오. 링크 수와 비즈니스에 미치는 영향을 통해 이러한 기사가 실제로 10년, 20년, 25년 동안 얼마나 영향력이 있었는지 계산해야 합니다. 나는 둘 사이에 강한 상관관계가 있을 것이라고 의심한다. 10은 아니지만 우리가 원하는 것보다 훨씬 약할 가능성이 높습니다. 많은 아이디어가 널리 퍼지기 전까지 오랫동안 소유권이 주장되지 않은 상태로 남아 있습니다. 예를 들어 트랜잭션 메모리를 살펴보겠습니다. 원본 기사가 출판된 때부터 사람들이 실제로 그것을 사용하여 기계를 만들기 시작한 때까지 20년 이상이 지났습니다. 그리고이 메모리가 상업용 제품에 등장하기 전에는 XNUMX 개 모두입니다. 오랫동안 아무도 기사에 관심을 기울이지 않았고 기사에 대한 링크 수가 급격히 증가했습니다. 이를 미리 예측하기는 어려울 것이다. 반면에 때로는 아이디어가 즉시 구현되는 경우도 있습니다. 몇 년 전, 나는 DISC를 위해 Joe Izraelevitz와 함께 컴퓨터를 실행하는 컴퓨터가 충돌한 후에 사용할 수 있는 영구 데이터 구조에 대한 유효성에 대한 새로운 형식적 정의를 제안하는 논문을 썼습니다. 기사가 처음부터 마음에 들었는데 생각보다 인기가 훨씬 많았어요. 이는 여러 다른 그룹에서 사용되었으며 결국 지속성 구조의 표준 정의가 되었습니다. 물론 좋은 일입니다.

블라디미르: 평가에 사용하는 기술이 있나요? 당신의 기사와 학생들을 평가하려고 하시나요? 당신이 가르친 사람이 올바른 방향으로 가고 있는지 여부.

마이클: 다른 사람들처럼 나도 지금 하고 있는 일에 더 집중한다. 다시 말하지만, 다른 사람들과 마찬가지로 나도 가끔씩 Google Scholar를 확인하여 내 과거 논문이 인용되고 있는지 확인하지만 그건 호기심에서 나온 것입니다. 대부분 나는 학생들이 지금 하고 있는 일에 열중하고 있습니다. 현재 작업을 평가할 때 그 중 일부는 미학적 고려 사항, 즉 무엇이 우아하고 무엇이 그렇지 않은지입니다. 그리고 일상적인 수준에서는 개방형 질문이 큰 역할을 합니다. 예를 들어, 한 학생이 일부 결과의 그래프를 가지고 나에게 왔는데, 우리는 그래프의 이상한 동작이 어디서 왔는지 이해하려고 노력하고 있습니다. 일반적으로 우리는 작업을 하면서 아직 이해하지 못하는 것들을 이해하려고 끊임없이 노력합니다. 

트랜잭션 메모리

Виталий: 트랜잭션 메모리에 대해 조금 이야기해도 될까요?

마이클: 노력을 많이 했기 때문에 조금이라도 말씀드릴 가치가 있다고 생각합니다. 이것은 내가 다른 어떤 것보다 더 많은 출판물을 가지고 있는 주제입니다. 그러나 동시에 이상하게도 나는 항상 트랜잭션 메모리에 대해 매우 회의적이었습니다. 내 생각에는, Herlihy와 Moss의 기사 (M. Herlihy, J. E. B. Moss)가 시대에 앞서 출판되었습니다. 1990년대 초 그들은 트랜잭션 메모리가 재능 있는 프로그래머가 다중 스레드 데이터 구조에서 작업하는 데 도움이 될 수 있으므로 일반 프로그래머가 이러한 구조를 라이브러리로 사용할 수 있다고 제안했습니다. 즉, Doug Lee가 JSR 166을 수행하는 데 도움이 될 것입니다. 그러나 트랜잭션 메모리는 다중 스레드 프로그래밍을 쉽게 만들기 위한 것이 아닙니다. 그러나 이것이 바로 2000년대 초반에 널리 퍼지면서 인식되기 시작한 방식입니다. 병렬 프로그래밍의 문제를 해결하는 방법으로 광고되었습니다. 이 접근 방식은 항상 나에게 절망적이었습니다. 트랜잭션 메모리를 사용하면 병렬 데이터 구조를 더 쉽게 작성할 수 있습니다. 제가 보기에는 이것이 그녀가 성취한 것 같습니다. 

멀티스레드 코드 작성의 어려움

알렉세이: 매우 흥미로운. 일반 프로그래머와 멀티스레드 코드를 작성할 수 있는 사람 사이에는 일정한 장벽이 있는 것 같습니다. 작년에 나는 일부 알고리즘 프레임워크를 구현하는 사람들과 여러 차례 이야기를 나눴습니다. 예를 들어 Martin Thomson과 다중 스레드 라이브러리에서 작업하는 프로그래머가 있습니다. (편집자 주: Martin Thompson은 매우 유명한 개발자입니다. 스럽 и 에어론. 그리고 그는 또한 보고 조커 2015 컨퍼런스에서 비디오 녹화 YouTube에서 사용 가능. 그 사람도 똑같아 열었다 이번 회의 기조연설 녹음 도 가능). 가장 큰 과제는 알고리즘을 빠르고 사용하기 쉽게 만드는 것이라고 그들은 말합니다. 즉, 그들은 이러한 장벽을 극복하고 가능한 한 많은 사람들을 이 지역으로 끌어들이려고 노력하고 있습니다. 그거에 대해서 어떻게 생각해?

마이클: 멀티스레딩의 주요 문제는 시스템의 복잡성을 증가시키지 않고 고성능을 달성하는 방법입니다. 

알렉세이: 복잡성을 피하려고 하면 알고리즘의 보편성이 떨어지기 때문입니다.

마이클: 여기서 핵심은 적절하게 설계된 추상화입니다. 이것은 일반적으로 컴퓨터 시스템 분야에서 가장 중요한 것 같습니다. 버틀러 램프슨(Butler Lampson)은 이 용어를 즐겨 사용하며 우리를 "추상화의 상인"이라고 부릅니다. 오늘날 단순한 기술은 존재하지 않습니다. 우리가 사용하는 프로세서에는 10억 개의 트랜지스터가 있습니다. 단순성은 의문의 여지가 없습니다. 동시에 ISA는 고성능과 상대적으로 간단한 인터페이스를 제공하기 위해 오랜 시간 동안 작업했기 때문에 프로세서보다 훨씬 간단합니다. 그러나 그녀에게도 모든 것이 순조롭게 진행되는 것은 아닙니다. 현재 시장에 출시되고 있는 가속기에서도 같은 문제가 발생합니다. GPU, 암호화 메커니즘, 압축, 트랜스코딩 메커니즘, 선형 대수 메커니즘 또는 더욱 유연한 FPGA에 적합한 인터페이스를 만드는 방법에 대한 질문이 생깁니다. 도구를 사용하기 쉽게 만들고 복잡성을 숨기는 인터페이스를 만드는 방법은 무엇입니까? 제거하는 것이 아니라 단순한 프로그래머에게 숨기는 것입니다. 

알렉세이: 제가 알기로 추상화를 이해하는 데에는 여전히 장벽이 있습니다. 과학과 기술의 발전 단계에서 기억 모델을 살펴보겠습니다. 이것이 주요 추상화 중 하나입니다. 덕분에 모든 프로그래머는 두 그룹으로 나뉩니다. 더 큰 부분은 그것을 이해하지 못하는 사람들이고 더 작은 부분은 이해하거나 이해한다고 생각하는 사람들입니다. 

마이클: 좋은 질문입니다. 우리 중 기억 모델을 정말로 이해하고 있는 사람이 있나요?

Виталий: 특히 C++에서는요.

마이클: 언젠가 Hans Boehm과 대화해 보세요. 그는 내가 아는 가장 똑똑한 사람 중 한 명이며, 기억 모델 분야의 선도적인 전문가입니다. 그는 자신이 이해하지 못하는 것이 많다고 즉시 말할 것입니다. 하지만 추상화 문제로 돌아가면 지난 30년 동안 메모리 모델 분야에서 가장 중요한 아이디어가 표현되었다고 생각합니다. Sarita Adve의 논문에서. (편집자 주: 출판물의 전체 목록을 확인할 수 있습니다. 링크).

알렉세이: 내 질문은: 이 장벽은 개념의 본질에서 비롯되는 것입니까? 

마이클: 아니요. Sarita는 올바른 접근 방식을 사용하면 모든 복잡성을 성공적으로 숨기고 높은 성능을 얻으며 프로그래머에게 간단한 API를 제공할 수 있다는 결론에 도달했습니다. 그리고 이 API를 따르면 일관된 일관성을 얻을 수 있습니다. 나는 이것이 올바른 모델이라고 생각합니다. 데이터 경합 없이 코드를 작성하고 순차적 일관성을 확보하세요. 물론 경주 가능성을 줄이기 위해서는 특별한 도구가 필요하지만 그것은 또 다른 문제이다. 

블라디미르: 당신의 경력에서 해결된 것처럼 보였던 문제가 갑자기 재앙으로 변한 적이 있습니까, 아니면 이 문제가 해결 불가능하다는 것이 밝혀진 적이 있습니까? 예를 들어, 이론상으로는 임의의 숫자를 인수분해하거나 임의의 숫자가 소수인지 확인할 수 있습니다. 그러나 실제로는 이를 수행하기 어려울 수 있습니다. 현재 하드웨어로는 숫자를 인수분해하기가 어렵습니다. 당신에게도 비슷한 일이 일어났나요?

마이클: 그런 건 당장 기억나지 않아요. 특정 지역에서는 더 이상 할 일이 없는 것처럼 보였지만 그곳에서 새롭고 흥미로운 일이 일어났던 때가 있었습니다. 예를 들어 무제한 대기열 영역은 이미 성숙 단계에 도달했다고 생각했습니다. MNS 대기열이 여러 번 개선된 후에도 더 이상 아무 일도 일어나지 않았습니다. 그리고 Morrison(Adam Morrison)과 Afek(Yehuda Afek)이 발명했습니다. LCRQ 대기열. 대부분의 경우 중요 경로에 가져오기 및 증가 명령만 있는 무제한 멀티스레드 대기열이 가능하다는 것이 분명해졌습니다. 그리고 이를 통해 훨씬 더 나은 성능을 달성할 수 있었습니다. 가져오기 및 증가가 매우 유용한 기능이라는 것을 우리가 모르는 것은 아닙니다. Eric Freudenthal은 1980년대 후반 Allan Gottlieb과 함께 Ultracomputer 작업을 하면서 이에 대해 썼지만 대기열이 제한되어 있었습니다. Morrison과 Afek은 무제한 대기열에서 가져오기 및 증가를 사용할 수 있었습니다.

새로운 아키텍처. 트랜잭션 메모리의 승리가 가까워졌나요?

블라디미르: 알고리즘에 유용할 수 있는 새로운 아키텍처 솔루션을 찾고 계십니까? 

마이클: 물론 구현해보고 싶은 부분이 많이 있습니다. 

블라디미르: 예를 들면 어떤 종류인가요?

마이클: 우선 Intel 및 IBM 프로세서의 하드웨어 수준 트랜잭션 메모리에 대한 몇 가지 간단한 확장입니다. 특히 방금 발생한 비트랜잭션 로드 및 저장을 트랜잭션 내에서 즉시 사용할 수 있었으면 좋겠습니다. 이는 즉시 발생 전 시퀀스의 루프로 이어지기 때문에 어려울 수 있습니다. 그러나 추상화 계층을 유지하면 트랜잭션이 진행되는 동안 트랜잭션 외부에서 수행할 수 있는 매우 흥미로운 작업이 많이 있습니다. 이것이 구현하기가 얼마나 어려울지는 모르겠지만 매우 유용할 것입니다. 

또 다른 유용한 점은 원격 메모리에서 캐시를 로드하는 것입니다. 나는 조만간 이것이 이루어질 것이라고 생각합니다. 이 기술을 사용하면 분리된 메모리를 갖춘 시스템을 만들 수 있습니다. 예를 들어 랙에 100테라바이트의 비휘발성 메모리를 보관하는 것이 가능하며 운영 체제 자체는 해당 메모리의 어느 섹션이 프로세서의 물리적 주소 공간에 대응해야 하는지 동적으로 결정합니다. 이는 필요한 작업에 많은 양의 메모리를 제공할 수 있으므로 클라우드 컴퓨팅에 매우 유용합니다. 누군가는 할 것 같아요.

Виталий: 트랜잭션 메모리에 대한 이야기를 마치기 위해 이 주제에 대해 질문이 하나 더 있습니다. 트랜잭션 메모리가 결국 표준 멀티스레드 데이터 구조를 대체하게 될까요?

마이클: 아니요. 거래는 투기적 메커니즘입니다. 프로그래밍 수준에서 이는 원자 잠금이지만 내부는 추측입니다. 이러한 예측은 대부분의 추측이 정확할 경우 작동합니다. 따라서 트랜잭션 메모리는 스레드가 서로 거의 상호 작용하지 않을 때 잘 작동하며 상호 작용이 없는지 확인하면 됩니다. 그러나 스레드 간에 메시지가 시작되면 트랜잭션은 거의 쓸모가 없습니다. 설명하자면, 우리는 트랜잭션이 전체 원자적 작업을 둘러싸는 경우에 대해 이야기하고 있습니다. 다중 스레드 데이터 구조의 구성 요소로 여전히 성공적으로 사용될 수 있습니다. 예를 들어, 3개의 단어로 구성된 CAS가 필요하고 동시에 20개의 스레드와 작동하는 진정한 멀티스레드 알고리즘 중간에 세 개의 작은 항목을 멀티스레딩해야 하는 경우입니다. 일반적으로 트랜잭션은 유용할 수 있지만 다중 스레드 데이터 구조를 적절하게 설계할 필요성이 없어지지는 않습니다. 

비휘발성 메모리, Optane DIMM, 초고속 장치.

Виталий: 마지막으로 말씀드리고 싶은 것은 현재 연구 주제인 비휘발성 메모리에 관한 것입니다. 가까운 미래에 이 분야에서 우리는 무엇을 기대할 수 있습니까? 아마도 이미 존재하는 효과적인 구현을 알고 계십니까? 

마이클: 저는 하드웨어 전문가는 아닙니다. 뉴스에서 읽은 내용과 동료들이 제게 말하는 내용만 알 수 있습니다. 인텔이 판매한다는 소식은 이미 다들 들어보셨을 겁니다. 옵테인 DIMM이는 동적 RAM에 비해 읽기 대기 시간은 약 3배, 쓰기 대기 시간은 10배입니다. 곧 대용량 버전으로 출시될 예정입니다. 몇 테라바이트의 바이트 주소 지정이 가능한 RAM을 갖춘 노트북을 가질 수 있다고 생각하는 것은 재미있습니다. DRAM을 사용하기 때문에 10년 후에는 이 신기술을 사용하기로 결정할 것 같습니다. 볼륨만 늘리면 됩니다. 그러나 에너지 독립 덕분에 우리에게는 완전히 새로운 기회가 열렸습니다. 바이트 주소 지정이 가능한 작업 메모리와 블록 구조의 영구 메모리가 분리되지 않도록 스토리지 스택을 근본적으로 변경할 수 있습니다. 따라서 한 프로그램 실행에서 다른 프로그램 실행으로 전송해야 하는 모든 것을 블록 구조 파일로 직렬화할 필요가 없습니다. 이를 통해 운영 체제, 런타임 환경 및 분산 데이터 저장소에 영향을 미치는 많은 중요한 원칙을 도출할 수 있습니다. 이 분야는 일하기에 매우 흥미롭습니다. 개인적으로 이 모든 일이 어떤 결과로 이어질지 예측하기는 어렵지만 여기의 문제는 매우 재미있습니다. 여기에는 혁명적인 변화가 있을 수 있으며, 이는 멀티스레딩 작업에서 매우 자연스럽게 이어집니다. 오류 복구는 시스템의 정상적인 작동 다음의 "멀티스레딩" 프로세스이기 때문입니다. 

제가 현재 작업 중인 두 번째 주요 주제는 초고속 장치를 관리하고 체계적인 정책 제어를 통해 사용자 공간에서 장치에 대한 보안 액세스를 관리하는 것입니다. 최근에는 장치에 대한 액세스를 사용자 공간으로 옮기는 경향이 있습니다. 이는 TCP-IP 커널 스택이 5마이크로초마다 새 패킷이 필요한 네트워크 인터페이스 위에서 작동할 수 없기 때문에 수행됩니다. 따라서 제조업체는 장치에 대한 직접 액세스를 제공합니다. 그러나 이는 운영 체제가 프로세스에 대한 제어력을 상실하고 경쟁 응용 프로그램에 대해 장치에 대한 적절한 액세스를 제공할 수 없음을 의미합니다. 우리 연구팀은 이러한 단점을 피할 수 있다고 믿습니다. 이번 달 USENIX ATC에서 이에 대한 기사를 발표할 예정입니다. 수명이 긴 바이트 주소 지정이 가능한 영구 메모리는 본질적으로 사용자 공간에서 액세스해야 하는 초고속 I/O가 있는 장치이기 때문에 이는 지속성에 대한 작업과 관련이 있습니다. 이 연구는 마이크로커널, 엑소커널 및 기능을 OS 커널에서 사용자 공간으로 안전하게 이동하려는 기타 전통적인 시도에 대한 새로운 접근 방식을 가능하게 합니다. 

블라디미르: 바이트 주소 지정이 가능한 메모리는 훌륭하지만 빛의 속도라는 물리적 한계가 있습니다. 이는 장치와 상호 작용할 때 필연적으로 지연이 발생한다는 것을 의미합니다. 

마이클: 확실히 맞아.

블라디미르: 새로운 부하에 대처할 수 있는 용량이 충분합니까?

마이클: 아주 좋은 질문이지만 대답하기는 어려울 것 같습니다. 메모리에서 처리한다는 아이디어는 꽤 오랫동안 존재해 왔으며 매우 흥미롭지만 매우 복잡합니다. 나는 이 분야에서 일해본 적이 없지만, 그곳에서 어떤 발견이 이루어지면 좋을 것 같습니다. 더 이상 추가할 내용이 없습니다. 

블라디미르: 문제가 하나 더 있습니다. 새롭고 훨씬 더 많은 양의 RAM을 CPU에 장착하는 것은 불가능합니다. 따라서 물리적 제한으로 인해 이 RAM은 격리되어야 합니다. 

마이클: 그것은 모두 집적 회로 생산의 결함 수에 따라 다릅니다. 결함 없이 완전히 반도체 웨이퍼를 만드는 것이 가능하다면 그것으로 전체 마이크로 회로를 만드는 것도 가능할 것입니다. 하지만 이제 우리는 우표보다 더 큰 초소형 회로를 만드는 방법을 모릅니다. 

블라디미르: 그러나 우리는 여전히 센티미터 정도의 거대한 크기에 대해 이야기하고 있습니다. 이는 필연적으로 대기 시간에 영향을 미칩니다. 

마이클: 예. 빛의 속도로 할 수 있는 일은 아무것도 없습니다. 

블라디미르: 안타깝게도. 

다음 큰 추세. 이중 데이터 구조. 히드라.

Виталий: 제가 아는 한, 당신은 새로운 트렌드를 아주 빨리 파악하는 편이에요. 당신은 트랜잭션 메모리에서 작업한 최초의 사람이자 비휘발성 메모리에서 작업한 최초의 사람 중 한 명입니다. 다음의 큰 트렌드는 무엇이라고 생각하시나요? 아니면 비밀일까요?

마이클: 솔직히 말하면 모르겠어요. 새로운 것이 나오면 알아차릴 수 있기를 바랍니다. 나는 스스로 새로운 분야를 발명할 만큼 운이 좋지는 않았지만, 운이 좋았고 다른 사람들이 만든 새로운 분야에서 꽤 일찍 일을 시작할 수 있었습니다. 앞으로도 이렇게 할 수 있기를 바랍니다.

알렉세이: 이번 인터뷰의 마지막 질문은 Hydra에서의 성적과 학교 활동에 관한 것입니다. 내가 올바르게 이해했다면 학교 보고서는 블로킹 프리 알고리즘에 관한 것이고 컨퍼런스에서는 이중 데이터 구조에 관한 보고서일 것입니다. 이 보고서에 대해 몇 마디 말씀해 주시겠습니까?

마이클: 부분적으로 우리는 이번 인터뷰에서 이미 이러한 주제를 다루었습니다. 제가 제 학생인 Bill Scherer와 함께 했던 작업에 관한 것입니다. 그는 이에 대한 논문을 썼고 Doug Lee도 이에 기여했으며 결국 Java 라이브러리의 다중 스레드 동기 대기열의 일부가 되었습니다. 데이터 구조가 차단 없이 읽고 쓰여진다고 가정해 보겠습니다. 즉, 각 작업에는 중요 경로에 대한 명령 수가 제한되어 있습니다. 빈 컨테이너에서 데이터를 제거하려고 하거나 이 컨테이너에 없는 특정 데이터를 제거하려고 하면 즉시 제거할 수 없다는 알림이 표시됩니다. 그러나 스레드에 실제로 이 데이터가 필요한 경우에는 이 동작이 허용되지 않을 수 있습니다. 그런 다음 가장 먼저 떠오르는 것은 필요한 데이터가 나타나는지 지속적으로 묻는 루프를 만드는 것입니다. 그러나 그러면 다른 모든 사람에 대한 간섭이 발생합니다. 또한 이 접근 방식을 사용하면 10분 정도 기다린 후 다른 스레드가 와서 실수로 필요한 데이터를 먼저 수신하게 됩니다. 이중 데이터 구조에는 여전히 잠금이 없지만 스레드가 적절하게 대기할 수 있습니다. "이중"이라는 용어는 구조에 데이터 또는 데이터 요청이 포함되어 있음을 의미하므로 이를 안티데이터라고 부르겠습니다. 따라서 빈 컨테이너에서 무언가를 검색하려고 하면 요청이 대신 컨테이너에 들어갑니다. 이제 스레드는 다른 사람을 방해하지 않고 요청을 기다릴 수 있습니다. 또한 데이터 구조는 요청이 수신되면 적절한 사람에게 전달되도록 요청에 우선순위를 할당합니다. 그 결과 여전히 공식적인 사양과 실제로 좋은 성능을 유지하는 비잠금 메커니즘이 탄생했습니다. 

알렉세이: 이 데이터 구조에서 무엇을 기대합니까? 모든 일반적인 경우에 성능이 향상됩니까, 아니면 특정 상황에 더 적합합니까? 

마이클: 첫째로 잠금이 없는 컨테이너가 필요한 경우, 둘째로 그 안에 없는 컨테이너에서 데이터를 검색해야 하는 상황에서 기다려야 하는 경우에 유용합니다. 내가 아는 한, 우리 프레임워크는 이 두 가지 조건이 충족될 때 최적의 동작을 제공합니다. 따라서 이러한 경우에는 사용을 권장합니다. 잠금 없는 데이터 구조의 주요 장점은 성능 문제를 피할 수 있다는 것입니다. 그리고 데이터가 한 스레드에서 다른 스레드로 전송되는 경우 대기는 많은 알고리즘에서 매우 중요합니다.

Виталий: 명확하게 말씀드리자면, 학교에서나 컨퍼런스에서 같은 것에 대해 이야기하실 건가요?

마이클: 학교에서 나는 말할 것이다 일반적으로 다중 스레드 데이터 구조에 대해 강의 시작 부분에 설명된 기본 원칙을 사용합니다. 청중은 스레드가 무엇인지 알고 잠금에 대해 잘 알고 있다고 가정합니다. 이러한 기본 지식을 바탕으로 lock-free 데이터 구조에 대해 이야기하겠습니다. 메모리 관리와 같은 주제를 다루면서 이 분야의 가장 중요한 문제에 대한 개요를 설명하겠습니다. MS 큐만큼 복잡한 건 없을 것 같아요.

알렉세이: 학교 수업이 끝나면 이중 데이터 구조에 대해 가르칠 계획인가요?

마이클: 그것들에 대해 언급하겠지만 그것에 대해 많은 시간을 할애하지는 않을 것입니다. Hydra 보고서는 그들에게 바쳐질 것입니다. 최종적으로 Java로 만든 프로젝트와 Joe Israelevich와 협력하여 LCRQ 대기열의 이중 변형을 만들고 이중 데이터 구조를 위한 거의 보편적인 디자인을 만드는 프로젝트를 다룰 것입니다.

알렉세이: 그렇다면 학교 강의는 초보자에게 추천할 수 있고, Hydra 이중 데이터 구조 강의는 이미 경험이 있는 사람들에게 추천할 수 있다는 건가요?

마이클: 제가 틀렸다면 정정해 주세요. 하지만 Hydra의 청중은 많은 Java 전문가와 특별히 멀티스레드 프로그래밍에 관련되지 않은 일반 사람들을 포함하여 매우 다양합니다. 

Виталий: 그래, 사실이야.

알렉세이: 적어도 우리는 그러기를 바랍니다.

마이클: 이 경우, 나는 이 인터뷰를 시작했을 때와 동일한 문제에 직면하게 될 것입니다. 기술적인 세부 사항이 충분히 풍부하고 모든 청취자가 접근할 수 있는 보고서를 만드는 방법입니다.

Виталий: 강의를 할 때와 같은 방식으로 보고서를 제출할 건가요? 즉, 청중과 이야기를 나누고 상황에 적응하는가?

마이클: 보고서에 슬라이드가 있어서 그렇게 되지 않을 것 같아요. 청중이 처음에 다른 언어를 말할 때 슬라이드는 중요합니다. 많은 사람들이 내 영어를 이해하는 데 어려움을 겪을 것입니다. 특히 내가 너무 빨리 말하면 더욱 그렇습니다. 제가 이 주제를 선택한 이유는 피터 쿠즈 네 초프 SPTDC 학교에서 잠금 없는 데이터 구조에 대해 이야기해 달라고 요청했습니다. 그런 다음 Java 사용자 그룹 회의에 대한 보고서가 필요했고 특히 Java 프로그래머가 관심을 가질 만한 내용을 선택하고 싶었습니다. 가장 쉬운 방법은 내가 어떤 식으로든 손에 넣은 Java 라이브러리에 대해 이야기하는 것이었습니다. 

알렉세이: 우리는 Hydra의 청중이 이미 잠금 없는 프로그래밍에 대해 알고 있고 아마도 이 분야에 대한 경험이 있을 것이라고 가정합니다. 그러나 이는 단지 가정일 뿐이며 회의 자체에서 상황이 더 명확해질 것입니다. 어쨌든 시간 내주셔서 감사합니다. 나는 인터뷰가 우리 독자들에게 매우 흥미로울 것이라고 확신합니다. 정말 감사합니다!

Виталий: 감사합니다. 

마이클: 상트페테르부르크에서 만나서 반가워요. 

알렉세이: 우리에게도 아름다운 도시가 있어요. 여기에 가본 적이 있나요?

마이클: 아니요, 저는 러시아에 가본 적이 없어요. 그런데 상트페테르부르크는 아직 가보지 못한 곳이지만 꼭 가보고 싶은 곳 리스트에 항상 들어 있었기 때문에 초대를 받고 너무 기뻤습니다. 

알렉세이: 그런데 우리는 연사들을 위한 여행 프로그램을 준비할 것입니다. 인터뷰에 응해주셔서 진심으로 감사드리며, 좋은 하루 보내세요!

2019년 11월 12~2019일 상트페테르부르크에서 개최되는 Hydra XNUMX 컨퍼런스에서 Michael과의 대화를 계속하실 수 있습니다. 그는 보고서를 가지고 올 것이다 "이중 데이터 구조". 티켓 구매 가능 공식 웹 사이트.

출처 : habr.com