Popcorn은 Linux 커널용 분산 스레드 실행 시스템을 개발하고 있습니다.

버지니아 공대 предложил Linux 커널 개발자의 논의를 위해 분산 스레드 실행 시스템을 구현하는 패치 세트 팝콘 (분산 스레드 실행) - 호스트 간 스레드 배포 및 투명한 마이그레이션을 통해 여러 컴퓨터에서 애플리케이션 실행을 구성할 수 있습니다. Popcorn을 사용하면 애플리케이션을 한 호스트에서 시작한 다음 중단 없이 다른 호스트로 이동할 수 있습니다. 다중 스레드 프로그램에서는 개별 스레드를 다른 호스트로 마이그레이션하는 것이 허용됩니다.

프로젝트와는 다르게 크리 우Popcorn은 프로세스 상태를 저장하고 다른 시스템에서 실행을 재개할 수 있도록 함으로써 애플리케이션 실행 중에 호스트 간에 원활하고 동적인 마이그레이션을 제공하므로 사용자 작업이 필요하지 않으며 동시 스레드를 실행하는 모든 호스트에서 가상 메모리 일관성을 보장합니다.

팝콘 소프트웨어 스택 형태 패치 리눅스 커널과 библиотека Popcorn 시스템 호출을 사용하여 분산 애플리케이션에서 스레드를 마이그레이션하는 방법을 보여주는 테스트를 통해 커널 수준에서는 분산 공유 메모리를 구현하여 가상 메모리 하위 시스템에 대한 확장이 제안되었습니다. 이를 통해 서로 다른 호스트의 프로세스가 공통적이고 일관된 가상 주소 공간에 액세스할 수 있습니다. 가상 메모리 페이지 일관성은 메모리 페이지를 읽을 때 호스트에 복제하고 쓸 때 메모리 페이지를 무효화하는 프로토콜을 통해 보장됩니다.

호스트 간의 상호 작용은 TCP 소켓을 통해 전송되는 메시지에 대한 커널 수준 처리기를 사용하여 수행됩니다. 개발 과정에서 디버깅과 테스트를 단순화하기 위해 TCP/IP가 사용된다는 점에 주목하세요. 개발자는 보안 및 성능 관점에서 TCP/IP가 커널 구조의 내용과 호스트 간에 메모리 페이지를 전송하는 최선의 방법이 아니라는 것을 이해합니다. 분산 애플리케이션을 실행하는 모든 호스트는 동일한 신뢰 수준을 가져야 합니다. 주요 알고리즘이 안정화된 후에는 보다 효율적인 운송 모드가 사용됩니다.

팝콘은 2014년부터 스레드가 다른 노드에서 실행될 수 있는 분산 애플리케이션 생성 가능성을 연구하기 위한 연구 프로젝트로 개발되어 왔습니다. 이질적인 다양한 명령어 세트 아키텍처(Xeon/Xeon-Phi, ARM/x86, CPU/GPU/FPGA)를 기반으로 코어를 결합할 수 있는 컴퓨팅 시스템. Linux 커널 개발자에게 제안된 패치 세트는 x86 CPU가 있는 호스트에서만 실행을 지원하지만, 응용 프로그램이 다른 CPU 아키텍처(x86 및 ARM)를 사용하는 호스트에서 실행될 수 있도록 하는 보다 기능적인 버전의 Popcorn Linux도 있습니다. 이기종 환경에서 팝콘을 사용하려면 특수 프로그램을 사용해야 합니다. 컴파일러 LLVM 기반. 동일한 아키텍처의 호스트에서 분산 실행하는 경우 별도의 컴파일러로 다시 빌드할 필요가 없습니다.

게다가 주목할 수 있는 것은 발표 다소 유사한 프로젝트 텔레포크 클러스터의 다른 컴퓨터에서 하위 프로세스를 시작하기 위한 초기 프로토타입 API를 구현합니다(fork()와 유사하지만 포크된 프로세스를 다른 컴퓨터로 전송).
코드는 Rust로 작성되었으며 지금까지는 파일과 같은 시스템 리소스를 사용하지 않는 매우 간단한 프로세스만 복제할 수 있습니다. 텔레포크 호출이 이루어지면 메모리 및 프로세스 관련 구조가 서버 핸들러(텔레패드)를 실행하는 다른 호스트에 복제됩니다. ptrace를 사용하면 프로세스의 메모리 반영이 직렬화되고 프로세스 및 레지스터의 상태와 함께 다른 호스트로 전송됩니다. API를 사용하면 프로세스 상태를 파일에 저장하고 이를 통해 복원할 수도 있습니다.

출처 : opennet.ru