2GB RAM이 장착된 Mini ITX 클러스터 Turing Pi 32

Habr 커뮤니티에 오신 것을 환영합니다! 나는 최근에 우리의 첫 번째 버전 클러스터 보드에 대해 글을 썼습니다. [V1]. 그리고 오늘 저는 우리가 버전에서 어떻게 작업했는지 말씀 드리고 싶습니다 2GB의 Turing V32 랜덤 액세스 메모리.

우리는 로컬 개발과 로컬 호스팅 모두에 사용할 수 있는 미니 서버를 선호합니다. 데스크톱 컴퓨터나 랩톱과 달리 우리 서버는 연중무휴로 작동하도록 설계되었으며 신속하게 연합할 수 있습니다. 예를 들어 클러스터에 24개의 프로세서가 있고 7분 후에 4개의 프로세서(추가 네트워크 장비 없음)가 있고 이 모든 것이 가능합니다. 소형 폼 팩터 조용하고 에너지 효율적입니다.

우리 서버의 아키텍처는 클러스터 구성 원칙을 기반으로 합니다. 보드의 이더넷 네트워크를 사용하여 여러 컴퓨팅 모듈(프로세서)을 연결하는 클러스터 보드를 만듭니다. 단순화하기 위해 우리는 아직 자체 컴퓨팅 모듈을 만들지 않고 Raspberry Pi Compute Modules를 사용하며 새로운 CM4 모듈을 정말로 바랐습니다. 그러나 모든 것이 새로운 폼 팩터로 계획에 어긋나고 많은 사람들이 실망했다고 생각합니다.

컷 아래에서 우리가 V1에서 V2로 어떻게 갔고 새로운 Raspberry Pi CM4 폼 팩터로 어떻게 나가야 했는지.

따라서 7개 노드에 대한 클러스터를 생성한 후 다음 질문은 다음과 같습니다. 제품의 가치를 높이는 방법은? 8, 10 또는 16 노드? 모듈 제조사는? 제품 전체에 대해 생각하면서 여기에서 중요한 것은 노드 수나 제조업체가 아니라 빌딩 블록으로서 클러스터의 본질이라는 것을 깨달았습니다. 최소한의 빌딩 블록을 찾아야 합니다.

첫 번째, 클러스터가 되며 동시에 디스크와 확장 보드를 연결할 수 있습니다. 클러스터 블록은 자급자족할 수 있는 기본 노드여야 하며 다양한 확장 옵션이 있어야 합니다.

초, 더 큰 크기의 클러스터를 구축하여 최소 클러스터 블록이 서로 연결될 수 있도록 하여 예산 및 스케일링 속도 측면에서 효율적입니다. 스케일링 속도는 일반 컴퓨터를 네트워크에 연결하는 것보다 빠르고 서버 하드웨어보다 훨씬 저렴해야 합니다.

세 번째, 최소 클러스터 단위는 충분히 작고 이동이 가능하며 에너지 효율적이고 비용 효율적이어야 하며 작동 조건을 요구하지 않아야 합니다. 이것은 서버 랙 및 이와 연결된 모든 것과의 주요 차이점 중 하나입니다.

우리는 노드 수를 결정하는 것으로 시작했습니다.

노드 수

단순한 논리적 판단으로 우리는 4개의 노드가 최소 클러스터 블록에 대한 최선의 선택이라는 것을 깨달았습니다. 노드 1개는 클러스터가 아니며, 노드 2개로는 충분하지 않습니다(마스터 1개, 작업자 1개, 블록 내에서 확장 가능성 없음, 특히 이기종 옵션의 경우). 노드 3개는 괜찮아 보이지만 2의 거듭제곱이 아니고 내에서 확장 블록은 제한되어 있고 6개 노드는 거의 7개 노드와 같은 가격으로 제공됩니다(경험상 이것은 이미 큰 비용 가격입니다). 8개는 많고 미니 ITX 폼 팩터와 훨씬 더 비싼 PoC 솔루션에 맞지 않습니다.

블록당 XNUMX개의 노드는 황금률로 간주됩니다.

• 클러스터 보드당 재료가 적기 때문에 제조 비용이 저렴합니다.
• 4의 배수, 총 4개의 블록은 16개의 물리적 프로세서 제공
• 안정적인 회로 1 마스터 및 3 작업자
• 더 많은 이기종 변형, 일반 컴퓨팅 + 가속 컴퓨팅 모듈
• SSD 드라이브 및 확장 카드가 포함된 mini ITX 폼 팩터

컴퓨팅 모듈

두 번째 버전은 CM4 기반으로 SODIMM 폼 팩터로 출시될 것이라고 생각했습니다. 하지만…
우리는 사용자가 CM4에 대해 생각할 필요가 없도록 SODIMM 도터보드를 만들고 CM4를 모듈에 직접 조립하기로 결정했습니다.

Raspberry Pi CM4를 지원하는 Turing Pi 컴퓨팅 모듈

일반적으로 모듈을 찾기 위해 128MB RAM에서 8GB RAM의 작은 모듈에서 전체 컴퓨팅 모듈 시장이 열렸습니다. 16GB RAM 이상의 모듈이 앞서 있습니다. 클라우드 네이티브 기술을 기반으로 하는 에지 애플리케이션 호스팅의 경우 1GB RAM으로는 이미 충분하지 않으며 최근 2GB, 4GB, 심지어 8GB RAM용 모듈이 등장하면서 성장의 여지가 충분합니다. 그들은 기계 학습 응용 프로그램을 위한 FPGA 모듈 옵션도 고려했지만 소프트웨어 생태계가 개발되지 않았기 때문에 지원이 지연되었습니다. 모듈 시장을 연구하면서 모듈에 대한 범용 인터페이스를 만드는 아이디어를 생각해 냈고 V2에서는 컴퓨팅 모듈의 인터페이스를 통합하기 시작했습니다. 이를 통해 V2 버전 소유자는 다른 제조업체의 모듈을 연결하고 특정 작업을 위해 혼합할 수 있습니다.

V2는 Lite 버전 및 4GB RAM 모듈을 포함하여 전체 Raspberry Pi 4 Compute Module(CM8) 라인을 지원합니다.

주위

모듈 공급업체와 노드 수를 결정한 후 주변 장치가 있는 PCI 버스에 접근했습니다. PCI 버스는 주변 장치의 표준이며 거의 모든 컴퓨팅 모듈에서 볼 수 있습니다. 여러 개의 노드가 있고 이상적으로는 각 노드가 동시 요청 모드에서 PCI 장치를 공유할 수 있어야 합니다. 예를 들어 버스에 연결된 디스크인 경우 모든 노드에서 사용할 수 있습니다. 우리는 다중 호스트를 지원하는 PCI 스위치를 찾기 시작했고 그 중 어느 것도 우리의 요구 사항에 맞지 않는다는 것을 알았습니다. 이러한 모든 솔루션은 대부분 1개의 호스트 또는 다중 호스트로 제한되었지만 엔드포인트에 대한 동시 요청 모드는 없었습니다. 두 번째 문제는 칩당 $50 이상의 높은 비용입니다. V2에서 우리는 PCI 스위치에 대한 실험을 연기하기로 결정하고(나중에 개발할 때 다시 다룰 예정임) 각 노드에 역할을 할당하는 경로를 따라갔습니다. 처음 두 노드는 노드당 미니 PCI 익스프레스 포트를 노출하고 세 번째 노드는 노출 노출된 2포트 6Gbps SATA 컨트롤러 . 다른 노드에서 디스크에 액세스하려면 클러스터 내의 네트워크 파일 시스템을 사용할 수 있습니다. 왜 안 돼?

몰래 엿보기

우리는 토론과 성찰을 통해 최소 클러스터 블록이 시간이 지남에 따라 어떻게 진화했는지에 대한 몇 가지 스케치를 공유하기로 결정했습니다.

그 결과 4개의 260핀 노드, 2개의 미니 PCIe(Gen 2) 포트, 2개의 SATA(Gen 3) 포트가 있는 클러스터 장치에 도달했습니다. 이 보드에는 VLAN을 지원하는 Layer-2 관리형 스위치가 있습니다. 첫 번째 노드에서 미니 PCIe 포트가 제거되어 네트워크 카드를 설치하고 다른 이더넷 포트 또는 5G 모뎀을 가져오고 첫 번째 노드에서 클러스터 및 이더넷 포트의 네트워크용 라우터를 만들 수 있습니다.

클러스터 버스에는 속도 제어 기능이 있는 각 노드의 FAN 커넥터와 모든 슬롯을 통해 모듈을 직접 플래시하는 기능을 포함하여 더 많은 기능이 있습니다.

신청

자체 호스팅 애플리케이션 및 서비스를 위한 에지 인프라

우리는 V2를 소비자/상업용 에지 인프라를 위한 최소 빌딩 블록으로 설계했습니다. V2를 사용하면 개념 증명을 시작하고 성장에 따라 확장하여 비용 효율적이고 실용적인 애플리케이션을 에지에서 호스팅하는 데 점진적으로 포팅하는 것이 저렴합니다. 클러스터 블록을 함께 연결하여 더 큰 클러스터를 구축할 수 있습니다. 이는 기존에 큰 위험 없이 점진적으로 수행할 수 있습니다.
프로세스. 오늘날 이미 수많은 비즈니스용 애플리케이션이 있습니다. 로컬에서 호스팅할 수 있는.

ARM 워크스테이션

클러스터당 최대 32GB RAM을 갖춘 첫 번째 노드는 OS의 데스크톱 버전(예: Ubuntu Desktop 20.04 LTS)에 사용할 수 있고 나머지 3개 노드는 컴파일, 테스트 및 디버깅 작업, ARM용 클라우드 네이티브 솔루션 개발에 사용할 수 있습니다. 클러스터. 제품의 ARM 에지 인프라에서 CI/CD용 노드로.

CM2 모듈이 포함된 Turing V4 클러스터는 구조적으로 AWS Graviton 인스턴스 기반 클러스터와 거의 동일합니다(ARMv8 마이너 버전의 차이점). CM4 모듈 프로세서는 ARMv8 아키텍처를 사용하므로 x1 인스턴스보다 훨씬 저렴한 것으로 알려진 AWS Graviton 2 및 86 인스턴스용 이미지 및 애플리케이션을 구축할 수 있습니다.

출처 : habr.com