Turing Pi - 자체 호스팅 애플리케이션 및 서비스를 위한 클러스터 보드

Turing Pi는 데이터 센터의 랙 랙 원리를 기반으로 소형 마더보드에만 구축된 자체 호스팅 애플리케이션을 위한 솔루션입니다. 이 솔루션은 로컬 개발을 위한 로컬 인프라 구축과 애플리케이션 및 서비스 호스팅에 중점을 두고 있습니다. 일반적으로 Edge 전용 AWS EC2와 같습니다.

소규모 개발자 팀인 우리는 엣지에서 베어메탈 클러스터를 구축하기 위한 솔루션을 만들기로 결정하고 프로젝트를 Turing Pi라고 불렀습니다. 이 제품은 스크래치 프로젝트로 시작되었지만 이제 개념을 테스트하기 위해 Red Hat, Rancher(SUSE), Toyota Connected, Sony, Electrolux, Facebook의 개발 부서에서 주문했으며 10K 미만의 개발자 청중은 모집중입니다.

그러나 모든 것은 발견으로 시작되었습니다.

제품 발견

옛날에 나는 우리가 아무것도 발명하지 않는다는 것을 발견했습니다. 우리는 이 세상에 존재하는 모든 것을 발견합니다. 우리는 일부 부품이 서로 결합되어 제품의 새로운 특성을 얻을 수 있음을 발견하거나 법칙을 발견하고 다시 결합할 수 있음을 발견합니다. 아무것도 생각해 낼 수 없지만 연구 중에 발견할 수 있습니다. 제 생각에는 발명은 끊임없는 관찰, 실험, 검색 + 지식의 조합의 결과입니다.

지난 XNUMX년 동안 저는 아마추어 홈랩 운동이 탄력을 받는 것을 지켜보았습니다(자원 subreddit), 자체 호스팅(리소스 subreddit и 굉장한 자체 호스팅), 단일 보드 컴퓨터, Raspberry Pi와 같은 단일 보드 컴퓨터에서 컨테이너를 실행하는 데 대한 관심이 커지면서 단일 보드 컴퓨터의 클러스터를 조립하려는 움직임이 커지고 있습니다. 쿠버네티스의 아이디어는 점차 그곳으로 옮겨가고 있다. Edge/IoT에 초점을 맞춘 경량 버전인 k3s가 이미 등장했습니다. 대형 패스트푸드 체인인 Chick-fil-A는 주방에 Kubernetes 클러스터를 배포한 세계 최초의 회사 중 하나입니다. kubectl 샌드위치 만들어줘.

나는 그것을 하나의 기술이 다른 기술을 감싸면서 더 복잡한 시스템을 만드는 눈덩이라고 봅니다. 동시에 기술의 프랙탈과 같은 혼란은 없습니다. 제 인생에서 다소 어려운 순간 중 하나에서 저는 아마추어 개발자가 단일 보드 컴퓨터로 조립한 클러스터의 가치를 보고 클러스터 보드를 만드는 작업을 시작했습니다.

오늘날 우리의 클러스터 보드는 매우 간단하며 주로 클라우드 네이티브 기술을 좋아하고 새로운 것을 배우고 실험하는 사람들을 대상으로 합니다.

빌딩 블록

그렇다면 해결책은 무엇이며 본질은 무엇입니까? 요점은 클래식 서버보다 저렴하게 엣지 인프라를 조립할 수 있는 생성자, 부피가 큰 금속 상자가 없는 모바일, 서버 룸과 같은 특수한 운영 조건을 요구하지 않는 모바일, 에너지 효율적, 표준화된 빌딩 블록(빌딩 블록)을 제공하는 것입니다. 모듈 수와 수십, 수백 개의 컴퓨팅 노드(프로세서)에 걸쳐 빠르게 확장할 수 있는 기능을 갖추고 있습니다.

클러스터보드

Mini ITX 보드는 온보드 네트워크를 사용하여 여러 컴퓨팅 모듈을 연결하고 주변 장치 인터페이스를 제공하며 모듈에 대한 제어를 제공합니다.

컴퓨팅 모듈

프로세서와 RAM(선택적으로 운영 체제 저장을 위한 플래시 메모리)을 포함하는 SO-DIMM 폼 팩터의 보드

Turing V2의 예상 구성 중 하나

클러스터 보드와 컴퓨팅 모듈을 결합하면 20개 이상의 프로세서(아래 예)를 위한 조용하고 전력 소비가 낮은 인프라를 쉽게 생성할 수 있습니다. 클러스터 보드 자체가 사용 볼륨의 효율성을 높입니다. 비교를 위한 클러스터의 예

SBC 기반*

CPU 24개
게시자: Afkham Azeez

튜링파이 기반

CPU 21개
저자 th3st0rmtr00p3r

* SBC - 싱글 보드 컴퓨터

Rancher Labs의 공동 창립자이자 k3s의 저자는 이러한 접근 방식에 무관심하지 않았습니다.

아래에서 빌딩 블록에 대해 자세히 알아보세요.

컴퓨팅 모듈

개념 증명을 위해 우리는 Raspberry Pi 컴퓨팅 모듈을 선택했습니다. 이는 시작하기에 이상적인 구성입니다. RPi 커뮤니티가 활성화되어 있고 소프트웨어에 문제가 없으며 모듈 자체가 SO-DIMM 형식(6 x 3cm)이고 저렴하며 온보드에 4코어 CPU, 1GB RAM 및 옵션 플래시 메모리가 포함되어 있습니다. OS 및 기타 시스템 요구사항의 경우 8, 16 또는 32GB. 이 폼 팩터는 산업용 IoT 솔루션에 자주 사용됩니다.

라즈베리 파이 1/3/3+ 컴퓨팅 모듈

그러나 CM3 모델에도 심각한 제한이 있습니다. 최대 1Mbps의 속도를 제공하는 USB 허브를 통한 100GB RAM 및 이더넷. 따라서 Turing의 두 번째 버전은 Raspberry Pi 4와 모듈당 최대 8GB RAM을 지원합니다. 다음은 가속 컴퓨팅 작업을 위한 Nvidia Jetson 모듈의 예입니다. 아마도 두 번째 버전에서 지원될 것입니다. 몇 가지 기술적 문제를 해결하면 모듈을 혼합할 수 있습니다.

Nvidia Jetson 컴퓨팅 모듈

모듈에는 언뜻 보기에는 명확하지 않은 가장 중요한 기능이 포함되어 있습니다. 일반 컴퓨팅부터 기계 학습 집약적 컴퓨팅에 이르기까지 다양한 유형의 작업을 위해 다양한 CPU, RAM 및 eMMC 세트를 사용하여 유사한 폼 팩터로 다른 모듈을 생성하는 기능입니다. 이는 AWS EC2 인스턴스와 매우 유사하지만 엣지에만 해당됩니다. 이 경우 클러스터 보드는 변경되지 않거나 약간만 변경된 상태로 유지됩니다.

클러스터보드

상당히 새로운 방향인 마더보드 또는 베이스 보드라고도 할 수 있으며 오늘날에는 이러한 솔루션을 제공하는 제조업체가 많지 않으며 여전히 Pine64, MiniNodes, Clover Pi, Bitscope Blade, PicoCluster(SBC 클러스터) 등 보급형 수준에 있습니다. ). 클러스터 보드는 모듈을 네트워크로 연결하고 전원을 공급하며 클러스터 관리 버스(Cluster Management Bus)를 제공하는데, 적어도 우리는 이 버스를 추가하기로 결정하고 뿌리를 내린 것 같습니다.

앞

뒤

백플레인 대역폭 12Gbps
eMMC가 없는 모듈용 SD 슬롯. 예를 들어 노드 데이터에 빠르게 액세스하기 위해 SD가 있는 모듈 두 개를 유지할 수 있습니다.

클러스터 보드는 모듈의 네트워크 연결과 외부 네트워크에 대한 액세스를 보장하기 위해 스위치 칩을 기반으로 합니다. 현재 버전에서는 관리되지 않는 스위치를 사용합니다. 본격적인 R&D를 수행할 시간은 없었지만, 두 번째 버전에서는 좋은 매니지드 스위치를 선택했습니다. 네트워크를 보드에 분산시키기 위해 '마스터 노드를 라우터' 모드로 구성할 수 있습니다. 이는 더 높은 수준의 보안과 외부 접근으로부터 작업자의 격리가 필요한 경우에 해당됩니다. 마스터 노드의 DHCP 서버.

신청

현재 버전은 실험적이며 클러스터가 무엇인지 알아보고, 소프트웨어로 작업하거나, 조직에서 가설을 테스트하고, 새로운 아이디어를 검색하기 위한 보급형 솔루션으로 포지셔닝하고 있습니다. 일반적으로 이것은 Lite 버전입니다.

시작하려면 Y Combinator에서 우리에 대해 읽었으며 베스트셀러 Ansible for DevOps의 저자인 Jeff Girling의 시리즈를 추천합니다. 그는 큰 영감을 받아 일반적인 클러스터링 아이디어부터 보드 작업, Kubernetes 연구 및 어떤 소프트웨어를 설치할 수 있는지에 대한 실제 사례까지 6개 부분으로 구성된 리뷰를 작성했습니다.

클러스터에 k3s를 설치하는 방법에 대한 시리즈

일반적으로 첫 번째 부분부터 클러스터링과 Kubernetes에 대해 접근 가능한 언어로 시청하는 것이 좋습니다. 그리고 커뮤니티에 올라온 사진들

다음은 뭐지?

우선, 정말 흥미로웠기를 바랍니다. 이것은 완전히 독창적인 콘텐츠로, 지평선 너머를 바라보려는 시도입니다. 둘째, Turing V2의 설계에 관한 두 번째 부분을 작성할 계획입니다. 제품 검색이 어떻게 이루어졌는지, 논리적 판단, 주요 속성 검색이 중요합니다. 기사에는 초기 제품부터 최종 제품까지의 제품 스케치가 포함됩니다. 두 번째 기사는 회사에서 제품과 제품 개발을 담당하는 제품 과학자에게 특히 흥미로울 것입니다.

그리고 아마도 정말 오랫동안 읽을 것입니다.

출처 : habr.com