Mini ITX Cluster Turing Pi 2 со 32 GB RAM

Поздрав до заедницата Хабр! Неодамна напишав за нашата прва верзија на кластер одбор [V1]. И денес сакам да ви кажам како работевме на верзијата Turing V2 со 32 GB меморија за случаен пристап.

Ние сме љубители на мини сервери кои можат да се користат и за локален развој и за локален хостинг. За разлика од десктоп компјутерите или лаптопите, нашите сервери се дизајнирани да работат 24/7, тие можат брзо да се федерираат, на пример, имаше 4 процесори во кластер, а по 5 минути имаше 16 процесори (без дополнителна мрежна опрема) и сето ова во компактна форма фактор тивок и енергетски ефикасен.

Архитектурата на нашите сервери се заснова на кластер принципот на конструкција, т.е. правиме кластер табли кои со помош на етернет мрежата на плочката поврзуваат неколку компјутерски модули (процесори). За поедноставување, сè уште не правиме сопствени компјутерски модули, туку користиме Raspberry Pi Compute Modules и навистина се надевавме на новиот CM4 модул. Но, се беше спротивно на плановите со нивниот нов фактор на форма и мислам дека многумина се разочарани.

Под рез, како отидовме од V1 до V2 и како моравме да излеземе со новиот фактор на форма на Raspberry Pi CM4.

Значи, по креирањето на кластер за 7 јазли, прашањата се - што е следно? Како да ја зголемите вредноста на производот? 8, 10 или 16 јазли? Кои производители на модули? Размислувајќи за производот како целина, сфативме дека главната работа овде не е бројот на јазли или кој е производителот, туку самата суштина на кластерите како градежен блок. Треба да го бараме минималниот градежен блок што

Првиот, ќе биде кластер и во исто време ќе може да поврзува дискови и табли за проширување. Кластерскиот блок треба да биде самодоволен основен јазол и со широк опсег на опции за проширување.

Вториот, за да може минималните кластерски блокови да се поврзат едни со други со градење кластери со поголема големина и да биде ефикасен во однос на буџетот и брзината на скалирање. Брзината на скалирање мора да биде поголема од поврзувањето на обичните компјутери на мрежа и многу поевтина од хардверот на серверот.

Трето, минималните кластер единици треба да бидат доволно компактни, мобилни, енергетски ефикасни, исплатливи и да не бараат услови за работа. Ова е една од клучните разлики од серверските лавици и сè што е поврзано со нив.

Започнавме со одредување на бројот на јазли.

Број на јазли

Со едноставни логички пресуди, сфативме дека 4 јазли се најдобрата опција за минималниот кластер блок. 1 јазол не е кластер, 2 јазли не се доволни (1 мајстор 1 работник, нема можност за скалирање во рамките на блок, особено за хетерогени опции), 3 јазли изгледаат во ред, но не и повеќекратна моќност од 2 и скалирање во блокот е ограничен, 6 јазли имаат цена скоро како 7 јазли (од нашето искуство ова е веќе голема цена на чинење), 8 се многу, не се вклопуваат во мини ITX форма фактор и уште поскапо PoC решение.

Четири јазли по блок се сметаат за златна средина:

• помалку материјали по табла, па оттука и поевтино за производство
• повеќекратно од 4, вкупно 4 блокови даваат 16 физички процесори
• стабилно коло 1 господар и 3 работници
• повеќе хетерогени варијации, општо-пресметување + забрзано-пресметување модули
• mini ITX форма фактор со SSD-дискови и картички за проширување

Пресметај модули

Втората верзија е базирана на CM4, мислевме дека ќе излезе во SODIMM форма фактор. Но…
Донесовме одлука да направиме SODIMM табла и да го составиме CM4 директно во модули за да не мора корисниците да размислуваат за CM4.

Модул за пресметување Turing Pi што поддржува Raspberry Pi CM4

Генерално, во потрага по модули, беше отворен цел пазар на компјутерски модули од мали модули со 128 MB RAM до 8 GB RAM. Претстојат модули со 16 GB RAM и повеќе. За хостирање на edge апликации засновани на природни технологии во облак, 1 GB RAM веќе не е доволно, а неодамнешното појавување на модули за 2, 4, па дури и 8 GB RAM меморија обезбедува добар простор за раст. Тие дури разгледаа опции со FPGA модули за апликации за машинско учење, но нивната поддршка беше одложена бидејќи софтверскиот екосистем не е развиен. Додека го проучувавме пазарот на модули, дојдовме до идеја да создадеме универзален интерфејс за модули, а во V2 започнуваме да го обединуваме интерфејсот на компјутерските модули. Ова ќе им овозможи на сопствениците на верзијата V2 да поврзат модули од други производители и да ги мешаат за одредени задачи.

V2 ја поддржува целата линија Raspberry Pi 4 Compute Module (CM4), вклучувајќи Lite верзии и 8 GB RAM модули

Периферија

Откако го одредивме продавачот на модулите и бројот на јазли, пристапивме до PCI магистралата на која се наоѓаат периферните уреди. PCI магистралата е стандард за периферни уреди и се наоѓа во скоро сите компјутерски модули. Имаме неколку јазли и идеално, секој јазол треба да може да споделува PCI уреди во режим на истовремени барања. На пример, ако е диск поврзан со магистралата, тогаш тој е достапен за сите јазли. Почнавме да бараме PCI прекинувачи со поддршка за повеќе домаќини и откривме дека ниту еден од нив не одговара на нашите барања. Сите овие решенија беа главно ограничени на 1 домаќин или повеќе домаќини, но без режим на истовремени барања до крајни точки. Вториот проблем е високата цена од 50 долари или повеќе по чип. Во V2, решивме да ги одложиме експериментите со PCI прекинувачите (ќе се вратиме на нив подоцна како што ќе се развиваме) и отидовме по патот на доделување улога за секој јазол: првите два јазли изложија мини PCI експресна порта по јазол, третиот јазол изложен SATA контролер со 2 порти 6 Gbps . За да пристапите до дисковите од други јазли, можете да го користите мрежниот датотечен систем во кластерот. Зошто да не?

Sneakpeek

Решивме да споделиме неколку скици за тоа како минималниот кластер блок еволуирал со текот на времето преку дискусија и размислување.

Како резултат на тоа, дојдовме до кластер единица со 4 260-пински јазли, 2 mini PCIe (Gen 2) порти, 2 SATA (Gen 3) порти. Плочката има Управуван прекинувач Layer-2 со VLAN поддршка. Од првиот јазол е отстранета мини PCIe порта, во која можете да инсталирате мрежна картичка и да добиете друга порта за етернет или 5G модем и да направите рутер за мрежата на кластерот и портите за етернет од првиот јазол.

Кластерската магистрала има повеќе функции, вклучувајќи ја и можноста за трепкање на модулите директно низ сите слотови и секако FAN конектори на секој јазол со контрола на брзината.

Апликација

Идната инфраструктура за апликации и услуги што се чуваат сами

Дизајниравме V2 да биде минимална градежна блока за инфраструктура од потрошувачки/комерцијално ниво. Со V2, ефтино е да се започне со докажување на концептот и да се зголемува како што растете, постепено пренесувајќи ги апликациите што се поекономични и попрактични за да се вдомат на работ. Кластерските блокови може да се поврзат заедно за да се изградат поголеми кластери. Ова може да се направи постепено без поголем ризик за воспоставување
процеси. Веќе денес има огромен број на апликации за бизнис, кои можат да бидат хостирани локално.

Работна станица на АРМ

Со до 32 GB RAM по кластер, првиот јазол може да се користи за десктоп верзијата на оперативниот систем (на пример, Ubuntu Desktop 20.04 LTS) и преостанатите 3 јазли за компилација, тестирање и дебагирање задачи, развој на природни решенија во облакот за ARM кластери. Како јазол за CI / CD на ARM работ инфраструктура во прод.

Кластерот Turing V2 со CM4 модули е речиси идентичен архитектонски (разлика во помалите верзии на ARMv8) со кластерот базиран на примери на AWS Graviton. Процесорот на модулот CM4 ја користи архитектурата ARMv8 за да можете да креирате слики и апликации за примероците на AWS Graviton 1 и 2, за кои се знае дека се многу поевтини од примероците на x86.

Извор: www.habr.com