Mini ITX Cluster Turing Pi 2 с 32 GB RAM

Поздрави на общността на Habr! Наскоро писах за първата ни версия на клъстерна платка [V1]. И днес искам да ви разкажа как работихме по версията Turing V2 с 32 GB оперативна памет.

Ние обичаме мини сървъри, които могат да се използват както за локално развитие, така и за локален хостинг. За разлика от настолните компютри или лаптопи, нашите сървъри са проектирани да работят 24/7, те могат бързо да бъдат обединени, например имаше 4 процесора в клъстер и след 5 минути имаше 16 процесора (без допълнително мрежово оборудване) и всичко това в компактен форм фактор, безшумен и енергийно ефективен.

Архитектурата на нашите сървъри е базирана на клъстерния принцип на изграждане, т.е. изработваме клъстерни платки, които чрез ethernet мрежата на платката свързват няколко изчислителни модула (процесори). За да опростим, ние все още не правим наши собствени изчислителни модули, но използваме Raspberry Pi Compute Modules и наистина се надявахме на новия модул CM4. Но всичко се противопостави на плановете с новия им форм фактор и мисля, че мнозина са разочаровани.

Под разфасовката как преминахме от V1 към V2 и как трябваше да излезем с новия форм фактор Raspberry Pi CM4.

И така, след създаването на клъстер за 7 възела, въпросите са - какво следва? Как да увеличим стойността на даден продукт? 8, 10 или 16 възли? Кои производители на модули? Мислейки за продукта като цяло, осъзнахме, че основното тук не е броят на възлите или кой е производителят, а самата същност на клъстерите като градивен елемент. Трябва да потърсим минималния градивен елемент, който

Първи, ще бъде клъстер и в същото време ще може да свързва дискове и разширителни платки. Клъстерният блок трябва да бъде самодостатъчен базов възел и с широк набор от опции за разширение.

Вторият, така че минималните клъстерни блокове да могат да бъдат свързани един с друг чрез изграждане на клъстери с по-голям размер и така че да е ефективен по отношение на бюджета и скоростта на мащабиране. Скоростта на мащабиране трябва да е по-бърза от свързването на обикновени компютри към мрежа и много по-евтина от сървърния хардуер.

трета, минималните клъстерни единици трябва да бъдат достатъчно компактни, мобилни, енергийно ефективни, рентабилни и невзискателни към условията на работа. Това е една от основните разлики от сървърните стелажи и всичко свързано с тях.

Започнахме с определяне на броя на възлите.

Брой възли

С прости логически преценки разбрахме, че 4 възела са най-добрият вариант за минималния клъстерен блок. 1 възел не е клъстер, 2 възела не са достатъчни (1 главен 1 работник, няма възможност за мащабиране в рамките на блок, особено за разнородни опции), 3 възела изглежда добре, но не кратно на степени на 2 и мащабиране в рамките блок е ограничен, 6 възела идват на цена почти като 7 възела (от нашия опит това вече е голяма себестойност), 8 е много, не се вписва във форм фактора mini ITX и още по-скъпо PoC решение.

Четири възела на блок се считат за златната среда:

• по-малко материали на клъстерна платка, следователно по-евтино за производство
• кратно на 4, общо 4 блока дават 16 физически процесора
• стабилна верига 1 майстор и 3 работници
• по-разнородни вариации, модули за общи изчисления + ускорени изчисления
• mini ITX форм фактор със SSD устройства и разширителни карти

Изчислителни модули

Втората версия е базирана на CM4, мислехме, че ще бъде пусната във форм фактор SODIMM. Но…
Взехме решение да направим SODIMM дъщерна платка и да сглобим CM4 директно в модули, така че потребителите да не се налага да мислят за CM4.

Изчислителен модул Turing Pi, поддържащ Raspberry Pi CM4

Като цяло, в търсене на модули, беше отворен цял пазар на изчислителни модули от малки модули с 128 MB RAM до 8 GB RAM. Предстоят модули с 16 GB RAM и повече. За хостинг на крайни приложения, базирани на естествени облачни технологии, 1 GB RAM вече не е достатъчен, а неотдавнашната поява на модули за 2, 4 и дори 8 GB RAM осигурява добра възможност за растеж. Те дори обмисляха опции с FPGA модули за приложения за машинно обучение, но тяхната поддръжка беше забавена, защото софтуерната екосистема не е разработена. Докато изучавахме пазара на модули, стигнахме до идеята да създадем универсален интерфейс за модули и във V2 започваме да унифицираме интерфейса на изчислителните модули. Това ще позволи на собствениците на версия V2 да свързват модули от други производители и да ги смесват за конкретни задачи.

V2 поддържа цялата линия Raspberry Pi 4 Compute Module (CM4), включително Lite версии и 8 GB RAM модули

периферия

След като определихме доставчика на модулите и броя на възлите, се приближихме до PCI шината, на която са разположени периферните устройства. PCI шината е стандарт за периферни устройства и се намира в почти всички изчислителни модули. Имаме няколко възела и в идеалния случай всеки възел трябва да може да споделя PCI устройства в режим на едновременна заявка. Например, ако това е диск, свързан към шината, тогава той е достъпен за всички възли. Започнахме да търсим PCI комутатори с поддръжка на множество хостове и открихме, че нито един от тях не отговаря на нашите изисквания. Всички тези решения бяха предимно ограничени до 1 хост или няколко хоста, но без режим на едновременни заявки към крайни точки. Вторият проблем е високата цена от $50 или повече на чип. Във V2 решихме да отложим експериментите с PCI комутатори (ще се върнем към тях по-късно, докато се развиваме) и тръгнахме по пътя на присвояване на роля за всеки възел: първите два възела изложиха мини PCI експресен порт на възел, третият възел открит 2-портов 6 Gbps SATA контролер. За достъп до дискове от други възли можете да използвате мрежовата файлова система в рамките на клъстера. Защо не?

Sneakpeek

Решихме да споделим някои скици за това как минималният клъстерен блок се е развил с течение на времето чрез дискусия и размисъл.

В резултат на това стигнахме до клъстерен модул с 4 260-пинови възела, 2 mini PCIe (Gen 2) порта, 2 SATA (Gen 3) порта. Платката има Layer-2 Managed Switch с VLAN поддръжка. От първия възел е премахнат мини PCIe порт, в който можете да инсталирате мрежова карта и да получите друг Ethernet порт или 5G модем и да направите рутер за мрежата на клъстера и Ethernet портовете от първия възел.

Клъстерната шина има повече функции, включително възможност за флашване на модули директно през всички слотове и разбира се FAN конектори на всеки възел с контрол на скоростта.

Прилагане

Edge инфраструктура за самостоятелно хоствани приложения и услуги

Ние проектирахме V2 да бъде минималният градивен елемент за крайна инфраструктура от потребителски/комерсиален клас. С V2 е евтино да започнете доказване на концепцията и да мащабирате, докато растете, постепенно пренасяйки приложения, които са по-рентабилни и практични за хостване на ръба. Клъстерните блокове могат да бъдат свързани заедно за изграждане на по-големи клъстери. Това може да стане постепенно, без голям риск за установяване
процеси. Вече днес има огромен брой приложения за бизнеса, които могат да бъдат хоствани локално.

ARM работна станция

С до 32 GB RAM на клъстер, първият възел може да се използва за настолната версия на операционната система (например Ubuntu Desktop 20.04 LTS), а останалите 3 възела за компилация, тестване и задачи за отстраняване на грешки, разработване на облачни решения за ARM клъстери. Като възел за CI / CD на ARM edge инфраструктура в прод.

Клъстерът Turing V2 с модули CM4 е почти идентичен архитектурно (разлика в второстепенните версии на ARMv8) с клъстера, базиран на инстанции на AWS Graviton. Процесорът на модула CM4 използва архитектурата ARMv8, така че можете да създавате изображения и приложения за екземпляри AWS Graviton 1 и 2, за които е известно, че са много по-евтини от екземплярите x86.

Източник: www.habr.com