Saluti à a cumunità Habr ! Recentemente aghju scrittu annantu à a nostra prima versione cluster board []. È oghje vogliu dì cumu avemu travagliatu nantu à a versione memoria d'accessu casuale.
Amu piace à i mini servitori chì ponu esse aduprati sia per u sviluppu lucale sia per l'ospitu lucale. A cuntrariu di l'urdinatori di scrivania o laptop, i nostri servitori sò pensati per travaglià 24/7, ponu esse federati rapidamente, per esempiu, ci era 4 processori in un cluster, è dopu à 5 minuti ci era 16 processori (senza equipaggiu di rete supplementu) è tuttu questu. in un fattore di forma compatta silenziosa è efficienza energetica.
L'architettura di i nostri servitori hè basatu annantu à u principiu di cluster di custruzzione, i.e. Facemu cluster boards chì, utilizendu a reta ethernet nantu à u bordu, cunnette parechji moduli di computing (processori). Per simplificà, ùn facemu micca i nostri propri moduli di computing, ma utilizemu i Moduli Compute Raspberry Pi è speremu veramente u novu modulu CM4. Ma, tuttu andò contru à i piani cù u so novu fattore di forma è pensu chì parechji sò disappuntu.
Sottu u cut, cumu andemu da V1 à V2 è cumu duvemu esce cù u novu fattore di forma Raspberry Pi CM4.
Allora, dopu avè creatu un cluster per i nodi 7, e dumande sò - chì hè dopu? Cumu aumentà u valore di un pruduttu? 8, 10 o 16 nodi? Quali pruduttori di moduli? Pensendu à u pruduttu in tuttu, avemu capitu chì u principale quì ùn hè micca u numeru di nodi o quale hè u fabricatore, ma l'essenza stessa di clusters cum'è un bloccu di costruzione. Avemu bisognu di circà u bloccu minimu di custruzzione chì
U primu, serà un cluster è à u stessu tempu puderà cunnette dischi è schede di espansione. U bloccu di cluster deve esse un node di basa autosufficiente è cù una larga gamma di opzioni di espansione.
U sicondu, in modu chì i blocchi di cluster minimi ponu esse cunnessi l'un à l'altru custruendu clusters di una dimensione più grande è cusì chì hè efficiente in quantu à u budgetu è a velocità di scala. A velocità di scala deve esse più veloce di cunnetta l'urdinatori ordinali à una reta è assai più prezzu di u hardware di u servitore.
Terzu, l'unità di cluster minimu deve esse abbastanza compactu, mobile, efficienza energetica, costu-efficace è micca esigenti nantu à e cundizioni operative. Questa hè una di e sfarenze chjave da i rack di u servitore è tuttu ciò chì hè cunnessu cun elli.
Avemu principiatu per determinà u numeru di nodi.
Numero di nodi
Cù ghjudizii lògichi simplici, avemu capitu chì i nodi 4 hè a megliu opzione per u bloccu minimu di cluster. 1 node ùn hè micca un cluster, 2 nodi ùn sò micca abbastanza (1 maestru 1 travagliadore, ùn ci hè micca pussibilità di scaling in un bloccu, soprattuttu per l'opzioni eterogenei), 3 nodes pare bè, ma micca un multiplu di putenzi di 2 è scaling in. un bloccu hè limitatu, i nodi 6 venenu à un prezzu quasi cum'è i nodi 7 (da a nostra sperienza questu hè digià un prezzu di costu maiò), 8 hè assai, ùn si mette micca in u fattore di forma mini ITX è una soluzione PoC ancu più caru.
Quattru nodi per bloccu sò cunsiderate u mediu d'oru:
- menu materiali per cluster board, dunque più prezzu di fabricà
- multiple di 4, totale 4 blocchi dà 16 processori fisichi
- circuitu stabile 1 maestru è 3 travagliadori
- variazioni più eterogenee, moduli di calculu generale + calculu acceleratu
- fattore di forma mini ITX cù unità SSD è schede di espansione
Moduli di calculu
A seconda versione hè basatu annantu à CM4, avemu pensatu chì serà liberatu in fattore di forma SODIMM. Ma…
Avemu fattu una decisione di fà una scheda figlia SODIMM è assemble CM4 direttamente in moduli per chì l'utilizatori ùn anu micca bisognu di pensà à CM4.
Modulu Turing Pi Compute Supporta Raspberry Pi CM4
In generale, in cerca di moduli, un mercatu sanu di moduli di l'informatica hè statu apertu da i moduli chjuchi cù 128 MB RAM à 8 GB RAM. Moduli cù 16 GB di RAM è più sò avanti. Per l'ospitu di l'applicazioni di punta basatu nantu à tecnulugii nativi di nuvola, 1 GB di RAM ùn hè micca abbastanza, è l'apparizione recente di moduli per 2, 4 è ancu 8 GB di RAM furnisce un bonu spaziu per a crescita. Ancu anu cunsideratu l'opzioni cù i moduli FPGA per l'applicazioni di apprendimentu di machine, ma u so supportu hè statu ritardatu perchè l'ecosistema di u software ùn hè micca sviluppatu. Mentre studiava u mercatu di i moduli, avemu avutu l'idea di creà una interfaccia universale per i moduli, è in V2 cuminciamu à unificà l'interfaccia di i moduli di l'informatica. Questu permetterà à i pruprietarii di a versione V2 di cunnetta moduli da altri fabricatori è mischjà per compiti specifichi.
V2 supporta tutta a linea Raspberry Pi 4 Compute Module (CM4), cumprese versioni Lite è moduli 8 GB RAM.
A periferia
Dopu avè determinatu u venditore di i moduli è u numeru di nodi, avemu avvicinatu à u bus PCI nantu à quale si trovanu i periferichi. U bus PCI hè u standard per i periferichi è si trova in quasi tutti i moduli di l'informatica. Avemu parechji nodi, è idealmente, ogni nodu deve esse capace di sparte i dispositi PCI in modu di dumanda simultanea. Per esempiu, s'ellu hè un discu cunnessu à l'autobus, allora hè dispunibule per tutti i nodi. Avemu cuminciatu à circà i switches PCI cù supportu multi-host è truvamu chì nimu d'elli si adatta à i nostri bisogni. Tutte queste suluzioni eranu per suprattuttu limitati à 1 host o multi hosts, ma senza u modu di richieste simultanee à endpoints. U sicondu prublema hè u costu altu di $ 50 o più per chip. In V2, avemu decisu di posponà l'esperimenti cù i switches PCI (avemu da vultà à elli più tardi cum'è sviluppemu) è andò in u percorsu di assignà un rolu per ogni nodu: i primi dui nodi esposti mini PCI express port per node, u terzu node. Controller SATA 2 Gbps à 6 porti esposti. Per accede à i discu da altri nodi, pudete aduprà u sistema di file di rete in u cluster. Perchè nò?
Sneakpeek
Avemu decisu di sparte qualchi schizzi di cumu u bloccu minimu di cluster hè evolutu cù u tempu per mezu di discussione è riflessione.
In u risultatu, avemu ghjuntu à una unità di cluster cù nodi 4 260-pin, 2 porti mini PCIe (Gen 2), porti 2 SATA (Gen 3). U bordu hà un Switch Managed Layer-2 cù supportu VLAN. Un portu mini PCIe hè statu sguassatu da u primu node, in quale pudete installà una carta di rete è uttene un altru portu Ethernet o modem 5G è fate un router per a reta in u cluster è i porti Ethernet da u primu node.
L'autobus di cluster hà più funziunalità, cumpresa a capacità di lampà moduli direttamente attraversu tutti i slots è di sicuru i connettori FAN in ogni node cù cuntrollu di velocità.
Applicazione
Infrastruttura Edge per applicazioni è servizii self-hosted
Avemu cuncepitu V2 per esse u bloccu minimu di custruzione per una infrastruttura di punta di consumatore / cummerciale. Cù V2, hè economicu per inizià a prova di cuncettu è scala mentre cresce, purtendu gradualmente l'applicazioni chì sò più convenienti è pratichi per ospitare in punta. I blocchi di cluster ponu esse cunnessi inseme per custruisce clusters più grande. Questu pò esse fattu gradualmente senza assai risicu per stabilisce
prucessi. Dighjà oghje ci sò un gran numaru di applicazioni per l'affari, .
ARM Workstation
Cù finu à 32 GB di RAM per cluster, u primu nodu pò esse usatu per a versione desktop di u SO (per esempiu, Ubuntu Desktop 20.04 LTS) è i restanti 3 nodi per compii di compilazione, teste è debugging, sviluppà soluzioni native cloud per ARM. clusters. Cum'è un nodu per CI / CD nantu à l'infrastruttura di punta ARM in u prod.
U cluster Turing V2 cù moduli CM4 hè quasi identicu architetturale (differenza in versioni minori di ARMv8) à cluster basatu annantu à l'istanze AWS Graviton. U processatore di u modulu CM4 usa l'architettura ARMv8 per pudè custruisce l'imaghjini è l'applicazioni per l'istanze AWS Graviton 1 è 2, chì sò cunnisciuti per esse assai più prezzu di l'istanze x86.
Source: www.habr.com