Mini ITX klasteris Turing Pi 2 ar 32 GB RAM

Sveicināti Habr kopienā! Nesen es rakstīju par mūsu pirmās versijas klastera plati. [V1]. Šodien vēlos pastāstīt, kā mēs strādājām pie versijas. Turing V2 ar 32 GB. atmiņā.

Mēs aizraujamies ar mini serveriem, kurus var izmantot gan lokālai izstrādei, gan lokālai mitināšanai. Atšķirībā no galddatoriem vai portatīvajiem datoriem, mūsu serveri ir izstrādāti darbam 24/7, un tos ātri var savienot federācijā, piemēram, bija 4 procesori klasterī, bet pēc 5 minūtēm jau ir 16 procesori (bez papildu tīkla iekārtām), un viss tas kompakta formāta, klusā un energoefektīvā veidā.

Mūsu serveru arhitektūras pamatā ir klasteru princips, t.i., mēs veidojam klastera plates, kas savieno vairākus apstrādes modulī (procesorus) caur ethernet tīklu uz plates. Lai to vienkāršotu, mēs šobrīd vēl neizstrādājam savus apstrādes modulī, bet izmantosim Raspberry Pi Compute Modules un mēs ļoti cerējām uz jauno CM4 moduli. Tomēr viss gāja pretēji plāniem ar to jauno formātu, un domāju, ka daudzi ir vīlušies.

Apskatīsim, kā mēs pārgājām no V1 uz V2 un kā mums nācās izkļūt no situācijas ar jauno Raspberry Pi CM4 formātu.

Tātad, pēc 7 mezglu izveidošanas klasterī, rodas jautājums — kas tālāk? Kā palielināt produkta vērtību? 8, 10 vai 16 mezglus? Kādi ir moduļu ražotāji? Domājot par produktu kopumā, mēs sapratām, ka šeit galvenais nav mezglu skaits vai ražotājs, bet gan paši klasteri kā būvelementi. Jāmeklē minimālais būvelements, kas

Pirmais, būs klasteris un tam pašam ir jābūt iespējai pievienot diskus un paplašināšanas plates. Klastera blokam jābūt pašpietiekamam pamata mezglam ar plašām iespējām paplašināšanai.

Otrais, lai minimālie klastera bloki varētu savienoties kopā, veidojot lielāka izmēra klasterus, un lai tas būtu efektīvi gan budžeta, gan mērogošanas ātruma ziņā. Mērogošanas ātrumam jābūt augstākam nekā parasto datoru savienojumam tīklā un ievērojami lētākam par serveru iekārtām.

Trešais, minimālajiem klastera blokiem jābūt pietiekami kompaktiem, mobilajiem, energoefektīviem, rentabliem un neprasa īpašus ekspluatācijas apstākļus. Tas ir viens no galvenajiem atšķirības aspektiem no serveru rack un visu ar tiem saistīto.

Mēs sākām ar mezglu skaita noteikšanu.

Mezglu skaits

Ar vienkāršiem loģiskiem spriedumiem sapratām, ka 4 mezgli ir labākais variants minimāla klastera blokam. 1 mezgls nav klasteris, 2 mezgli ir par maz (1 meistara, 1 darba mezgls, nav iespējas paplašināt bloku, īpaši heterogēniem variantiem), 3 mezgli izskatās labi, bet nav dalāmi ar 2 pakāpēm un ir ierobežota paplašināšanās bloka ietvaros, 6 mezglu cena ir tuvu 7 mezglu cenai (no mūsu pieredzes šī jau ir augsta pašu izmaksu cena), 8 ir daudz, nelien mini ITX formas faktorā un ir pat vēl dārgāks risinājums PoC.

Četri mezgli bloku uzskatām par zelta vidusceļu:

• mazāk materiālu klastera platei, tātad lētāka ražošana
• reizināts ar 4, kopā 4 bloki nodrošina 16 fiziskos procesorus
• stabila shēma 1 meistariem un 3 darba mezgliem
• vairāk heterogēnu variantu, general-compute + accelerated-compute moduļi
• mini ITX formas faktors ar SSD diskdziņiem un paplašināšanas platēm

Aprēķinu moduļi

Otrā versija balstās uz CM4, un mēs domājām, ka to laistīs tirgū SODIMM formas faktorā. Bet...
Mēs pieņēmām lēmumu izveidot apakšplati SODIMM un apkopot CM4 tieši moduļos, lai lietotāji domātu par CM4.

Turing Pi Compute Module ar Raspberry Pi CM4 atbalstu

Vispār, meklējot moduļus, tika atklāts vesels tirgus no maziem moduļiem ar 128 MB RAM līdz 8 GB RAM. Priekšā ir moduļi ar 16 GB RAM un vairāk. Edge lietojumprogrammu mitināšanai, kas balstās uz cloud native tehnoloģijām, 1 GB RAM jau ir par maz, bet nesen parādījās moduļi ar 2, 4 un pat 8 GB RAM, kas sniedz labas izaugsmes iespējas. Pat apsverām iespējas ar FPGA moduļiem mašīnmācīšanās lietojumiem, bet to atbalsts ir atlikts, jo programmatūras ekosistēma nav attīstīta. Tirgus izpētes laikā nonācām pie idejas izveidot universālu interfeisu moduļiem, un V2 sākam moduļu interfeisa standardizāciju. Tas ļaus V2 versijas īpašniekiem pievienot citu ražotāju moduļus un tos jaukt konkrētām uzdevumu prasībām.

V2 atbalsta visu Raspberry Pi 4 Compute Module (CM4) sēriju, tostarp Lite versijas un moduļus ar 8 GB RAM.

Periferija

Pēc moduļa piegādātāja un mezglu skaita noteikšanas, mēs nonācām pie PCI autobusa, uz kura ir perifērijas ierīces. PCI autobuss ir standarts perifērijas ierīcēm, un tas ir pieejams gandrīz visos skaitļošanas moduļos. Mums ir vairāki mezgli, un ideālā gadījumā katram mezglam vajadzētu spēt dalīties ar PCI ierīcēm konkurences pieprasījumos. Piemēram, ja runājam par disku, kas ir pieslēgts autobusam, tas ir pieejams visiem mezgliem. Mēs sākām meklēt PCI slēdžus ar vairāku hostu atbalstu un atklājām, ka neviens no tiem neatbilst mūsu prasībām. Visas šīs risinājumi galvenokārt bija ierobežotas līdz 1 hostam vai vairākiem hostiem, bet bez konkurences pieprasījumu režīma pret beigu punktiem. Otra problēma ir augstās izmaksas, sākot no 50 ASV dolāriem un vairāk par mikroshēmu. V2 mēs nolēmām atlikt eksperimentus ar PCI slēdžiem (mēs pie tiem atgriezīsimies vēlāk, attīstoties) un devāmies pa ceļu, nosakot lomu katram mezglam: pirmie divi mezgli izmantoja mini PCI express portu katram mezglam, trešais mezgls eksponēja 2-portu 6 Gbps SATA kontrolieri. Lai piekļūtu diskiem no citiem mezgliem, var izmantot tīkla failu sistēmu klastera ietvaros. Kāpēc gan ne?

Sneakpeek

Mēs nolēmām dalīties ar dažiem skicēm, kā laika gaitā ir attīstījies minimālais klastera bloks diskusiju un pārdomu procesā.

Rezultātā mēs nonācām pie klastera bloka ar 4 mezgliem 260-pin, 2 mini PCIe (Gen 2) portiem, 2 SATA (Gen 3) portiem. Plaatē ir uzstādīts Layer-2 pārvaldāms slēdzis ar VLAN atbalstu. No pirmā mezgla ir izvadīts mini PCIe ports, kurā var uzstādīt tīkla karti un iegūt vēl vienu Ethernet porta vai 5G modemu, un padarīt pirmo mezglu par maršrutētāju tīklā klasterī un Ethernet portā.

Klastera autobuss piedāvā vairāk funkciju, tostarp iespēju pārflasherēt moduļus tieši caur visiem slotiem, un, protams, katram mezglam ir ventilatoru savienotāji ar ātruma kontroli.

Pielietojums

Edge infrastruktūra pašpārvaldītām lietojumprogrammām un pakalpojumiem

Mēs projektējām V2 ar mērķi izmantot to kā minimālo būvkubu patērētāju / komerciālajai edge infrastruktūrai. Ar V2 ir lēti uzsākt koncepcijas pārbaudi un mērogot, pievienojot pakāpeniski lietojumprogrammas, kas ekonomiski un praktiski ir izdevīgāk izvietot edge. Klastera blokos var savienot kopā, izveidojot lielākus klasterus. To var darīt pakāpeniski, neradot īpašus riskus nostabilizētām sistēmām.
Procesu. Jau šodien ir pieejams milzīgs daudzums uzņēmējdarbības lietojumprogrammu, kuras var uzņemt lokāli.

ARM darba stacija

Ar līdz 32 GB RAM atmiņu klasterī, pirmo mezglu var izmantot darbvirsmas operētājsistēmas versijai (piemēram, Ubuntu Desktop 20.04 LTS), bet pārējos 3 mezglus var izmantot kompilācijai, testēšanai un atkļūdošanai, kā arī cloud native risinājumu izstrādei ARM klasteriem. Kā mezglu CI/CD ARM perifēriskās infrastruktūras ražošanā.

Turing V2 klasteris ar CM4 moduļiem arhitektoniski ir gandrīz identisks (atšķirība mazās ARMv8 versijās) klasterim ar AWS Graviton instancēm. CM4 moduļu procesorā tiek izmantota ARMv8 arhitektūra, jūs varat veidot attēlus un lietojumprogrammas AWS Graviton 1 un 2 instancēm, kas, kā zināms, ir daudz lētākas par x86 instancēm.

Avots: habr.com