Insellem lill-komunità Habr! Dan l-aħħar ktibt dwar l-ewwel verżjoni tagħna cluster board []. U llum irrid ngħidilkom kif ħdimna fuq il-verżjoni RAM
Aħna nħobbuha mini servers li jistgħu jintużaw kemm għall-iżvilupp lokali kif ukoll għall-hosting lokali. B'differenza mill-kompjuters desktop jew laptops, is-servers tagħna huma ddisinjati biex jaħdmu 24/7, jistgħu jiġu federati malajr, pereżempju, kien hemm 4 proċessuri fi cluster, u wara 5 minuti kien hemm 16-il proċessur (l-ebda tagħmir tan-netwerk addizzjonali) u dan kollu f'forma kompatta siekta u effiċjenti fl-enerġija.
L-arkitettura tas-servers tagħna hija bbażata fuq il-prinċipju tal-cluster tal-kostruzzjoni, i.e. nagħmlu cluster boards li, bl-użu tan-netwerk ethernet fuq il-bord, jgħaqqdu diversi moduli tal-kompjuters (proċessuri). Biex nissimplifikaw, għadna ma nagħmlux il-moduli tal-kompjuters tagħna stess, iżda nużaw il-Moduli tal-Kompjuter tar-Raspberry Pi u aħna verament nittamaw għall-modulu CM4 il-ġdid. Iżda, kollox mar kontra l-pjanijiet bil-forma l-ġdida tagħhom u naħseb li ħafna huma diżappuntati.
Taħt il-qatgħa, kif morna minn V1 għal V2 u kif kellna noħorġu bil-fattur il-ġdid tal-forma Raspberry Pi CM4.
Allura, wara li ħoloq cluster għal 7 nodi, il-mistoqsijiet huma - x'inhu jmiss? Kif iżżid il-valur ta 'prodott? 8, 10 jew 16 nodi? Liema manifatturi tal-moduli? Meta taħseb dwar il-prodott kollu kemm hu, indunajna li l-ħaġa prinċipali hawnhekk mhix in-numru ta 'nodi jew min hu l-manifattur, iżda l-essenza stess ta' clusters bħala blokk tal-bini. Irridu nfittxu l-blokka minima tal-bini li
L-ewwel, se jkun cluster u fl-istess ħin ikunu jistgħu jgħaqqdu diski u bordijiet ta 'espansjoni. Il-blokka tal-cluster għandha tkun node bażi awtosuffiċjenti u b'firxa wiesgħa ta 'għażliet ta' espansjoni.
It-tieni, sabiex il-blokki minimi tal-clusters ikunu jistgħu jiġu konnessi ma 'xulxin billi jinbnew clusters ta' daqs akbar u sabiex ikun effiċjenti f'termini ta 'baġit u veloċità ta' skalar. Il-veloċità tal-iskala għandha tkun aktar mgħaġġla mill-konnessjoni ta 'kompjuters ordinarji ma' netwerk u ħafna orħos minn hardware tas-server.
It-tielet, l-unitajiet minimi tal-cluster għandhom ikunu kompatti biżżejjed, mobbli, effiċjenti fl-enerġija, kosteffettivi u mhux esiġenti fuq il-kundizzjonijiet operattivi. Din hija waħda mid-differenzi ewlenin mill-ixtillieri tas-server u dak kollu konness magħhom.
Bdejna billi tiddetermina n-numru ta 'nodi.
Numru ta' nodi
B'ġudizzji loġiċi sempliċi, indunajna li 4 nodi hija l-aħjar għażla għall-blokk minimu tal-cluster. 1 node mhuwiex cluster, 2 nodi mhumiex biżżejjed (1 kaptan 1 ħaddiem, m'hemm l-ebda possibbiltà ta 'skala fi ħdan blokka, speċjalment għal għażliet eteroġenji), 3 nodi jidhru ok, iżda mhux multiplu ta' poteri ta '2 u skala fi ħdan blokka hija limitata, 6 nodes jiġu bi prezz kważi bħal 7 nodes (mill-esperjenza tagħna dan diġà huwa prezz kbir ta 'spiża), 8 huwa ħafna, ma jidħolx fil-fattur tal-forma mini ITX u soluzzjoni PoC saħansitra aktar għalja.
Erba' nodi għal kull blokka huma kkunsidrati bħala l-medja tad-deheb:
- inqas materjali għal kull cluster board, għalhekk irħas għall-manifattura
- multiplu ta '4, total ta' 4 blokki jagħtu 16-il proċessur fiżiku
- ċirkwit stabbli 1 kaptan u 3 ħaddiema
- varjazzjonijiet aktar eteroġenji, moduli ta 'komputazzjoni ġenerali + komputazzjoni aċċellerata
- fattur tal-forma mini ITX bi drives SSD u karti ta 'espansjoni
Ikkalkula moduli
It-tieni verżjoni hija bbażata fuq CM4, ħsibna li se tiġi rilaxxata f'fattur ta 'forma SODIMM. Imma...
Ħadna deċiżjoni li nagħmlu motherboard SODIMM u niġbru CM4 direttament f'moduli sabiex l-utenti ma jkollhomx għalfejn jaħsbu dwar CM4.
Turing Pi Compute Module Jappoġġja Raspberry Pi CM4
B'mod ġenerali, fit-tfittxija ta 'moduli, infetaħ suq sħiħ ta' moduli tal-kompjuter minn moduli żgħar b'128 MB RAM għal 8 GB RAM. Moduli b'16 GB RAM u aktar huma quddiem. Għall-hosting ta 'applikazzjonijiet edge ibbażati fuq teknoloġiji indiġeni tas-sħab, 1 GB ta' RAM diġà mhuwiex biżżejjed, u d-dehra reċenti ta 'moduli għal 2, 4 u anke 8 GB ta' RAM tipprovdi spazju tajjeb għat-tkabbir. Saħansitra kkunsidraw għażliet b'moduli FPGA għal applikazzjonijiet ta 'tagħlim tal-magni, iżda l-appoġġ tagħhom ġie ttardjat minħabba li l-ekosistema tas-softwer mhix żviluppata. Waqt li nistudjaw is-suq tal-moduli, ħriġna bl-idea li noħolqu interface universali għall-moduli, u f'V2 nibdew ngħaqqdu l-interface tal-moduli tal-kompjuters. Dan se jippermetti lis-sidien tal-verżjoni V2 biex jgħaqqdu moduli minn manifatturi oħra u jħalltuhom għal kompiti speċifiċi.
V2 jappoġġja l-linja kollha tal-Raspberry Pi 4 Compute Module (CM4), inklużi verżjonijiet Lite u moduli RAM ta '8 GB
Periferija
Wara li ddeterminajna l-bejjiegħ tal-moduli u n-numru ta 'nodi, avviċinajna l-bus PCI li fuqha jinsabu l-periferali. Il-bus PCI huwa l-istandard għall-periferali u jinsab fi kważi l-moduli tal-kompjuters kollha. Għandna diversi nodi, u idealment, kull nodu għandu jkun jista 'jaqsam apparati PCI fil-modalità ta' talba konkorrenti. Per eżempju, jekk huwa disk konness max-xarabank, allura huwa disponibbli għan-nodi kollha. Bdejna nfittxu swiċċijiet PCI b'appoġġ multi-host u sibna li ħadd minnhom ma jaqbel mal-ħtiġijiet tagħna. Dawn is-soluzzjonijiet kollha kienu l-aktar limitati għal 1 host jew multi hosts, iżda mingħajr il-mod ta 'talbiet konkorrenti lill-endpoints. It-tieni problema hija l-ispiża għolja ta '$ 50 jew aktar għal kull ċippa. F'V2, iddeċidejna li nipposponu esperimenti bi swiċċijiet PCI (se nerġgħu lura għalihom aktar tard hekk kif niżviluppaw) u marru tul it-triq tal-assenjazzjoni ta 'rwol għal kull nodu: l-ewwel żewġ nodi esposti mini PCI express port għal kull nodu, it-tielet nodu Espost 2-portijiet 6 Gbps SATA kontrollur . Biex taċċessa diski minn nodi oħra, tista 'tuża s-sistema tal-fajls tan-netwerk fi ħdan il-cluster. Għaliex le?
Sneakpeek
Iddeċidejna li naqsmu xi abbozzi ta’ kif il-blokk minimu tal-clusters evolviet maż-żmien permezz ta’ diskussjoni u riflessjoni.
Bħala riżultat, wasalna għal unità ta 'cluster b'nodi 4 260-pin, 2 portijiet mini PCIe (Ġen 2), 2 portijiet SATA (Ġen 3). Il-bord għandu Swiċċ Immaniġġjat Layer-2 b'appoġġ VLAN. Port mini PCIe tneħħa mill-ewwel nodu, li fih tista 'tinstalla karta tan-netwerk u tikseb port Ethernet ieħor jew modem 5G u tagħmel router għan-netwerk fuq il-cluster u portijiet Ethernet mill-ewwel nodu.
Il-cluster bus għandha aktar karatteristiċi, inkluża l-abbiltà li flash moduli direttament permezz ta 'slots kollha u naturalment konnetturi FAN fuq kull node b'kontroll tal-veloċità.
Applikazzjoni
Infrastruttura Edge għal applikazzjonijiet u servizzi self-hosted
Iddisinna V2 biex tkun il-blokka minima għall-infrastruttura tat-tarf tal-konsumatur/grad kummerċjali. Bil-V2, huwa rħis li tibda l-prova tal-kunċett u l-iskala hekk kif tikber, gradwalment ttrasferixxi applikazzjonijiet li huma aktar kosteffettivi u prattiċi biex jospitaw fuq it-tarf. Il-blokki tal-cluster jistgħu jiġu konnessi flimkien biex jinbnew clusters akbar. Dan jista 'jsir gradwalment mingħajr ħafna riskju li jiġi stabbilit
proċessi. Diġà llum hemm numru kbir ta 'applikazzjonijiet għan-negozju, .
ARM Workstation
B'sa 32 GB RAM għal kull cluster, l-ewwel node jista 'jintuża għall-verżjoni tad-desktop tal-OS (per eżempju, Ubuntu Desktop 20.04 LTS) u t-3 nodi li jifdal għal kompiti ta' kumpilazzjoni, ittestjar u debugging, jiżviluppaw soluzzjonijiet indiġeni tas-sħab għal ARM raggruppamenti. Bħala node għal CI / CD fuq l-infrastruttura tarf ARM fil-prod.
Turing V2 cluster b'moduli CM4 huwa kważi identiku arkitettonalment (differenza f'verżjonijiet minuri ta 'ARMv8) għal cluster ibbażat fuq istanzi AWS Graviton. Il-proċessur tal-modulu CM4 juża l-arkitettura ARMv8 sabiex tkun tista 'tibni immaġini u applikazzjonijiet għall-istanzi AWS Graviton 1 u 2, li huma magħrufa li huma ferm irħas minn istanzi x86.
Sors: www.habr.com