Cyfarchion i gymuned Habr! Ysgrifennais yn ddiweddar am ein bwrdd clwstwr fersiwn gyntaf []. A heddiw rwyf am ddweud wrthych sut y buom yn gweithio ar y fersiwn cof mynediad ar hap.
Rydym yn hoff o weinyddion bach y gellir eu defnyddio ar gyfer datblygu lleol a chynnal lleol. Yn wahanol i gyfrifiaduron bwrdd gwaith neu liniaduron, mae ein gweinyddwyr wedi'u cynllunio i weithio 24/7, gellir eu ffedereiddio'n gyflym, er enghraifft, roedd 4 prosesydd mewn clwstwr, ac ar Γ΄l 5 munud roedd 16 prosesydd (dim offer rhwydwaith ychwanegol) a hyn i gyd mewn ffactor ffurf gryno yn dawel ac yn effeithlon o ran ynni.
Mae pensaernΓ―aeth ein gweinyddion yn seiliedig ar yr egwyddor clwstwr o adeiladu, h.y. rydym yn gwneud byrddau clwstwr sydd, gan ddefnyddio'r rhwydwaith ether-rwyd ar y bwrdd, yn cysylltu sawl modiwl cyfrifiadura (proseswyr). Er mwyn symleiddio, nid ydym yn gwneud ein modiwlau cyfrifiadura ein hunain eto, ond yn defnyddio Modiwlau Cyfrifiadurol Raspberry Pi ac roeddem yn mawr obeithio am y modiwl CM4 newydd. Ond, aeth popeth yn groes i'r cynlluniau gyda'u ffactor ffurf newydd a dwi'n meddwl bod llawer yn siomedig.
O dan y toriad sut aethon ni o V1 i V2 a sut roedd yn rhaid i ni fynd allan gyda'r ffactor ffurf CM4 Raspberry Pi newydd.
Felly, ar Γ΄l creu clwstwr ar gyfer 7 nod, y cwestiynau yw - beth sydd nesaf? Sut i gynyddu gwerth cynnyrch? 8, 10 neu 16 nod? Pa gynhyrchwyr modiwl? Wrth feddwl am y cynnyrch yn ei gyfanrwydd, sylweddolasom nad y prif beth yma yw nifer y nodau na phwy yw'r gwneuthurwr, ond hanfod clystyrau fel bloc adeiladu. Mae angen inni edrych am y bloc adeiladu lleiaf hynny
Y cyntaf, yn glwstwr ac ar yr un pryd yn gallu cysylltu disgiau a byrddau ehangu. Dylai'r bloc clwstwr fod yn nod sylfaen hunangynhaliol a chydag ystod eang o opsiynau ehangu.
Mae'r ail, fel y gellir cysylltu'r blociau clwstwr lleiaf Γ’'i gilydd trwy adeiladu clystyrau o faint mwy ac fel ei fod yn effeithlon o ran cyllideb a chyflymder graddio. Rhaid i'r cyflymder graddio fod yn gyflymach na chysylltu cyfrifiaduron cyffredin Γ’ rhwydwaith ac yn llawer rhatach na chaledwedd y gweinydd.
Yn drydydd, dylai'r unedau clwstwr lleiaf fod yn ddigon cryno, symudol, ynni-effeithlon, cost-effeithiol a heb fod yn feichus ar amodau gweithredu. Dyma un o'r gwahaniaethau allweddol o raciau gweinyddwyr a phopeth sy'n gysylltiedig Γ’ nhw.
Dechreuon ni trwy bennu nifer y nodau.
Nifer y nodau
Gyda dyfarniadau rhesymegol syml, sylweddolom mai 4 nod yw'r opsiwn gorau ar gyfer y bloc clwstwr lleiaf. Nid yw 1 nod yn glwstwr, nid yw 2 nod yn ddigon (1 meistr 1 gweithiwr, nid oes posibilrwydd o raddio o fewn bloc, yn enwedig ar gyfer opsiynau heterogenaidd), mae 3 nod yn edrych yn iawn, ond nid yw'n lluosog o bwerau o 2 a graddio o fewn mae bloc yn gyfyngedig, daw 6 nod am bris bron fel 7 nod (o'n profiad ni mae hwn eisoes yn bris cost mawr), mae 8 yn llawer, nid yw'n ffitio yn y ffactor ffurf ITX mini ac ateb PoC hyd yn oed yn ddrutach.
Ystyrir mai pedwar nod fesul bloc yw'r cymedr aur:
- llai o ddeunyddiau fesul bwrdd clwstwr, felly rhatach i'w cynhyrchu
- lluosog o 4, cyfanswm o 4 bloc yn rhoi 16 proseswyr ffisegol
- cylched sefydlog 1 meistr a 3 gweithiwr
- amrywiadau mwy heterogenaidd, cyffredinol-cyfrifiadur + modiwlau carlam-cyfrifiadur
- ffactor ffurf mini ITX gyda gyriannau SSD a chardiau ehangu
Cyfrifo modiwlau
Mae'r ail fersiwn yn seiliedig ar CM4, roeddem yn meddwl y bydd yn cael ei ryddhau yn ffactor ffurf SODIMM. Ondβ¦
Fe wnaethom benderfyniad i wneud bwrdd merched SODIMM a chydosod CM4 yn uniongyrchol i fodiwlau fel nad oes rhaid i ddefnyddwyr feddwl am CM4.
Modiwl Cyfrifiadura Turing Pi Cefnogi Raspberry Pi CM4
Yn gyffredinol, wrth chwilio am fodiwlau, agorwyd marchnad gyfan o fodiwlau cyfrifiadurol o fodiwlau bach gyda 128 MB RAM i 8 GB RAM. Mae modiwlau gyda 16 GB RAM a mwy ar y blaen. Ar gyfer cynnal cymwysiadau ymyl yn seiliedig ar dechnolegau brodorol cwmwl, nid yw 1 GB o RAM eisoes yn ddigon, ac mae ymddangosiad diweddar modiwlau ar gyfer 2, 4 a hyd yn oed 8 GB o RAM yn darparu lle da ar gyfer twf. Fe wnaethant hyd yn oed ystyried opsiynau gyda modiwlau FPGA ar gyfer cymwysiadau dysgu peiriannau, ond mae eu cefnogaeth wedi'i gohirio oherwydd nad yw'r ecosystem meddalwedd wedi'i datblygu. Wrth astudio'r farchnad modiwlau, fe wnaethom ni feddwl am y syniad o greu rhyngwyneb cyffredinol ar gyfer modiwlau, ac yn V2 rydym yn dechrau uno rhyngwyneb modiwlau cyfrifiadurol. Bydd hyn yn caniatΓ‘u i berchnogion y fersiwn V2 gysylltu modiwlau o weithgynhyrchwyr eraill a'u cymysgu ar gyfer tasgau penodol.
Mae V2 yn cefnogi llinell gyfan Raspberry Pi 4 Compute Modiwl (CM4) (CM8), gan gynnwys fersiynau Lite a modiwlau RAM XNUMX GB
Cyrion
Ar Γ΄l pennu gwerthwr y modiwlau a nifer y nodau, aethom at y bws PCI y mae'r perifferolion wedi'u lleoli arno. Y bws PCI yw'r safon ar gyfer perifferolion ac fe'i ceir ym mron pob modiwl cyfrifiadura. Mae gennym sawl nod, ac yn ddelfrydol, dylai pob nod allu rhannu dyfeisiau PCI yn y modd cais cydamserol. Er enghraifft, os yw'n ddisg sy'n gysylltiedig Γ’'r bws, yna mae ar gael i bob nod. Dechreuon ni chwilio am switshis PCI gyda chefnogaeth aml-westeiwr a chanfod nad oes yr un ohonynt yn cyd-fynd Γ’'n gofynion. Roedd yr holl atebion hyn wedi'u cyfyngu'n bennaf i 1 gwesteiwr neu westeiwr lluosog, ond heb y modd o geisiadau cydamserol i bwyntiau terfyn. Yr ail broblem yw'r gost uchel o $50 neu fwy fesul sglodyn. Yn V2, fe wnaethom benderfynu gohirio arbrofion gyda switshis PCI (byddwn yn dychwelyd atynt yn ddiweddarach wrth i ni ddatblygu) ac aethom ar hyd y llwybr o neilltuo rΓ΄l ar gyfer pob nod: datgelodd y ddau nod cyntaf porthladd cyflym PCI mini fesul nod, y trydydd nod Rheolydd SATA 2-borthladd 6 Gbps agored . I gael mynediad at ddisgiau o nodau eraill, gallwch ddefnyddio'r system ffeiliau rhwydwaith o fewn y clwstwr. Pam ddim?
Cipolwg
Fe benderfynon ni rannu rhai brasluniau o sut maeβr bloc clwstwr lleiaf wedi esblygu dros amser trwy drafod a myfyrio.
O ganlyniad, daethom i uned glwstwr gyda 4 nod 260-pin, 2 borthladd mini PCIe (Gen 2), 2 borthladd SATA (Gen 3). Mae gan y bwrdd Switsh a Reolir Haen-2 gyda chefnogaeth VLAN. Mae porthladd PCIe bach wedi'i dynnu o'r nod cyntaf, lle gallwch chi osod cerdyn rhwydwaith a chael porthladd Ethernet arall neu fodem 5G a gwneud llwybrydd ar gyfer y rhwydwaith ar y clwstwr a phorthladdoedd Ethernet o'r nod cyntaf.
Mae gan y bws clwstwr fwy o nodweddion, gan gynnwys y gallu i fflachio modiwlau yn uniongyrchol trwy bob slot ac wrth gwrs cysylltwyr FAN ar bob nod gyda rheolaeth cyflymder.
Cais
Seilwaith Edge ar gyfer cymwysiadau a gwasanaethau hunangynhaliol
Fe wnaethom ddylunio V2 i fod y bloc adeiladu lleiaf ar gyfer seilwaith ymyl defnyddiwr/masnachol. Gyda V2, mae'n rhad dechrau prawf-cysyniad a graddfa wrth i chi dyfu, gan gludo cymwysiadau sy'n fwy cost-effeithiol ac ymarferol i'w cynnal ar ymyl yn raddol. Gellir cysylltu blociau clwstwr gyda'i gilydd i adeiladu clystyrau mwy. Gellir gwneud hyn yn raddol heb lawer o risg i'w sefydlu
prosesau. Eisoes heddiw mae nifer enfawr o geisiadau ar gyfer busnes, .
Gweithfan ARM
Gyda hyd at 32 GB RAM fesul clwstwr, gellir defnyddio'r nod cyntaf ar gyfer fersiwn bwrdd gwaith yr OS (er enghraifft, Ubuntu Desktop 20.04 LTS) a'r 3 nod sy'n weddill ar gyfer tasgau llunio, profi a dadfygio, gan ddatblygu datrysiadau brodorol cwmwl ar gyfer ARM clystyrau. Fel nod ar gyfer CI / CD ar seilwaith ymyl ARM yn y prod.
Mae clwstwr Turing V2 gyda modiwlau CM4 yn bensaernΓ―ol bron yn union yr un fath (gwahaniaeth mewn mΓ’n fersiynau o ARMv8) i glwstwr yn seiliedig ar achosion AWS Graviton. Mae prosesydd modiwl CM4 yn defnyddio pensaernΓ―aeth ARMv8 fel y gallwch chi adeiladu delweddau a chymwysiadau ar gyfer achosion AWS Graviton 1 a 2, y gwyddys eu bod yn llawer rhatach nag achosion x86.
Ffynhonnell: hab.com