Üdvözlöm a Habr közösségét! Nemrégiben írtam az első verziójú klaszterlapunkról []. Ma pedig azzal szeretném folytatni, hogy hogyan dolgoztunk a RAM-mal.
Kis szerverek iránt érdeklődünk, amelyeket helyi fejlesztésre és helyi hosztolásra egyaránt használhatunk. A desktop számítógépekkel és laptopokkal ellentétben a szervereinket 24/7 működésre terveztük, amelyeket gyorsan lehet federációba kapcsolni; például, amikor 4 processzor volt a klaszterben, 5 perccel később már 16 processzor volt (további hálózati eszközök nélkül), mindezt kompakt formátumban, csendesen és energiahatékonyan.
Szervereink architektúrájának alapja a klaszterelv, azaz klaszterlapokat készítünk, amelyek Ethernet-hálózaton keresztül több számítási modult (processzort) kapcsolnak össze. Egyszerűsítés érdekében jelenleg nem gyártunk saját számítási modulokat, hanem Raspberry Pi Compute Module-okat használunk, és nagyon reméltük az új CM4 modult. De minden a tervek ellenére alakult, és gondolom, sokan csalódottak lettek.
A cikk alatt bemutatjuk, hogyan haladtunk V1-től V2-ig, és hogyan kellett alkalmazkodnunk az új Raspberry Pi CM4 formátumhoz.
Tehát, miután létrehoztuk a 7 nodból álló klasztert, felmerül a kérdés — mi legyen a következő lépés? Hogyan növeljük a termék értékét? 8, 10 vagy 16 nod? Melyek a modulgyártók? A terméket átfogóan szemlélve rájöttünk, hogy itt nem csupán a nodok száma vagy a gyártó a fontos, hanem maguk a klaszterek, mint építőelem. A legkisebb építőelemet kell keresni, ami
Első, klaszterként funkcionál, és lehetősége van lemezek és bővítőlapok csatlakoztatására. A klaszterblokk önálló, alapvető csomópont kell legyen széleskörű bővítési lehetőségekkel.
Második, hogy a legkisebb klaszterblokkokat összekapcsolva nagyobb méretű klasztereket alkothassunk, és hogy ez költséghatékony és gyors skálázást biztosítson. A skálázás sebességének magasabbnak kell lennie, mint a hagyományos számítógépek hálózatba kapcsolása, és sokkal olcsóbbnak a szerverhardverhez képest.
Harmadik, a legkisebb klaszterblokkoknak kompaktaknak, mobilisnak, energiahatékonynak, költséghatékonyaknak és nem igényelnek különleges működési feltételeket. Ez az egyik kulcsfontosságú különbség a szerverrackektől és minden egyéb kapcsolódó dologtól.
Kezdtük a csomópontok számának meghatározásával.
Csomópontok száma
Egyszerű logikai következtetésekkel rájöttünk, hogy 4 csomópont a legjobb választás a minimális klaszteres blokkhoz. 1 csomópont nem klaszter, 2 csomópont kevés (1 mester, 1 munkás, nincs lehetőség a blokk keretein belüli skálázásra, különösen a heterogén változatok számára), 3 csomópont rendben van, de nem a 2 hatványainak megfelelően, és korlátozott a skálázás a blokk keretein belül, 6 csomópont szinte annyiba kerül, mint 7 csomópont (tapasztalatunk alapján ez már magas költséget jelent), 8 túl sok, nem fér el a mini ITX formátumban, és még drágább megoldás a PoC számára.
A négy csomópontot arany középutnak tekintjük:
- kevesebb anyag a klaszterlaphoz, ezért olcsóbb a gyártás
- 4-re kerekítve, összesen 4 blokk 16 fizikai processzort ad
- stabil rendszer 1 mester és 3 munkás
- több heterogén variáció, általános számítástechnikai + felgyorsított számítási modulok
- mini ITX formátum SSD meghajtókkal és bővítőkártyákkal
Számítási modulok
A második verzió a CM4-en alapul, azt gondoltuk, hogy SODIMM formátumban fogják kiadni. De…
Döntést hoztunk, hogy SODIMM aljzatot készítünk, és a CM4-et közvetlenül modulokká szereljük, hogy a felhasználóknak ne kelljen a CM4-ről gondolkodniuk.
Turing Pi Számítási Modul Raspberry Pi CM4 támogatással
Valójában a modulok keresése során egy egész piaca nyílt meg a számítási moduloknak, a 128 MB RAM-tól a 8 GB RAM-ig terjedően. A jövőben 16 GB RAM-os modulok is várhatóak. Az edge alkalmazások számára, amelyek a felhő natív technológiákon alapulnak, az 1 GB RAM már kevés, míg a nemrégiben megjelent 2, 4 és akár 8 GB RAM modulok jó teret adnak a növekedéshez. Még FPGA modulokkal kapcsolatos megoldásokat is fontolóra vettünk gépi tanulási alkalmazásokhoz, de a támogatás elhalasztódott, mert a szoftveres ökoszisztéma nem fejlett. A modulok piacának tanulmányozása során arra az ötletre jutottunk, hogy univerzális interfészt hozzunk létre a modulok számára, és a V2-ben megkezdjük a számítási modulok interfészének egységesítését. Ez lehetővé teszi a V2 verzió tulajdonosai számára, hogy más gyártók moduljait csatlakoztassák és vegyítsék az adott feladatokhoz.
A V2 támogatja a Raspberry Pi 4 Számítási Modul (CM4) teljes vonalát, beleértve a Lite verziókat és a 8 GB RAM-os modulokat
Periféria
Miután meghatároztuk a modulok szállítóját és a node-ok számát, a PCI buszhoz fordultunk, amelyen a perifériák találhatók. A PCI busz a perifériás eszközök szabványa, és szinte minden számítási modulban jelen van. Több node-unk van, és ideálisan mindegyik node-nak képesnek kell lennie a PCI eszközök megosztására versenyképes kérések üzemmódban. Például, ha egy lemez csatlakozik a buszhoz, akkor az az összes node számára elérhető. Elkezdjük keresni a PCI switch-eket, amelyek támogatják a multi-host funkciót, és felfedeztük, hogy egyik sem felel meg az igényeinknek. Ezek a megoldások főként 1 hostra vagy multi hostokra korlátozódtak, de nem támogatták a versenyképes kéréseket az endpoints felé. A második probléma a magas költség, 50 $-tól kezdve chipenként. A V2-ben úgy döntöttünk, hogy elhalasztjuk a PCI switch-ekkel kapcsolatos kísérleteinket (később visszatérünk hozzájuk, ahogy fejlődünk), és elkezdtük a szerepkörök hozzárendelését minden node-hoz: az első két node egy mini PCI express portot biztosít node-onként, a harmadik node 2-ports 6 Gbps SATA vezérlőt kínál. A másik node-okról a lemezek eléréséhez hálózati fájlrendszert használhatunk a klaszteren belül. Miért ne?
Előzetes betekintés
Úgy döntöttünk, hogy megosztunk néhány vázlatot arról, hogyan fejlődött az alapvető klaszter blokk az idő során a megbeszélések és tervezések során.
Ennek eredményeként egy klaszter blokkhoz jutottunk 4 node-dal, 260-tűs, 2 mini PCIe (Gen 2) porttal, 2 SATA (Gen 3) porttal. Az alaplapon Layer-2 Managed Switch található VLAN támogatással. Az első node-ból mini PCIe port került ki, amelybe hálózati kártya, vagy további Ethernet port vagy 5G modem telepíthető, így az első node routerként működhet a klaszter hálózatán és az Ethernet portokon.
A klaszter busz több funkcióval rendelkezik, beleértve a modulok közvetlen villámfrissítését minden nyílásból, és természetesen minden node-on találhatók a ventilátor csatlakozók sebességszabályozással.
Alkalmazás
Edge infrastruktúra önállóan hosztolt alkalmazásokhoz és szolgáltatásokhoz
A V2-t úgy terveztük, hogy minimális építőelemként használhassuk a fogyasztói/kereskedelmi szintű edge infrastruktúrához. A V2 segítségével olcsón lehetőség van a koncepció ellenőrzésére, és a növekedés során fokozatosan lehet skálázni, a költséghatékonyabb és gyakorlati szempontból is indokolt alkalmazásokat az edge-en hosztolni. A klaszterblokkokat egymáshoz lehet csatlakoztatni, nagyobb klasztereket építve. Ezt fokozatosan lehet végrehajtani, jelentős kockázatok nélkül, a megrögzött rendszerek számára.
folyamatok. Már ma rengeteg üzleti alkalmazás áll rendelkezésre, .
ARM Workstation
32 GB RAM memóriával a klaszterhez, az első csomópontot desktop OS verzió (például Ubuntu Desktop 20.04 LTS) futtatására használhatjuk, míg a fennmaradó 3 csomópontot fordítási, tesztelési és hibajavító feladatokra, valamint cloud native megoldások fejlesztésére használható ARM klaszterekhez. CI/CD csomópontként az ARM periféria infrastruktúrára a termelésben.
A Turing V2 klaszter CM4 modulokkal szinte teljesen azonos (a különbség a minor verziókban ARMv8) a AWS Graviton alapú klaszterhez képest. A CM4 modulok processzora ARMv8 architektúrát használ, lehetővé teszi az AWS Graviton 1 és 2 példányokhoz készült képek és alkalmazások létrehozását, amelyek, mint köztudott, sokkal olcsóbbak, mint az x86 példányok.
Forrás: habr.com
